Katcerina.ru

Деньги в сети
0 просмотров
Рейтинг статьи
1 звезда2 звезды3 звезды4 звезды5 звезд
Загрузка...

Создание сайта агрегатора

Архитектура агрегаторов: паттерны веб-сервисов (Часть 1)

Сегодня создано много веб приложений и сервисов, у которых одинаковая цель, но различный подход к исполнению. Так как информация разбросана по сети, пользователям приходится посещать множество аналогичных сервисов для того, чтобы увеличить эффект работы. К примеру, заказчик хочет разместить задачу на тендерной площадке. Для того, чтобы увеличить количество поданных заявок, он тратит время на повторяющуюся работу: создание офера и заполнение данных о проекте — на различных фриланс-биржах. Появляются сайты агрегаторы, которые пытаются решить эту проблему, но их поддержка становится все более затруднительной с появлением новых сервисов тематики агрегатора. Необходимо интегрировать все новые функции, и структуры данных, которые отличаются от сервиса к сервису. К счастью, мы не первые, кто создает и поддерживает подобные вещи: уже существуют паттерны, которые упрощают поддержку таких приложений и позволяют создавать гибкую архитектуру. В этой статье я хотел бы привести пример архитектуры агрегатора, который позволяет объединить тендерные площадки для фрилансеров — такие как Odesk, Freelancer, Elance и другие.

Основные проблемы с которыми сталкиваются разработчики:

  1. Разные принципы работы с сервисами: некоторые из них предоставляют API, а с другими приходится работать посредством бота — имитации действий человека.
  2. Неоднородность ответов от сервисов — одни возвращают json, другие — xml, третьи — веб страницу.
  3. Вытекает из 2 — неоднородность структур данных — например, структура объекта Project
    c freelancer выглядит так:

в то время как Odesk отвечает следующим образом:

Для простоты понимания, я решил описать решение каждой из проблем в отдельной статье. В данной статье я покажу, как унифицировать работу с различными сервисами на примере двух популярных фриланс бирж Odesk и Freelancer. Исходный код написан на языке PHP5 с использованием фреймворка Yii.

Создаем интерфейс

Итак, первое, что необходимо сделать — создать интерфейс для того, чтобы скрыть реализацию в каждом конкретном классе и дать возможность вызывать единый набор методов для различных сервисов.

Создаем сервис адаптеры

Далее, для каждого сервиса мы создаем сервис адаптеры (вариация паттерна «Adapter» применительно к веб сервисам), которые будут реализовывать этот интерфейс. Оба класса работают с сервисами через API, но скрывают разницу в реализации вызовов.

Freelancer Service Adapter:

Odesk Service Adapter:

Обратите внимание, что оба класса имплементируют интерфейс ServiceInterface, но реализация метода authorize различна для каждого. Тут необходимо упомянуть также модель ModelCredential, которая хранит данные для авторизации. При Oauth авторизации это token и secret.

Создаем фабрику

В будущем нам необходимо легко добавлять новые сервисы, не изменяя кода существующих классов (Следуем OCP принципу). Для этого воспользуемся паттерном «Factory Method».

Мы также добавили проверку на то, что данный класс реализует ServiceInterface. Для чего здесь используется интерфейс и проверка на его реализацию классами сервисов? В случае, если разработчик ошибется и забудет имплементировать какой либо метод интерфейса, php не даст возможности запустить код в принципе. Это дает нам уверенность в том, что метод реализован. Также это дает понимание, какие конкретно методы необходимы будут системе для работы. По этому поводу поделюсь своей историей.
На одном из проектов, над которым я работал, была поставлена задача имплементировать сервис адаптер для Google+. В проект уже были интегрированы Facebook и Twitter адаптеры. Когда я открыл класс одного из них, я ужаснулся от количества кода внутри. Я не понимал, какие из методов мне необходимо реализовать, для того чтобы сервис заработал, а какие были вторичными. Пришлось сравнивать несколько классов, уточнять у тех разработчиков, которые писали этот код. Это заняло время. Если бы у нас был один интерфейс для таких сервис адаптеров — было бы сразу понятно какие из методов нужно было создать.

Собираем все вместе

Итак, мы подготовили классы сервис-адаптеры и фабрику, которая будет создавать их. Давайте посмотрим как эти части работают вместе:

Данная архитектура позволяет интегрировать новые сервисы более прозрачно и разработчику нет необходимости помнить различия в названиях методов или их вызовах.

В следующей статье я расскажу, что делать с неоднородностью возвращаемых ответов и структур данных.

Как создать сайт агрегатор

Зачастую при создании поискового запроса типа «купить мобильный телефон» в полученных результатах пользователь видит не официальную страницу какого-то конкретного магазина, а страничку сайта-агрегатора.

Что такое сайт агрегатор?

Это ресурс, который предоставляет пользователям информацию по всем товарам выбранной группы в разных торговых точках, которые взаимодействуют с агрегатором. Причем это могут быть не только товары, но и услуги, например, купоны на скидку, ремонт автомобилей, скачивание контента.

Большую часть прибыли таких сайтов составляют комиссионные при покупке товара с использованием сервиса агрегатора.

СПРАВКА. Существуют также сайты, занимающиеся агрегацией новостей с разных профильных ресурсов. В этом случае основной заработок основателей составляет контекстная реклама.

Чем он отличается от каталога сайтов/услуг

В каталоге конкретного сайта размещаются товары либо услуги определенного производителя (поставщика), агрегатор же показывает все добавленные в него позиции от всех производителей и поставщиков, независимо от цен и других параметров.

На основании этих данных клиент самостоятельно делает выбор, какую услугу либо товар приобрести, и у какого из продавцов.

Кроме того, каталог, содержа внесенную в него информацию, максимум, на что способен при наличии определенной автоматизации — закачивать новые данные из прайсов. Но при этом потребуется значительная часть неавтоматизированного труда для его качественного обновления.

Качественный агрегатор может «подтягивать» полные данные с сайтов своих партнеров, сведя таким образом к минимуму человеческий фактор. Он показывает актуальные и свежие данные и цены напрямую от поставщика.

Особенности агрегаторов услуг

Агрегаторы услуг имеют некоторую специфику: они могут предлагать сервисы компаний, которые не имеют представительства в интернете. В таком случае агрегатор должен получить от владельцев компании информацию для размещения, а в случае продажи услуги получить комиссионные от проведенной через него сделки.

Примеры агрегаторов

Хорошим примером такого сайта будет сервис от компании Amazon, который посещает около 3 000 000 000 человек в течение одного месяца. Но эта компания в погоне за качественным обслуживанием клиентов ушла довольно далеко: построила огромные склады и начала роботизировать доставку товаров с помощью дронов. Тем не менее, принцип агрегатора в этом примере сохранен.

Отечественным примером товарного агрегатора может послужить Яндекс.Маркет, популярный сейчас сайт Kwork — типичный представитель агрегатора услуг.

Уже полностью готовый интернет магазин, не трать время, за тебя уже все сделали! Получить полностью готовый интернет магазин

Этапы создания агрегатора

Перед тем как создать агрегатор, этот сложный процесс следует разбить на несколько этапов. Необходимо:

  • выбрать направление, которое охватит агрегатор;
  • с помощью опытных специалистов разработать техническое задание;
  • найти разработчиков сайта и группу продвижения;
  • проконтролировать создание движка агрегатора, отвечающего техзаданию;
  • запустить сайт в автоматическом режиме либо с добавлением отдельных поставщиков вручную;
  • провести внешнюю и внутреннюю оптимизации;
  • набрать базу пользователей;
  • начать получать первые платежи.

Структура для будущего сайта

Такой сайт состоит из нескольких личных кабинетов (администратора, исполнителя и клиента) и неавторизированной области. Последняя видна любому посетителю сайта, в ней отображаются все данные по товарам и услугам, возможна их фильтрация по определенным параметрам, например, по возрастанию цены или по рейтингу продаж.

В остальных кабинетах добавляется функционал конкретных ролей:

  • у пользователя это возможность просмотра истории заказов, профиль и т.д.;
  • исполнитель может искать клиентов по своему профилю, наполнять свое портфолио, смотреть свой баланс;
  • администратор контролирует ряд процедур, примером может послужить арбитраж.

СПРАВКА. Данные роли пользователей характерны не для всех агрегаторов, их количество и наличие зависит от специфики сайта (товары/услуги).

Как собирать данные для агрегатора

Можно собирать их:

  • самостоятельно, внося данные от поставщиков (с их сайтов) либо из прайсов, если с поставщиком есть договоренности;
  • дать доступ представителю поставщика, чтобы он сам заливал новую информацию на сайт;
  • настроить автоматизацию загрузки данных (оптимальный вариант).

ВАЖНО. Для корректной загрузки данных необходимо создать единую структуру для разнородных элементов. Это скажется и на визуальном удобстве обработки информации клиентами.

Платформы для создания агрегаторов

Существует несколько популярных платформ для создания агрегирующих сайтов (например, Delivery City), кроме того, в YouTube есть довольно большое количество курсов на предмет постройки проекта такого типа с нуля.

Традиционным решением будет заказ подобного проекта у профессионалов, имеющих богатый опыт успешной реализации сходных решений. В долгосрочной перспективе это принесет больше прибыли, чем постоянное доделывание собранного «на коленке» бюджетного решения.

Перед тем как создать сайт агрегатор услуг или товаров, нужно просчитать, есть ли реальный спрос у клиентов в выбранной области. В том случае, если ответ положительный, необходимо провести анализ рынка существующих конкурентов, качества их работы и примерный объем потраченных средств (по косвенным признакам можно выяснить некоторые детали, кроме того, есть вариант обратиться к разработчику с просьбой сделать «такой же», чтобы узнать цену).

Взвесив все «за» и «против», можно приступать к реализации проекта, либо отказаться от него.

Сайт агрегатор

Разделы

Агрегаторы очень нужны в некоторых сферах. Это все из-за того, что человек не имеет возможности посмотреть все предложения одной ценовой категории. У него просто нет информации о продукте, или информация очень быстро изменяется. Практически ежедневно ко мне приходят за рекомендациями те люди, которые занимаются созданием сайта агрегатора.

Что представляет собой сайт агрегатор

Например, скачивание сериалов, покупка ноутбука, скидочные купоны. Роль агрегаторов в том, чтобы клиентам обеспечить удобный выбор из множества предложений.

В настоящее время агрегировать хотят практически все: репетиторы, сантехники, юристы, туристические компании, сауны, магазины. Этот список можно долго продолжать, но я не буду этого делать. Вы для себя должны понять одно — сайты агрегаторы нужны всем, кто хочет продвигать свои услуги. Думаю, что в скором времени некоторым предпринимателям будет очень несладко: придется качество услуг и товаров повышать, а стоимость снижать. Плюс ко всему, франшизы наступают на пятки. Поэтому в будущем сайты агрегаторы будут очень актуальны.

Хочу вам показать пример того, что будущее уже наступило. Покажу сообщение, которое пришло ко мне совсем недавно от Yandex Taxi. Раньше никто бы не подумал, что такое возможно. Но сейчас это реальность.

«Добрый день! Наша компания разобралась с заявкой 6 февраля в 20:05. Цена вашей поездки выросла по вине неопытного водителя. Поэтому его сейчас ждет пересдача экзамена. Пожалуйста, примите искренние извинения за предоставленные неудобства. Хотим подарить вам промо-код хххх на скидку в размере 500 рублей».

Сделать вывод можно следующий:

Еще можно сделать второй вывод. Он предназначенный для тех, кто решил создать личный сайт агрегатор.

Новостной агрегатор

Сюда можно отнести такие источники:

  • Новостные сервисы, на которых размещаются статьи, интервью, заметки.
  • Информационные ленты. Они предоставляют краткую информацию.
  • Социальные сети также являются источниками информации, а именно новостей.

На чем зарабатывают новостные агрегаторы

Такие сайты получают прибыль от рекламного трафика. Внимание привлекается за счет качественной информации и удобной фильтрации всего контента. В плане поискового продвижения сайтам трудно себя реализовать. Это все из-за того, что они не имеют уникальных текстов. Поэтому они будут конкурировать только со своими конкурентами. Тогда на этом можно заработать и повысить себе рейтинги.

Товары и стоимость

Благодаря этим сайтам пользователям очень комфортно в процессе выбора нужного товара. Такие ресурсы создаются для продажи места для рекламных объявлений. Обычно это реклама от тех онлайн-магазинов, продукция которых агрегируется. Это рекламные объявления семантически близких между собой объектов.

А именно: распродажи, бонусы, скидки и так далее. На данных площадках пользователи интернета имеют возможность купить купоны на бесплатные заказы. Эти сайты будут полезны для тех людей, которые часто и много покупают в сети. Акции и купоны могут предоставлять различные компании — магазины, кинотеатры, ночные клубы, аквапарки и так далее. Поэтому на сайте будут собраны бесплатные предложения в виде билетов на концерт, услуги по отбеливанию зубов.

Купоны привлекают внимание пользователей.

Они хотят куда-нибудь сходить, но при этом сохранить бюджет. Салоны, магазины, рестораны получают клиентов, которая желает халявы. Компания таким образом делает себе небольшую рекламу. И у нее это удачно получается.

Благодаря подобным сайтам, есть возможность найти авиабилеты по выгодной цене. Помимо этого, можно найти быстрые способы добраться до определенного города. Это очень удобно! Ценность таких сайтов высокая. Стоимость на билеты и оптимальные варианты вылета изменяются довольно часто. Поэтому такой сайт станет удобным вариантом для выбора подходящего рейса.

Данные ресурсы зарабатывают на рекламе, которую размещают на своих страницах. Посетители, которые ищут авиабилеты, обязательно обратят свое внимание на рекламу недорогого отеля, ресторана, такси и т.п. Поэтому таким людям пригодится реклама, которая находится на странице агрегатора.

Помимо этого, большие компании и поисковые системы создают специальные сервисы, которые занимаются учетом маленьких бизнесов. К примеру, гугл открыл неплохой такой сервис. Он показывает данные небольших предприятий. Данный сервис еще не работает в нашей стране, но в будущем он обязательно начнет функционировать.

16 марта 2017 года медиа-холдинг сообщил о том, что Yandex планирует запустить агрегатор автосервисов. Данный ресурс объединил в себя более 60 000 предприятий. Какие показатели на сегодняшний день? Давайте посмотрим:

  • Объем рынка — 520 миллиардов рублей за 2018 год.
  • Число агрегируемых компаний — более 60 тысяч.
  • Количество запросов в поисковике — три миллиона.
  • Часть оборота, которые приносят агрегаторы — 3 процента.
  • Доля клиентов, приносящих прибыль — 15 процентов.

Важно знать, что агрегаторы автосервисов могут иметь отличия по степени глубины агрегации. Это больше зависит от монетизации услуг. Разные сайты по автосервису могу предлагать различную агрегацию. На сайте авто.ру предлагается менее глубокая агрегация, чем на сайте CarFix. В данном случае два ресурса осуществляют разные модели бизнеса. Владелец одной автомобильной компании утверждает:

Сайт авто.ру является агрегатором. Данный ресурс был создан на базе геолокационных данных от Яндекс. Клиентам предлагается выбрать один из предложенных сервисов. Но оформление заявки и процесс ремонта не контролируется.

По этой причине Яндекс будет направлять в автосервис потенциальных клиентов (лиды), а сайт CarFix берет комиссионные за услуги. Поэтому в дальнейшем планирует переходить на полную автоматизацию подбора не только автосервисов, но и также комплектующих. Очевидно, что агрегатору от Yandex придется пройти такой же путь, что в недалеком прошлом прошел всем известный Yandex Market. Сначала продавались заявки, а через некоторое время услуги с товарами.

Если агрегаторы автомобильного сервиса смогут в структуре что-то изменить, тогда они значительно повысят глубину проникновения в товары. До этого момента агрегаторы не будут опасными для самих предприятий. Потому что люди приходят в автосервис не за брендом, а до определенного мастера, который хорошо ремонтирует автомобили. Но это еще реализовалось в реальность. Поэтому автосервисам пока ничего не будет угрожать. Но если посмотреть с другой стороны, если большие IT компании смогут сделать автоматизированный процесс раскладывания по полочкам сложные товары, то высокотехнологического бизнеса ожидают большие перемены.

Если рассуждать кратко, то агрегаторы автосервиса полезны только тем, что могут повысить качество предоставляемых услуг. Сервис удобный и понятный для пользователей. Поэтому автосервисам придется пересмотреть свою деятельность, а именно уменьшать издержки и доброжелательно относится к своим клиентам. Агрегаторы получат высокую значимость, если предоставят четкую структуру каждого автосервиса. Но сделать это не очень легко, как может показаться. Поэтому предпринимателям автосервиса в ближайшем будущем конкуренция не помешает.

В прошлом году стала появилась следующая информация — Yandex запустил тестирование агрегатора каршеринга. На сегодняшний день интернет холдинг хочет понять, насколько сервисы помогают повысить качество своих услуг, а именно — кратковременная аренда машин. О монетизации пока речи не идет. Это все будет более подробно рассматриваться в будущем. Тестирование проводилось в марте прошлого года. Было принято решение о том, стоит ли развивать дальше сервис.

Сколько времени занимает запуск агрегатора

Нет единого ответа на данный вопрос. Это зависит от большого количества факторов. Поэтому вы должны ориентироваться на следующие числа. Для того, чтобы запустить сайт агрегатор понадобится около года. Стоимость составляет около миллиона российских рублей. В интернете был создан специальный кейс по запуска агрегатора. Первые доходы можно получить только через полгода.

Стоит ли сейчас запускать сайт-агрегатор? Каждый решает сам. Но сайт агрегатор стоит обязательно запускать в том случае, если у вас имеются оригинальные идеи. Тогда вы сможете быстрее обойти конкурентов и занять место под солнцем. Но для запуска агрегатора необходимо иметь несколько миллионов. Есть ли у вас такие деньги сейчас? Если да, то вперед. Но где же взять специалистов, которые помогут в создании сайта агрегатора? В настоящее время будет тяжело найти грамотного специалиста. Вы должны знать все нюансы этого дела, чтобы правильно распределять задачи, тогда получится желаемый результат.

Поисковое продвижение и агрегаторы

Как продвигать агрегаторы — это очень популярный вопрос, который я слышу от моих клиентов. Важно помнить, что сайты агрегаторы не заточены под поисковую систему. Поэтому сео специалист не сможет помочь в продвижении сайта. Но есть некоторые варианты, как продвигать подобные сайты в системе.

Можно сделать качественную генерацию контента. Она делается для каждой страницы и товара. Текст может состоять всего из нескольких абзацев. Также можно соблюдать формальные правила для продвижения интернет-площадки. Для вашего ресурса используйте тайтлы, микроразметку для описаний, кириллические Url, ссылки на соц. сеть, юзабилити и прочее. Это все поможет повысить сайт в поисковике — Гугл или Яндекс.

Почему сайты-агрегаторы популярны в топ выдаче

Почему происходит такая ситуация? Давайте будем разбираться в данном вопросе. В разных случаях у каталога будет позиция выше, чем у обычных сайтов. Поисковые системы не настолько разумные, чтобы понять, какой ресурс лучше помогает интернет-пользователям. Поэтому поисковики обычно оценивают сайты косвенно.

Около 80 процентов трафика приходит по запросам, не имеющим значимой статистики. Данный трафик попадает на ресурсы, которые имеют минимальные совпадения. Поэтому если каталог имеет более 40 тысяч страниц, то, скорее всего, у агрегатора будет страница для запроса от пользователя, а у обычного сайта — вряд ли. Таким образом, часть трафика сайты агрегаторы забирают именно себе.

Если интернет-пользователю получилось найти то, что искал, то это плюс к ранжированию. Таким образом, через год агрегат будет иметь в месяц 25 000 посетителей, а обычный сайт всего полтора тысячи. Почему так получается? Все очень просто. Сайт-агрегатор накапливает статистику очень быстро. Часть пользователей найдет что искала. Потому что по своему запросу зайдут на сайт-агрегатор.

Российский интернет на пару лет отстает от англоязычного. Если вы желаете узнать, что станет с вашим бизнесом через 2-3 года, то посмотрите как это функционирует сейчас в Америке. Полезный агрегатор очень быстро собирает трафик. Через полгода он превратится в хорошо посещаемый сайт. Что представляют собой полезные сайты? Это хиты сарафанного радио. К примеру, перед зимой люди массово покупают теплые вещи. Ваш сайт может предложить подборку интересных предложений.

Поэтому при создании агрегатора важно отталкиваться от настоящего спроса потенциальных клиентов. Еще одно преимущество агрегаторов — это отзывы. Когда вы выбираете вещь или услугу, то скорее обращаете на это внимание. Вы читаете или смотрите обзор на интересующую продукцию. Вы верите отзывам, даже если они заказные. И еще один момент. Если вы хотите получать активный трафик, то вам придется развивать свой ресурс. Можно создать блог или раздел с полезным контентом. Не важно, что вы выберете.

Подводя итоги, можно с уверенностью сказать, что сайты агрегаторы — это реальная возможность получить хорошую прибыль.

Читать еще:  Посещение чужого сайта
Ссылка на основную публикацию
Adblock
detector