Когда готового парсера мало: делаем на заказ

Если одни и те же данные приходится каждый день собирать с сайта вручную и переносить в таблицу, скорее всего, этот процесс можно автоматизировать.

Мы запустили услугу, которая закрывает такие задачи: разработку парсеров на заказ. Каталог Облачного парсера покрывает популярные сайты поставщиков, и для большинства задач этого достаточно. Но запросы, которые в каталог не помещаются, приходят регулярно — и отвечать на них «мы такое не делаем» стало странно. Поэтому выделили разработку под конкретную задачу в отдельную услугу, всё про неё собрали на странице разработки парсеров на заказ.

Когда нужен парсер под задачу

Ниже — ситуации, с которыми к нам приходят чаще всего. Если узнали свою, скорее всего, она решается.

• Нужного сайта нет в каталоге. Поставщик небольшой или узкоспециализированный, добавлять его в общий каталог смысла нет, а работать с ним нужно вам.
• Нужны не товары. Тендеры с торговых площадок, цены конкурентов, упоминания бренда, отзывы, вакансии, объявления — всё, что не укладывается в карточку товара.
• Данные нужны в вашей системе, а не файлом. Чтобы они попадали сразу в CRM, 1С или BI, а не выгружались, чтобы кто-то перенёс их руками ещё раз.
• Источников несколько, а сводка нужна одна. Пять площадок, десять конкурентов, три поставщика — собираем в одну задачу и отдаём общим списком, приведённым к единому виду.
• Вокруг сбора есть ещё ручная работа. Данные нужно сверить, сравнить с прошлой выгрузкой, свести в регулярный отчёт.

Чем это отличается от привычной работы через каталог

Если сайт поставщика уже есть в каталоге, заказывать ничего не нужно: вы запускаете сбор сами, платите по тарифу за количество сайтов и ни от кого не зависите. Это был и остаётся основной сценарий, и переводить вас с него на платную разработку мы не собираемся.

Заказная разработка — про то, что самостоятельно не решается. Источника в каталоге нет и он туда не просится. Или собирать нужно то, что в карточку товара не укладывается в принципе. Или результат должен приходить в вашу систему в вашем формате. В таких случаях парсер пишется под конкретный источник, а данные отдаются в том виде и в том месте, где они вам нужны.

Что чаще всего просят собирать

• Цены конкурентов. Ежедневный срез вместо еженедельной сверки руками.
• Тендеры и закупки. Сводка с нескольких площадок к началу рабочего дня.
• Каталоги, ассортимент и остатки поставщиков. Готовый файл там, где сам поставщик выгрузку не даёт.
• Данные маркетплейсов. Позиции, карточки, отзывы, аналитика по категориям.
• Упоминания бренда и контроль цен дилеров. Всё, что сейчас ищут поиском и сводят вручную.

Список не закрытый. Если задача связана с регулярным сбором данных, скорее всего, её тоже можно автоматизировать — опишите, посмотрим.

Когда достаточно API, а когда нужен парсер

Если у источника есть открытый API или готовая выгрузка — берите их. Это проще, быстрее и надёжнее любого парсинга сайтов: данные приходят в оговорённом формате и не ломаются от смены вёрстки. Мы сами первым делом смотрим, нет ли такого способа, и говорим о нём, даже когда это означает, что заказ нам не достанется.

Парсер нужен в остальных случаях: API нет вовсе; он есть, но отдаёт не те поля, которые нужны; доступ платный или выдаётся не всем; источников много и у каждого свой формат. В последнем случае сбор данных с сайта часто оказывается даже удобнее — всё приводится к одной структуре независимо от того, как устроен каждый источник.

Куда попадают собранные данные

Данные должны приходить туда, где вы с ними работаете, а не туда, откуда их придётся переносить ещё раз. Поэтому способ выгрузки подбираем под вашу сторону:

• файлом на ваш FTP или в S3;
• письмом на почту;
• скачиванием с нашего сервера;
• прямо в Google Sheets — удобно, когда с данными работают сотрудники без технических навыков;
• вебхуком или через API — чтобы данные попадали сразу в вашу CRM, 1С или BI.

Формат тоже ваш: таблица, CSV, XML, JSON — какой примет принимающая сторона.

Парсинг — основное направление, но не единственное

Если рядом со сбором данных есть другая ручная работа — регулярные отчёты, перенос данных между сервисами, обработка файлов — расскажите о ней в заявке. Посмотрим, получится ли автоматизировать, и прямо скажем, если задача не наша. Отказ на этом этапе честнее, чем взятая и не сделанная работа.

Почему нельзя назвать цену сразу

Цену мы не указываем на сайте и не назовём в переписке до того, как посмотрим источник. Причина простая: два внешне одинаковых сайта могут отличаться по трудоёмкости в разы. Значение имеет, сколько полей нужно собрать, как устроена навигация по разделам, нужен ли вход в закрытую часть сайта, насколько источник стабилен и как часто нужны свежие данные.

Назвать «среднюю» цену можно было бы, но она была бы бесполезна: половине задач мы бы завысили стоимость, половине — занизили и потом пересматривали. Поэтому оценка задачи бесплатна: мы смотрим источник и отвечаем, реализуемо ли это, во сколько обойдётся и в какой срок. Решение вы принимаете уже с цифрами на руках.

Как проходит работа

1. Заявка. Вы описываете, что и где нужно собирать.
2. Оценка. Смотрим источник, называем стоимость и срок. Если стабильно собирать не получится — скажем здесь, а не после оплаты.
3. Разработка. Пишем и тестируем парсер на реальных данных вашего источника.
4. Передача и поддержка. Источник поменял вёрстку — чиним, чтобы сбор данных не останавливался.

Подробнее каждый шаг расписан на странице услуги, там же — ответы на частые вопросы: про законность сбора, про периодичность обновления, про работу с защищёнными сайтами.

Как оставить заявку

Откройте страницу «Разработка парсеров на заказ» и нажмите «Описать задачу». Чем конкретнее описание, тем предметнее будет ответ — вместо встречных уточняющих вопросов.

Что стоит указать сразу:

• Ссылки на источники. Не только на главную: пришлите ссылку на список и на конкретную карточку — по ним видно, как устроен сайт.
• Какие поля нужны. Название, цена, остаток, артикул, дата, ссылка — перечислите то, что реально пойдёт в работу.
• Как часто нужны свежие данные. Разово, ежедневно, каждый час — от этого заметно зависит и решение, и стоимость.
• Куда данные должны попадать. Таблица, ваш FTP, CRM, 1С — чтобы мы сразу закладывали нужный способ доставки.
• Нужен ли вход в закрытую часть сайта. Если данные видны только после авторизации, скажите об этом сразу — нам нужно проверить, получится ли забирать их стабильно.

Мы занимаемся сбором данных с 2015 года. Если задача решается — скажем, сколько это стоит. Если не решается — скажем и это, прямо.