Новый механизм загрузки товаров практически с любого сайта

Друзья!

В течение мая мы запустили в эксплуатацию новый механизм загрузки, позволяющий получить товары практически с любого сайта даже с установленной системой защиты. Почему практически? Наверное сайты, с которых не удастся загрузить информацию данным способом существуют, но мы их пока не встретили ).

Как правило, системы защиты сайтов от DDOS-атак устанавливаются не с целью защиты от парсинга, а с целью не дать конкурентам или злоумышленникам "повесить" сайт. Хотя парсер и создают нагрузку не более чем обычный пользователь, просматривающий товары, но все же подобные системы блокируют его работу.

Особенностью нового метода является то, что загрузка выполняется через браузер клиента, в интерактивном режиме. Т.е. страницы с товарами открываются и загружаются прямо у Вас на глазах, что автоматически позволяет избегать блокировок и проверок систем защита от DDOS-атак таких как: ввод капчи, проверка браузера, принадлежность IP-адреса к пулу индивидуального пользования. Если и возникнет необходимость решения капчи, то загрузка остановится, уведомит пользователя что необходим ввод капчи и после ее решения продолжит выполнять загрузку.

Есть несколько ограничений: загрузка только по разделам (загрузка всего сайта одним кликом не поддерживается) и невозможность использования автозагрузок.

Что это дает на практике: возможность загружать информацию практически с любого сайта с любой системой защиты и сложной динамической версткой.

Поэтому, такие сайты как Озон, Метро кеш энд кери, Леруа Мерлен, Кельвин Кляйн и ряд других популярных сайтов, загрузка с которых невозможна ни на одном другом парсере - на Облачном парсере теперь доступна!

Метод работает через Расширение для браузеров Хром, Яндекс и Опера вместо привычных закладок. Интерфейс - все та же знакомая кнопка загрузки, но запускаемая не из закладки, а через иконку расширения. Основное изменение - это загрузка прямо на Ваших глазах, а не в фоне. Даже если Вы пока не используете Расширение, то как только Вам потребуется выполнить загрузку новым методом интерфейс парсера Вам подскажет что нужно делать - все очень просто.

Мы не будем раскрывать всех деталей работы этого метода, ведь это своего рода наше Ноу-хау, но уверены, что Вы его оцените!

Вам может пригодится:

Справка по работе загрузки через расширение

Общая справка по загрузке товаров

Напомним, что сбор информации с открытых источников не является чем-либо противозаконным, даже если на сайте поставщика указано иное. Нарушения закона могут возникать тогда, когда использование данных будет нарушать авторское право или как-либо по другому приносить ущерб производителю. Если же продавец загружает товарное описание и затем покупает товар у этого поставщика, то поставщик несет не убытки а прибыль.