Для развития бизнеса в интернете постоянно необходима информация о поставщиках, конкурентах, клиентах: цены, контактные данные, сведения о товарах и так далее. Эти сведения, как правило, лежат в открытом доступе, и найти их может любой желающий. Но делать это вручную — сложно и неоправданно долго.
Сегодня технологии позволяют собирать все нужные данные автоматически с помощью специальных программ. Этот метод называется парсингом.
Принцип работы программ, способных спарсить нужную информацию, предельно прост:
• алгоритм заходит на все указанные заказчиком страницы и сохраняет их код;
• скопированный код изучается в поисках необходимой информации;
• нужные данные берутся из кода и сохраняются в отдельном файле.
Существует огромное количество готовых парсеров, которые можно настроить на сбор необходимой информации. Часть из них находятся в свободном доступе, другие требуют денег за право пользования. Теоретически, и теми и другими может воспользоваться любой желающий. Однако пригодны они только для решения простых, типовых задач, и выдают результат в строго определенном виде, который не всегда удобен заказчику.
Куда продуктивнее для решения каждой конкретной задачи писать персональный парсер. Он будет учитывать особенности собираемых данных, с которым предстоит работать и выдавать данные в удобном для дальнейшей работы виде.
С помощью парсинга можно решать огромное количество задач. Среди них особенно часто встречаются следующие:
• анализ цен конкурентов и выбор адекватной ценовой политики;
• отслеживание товарооборота конкурента: количество продаж, приход товаров, прибыль, всю это информацию при желании можно собрать из открытых источников;
• составление клиентской базы для холодных обзвонов и Email-рассылки;
• наполнение интернет-магазина товарами, поиск фотографий, описаний и технических характеристик;
• подгрузка на сайт динамически изменяющихся данных, вроде остатков от поставщика, цен на услуги или курса валют;
• самопарсинг, сбор информации с собственного сайта с целью выявления технических ошибок: дублированного контента, битых ссылок и тому подобного.
Действительно, многие компании стараются защитить свой ресурс от парсинга с помощью различных технических ухищрений: указывают важную информацию в виде картинки, а не текста, блокируют адреса, с которых идут хаотичные запросы и так далее.
На самом деле такие ухищрения способы защитить только от простеньких общедоступных парсеров, а также от не слишком опытных, начинающих программистов. Опытный специалист сможет для каждого сайта написать свою программу, которая соберет нужную информацию и легко обойдет подобные защиты. Но такой специалист и работе сайта не повредит, и даже на статистику посещений слишком сильно не повлияет.
Споры о том, насколько допустим парсинг с правовой точки зрения не утихают уже довольно давно. На первый взгляд не совсем понятно, насколько законно собирать данные таким способом. К тому же автоматический сбор данных при слишком большой скорости запросов может просто напросто положить сайт, нарушить его работоспособность. Поэтому многие компании стараются разными способами защитить свои ресурсы от парсинга. И стараются убедить окружающих, что сам по себе парсинг уже не законен.
В России и странах СНГ сам по себе парсинг, то есть, автоматический сбор информации, находящейся в открытом доступе, вполне легален. И все же нужно учитывать некоторые правовые ограничения. В частности, законодательством запрещены:
• Сбор и распространение информации, которая является государственной и коммерческой тайной;
• Ограничение конкуренции;
• Нарушение авторских прав;
• Создание помех в работе веб-сайта.
При этом информация, составляющая коммерческую и, тем более, государственную тайну, не хранится в открытом доступе, то есть при обычном парсинге ее собрать и не удастся. Остается проследить за тем, чтобы не нарушить три оставшихся пункта.
Тут важно понимать, что может являться объектом авторского права, а что нет. Так, сами по себе факты не могут быть защищены авторским правом, а вот их компоновка, авторское оформление в виде текста — уже могут.
Так что взять готовый текст или фотографию у конкурентов для своего сайта можно, но с осторожностью или разрешением публикации на своем ресурсе.
А вот названия товаров, артикул, цену, технические характеристики вполне допустимо. Их можно сразу же автоматически подгружать на свой сайт и использовать совершенно невозбранно.
Эта область повсеместных двойных стандартов. Мало кто готов открыто разрешить парсить свой ресурс, но при этом большинство предпринимателей так или иначе используют парсинг в своей работе. Особенно это касается владельцев интернет-магазинов и маркетплейсов, поскольку в их работе автоматический сбор и дальнейшее обновление информации особенно необходимо.
У нас огромный опыт работы в этой области. Для каждого заказчика и каждого заказа мы пишем персональный парсер, который будет учитывать все особенности задачи:
• CMS, на которой реализован целевой сайт;
• защитные скрипты, которые на нем используются;
• необходимость авторизации;
• формат, в котором требуется предоставить готовые данные.
Обращаясь к нам, вы в кратчайшие сроки гарантированно получаете именно те данные, которые вам необходимы. И предоставлены они будут в том виде, в котором вам удобнее с ними работать.
Давайте обсудим все моменты, которые вас интересуют
