FAQ

1. Что такое парсинг?

Парсинг — это процесс получения данных с сайта. Это можно сделать путем копирования-вставки вручную или с помощью программного обеспечения. В настоящее время парсинг стал синонимом автоматического сбора данных.

2. Что я должен указать в заявке на парсинг?

– Ссылки на сайты, которые надо спарсить;
– Укажите что конкретно надо спарсить с сайтов – отзывы, цену, описание, название и т.д., лучше всего будет, если сделаете скриншот сайта и выделите цветом то, что нужно спарсить, пример ниже:
– Укажите параметры ограничивающие сбор данных – категорию, бренды или товары;
– В каком формате вам нужны данные: csv/xls/другой формат;
– Укажите периодичность сбора: раз в день, раз в неделю, раз в месяц;
– Укажите телефон и email, чтобы наши менеджеры могли с вами связаться и задать уточняющие вопросы по задаче.

3. Что произойдет после того, как я заполню форму обратной связи?

После того, как вы описали свой проект по парсингу, один из наших менеджеров внимательно изучит ваш запрос, после чего свяжется с вами для уточнения некоторых деталей, либо уже с готовым ответом о том, какая стоимость будет у вашего проекта.

4. Сколько времени потребуется, чтобы спарсить нужные данные?

На сбор данных с сайта может потребоваться от 1 дня и более, этот процесс зависит от сложности и масштабов вашего проекта. Мы оговариваем сроки и порядок выполнения для каждого проекта индивидуально.

Важно помнить одну вещь – если вы спешите с крупномасштабным проектом по парсингу, вы можете быть заблокированы исходным сайтом, что, в свою очередь, продлит проект, так как необходимо будет внедрить новое решение для парсинга.

5. Можете ли вы парсить не русскоязычные сайты?

Да, безусловно можем. Для партнеров мы парсили сайты на английском, немецком, испанском и других языках.

6. Какие именно площадки вы можете спарсить?

Мы не ограничиваемся каким-то набором площадок. Мы можем выгрузить данные с любой площадки, с которой это возможно с точки зрения законодательства.

7. Скачиваете ли вы файлы / изображения при парсинге?

Это возможно, но мы стараемся не нагружать сайты с которых осуществляем парсинг, чтобы не вредить им существенно возрастающей нагрузкой на сервер. В связи с этим предпочтительнее парсить ссылки на файлы. Если же все-таки парсятся файлы скорость парсинга может быть снижена.

8. Есть ли предел по объему данных парсинга?

Таких ограничений нет. На сегодня мы ежедневно парсим сотни миллионов страниц данных, система без проблем масштабируется под нужный объем сбора и хранения данных.

9. Можете ли вы настроить парсинг индивидуально под наши задачи?

Да, мы настраиваем парсеры под любые ваши задачи.

10. Сколько времени занимает запуск парсинга?

В среднем запуск парсинга занимает от 1 дня до 1 недели в зависимости от готовности сайтов и требований к сбору данных.

11. Можно ли автоматизировать передачу данных парсинга?

Да, мы выдаем данные любым автоматизированным способом: API, облачные хранилища Google, Yandex, FTP, отправка на Email.

12. Умеете ли вы обходить защиту от парсинга и блокировки?

Да, мы применяем разные программные методы обхода защиты и блокировок чтобы собрать нужные данные. Все методы относятся исключительно к законным способам и не нарушают работу сайтов.

13. Делаете ли вы сопоставление (матчинг) товаров?

Да, у нас имеются инструменты для выполнения этой задачи.

14. Делаете ли вы тестовый парсинг данных перед началом полного проекта?

Да, мы гибко подходим к сотрудничеству и часто сначала проводим тест, чтобы убедиться, что нашего клиента всё устраивает.

15. Умеете ли вы обходить капчу при парсинге?

Сегодня есть множество способов обходить такую защиту с помощью интеграции в программу-парсер. Поэтому особой проблемы с получением данных, защищенных этим методом нет

16. Можно ли интегрировать куда-то полученные данные?

Да, все полученные данные могут быть интегрированы в 1С, CRM-системы, CMS-системы, BI-системы и так далее.

17. Парсите ли вы сайты с авторизацией?

Да, только делаем это очень аккуратно. Это сложнее обычного парсинга, так как сайты-источники блокируют частые запросы к своим серверам, но, зачастую, зарегистрированным пользователям доступны api и есть возможность работы с использованием нескольких аккаунтов.

18. Используете ли вы готовые программы для парсингов сайтов?

Нет.

Хоть сейчас и существует много различных инструментов для парсинга, все они являются в той или иной степени универсальными и решают общие задачи. Их тяжело адаптировать под нетривиальные требования. Часто бывает так, что в существующий парсинг требуется внести изменения, которые не поддерживает программа, и мы упираемся в ее функционал. Это может быть уникализация контента или обработка текста типографом. Это проблема всех «коробочных» решений, касающихся не только парсинга. Поэтому мы используем свои наработки, которые легко и точно настраиваются под конкретные задачи.

19. Можно ли спарсить товары интернет-магазина определенной категории/цены либо согласно другому параметру?

Да. Вы можете выбрать определенные категории товаров, отдельные разделы сайтов, выборочные страницы и пр. Мы аккуратно распределим и положим эту информацию в один или несколько файлов, в удобном для вас виде.

20. Какие способы оплаты существуют?

Оплата производится на расчётный счёт Компании.

Законно ли парсить сайты?

Мы ранее написали статью по этому поводу в нашем блоге. Если вкратце отвечать на этот вопрос, то да, парсить общедоступную информацию с сайтов законно.

Как избежать блокировки при парсинге сайта?

Веб-сайт может заблокировать парсер, если слишком много парсить. Чтобы избежать этого, необходимо настроить действия парсера похожими на человека, а не на робота. В этом также может помочь добавление задержки между запросами и использование прокси-серверов.

Мы поделились с вами наиболее часто задаваемыми вопросами о парсинге сайтов. Если у вас возникнут дополнительные вопросы или у вас есть задача связанная с парсингом, которую вы хотите решить, свяжитесь с нами через форму обратной связи, напишите в телеграм или позвоните по телефону.

Возможно ли парсить данные на сайтах, требующих авторизации?

Да, вы можете сканировать данные на сайте с авторизацией, если у вас есть действующий аккаунт на сайте. Процесс парсинга будет иметь более “осторожный” характер, но в целом, ничем не отличается.

Может ли парсер скачивать файлы с веб-сайтов?

Да, существует множество инструментов для парсинга, которые могут в процессе сканирования текстовой информации скачивать файлы непосредственно с веб-сайта и сохранять их на Dropbox или других серверах.

Парсите ли вы закрытую информацию?

Нет, мы не собираем конфиденциальные данные. Мы имитируем запросы, которые может выполнить любой посетитель сайта.

Каке цены и скидки на товары и услуги?

Да, количество товаров влияет на цену, но незначительно. Оплата формируется исходя из часов работы.

Можно ли парсить сайты, которые не относятся к интернет-магазинам?

Да, мы парсим любую информацию в открытом доступе и предоставляем её в любом удобном для вас формате.

Вопрос-ответ