Однажды, к нам обратился Заказчик, являющийся представителем одной из крупнейших Ed-Tech компании России с интересной задачей — отслеживать информацию об образовательных курсах конкурентов. 

Задача, кажущаяся на первый взгляд, тривиальной, усложняется тем, что нам требуется мониторить сразу 15 сайтов, каждый из которых имеет абсолютно разную структуру.

Выходом в такой ситуации стал ИИ, который мы решили интегрировать в свою работу. Как это осуществлялось, и что из этого вышло, расскажем ниже! 

Формулировка задачи

Задачей парсинга был сбор информации о конкурентах для дальнейшей аналитики: цены, сроки обучения, программы обучения, описание курсов и так далее — всё то, что могло помочь аналитикам, маркетогам вынести правильные бизнес-решения.

С какими трудностями столкнулись

Разнообразие структур сайтов — каждый сайт имел свою структуру, более того, даже страницы с разными курсами отличались между собой. Использовать единый шаблон было невозможным.

Неодинаковая подача данных — где-то курсы обозначались как “психологический тренинг”, где-то как “образовательный модуль”, а где-то название было частью длинного рекламного текста.

Риск потери ключевой информации — при “грубом” парсинге можно было бы выгружать слишком много лишнего контента или наоборот упускать важные детали.

Как мы решили задачу? Мы объединили классический парсинг и нейросети!

Этап 1. Сбор данных.

Первым делом мы написали отдельный парсер для каждого из 15 сайтов. На этом этапе мы выгружали всё подряд, потому что профицит информации в контексте этого этапа более предпочтителен.

Этап 2. Обработка данных

На этом этапе с массивом данных начинала работать обученная нами нейросеть, которая могла экстрагировать нужную информацию из хаотичных данных,  выделяя ключевые параметры, а также привести всё к единому виду.

Этап 3. Аналитика

Отфильтрованная таблица передавалась нашему клиенту в читабельном и едином виде. Это позволяло интегрировать данные в BI-системы и проводить аналитику.

Пример выгрузки можете скачать по данной ссылке.

Результат для клиента

• До внедрения мониторинга компания не видела полной картины рынка. Регулярная актуальная выгрузка дала возможность принимать стратегические решения на основе объективных данных;
• Вместо запоздалой реакции на изменения рынка компания получила возможность оперативно корректировать цены и развивать продукт, сохраняя конкурентоспособность.;
• Анализ выгрузки выявил зоны роста, которые раньше оставались незамеченными. Их развитие привело к увеличению продаж и росту выручки на 17,6%.

Главный вывод

Несмотря на то, что это был первый раз, когда мы задействовали нейросети, и в то время (в 2024 г.) ИИ был ещё на заре своего развития, нам удалось в полной мере реализовать задуманное. Этот опыт позволил нам упростить нашу работу, что привело к увеличению эффективности и расширению методов парсинга.

А если Вам тоже требуется анализ конкурентов, Вы можете обратить к нам, оставив заявку на сайте, или по телефону +7 (929) 335-75-55!