Іноді в мережі можна почути обурення з приводу того, що описувані підходи до парсингу занадто складні для звичайного користувача. І добре б “взяти все і спростити”, щоб можна було впоратися самостійно.

Що ж, вашій увазі пропонується експрес-огляд рішень із серії “простіше нікуди”: інструменти, що розглядаються, навіть не треба встановлювати на комп’ютер – вони налаштовуються простими рухами миші. При цьому такі інструменти не можна назвати примітивними. Хоча деякі – так, йдуть шляхом мінімалізму можливостей, зате інші є по суті “тонким клієнтом”, за яким сховалася міць хмарного сервісу, багатство величезного пулу проксі-серверів і хитрість штучного інтелекту.

Неможливо уявити сучасний бізнес без аналітики інформації, зібраної в інтернеті. Очевидно, що добувати дані вручну довго не вийде: не вистачить ні часу, щоб переглядати сторінки, ні уваги, щоб не припускатися помилок під час нескінченних операцій копіювання і вставки. URL-адреси, сторінки, таблиці, картинки і приховані від ока дані – це лише невеликий перелік того, що треба “прочитати” на веб-сторінках, зберегти і систематизувати.

І єдиним виходом у таких випадках стає автоматизація. А коли ми говоримо про автоматизацію збору даних, представлених десь у мережі, то ми говоримо про парсинг.

Що таке парсинг?

Парсинг – набір технологій і прийомів для збору загальнодоступних даних і зберігання їх у структурованому форматі. Дані можуть бути представлені безліччю способів, як-от: текст, посилання, вміст комірок у таблицях тощо.

Найчастіше парсинг використовують для моніторингу ринкових цін, пропозицій конкурентів, подій у новинних стрічках, а також для складання бази даних потенційних клієнтів.

Вибір інструменту залежатиме від безлічі чинників, але насамперед від обсягу видобутої інформації та складності протидії захисним механізмам. Але чи завжди є можливість або необхідність у залученні фахівців? Чи завжди на сайтах зустрічається захист від парсингу? Можливо, в якихось випадках можна впоратися самостійно?

Тоді що може бути зручніше, ніж усім звичний Google Chrome?!

Розширення для браузера – це хороший інструмент, якщо потрібно зібрати відносно невеликий набір даних. До того ж це робочий спосіб протестувати складність, доступність і здійсненність збору потрібних даних самостійно. Усе, що потрібно, – завантажити вподобане розширення і вибрати формат для накопичення даних. Зазвичай це CSV (comma separated values – текстовий файл, де однотипні фрагменти розділені обраним символом-роздільником, зазвичай комою, звідси і назва) або звичні таблички Excel.

Нижче представлено порівняння десяти найпопулярніших розширень для Chrome.

Забігаючи наперед:

• усі платні розширення мають деякий безкоштовний період для ознайомлення;
• тільки три – Instant Data Scraper, Spider і Scraper – повністю безкоштовні;
• усі платні інструменти (крім Data Miner) мають API (Application Program Interface – програмний інтерфейс, який дає змогу налаштувати спільну роботу з іншими програмами).

WebScraper

WebScraper – це простий у використанні інструмент для вилучення даних, створений з урахуванням усіх особливостей сучасного інтернету; дає змогу в багатьох випадках для налаштування парсингу обійтися найпростішим зазначенням даних за допомогою миші – а це лічені хвилини! – і ось уже надходять дані з тисяч веб-сайтів.

Інструментом можна покористуватися безкоштовно (з деякими застереженнями, але про це нижче) . Усе, що потрібно зробити – налаштувати селектори, а всю іншу роботу зробить WebScraper.

Незважаючи на досить прості використовувані структури, за його допомогою можна буде витягувати дані з таких сайтів, як eBay або Amazon – і це при тому, що їхній вміст змінюється надзвичайно динамічно.

Хіба не чудово, що без програмування, без володіння глибокими експертними знаннями – а лише за допомогою простої інсталяції розширення в браузер – можна цілком успішно виконувати цілу низку завдань з парсингу?

А якщо задіяти хмарний сервіс WebScraper, то вдасться замахнутися і на складніші завдання, такі як парсинг в автоматичному режимі.

Користувачів: 400 000+.

Оцінка: 4,0.

Оглядів: 749.

Пробний період: є (тільки для самостійного використання) .

Документація: відео-уроки та онлайн-документація.

Використовуваний формат: CSV, XLSX, JSON.

Підтримка: спільнотою, а також електронною поштою.

API: так.

Зберігання даних: до 30 днів на найпростішому тарифі.

Тарифний план:

• Project: 5000 хмарних кредиток (cloud credits), паралелізація у два потоки, 30 днів для зберігання даних;
• Professional: 20 000 кредиток, три потоки, 30 днів зберігання;
• Business: 50 000 кредиток, п’ять потоків, 60 днів зберігання;
• Scale: необмежене число кредиток, паралелізація від трьох потоків, 60 днів зберігання.
• Простота інтерфейсу: дані можна витягувати, не вдаючись до програмування, просто вибираючи потрібні елементи.

Витяг динамічних даних:

• підтримується JavaScript і AJAX;
• можна переміщатися по всіх елементах даних на основі категорій, підкатегорій;
• підтримується посторінкова розбивка;
• доступно безліч можливостей для вилучення тексту, зображень та іншого.

Планувальник: можна скласти розклад вилучення даних: щогодини, щодня, щотижня.

Проксі: під час використання розширення будуть задіяні проксі-сервери для імітації трафіку звичайного користувача, відповідно, приховано не тільки IP-адресу дослідника, а й проводиться ротація IP-адрес.

Парсер: відмітною особливістю є автоматизована пост-обробка даних: немає необхідності писати скрипти для заповнення електронних таблиць.

Grepsr Browser Extension

Тим, хто хоче зануритися у світ парсингу глибше, варто придивитися до наступного героя нашого огляду – Grepsr Browser Extension. Він має дещо більші можливості і зможе зібрати дані з ширшого кола веб-сайтів. Дані, звичайно ж, можуть бути зібрані в електронні таблиці. Але… Якщо задіяти API, що надається, то можна домогтися і складнішої агрегації даних.

Як і в попередньому розглянутому випадку, налаштувати парсинг можна лише за допомогою миші. (Ах! Завжди б це було так просто!) Кілька секунд (за належного тренування) – і електронні таблиці наповнюються даними! Так, знову можна займатися парсингом, не будучи знайомим із програмуванням.

Можна інтегрувати Grepsr у свій додаток. Для цього можна задіяти API, що надається, і тут уже, звісно, без програмування не обійтися.

Ще одна перевага Grepsr – не треба встановлювати на комп’ютер жодних програм. Достатньо вказати на потрібний елемент у браузері – а простий та інтуїтивно зрозумілий інструментарій спарсить дані та заповнить електронні таблиці.

Користувачів: 10 000+.

Оцінка: 3,6.

Оглядів: 59.

Пробний період: так (до 1000 записів на місяць) .

Документація: проста.

Використовуваний формат: CSV, JSON, or XLSX (Excel) .

Підтримка: чат та електронна пошта.

API: так.

Зберігання даних: до 30 днів на безкоштовному тарифі.

Тарифний план:

• Free: повністю безкоштовний без обмежень за часом, можна робити до 1000 записів на місяць, дає змогу здійснювати до п’яти запланованих запусків на місяць, доступно три звіти на місяць, зберігання даних до 30 днів;
• Basic: 50 доларів на місяць (при щоквартальній оплаті), при цьому на місяць доступно: до 150 000 записів, до 30 запланованих запусків, на зберігання даних дається 60 днів;
• Advanced: 250 доларів на місяць (оплачувати треба щомісяця), відповідно на місяць: 1 000 000 записів, 100 запланованих запусків, 200 звітів і 90 днів на зберігання отриманих даних.
• Простота інтерфейсу: просте вилучення даних за допомогою простої вказівки на сторінці браузера.
• Планувальник: дає змогу запланувати досить часте оновлення даних.
• Збереження даних: можна використовувати такі технології та інструменти як FTP, Google Drive, Dropbox.

Agenty

Agenty – це зручний інструмент для більш просунутого парсингу, а також для масованого вилучення даних. Незважаючи на безкоштовність, дає змогу витягувати дані одночасно з безлічі сайтів. Звичайні користувачі, не досвідчені в програмуванні, безумовно оцінять таку особливість як “Анонімний парсинг”.

Витяг даних у режимі реального часу за кілька кліків мишею – хіба це не вражає?

А ті, хто володіє програмуванням на С#, знайдуть для себе майже безмежні можливості: можна створювати та видозмінювати логіку скриптів для витягування даних, скриптів відстеження та виявлення змін, скриптів обходу посилань – і все це за допомогою розширення для браузера!

Користувачів: 10 000.

Оцінка: 4,1.

Оглядів: 168.

Пробний період: безкоштовно перші 14 днів або 100 сторінок.

Документація:

• навчальні відео;
• керівництво користувача;
• обмежена допомога в налаштуванні;
• навчання у форматі “один на один”.
• Використовуваний формат: JSON, CSV, TSV.
• Підтримка: чат, електронна пошта, телефон.
• API: так.

Тарифний план (на місяць):

• Basic: 29 доларів, до 5000 сторінок, до 10 виконуваних скриптів, 7 днів на зберігання даних;
• Professional: 99 доларів, до 75 000 сторінок, до 100 виконуваних скриптів, 15 днів на зберігання даних;
• Business: 249 доларів, до 250 000 сторінок, до 250 виконуваних скриптів, 30 днів на зберігання даних.
• Простота інтерфейсу: витяг даних без програмування за допомогою вибору CSS-селекторів.
• Планувальник: є.
• Парсер: за один раз скрипти можуть обходити сотні і мільйони сайтів – це робиться анонімно для замовника; більше того, можна перенаправити потік здобутих даних на власний сервер!

Listly

Цей сервіс буде корисний як маркетологам (які не завжди володіють технічними навичками), так і просунутим розробникам. Перетворювати одним клацанням миші веб-сторінки в електронні таблиці – чи це не мрія маркетолога?

Listly автоматично витягує потрібні дані і розподіляє їх по таблицях Excel за лічені секунди. Може проробляти це щодня просто на основі введених URL.

Користувачів: 120 000+.

Оцінка: 4,0.

Оглядів: 53.

Пробний період: 100 URL на місяць.

Документація: відео-уроки та онлайн-документація.

Використовуваний формат: CSV, JSON (крім Excel) .

Підтримка: електронна пошта.

API: є.

Тарифний план:

• Free: 100 URL на місяць, необмежене вилучення даних з однієї сторінки, всі дані доступні для збереження;
• Business і Business-1Y: (90 доларів на місяць і 990 на рік відповідно), 9000 URL на місяць, одночасний витяг по 15 URL, час роботи до 10 хвилин, доступні API, налаштування проксі та багато іншого.
• Планувальник: доступний тільки на платних тарифних планах, дає змогу автоматизувати процеси та інформувати користувача листами на електронну пошту.
• Додатково: підтримує автоскролінг для завантаження більшої кількості даних на сторінку, а також встановлення часу очікування повного завантаження.

Data Miner

За задумом авторів покликаний зробити парсинг максимально невтомливим заходом. Крім простих користувачів орієнтується на професіоналів. Заявлено, що це найбільш популярний інструмент серед “професійних добувачів” даних.

На безкоштовному тарифі Data Miner дає змогу обробляти до п’ятисот веб-сторінок на місяць. Для експорту доступно безліч форматів. Усе налаштування здійснюється “в один клік”.

Особливо корисний, якщо вдасться інтегрувати його з SEO- або CRM-системою.

Користувачів: 200 000+.

Оцінка: 4,0.

Оглядів: 592.

Пробний період: 500 сторінок.

Документація: онлайн-керівництво.

Використовуваний формат: XLS, CSV, XLSX, TSV.

Підтримка:

• допомога для особливих випадків від 150 доларів на місяць;
• вартість занять “один на один” від 50 доларів за 30 хвилин.
• API: немає.

Тарифний план (усі дані вказані для місячного періоду):

• Solo: 20 доларів, 500 сторінок;
• Small Business: 49 доларів, 1000 сторінок;
• Business: 99 доларів, 4000 сторінок;
• Business Plus: 200 доларів, 9000 сторінок.

Налаштування:

• дає змогу створювати власні інструкції для прискорення парсингу, що допомагає під час посторінкової розбивки даних;
• дає можливість написання javascript-сценаріїв;
• імітує скролінг і клацання миші.

Витяг динамічних даних: Крім звичайних для таких інструментів можливостей, як-от: витяг даних із таблиць, списків, картинок та іншого – підтримує парсинг документів, розбитих на сторінки, а також роботу з ресурсами, що вимагають авторизації.

Додатково:

• можна використовувати сценарії javascript для очищення витягнутих даних;
• за допомогою javascript також здійснюється обробка електронних листів і профілів у соціальних мережах;
• підтримується автозаповнення форм.

Parsers

Як і решта, Parsers витягують дані з веб-сторінок та імпортують їх у ті самі CSV, JSON та електронні таблиці. Виявляється надзвичайно корисним підприємцям тим, що може допомогти аналізувати конкурентів і стан ринку. Дозволяє завантажувати каталоги, ґрунтуючись на заданих характеристиках.

Що ще відокремлює Parsers від інших розглянутих рішень, так це те, що він у своїй роботі спирається на машинне навчання. І все що залишається зробити користувачеві – це вказати на потрібні дані на одній зі сторінок веб-сайту, який його цікавить.

Ґрунтуючись на технологіях машинного навчання, складна система, що стоїть за простим розширенням для браузера, знайде потрібні дані без виснажливого для користувача розв’язання питань, пов’язаних із посиланнями, обробкою посторінкового розбиття документів, і тому подібних речах, про які зазвичай доводиться піклуватися самостійно.

Однак треба мати на увазі, що ця штука не працює із соціальними мережами.

Користувачів: 10 000+.

Оцінка: 3,3.

Оглядів: 60.

Пробний період: 1000 сторінок за один запуск.

Документація: відео-уроки та статті в блогах.

Використовуваний формат: XLS, XLSX, CSV, JSON, XML.

Підтримка: чат, електронна пошта, допомога спільноти.

API: є.

Тарифний план:

• Lite: 20 доларів на місяць, 5000 сторінок за запуск (загалом 1 440 000), два веб-сайти одночасно, звичайні проксі, 20 потоків, що виконуються одночасно;
• Standard: 49 доларів на місяць, 20 000 сторінок за запуск (загалом 2 160 000), 3 веб-сайти паралельно, звичайні проксі, 30 потоків, які виконуються одночасно;
• Business: 99 доларів на місяць, 50 000 сторінок за запуск (загалом 2 880 000), 4 веб-сайти одночасно, поліпшені проксі, 40 потоків;
• Professional: 199 доларів на місяць, 100 000 сторінок за запуск (загалом 3 600 000), 5 веб-сайтів одночасно, поліпшені проксі, 50 потоків.
• Простота інтерфейсу: відштовхується від використання машинного навчання, і процес налаштування стає “простіше нікуди”: необхідно лише вказати на дані, які цікавлять.

Планувальник: дає змогу досить часто оновлювати зібрану інформацію.

Парсер: дає змогу витягувати дані з картинок, таблиць, каталогів, URL-адрес, а також контенту, сформованого за допомогою javascript.

Instant Data Scraper

За допомогою штучного інтелекту Instant Data Scraper може витягувати дані з будь-якого веб-сайту. Цей інструмент стоїть дещо осторонь від інших учасників нашого огляду, тому що його налаштування не залежить від скриптів, що розпізнають вміст вебу. Навпаки, він використовує евристичний штучний інтелект для вилучення даних.

Звичайно, бувають випадки, коли користувач насправді шукає щось інше. Тоді доводиться налаштовувати вибірку ретельніше і сподіватися отримати бажані результати.

Це розширення подобається багатьом, тому що воно не тільки не потребує програмування, а й узагалі унеможливлює будь-яку складну взаємодію. Веб-сторінки сильно відрізняються за внутрішньою структурою одна від одної, і для налаштування парсерів зазвичай доводиться виконувати багато ручної роботи. Позбавлення від тривалої підготовчої рутини означає, що можна отримувати дані негайно ж, щойно виникає необхідність.

Користувачів: 200 000+.

Оцінка: 4,9 – найвища!

Оглядів: 1589 – рекордна кількість оглядів!

Пробний період: відсутній, оскільки розширення і так безкоштовне.

Документація: відео, керівництво.

Використовуваний формат: XLS, XLSX, CSV.

Підтримка: здійснюється спільнотою у Facebook.

API: немає.

Тарифний план: інструмент безкоштовний для особистого використання, але можна запросити підтримку і повні можливості SaaS, які, звісно ж, безкоштовними не будуть.

Простота інтерфейсу: заснована на використанні штучного інтелекту, що дає змогу в типових випадках уникнути всіх труднощів для налаштування вилучення даних.

Парсер: підтримує сторінки з нескінченним скролінгом, обхід посилань, налаштування часу очікування і швидкості переміщення сторінками.

Simple Scraper

Створює автоматизовані сценарії, що дають змогу розпарсувати тисячі сторінок. “Ні конфігурування, ні кодування” – так заявляється про його простоту на офіційному веб-сайті. Швидко, безкоштовно, “за один клік” можна отримати потрібні дані та зберегти їх у Google Sheets, Integromat, Zapier.

Користувачів: 30 000+.

Оцінка: 4,8.

Оглядів: 156.

Пробний період: необмежений локальний парсинг + 100 хмарних кредиток.

Документація: навчальні відео, керівництво.

Використовуваний формат: CSV, JSON.

Підтримка: чат та електронна пошта.

API: є.

Тарифний план:

• Plus: 35 доларів на місяць, 6000 хмарних кредиток;
• Pro: 70 доларів на місяць, 20 000 хмарних кредиток;
• Premium: 150 доларів на місяць, 50 000 хмарних кредиток.

Простота інтерфейсу: дає змогу уникнути будь-якого кодування і складних налаштувань.

Парсер: може витягувати дані з посилань, картинок, URL-адрес, таблиць тощо, а в разі використання хмарного сховища додатково з’являються можливості з використання сценаріїв для одночасного парсингу кількох сайтів.

Spider

Просте розширення для браузера, достатнє для того, щоб почати експериментувати з парсингом. Підійде тим, хто шукає найпростіше рішення. Не потребує жодного конфігурування, не кажучи вже про кодування. Дуже схожий із попереднім сусідом за списком.

Користувачів: 8000.

Оцінка: 4,0.

Оглядів: 23.

Документація: відео-уроки.

Використовуваний формат: CSV, JSON, електронні таблиці.

API: немає.

Scraper

Знадобиться деяке знання XPath, щоб використовувати цей парсер. Ще одне просте розширення, яке допоможе зібрати дані з інтернету, але розраховане на просунутих користувачів.

Користувачів: 100 000+.

Оцінка: 4,0.

Оглядів: 359.

Пробний період: відсутній, розширення повністю безкоштовне.

Документація: відео-уроки.

Використовуваний формат: Google Spread Sheet.

Підтримка: немає.

API: немає.

Висновок

Розглянуті рішення шукають і знаходять свій шлях на ринку збору відкритих даних. У когось це виходить краще, у когось простіше. Інструменти парсингу несуть свою місію: допомагають бізнесу розвиватися і поліпшуватися, а потреба в них і далі зростатиме експоненціально.

Звісно, всі засоби, розраховані на широке вживання, опиняються “не при справах” у тому разі, коли натрапляють на протидію парсингу з боку сайтів, які не бажають ділитися інформацією.

Наприклад, що штучний інтелект робитиме, коли виявиться, що javascript на сторінці активно “засмічує” DOM (Document Object Model – об’єктна модель документа) невидимими звичайному користувачеві недійсними даними? Скільки часу мине, перш ніж замовник виявить, що парсер зібрав некоректні дані і немає жодного сенсу на них спиратися? У що це обійдеться?

Якщо бізнес серйозний, то можна нарватися на великі неприємності, займаючись парсингом самостійно або залучаючи недостатньо кваліфікованих фахівців. Ми знову повертаємося до обурення з приводу позірної надмірної складності під час вибудовування грамотного парсингу. Витонченість протидії збору даних зростає. І варто мати на увазі, що “взяти все і спростити” не завжди виявляється виправданим і безпечним.