З чим може бути пов’язана проблема парсингу жабою?
В індексі 5к сторінок, жаба парсить при цьому тільки 2к урлів. Більшу частину урлів це товари, які є в індексі пошукових систем, а жаба при цьому деякі навіть позначає як non-indexable.
Через що виникає подібна проблема і як її вирішити?
Можливі причини того, що Screaming Frog не обходить всі сторінки сайту:
- Найбанальніше – у не проіндексованих сторінок немає внутрішніх посилань. Перевірити це можна, переглянувши звіт у Screaming Frog “Внутрішні посилання”. Якщо ви дійсно виявите проблему з внутрішньою перелінковкою – виправляйте її.
- Якщо ваш сайт використовує багато JavaScript для відображення контенту, Screaming Frog може не обробляти його належним чином і пропускати деякі сторінки. Перевірте, який контент може бути недоступний без JavaScript, і переконайтеся, що Screaming Frog має можливість парсити такий контент (наприклад, увімкнувши опцію “Render JavaScript” у налаштуваннях).
- Та сама ситуація і з використанням AJAX. Якщо ваш сайт використовує багато AJAX-завантажень контенту, Screaming Frog може пропускати ці сторінки, оскільки вони не завжди виявляються під час звичайного сканування. Увімкніть режим “Crawl JavaScript” і “Crawl AJAX” у Screaming Frog для більш повного сканування.
- Якщо у вас на сайті використовуються динамічні URL-адреси, вони можуть призвести до проблем із парсингом, особливо якщо Screaming Frog не може правильно інтерпретувати параметри в URL. Розберіться з параметрами URL і переконайтеся, що Screaming Frog може обробляти їх коректно.
- Перевірте, чи немає на сайті обмежень доступу, таких як файл robots.txt, який забороняє індексацію або сканування деяких сторінок. Переконайтеся, що Screaming Frog має доступ до всіх потрібних сторінок, щоб повністю просканувати сайт.
Деякі сторінки можуть позначатися як non-indexable через проблеми із сервером, обмеження доступу або неправильне налаштування парсера. Детальніше:
- Повільні сервери або проблеми з доступністю сайту можуть призвести до того, що частина сторінок віддаватиме 500 помилок і статус non-indexable. Якщо це так, то радимо зменшити кількість потоків, щоб зняти навантаження на сервер.
- Індексування сторінок може бути заборонено метатегами robots.
