⚙️ Обходимо захист від сканування в Screaming Frog SEO Spider.

Якщо ви часто скануєте сайти жабою, напевно стикалися з ситуацією, коли в результатах одна сторінка, найчастіше з редиректом. Якщо це не SPA сайт, то значить ви зіткнулися із захистом від парсингу, який можна спробувати обійти.

Для обходу захисту:

  1. Заходимо в Configuration – Authentication – Forms Based
  2. Тиснемо + Add;
  3. Залишаємо незмінною адресу сайту;
  4. Чекаємо завантаження сайту у внутрішньому браузері (так ми проходимо перевірку на людяність і отримуємо куки);
  5. Перезапускаємо сканування.

Цей спосіб допомагає в більшості випадків. Більш наочно в короткому відео, де розібрав обхід захисту на прикладі двох сайтів.

  • 00:00 – Старт
  • 00:40 – Обхід оборони LeroyMerlin
  • 2:05 – В обхід Eastwesthome
  • 3:20 – Підсумок

Додати коментар