Завдяки боту, сайт став завантажуватися 2-5 сек. Як намагалися гальмувати бота:
Додали в robots.txt Disallow:* PageSpeed=noscript* – це частково вирішило проблему, але бот все одно сканував багато зайвих сторінок.
Робот ходив перетином фільтрів, додали ще рядок в robots.txt Disallow: *?*.
- Метатег noindex, follow працює як follow, і Googlebot потрібно досить багато часу, щоб він став трактуватися як nofollow. В даному випадку 40 днів було недостатньо.
- Googlebot знадобилося близько 17 годин, щоб застосувати нові правила robots.txt для блокування PageSpeed=noscript, і в той же час блокування “?” спрацювало протягом години.
- Збирайте логи (jetoctopus.com/3-ways-of-log-file-integration-with-jetoctopus). це в подальшому може дуже допомогти в пошуку проблем і аналізі сайту. Сучасні сховища досить дешеві, можна складати дані навіть в Dropbox вартістю 10 USD/mo за 2 ТБ даних. Якщо ж у вас великий сайт з величезними обсягами трафіку, нагадайте вашому devops про Amazon Glacier (aws.amazon.com/products/storage/?nc2=h_ql_prod_st), де за ті ж 10 USD/mo можна зберігати 25 ТБ даних.
