Підготував докладний мануал з безкоштовного захисту сайту за допомогою сервісу CloudFlare і вбудованого в нього файрвола від непотрібного навантаження, до якого також належать поведінкові боти.
Кого фільтруємо:
- Активність із непотрібних країн (акуратніше, у багатьох зараз VPN);
- Ботів під IPV6 і тих, хто стукає без HTTPS;
- Тих, хто звертається за протоколом нижче HTTP/2;
- Краулери різних сервісів – Ahrefs, MegaIndex, ….;
- Забороняємо парсити сайт програмами – Screaming Frog SEO Spider, Netpeak Spider, ….;
Таймкоди:
- 00:00 – Що за боти і навіщо їх фільтрувати?
- 2:26 – Вмикаємо автоматичний редирект з HTTP на HTTPS
- 2:46 – Починаємо налаштування фільтрації
- 3:04 – Правило 1
- 7:10 – Правило 2
- 8:57 – Правило 3
- 11:40 – Правило 4
- 12:49 – Правило 5
- 15:08 – Перевірка коректності через системи аналітики
- 16:34 – Перевірка за допомогою сервісів
- 18:08 – Пробуємо спарсити сайт краулером
- 19:30 – Другий етап захисту від ПФ ботів
Налаштування
Пускаємо всіх ботів (включаючи Мейл) – (cf.client.bot) or (http.user_agent contains “Mail.RU_Bot”) | Дія Allow
Блокуємо недружні країни – (ip.geoip.country ne “RU” and ip.geoip.country ne “BY” and ip.geoip.country ne “KZ”) |
Дія Block
Фільтруємо IPV6 + NOTSSL – (ip.src in {::/0}) or (not ssl) | Дія – LEGACY CAPTCHA
Блокуємо HTTP1.1 трафік – (not http.request.version in {“HTTP/2” “HTTP/3” “SPDY/3.1”}) or (http.referer eq “”) |