Розповідаю про сервіс CloudFlare, який використовується для захисту сайтів від ботів, накрутки поведінкових факторів, спаму, DDOS-атак. І які налаштування вплинули на SEO – ранжування в пошукових системах Яндекс і Google.
Тайм-коди, зміст відео в YouTube:
- 0:00 Вступ. Що таке CloudFlare.com?
- 0:36 Реєструємося в CloudFlare.com
- 0:53 Перевіряємо свій сайт на блокування Роскомнаглядом
- 1:19 Додаємо сайт у CloudFlare
- 1:36 Обираємо безкоштовний тарифний план у CloudFlare
- 1:43 DNS-записи домену та їх звірення із записами на хостингу
- 3:03 Прописуємо NS-записи CloudFlare замість NS-записів хостингу в реєстраторі доменних імен,
- чекаємо оновлення до 48 годин
- 4:07 Вмикаємо DNSSEC
- 4:46 Налаштовуємо SSL/TLS – налаштовуємо безпечне підключення та сертифікати
- 6:10 Налаштовуємо WAF (Web Application Firewall) – 5 правил безпеки брандмауера, які відсікають
- близько 90% ботів на сайт
- 6:27 Створюємо правила у WAF. Види блокування
- 7:09 1 правило. Дозволяємо Білих ботів
- 7:36 2 правило. Видаємо капчу: хто не SSL або має IPV6
- 8:52 3 правило. Видаємо капчу, хто не HTTP2+ або з порожнім реферером
- 9:58 4 правило. Блокуємо погані парсери
- 10:15 5 правило. Погані країни – на розсуд CloudFlare
- 10:50 Дивимося звіт Географія в Яндекс.Метриці
- 11:46 Вмикаємо Bot Fight Mode – виявлення JavaScript у ботів
- 12:14 Вмикаємо Early Hints – передзавантаження сторінок, прискорення
- 12:35 Скидаємо кеш Purge Cache – Purge Everything
- 12:53 Вмикаємо Browser Cache TTL – Respect Existing Headers
- 13:10 Вмикаємо Crawler Hints – прискорюємо індексацію пошуковими системами (можливо використовують IndexNow)
- 13:56 Page Rules – налаштовуємо 3 правила базових редиректів на рівні брандмауера використовуючи Forwarding URL + 301 – Permanent Redirect
- 15:33 Вмикаємо Normalize URLs to origin – прибираємо подвійні слеші та закодовані символи в URL, приводимо до стандарту
- 15:43 Вмикаємо 0-RTT Connection Resumption – підвищуємо продуктивність при повторних візитах
- 15:57 Вмикаємо gRPC – для зниження використання смуги пропускання, зменшення затримок і прискорення
- 16:15 Вмикаємо Pseudo IPv4 – для підтримки сервером IPv4 під час відвідувань з IPv6
- 16:28 Увага Maximum Upload Size – більше 100 МБ користувачі не зможуть завантажити на сайт!
- 17:07 Дивимося звіти
- 17:41 Аналізуємо звіт фаєрвола – скільки ботів і тих, хто пройшов перевірку
- 18:14 Як накручують сайт, роблять відмови – як виявити і результати після ввімкнення захисту
- 21:35 Вмикаємо відображення роботного трафіку у звітах Яндекс.Метрики
- 22:22 Турбо-сторінки Яндекса і ботний трафік
- 22:55 Як CloudFlare впливає на відвідуваність з органіки?
- 23:08 Дивимося звіт за сторінками в Яндекс Вебмайстер
- 24:03 Дивимося звіт за сторінками в Google Search Console
- 24:37 Дивимося звіт Тренди в Яндекс Вебмайстер
- 25:16 Як аналізувати вплив CloudFlare на SEO
- 25:24 Висновок
- 26:15 Що робити, якщо CloudFlare заборонять у РФ?
Після завершення налаштування DNS – відправляємо оновлення DNS за кнопкою “Check nameservers”.