Ділюся кодом для блокування ботів.
Нагадую що:
- Мета коду – щоб жоден SEO інструмент, перерахований у коді (наприклад ахрефс), не міг зайти на сайт
- Код допомагає маскувати посилання з сайту, редиректи і тп.
- Ставити код на манісайт НЕМАЄ сенсу, код потрібно ставити на сайти З ЯКИХ ідуть посилання / редиректи
Ловіть, юзайте і будьте в тіні.
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (proximic|Sogou|rogerbot|mj12bot|majestic|ahrefs|semrushbot|beekport|archiver|teleport|wget|curl|megaindex|baiduspider|linkpadbot|dotbot|uptimerobot|psbot|serpstatbot|gigabot|alphabot|aspiegelbot|xforce-security|semantic-visions|barkrowler|Apache-HttpClient) [NC]
RewriteRule .* – [F,L]
- Код вставляємо у файл .htaccess, який є в корені будь-якого сайту. У самий кінець.