Періодично сторінки сайту видають 403 код статусу, я бачу це через Ahrefs, і іноді через Screaming Frog.
Наскільки це може заважати? Який фахівець повинен займатися цим питанням?
403 код статусу в HTTP-заголовках сторінки позначає заборону доступу. Звісно ж, у такому разі Google не зможе отримати доступ до контенту сторінки і, відповідно, проіндексувати або переіндексувати її, а наявні сторінки поступово випадатимуть з індексу.
Однак, тут треба розібратися! Чи бачить Google ці 403 статуси, чи тільки ви? Це дуже важливо зрозуміти перед прийняттям подальшого рішення. Ну і, звісно ж, потрібно розібратися, хто взагалі керує кодом статусу і може забороняти доступ.
Як дізнатися, який код статусу віддається гуглу під час сканування ним сторінок? Для цього необхідно проаналізувати серверні логи сайту. Якщо є такий досвід, то можна робити це самостійно, в іншому разі попросити сисадміна.
- Качаємо access_log сайту.
Це назва текстового файлу спеціального формату, де веб-сервер зберігає всю інформацію за запитами до сайту. Іноді не зберігає, це залежить від налаштувань веб-сервера. А доступ до файлу залежатиме від використовуваного хостингу. Найпростіше попросити у хостера надати серверні логи або вказати, де їх можна завантажити (багато хостерів дають змогу це зробити в панелі управління). Або попросити у сисадміна, якщо у нього є рутовий доступ до сервера.
- Знаходимо у файлі рядки, де до сервера звертався Google.
Тут треба вивчити формат файлу, щоб зрозуміти, де там що. Аналізувати логи можна через будь-який текстовий редактор (якщо файл невеликий), або через сторонній сервіс (лог аналізатори), але найпростіший варіант – аналізувати файл через консоль.
cat access_log | grep Googlebot | tail -n 100
Команда виведе 100 останніх рядків, де зустрічається “Googlebot”
- Аналізуємо коди статусів.
Тепер шукаємо 403 коди, як часто вони зустрічаються порівняно з 200.
- Тут уже буде зрозуміло, що до чого.
Якщо в логах гуглу віддаються тільки 200 коди статусів, то 403 бачите тільки ви і, можливо, деякі програми-аналізатори. Можна в логах відразу шукати рядки 403, віддані гуглу:
cat access_log | grep Googlebot | grep 403
Якщо в логах є 403 помилки для гугла, потрібно дізнатися, як часто вони віддаються. Віддаються завжди – це найпростіший варіант. Віддаються періодично – тут усе складно, і потрібен глибокий аналіз проблеми.
І ось тепер потрібно розібратися, звідки ці 403 виникають.
- Доступ до сайту може блокувати CMS. Тут треба покопатися в CMS і плагінах, щоб це зрозуміти і знайти. Досить складне завдання.
- Доступ до сайту може блокувати хостер за високих навантажень. Тут треба проаналізувати навантаження на сервер, зокрема коли ви сайт парсите фрогом. Можливо, просто слабкий сервер і потрібно вибрати щось потужніший.
- Доступ до сайту може блокувати фаєрвол. Наприклад, блокуються запити з певних країн, або ті, що приходять з певною частотою. Найчастіше це фаєрвол хостера/CDN, використовується для блокування підозрілого трафіку. Потрібно розібратися, де він налаштовується, і чи налаштовується взагалі.
- Доступ до сайту може блокувати провайдер. Наприклад, за запитом керівництва країни. Перевірити це нескладно, прочекавши сайт із різних локацій/країн.
Як бачите, завдання непросте, якщо раніше не стикалися з логами і консоллю, але його цілком можна розв’язати технічними фахівцями.
Успіхів із пошуком проблеми!
Devaka Talk from TG
