У GSC з’явилися помилки на сторінках сайту і напис “Проіндексовано, попри блокування у файлі robots.txt”
А в прикладах відображаються якісь дивні сторінки сайту, яких не повинно існувати, з такими закінченнями: /?%2000288
Підкажіть як виправити?
За допомогою robots.txt ви можете керувати скануванням свого сайту, а не індексуванням. До того ж, директиви в robots.txt – це всього лише рекомендації для роботів ПС, а не правила.
Помилка “Проіндексовано, попри блокування у файлі robots.txt” найчастіше виникає через те, що на закриті у файлі robots сторінки ведуть зовнішні посилання з інших сайтів або внутрішні посилання з вашого.
І хоч сканування сторінок може бути заборонене, пошукова система все одно додала в індекс ці url-адреси, вважаючи їх корисними для користувача.
У вашому випадку слід провести технічний аналіз сайту і перевірити:
- як і чому генеруються ці сторінки;
- чи є на них внутрішні посилання;
- чи є ці url у карті сайту.
Також варто перевірити чи немає зовнішніх посилань на ці сторінки. Усі виявлені посилання на сміттєві сторінки слід видалити або замінити на коректні.
Далі необхідно перевірити, чи закриті сторінки за допомогою “Disallow: /?%” у роботсі, і якщо так, то видалити це правило. А самі сторінки закрити від індексації за допомогою мета-тега meta name=”robots” content=”noindex, nofollow”.
