Топ 7 способів виключити сторінку з індексу

Топ 7 способів виключити сторінку з індексу:

  1. Метатег Robots і X-Robots-Tag. Найпростіший і найефективніший спосіб – додати на сторінку < meta name=”robots” content= “noindex, follow”>. Працює за будь-яких умов, сторінка буде виключена з індексу протягом тижня. Хоча, можуть бути випадки, коли буде потрібно більше часу. Залежить від швидкості сканування ресурсу. Якщо сторінка з індексу не видаляється – використовуйте інструмент “видалення” в Google Search Console. X-Robots-Tag працює аналогічно метатегу Robots, відрізняється тільки тим, що розміщується не в коді сторінки, а в HTTP заголовку.
  2. 301 редирект. Зі сторінки можна прописати 301 редирект на схожий документ. Зазвичай, займає кілька тижнів, перш ніж старий документ буде виключений з індексу. Слід використовувати в тому випадку, коли потрібно передати зі сторінки вагу на новий документ або ж на сторінку є зовнішні посилання.
  3. Видалення сторінки 404 або 410. Класичний метод – видалити сторінку і показувати користувачеві сторінку 404 помилки і віддавати 404 код відповіді сервера. 404 – сторінка зараз недоступна, може бути скоро знову буде 200. Пошукові системи сканують такі сторінки навіть через роки після їх видалення. 410 – сторінка видалена назавжди. З часом, завжди різним, пошукові системи припиняють сканувати сторінки.
  4. Заборона доступу – 403. Заборонити доступ до сторінки через htaccess і віддавати 403 код відповіді сервера. 403 код означає, що необхідна авторизація для отримання доступу до сторінки. Пошукові системи не індексують сторінки з таким кодом відповіді сервера. Видалити сторінку через GSC. Можна видалити сторінку через інструмент “видалення” в Google Search Console. Найшвидший спосіб, буквально 15 хвилин і сторінки в індексі як не бувало. Але якщо сторінка не закрита від індексації і віддає 200 код відповіді сервера – через час вона повернеться. До речі, є метод масового видалення url-адрес через плагін для Google Chrome. Можна у фоновому режимі видаляти url-адреси тисячами.
  5. Robots.txt. Простий і ефективний метод. Але, є невелика ймовірність, що сторінка все-таки потрапить в індекс Google, адже для нього це правила сканування, а не індексування. Така сторінка може потрапити до звіту “проіндексовано, попри заборону у файлі Robots.txt”. Для Яндекса 100% метод, адже для нього у файлі Robots.txt вказані правила сканування та індексування, яким робот строго слідує.
  6. Canonical. Метод, який дуже сильно притягнутий за вуха) може спрацювати тільки якщо обидві сторінки ідентичні. В іншому випадку сторінка залишиться в індексі.

Якщо якийсь метод я забув – пишіть в коментарях.

Оцініть статтю
Додати коментар