Використання заголовка X-Robots-Tag на сайті

Напевно багато досвідчених фахівців не раз стикалися з ситуацією коли потрібно викинути з індексу щось, що не має HTML-коду (наприклад, якісь файли з даними не для пабліку).

Саме для таких ситуацій створений заголовок відповіді сервера X-Robots-Tag, який може містити ті ж команди, що і мета-тег robots. Підтримують його в тому числі Яндекс (https://yandex.ru/support/webmaster/controlling-robot/meta-robots.html), Google (https://developers.google.com/search/docs/advanced/robots/robots_meta_tag?hl=ru) і Bing (https://www.bing.com/webmasters/help/which-robots-metatags-does-bing-support-5198d240). А перевірити наявність X-Robots-Tag може навіть краулер Screaming Frog.

Приклад синтаксису: X-Robots-Tag: noindex, nofollow

Давайте розберемо ситуації де можна використовувати цей заголовок.

  1. Закриття від індексації файлів документів. Саме за допомогою X-Robots-Tag можна закрити файли PDF, RTF і SWF (формат вже померлого Флешу). Також можна закрити документи Microsoft Office: DOC, DOCX, XLS, XLSX, PPT, PPTX, і документи OpenDocument: ODT, ODS, ODP і ODG. В іншому випадку всі ці файли з вашого сайту можуть влетіти в індекс, навіть якщо ви закрили їх від сканування в robots.txt.
  2. До речі про robots.txt і службові файли. Такі файли теж можуть влетіти в індекс: xml карти сайтів (https://www.google.com/search?q=loc + filetype%3axml&oq=loc + filetype%3axml), robots.txt (https://www.google.com/search?q=disallow + filetype%3atxt) і RSS-канали (https://www.google.com/search?q=feed + filetype%3arss) (для тих же Турбо-сторінок). Не бійтеся, закриваючи їх за допомогою вказівки noindex в X-Robots-Tag ви не ризикуєте: пошукові системи будуть обходити і враховувати службові файли як і раніше. Просто ці файли не будуть засмічувати пошуковий індекс.
  3. Зображення та інші ресурси сторінок. За допомогою X-Robots-Tag можна управляти індексуванням зображень сайту. Налаштувавши на додаток до цього генерацію окремої xml карти сайту з посиланнями на зображення (https://developers.google.com/search/docs/advanced/sitemaps/image-sitemaps?hl=ru) які потрібно обійти пошуковому роботу ви отримаєте максимально швидку індексацію / деіндексацію файлів зображень.
  4. Крім зображень на сторінках у нас можуть використовуватися Ajax-файли (https://www.google.com/search?q=filetype%3Aajax) (наприклад, якщо використовуєте UMI.CMS (https://www.google.com/search?q=inurl%3Aorder + filetype%3aajax)). Їх теж краще закривати від індексації!
Оцініть статтю
Додати коментар