Завжди був прихильником того, що не треба палити урл сайтмапа в robots.txt, щоб не полегшувати парсинг сайту школярам.
Oliver Mason (OHGM) пішов далі і наводить способи приховування сайтмапа.
тиць
ohgm.co.uk/hiding-xml-sitemaps
Не потрібно сприймати всі пункти серйозно, деякі з них – просто приклад того, як далеко можна зайти в ідеї робити щось всупереч із загальноприйнятою практикою.
- Search Console не дасть змоги вказати урл сайтмапа на іншому домені, але якщо ви створите урл із редиректом, то це спрацює (консоль любить прикидатися, що редиректів не існує, сліпо слідує їм і повідомляє результат призначення, а не введений вами урл).
- Не розташовувати її за простою адресою /sitemap.xml
- Не посилайтеся на неї в robots.txt – достатньо додати сайтмап у консолі Гугла і Яндекс Вебмастері.
- Іноді Гугл показує сайтмап у проіндексованих (google.com/search?q=site:https://www.gov.uk+sitemap+filetype:xml) у такому разі є сенс додати HTTP-заголовок X-Robots-Tag: noindex
- Клоакінг: віддавайте сайтмап тільки потрібним юзер-агентам або перевіряйте ботів за діапазоном IP (Гугл офіційно публікує список IP (gstatic.com/ipranges/goog.json). Джон Мюллер, до речі, не заперечує (twitter.com/JohnMu/status/1295836619086454785).
- Видалити розширення .xml (головне правильний Content-type). Це суперечить документації Гугла, але тести показують, що спосіб робочий.
- Використовувати txt-формат карти сайту
- Використовуйте складне ім’я файлу, типу j1z2x3c4v5b6n7m8l0p9kijhgfsecr5tgnu8-speak-to-oliver-this-is-important
- Використовуйте приманку. Якщо у вас є повний XML sitemap у стандартному місці, зазначеному у файлі robots.txt, будь-хто, хто покопається в ньому, може припустити, що це все, що ви надсилаєте пошуковим системам.
А ви приховуєте XML-карт сайту?
