🐕 Як закрити URL від Googlebot

Як закрити URL від Googlebot, а то дістав жерти все підряд, щоб його так?

Googlebot переходить по всіх посиланнях, навіть якщо там немає атрибута href, навіть якщо вони реалізовані через js і навіть якщо ви “зашифрували” їх base64 кодом.

У чому була проблема?

Назви КЛАСІВ прихованих в div / span посилань (і зашифрованих в base64) містили слова “link/src/href”. Робот не так інтенсивно, але все ж продовжував сканувати закриті сторінки, при цьому на сайті не було нормальних відкритих посилань на них (щоб <a href=”” як ми звикли). При цьому самі атрибути, що містять зашифрований URL, теж не натякали на те, що це посилання, тобто можна було грішити тільки на ім’я класу або підв’язувати з SEO.

Що зробили?

Перейменували всі CSS класи на сайті, які можуть хоч якось натякати на те, що це посилання.

І що, які результати?

Попередній результат після впровадження порадував, але для чистоти експерименту потрібно було почекати місяць-другий.
І ось, після контрольного аналізу серверних логів можу з упевненістю сказати, що даний підхід допоміг розв’язати задачу. Googlebot перестав зовсім краулити закриті сторінки. Тож випилюйте з назв CSS класів елементів будь-які слова-маркери посилання, якщо не хочете, щоб Googlebot по ним клікав.

Оцініть статтю
Додати коментар