На сайті близько 75к сторінок в індексі. Утворилося близько 1000 сторінок – дублів контенту – за Title і вмістом.
Їх краще видалити повністю чи склеїти сторінки з категоріями, в яких вони були? І щодо термінів: краще видалити відразу 1000 або робити це поступово, наприклад по 50 сторінок на день?
Для того, щоб зрозуміти, що конкретно робити з дублями, потрібно:
- Виявити причину, через яку вони утворюються: чи пов’язано це з особливістю CMS сайту, чи з’являються ці дублі через додавання в URL додаткових параметрів і міток (get параметри; параметри gclid і yclid; реферальне посилання) або з інших причин.
- Перевірити: їхню наявність в індексі, пошуковий трафік на сторінку, наявність зовнішніх і внутрішніх посилань.
- Важливість такої сторінки для сайту і користувача: якщо сторінка корисна користувачеві, але з якихось причин вважається дублем іншої, то її потрібно опрацьовувати – створити унікальні метатеги, контент і зробити сторінку корисною насамперед для користувача.
- Якщо дубль не перебуває в індексі, і він не несе користі для сайту і відвідувача, то його можна сміливо видаляти з сайту. Одночасно потрібно видалити посилання на сторінку у внутрішній перелінковці сайту. Такий метод підходить для сторінок, які “не шкода”, тобто без посилальної ваги і трафіку.
- У випадку, якщо на сторінці є трафік, то краще налаштувати 301 редирект, щоб передати вагу іншій сторінці і не втратити її. Потрібно розуміти, що склеювання сторінок може призвести до проблем з індексуванням і ранжуванням сторінок, а також до негативного впливу на користувацький досвід.
Тому існують й інші способи усунути дублі:
- Файл robots.txt: за допомогою директиви “Disallow”, ми можемо заборонити пошуковим ботам заходити на непотрібні сторінки.
- Метатег <meta name=”robots” content=”noindex, nofollow>: вказує роботу не індексувати документ і не переходити по посиланнях і на відміну від robots.txt є прямою вказівкою, яку робот не може проігнорувати.
- Атрибут rel=”canonical”: використовується для усунення дублів сторінок з get-параметрами і utm-мітками та перших сторінок пагінації.
- Склейка дублів через Clean-param: вказується для пошукового робота Яндекса в robots.txt. Завдяки цій директиві сторінки з параметрами і мітками приводяться до єдиного вигляду, через що пошуковий робот не витрачає краулінговий бюджет на обхід таких сторінок.
Що стосується термінів, то якщо у вас є можливість видалити всі 1000 сторінок відразу, то це буде найкращим варіантом. Видалення поступово може призвести до того, що пошукові роботи продовжуватимуть індексувати дублі сторінок і користувачі можуть наштовхнутися на них.
Якщо ви не можете видалити всі 1000 сторінок одразу, то рекомендується видалити їх у міру можливості, але не менше, ніж по 100 сторінок на день. Це допоможе вам уникнути проблем з індексацією і зберегти хороший користувацький досвід.
