Файл Sitemap XML, або карта сайту, – це потужний інструмент у сфері SEO-просування. Якщо говорити просто, то це службовий файл, який показує систематизований перелік сторінок XML, рекомендованих для пріоритетної пошукової індексації.
Одразу потрібно згадати, що Sitemap XML не стимулює збільшення швидкості та періодичності індексації сторінок – це найпоширеніша помилка в цій темі. Потрібно змиритися з тим, що пошукові машини Google і Яндекс індексують усе, до чого можуть “дотягнутися”, а не виключно ті сторінки, які їм дозволили проаналізувати.
Пошукові системи індексують у таких випадках:
- алгоритм зміг знайти і просканувати сторінку;
- роботи визначили сторінку як якісну.
Отже, якщо ви спеціально вкажете певну сторінку в Sitemap XML, то це зовсім не означає, що у неї з’явиться пріоритет у ранжуванні. Для ефективного використання цього файлу його рекомендують розглядати як підказку, вміст якої дає зрозуміти алгоритмам пошукової системи, які сторінки ви вважаєте найбільш якісними. Але це тільки підказка, а не керівництво до дії.
Помилки послідовності під час розставляння пріоритетів
Багато хто припускається серйозної помилки, коли організовує передачу пошуковим системам інформації про сторінку. Зазвичай проблема полягає в порушенні послідовності. Наприклад, сторінку можна закрити від індексації у файлі robots.txt, але водночас посилання на неї додати в Sitemap XML. Таким чином, ми говоримо пошуковій системі: “потрібно заглянути сюди, адже тут якісна тематична сторінка”, але водночас забороняємо її індексацію в іншому службовому файлі.
Аналогічно ситуація з метатегами robot noindex/follow. Якщо в коді сторінки планується використання цих тегів, то сторінку не можна включати в карту сайту, інакше вона взагалі не потрапить в індекс.
Щоб уникнути помилок під час використання карти сайту, потрібно умовно виділити такі категорії його сторінок:
- службові. Сторінки несуть користь для аудиторії, але не є цільовими з точки зору конверсії;
- посадкові. Високоякісні сторінки, що продають, адаптовані під прийом трафіку з пошукової видачі.
Усі сторінки, які увійшли до останньої категорії, мають бути присутніми в карті сайту, але їх не можна блокувати. І навпаки, службові сторінки потрібно заблокувати, а також виключити їх із використання в карті сайту.
Sitemap XML і загальна якість сайту
Сьогодні пошукові системи навчилися давати комплексну оцінку сайту. Визначення якості веб-ресурсу є найважливішим фактором пошукового ранжування.
Вплив карти сайту на сприйняття його якості можна зрозуміти на такому прикладі.
Припустімо, на ресурсі є хороші сторінки, під час оптимізації яких було враховано всі можливі чинники ранжування. Але при цьому сайт має 3000 сторінок, з яких тільки 5 відповідають високим стандартам. У такій ситуації ресурс не отримає пріоритету в ранжируванні, оскільки очевидний занадто великий розрив у співвідношенні хороших і поганих сторінок. Пошукові системи не люблять ризикувати лояльністю користувачів, тому сайт із поганим вмістом не потрапить у топ.
З іншого боку, розробники Google розуміють, що для нормального функціонування сайту йому потрібні службові сторінки, які ніяк не пов’язані з цільовою дією. Наприклад, це може бути розділ із контактами або сторінка для заповнення реєстраційної форми. Якщо до Sitemap XML включити всі ці сторінки, то таким чином ми повідомляємо роботам, що просто відсутні підказки щодо якісного контенту та сторінок із низьким пріоритетом.
Розглянемо ще одну гіпотетичну ситуацію:
Наприклад, сайт складається з 2000 сторінок, водночас у карті ресурсу відзначено 900 сторінок. Це означає, що саме цей контент ви рекомендуєте проіндексувати, а решту радите вважати службовими. Але алгоритми пошукових систем не вірять обіцянкам і в будь-якому разі проводять перевірку. У результаті виявляється, що за внутрішніми метриками якісних сторінок є тільки 200 штук. Таку ситуацію пошукова система розуміє однозначно: сайт непоганий, але пріоритету не заслуговує, оскільки власник не може відрізнити якісну сторінку від поганого контенту.
Особливості “маскування” непотрібних сторінок
Як ми з’ясували, алгоритми ранжування використовують дані з карти сайту як шпаргалку, в якій вказуються пріоритетні для індексації сторінки високої якості. Однак відсутність сторінок у цьому файлі абсолютно не виключає того, що рано чи пізно вони будуть проіндексовані. Щоб переглянути всі сторінки, які пройшли індексацію, достатньо скористатися командою “site:”.
Методом виключення можна отримати доступ до переліку сторінок, які чомусь не повинні були опинитися в карті сайту, але присутні там. Це можна зробити за допомогою метатегів noindex/follow у файлі robots.txt.
Пошуковий запит, виконаний за допомогою оператора “site:”, ранжує сторінки в міру зниження їхньої якості та потенціалу. Відповідно, сторінки з нижньої частини пошукової видачі можна доопрацювати або виключити з показу.
Способи створення Sitemap XML
Інтегрування в CMS. Багато сучасних систем управління сайтами вже мають вбудовані функції генерації карти веб-ресурсу. Щоб дізнатися про наявність подібної функції в певному движку, доведеться уважно вивчити технічну документацію. Зазвичай відповідна опція міститься в налаштуваннях адміністратора. Також завжди можна уточнити деталі в службі підтримки програмного продукту. Ще можна спробувати за допомогою браузера перейти за адресою https://вашсайт.com/sitemap.xml. Є велика ймовірність, що файл Sitemap XML не тільки вже згенерований, а й динамічно оновлюється.
Окремий скрипт. Якщо добре розібратися в протоколі XML-карти і технічних специфікаціях, то можна своїми силами створювати код для генерації карти сайту. Це зручний і раціональний спосіб, але він підходить тільки для програмістів. Якщо ви таким не є, то краще користуватися будь-якими іншими методами.
Зовнішні плагіни. Якщо ваша CMS не вміє самостійно генерувати карту сайту, то це завжди можна зробити за допомогою стороннього плагіна. За допомогою все тих же пошукових систем можна без проблем знайти доповнення практично для будь-якої системи адміністрування сайтами. У найспецифічніших випадках можна залучити програмістів для створення унікального плагіна для конкретної платформи.
Комп’ютерні парсери. Це спеціальне програмне забезпечення, яке встановлюється на робочому ПК. За допомогою програми проводиться глибокий технічний аудит сайту. Зокрема на основі його результатів можна отримати доступ до файлу Sitemap XML, сформованого методом сканування структури проєкту.
Генератори карти сайту. Сьогодні у відкритому доступі працюють десятки автоматичних генераторів карти сайту. Вони сканують ресурс, після чого формують файл у заданому форматі, який можна швидко завантажити. Головним мінусом такого сервісу є те, що вже після наступного оновлення сайту доводиться ще раз генерувати новий Sitemap.
Якщо йдеться про оптимізацію великого проекту, то варто віддати перевагу автоматизованим методам створення карти сайту. Важливо зрозуміти, що Sitemap XML повинен не просто бути присутнім, а й передавати пошуковій системі актуальні дані.
Ліквідація проблем з індексацією
Деяким оптимізаторам здається, що Sitemap XML – це малозначна частина просування, якою можна навіть знехтувати. Але це не так, ба більше, у деяких випадках карта сайту стає незамінним інструментом. Наприклад, Sitemap допомагає в тих ситуаціях, коли з проєкту регулярно надсилаються в Мережу добірки сторінок, але далеко не всі з них успішно проходять індексацію. Це може бути великий e-commerce-проект із каталогом на 200 тис. товарів, 10 тис. сторінок категорій і 40 тис. сторінок підкатегорій. Але надсилання в Google карти сайту з 250 тис. адрес показує, що в індексі перебуває тільки 174 тис. з них.
Як ми вже говорили, пошукові алгоритми сканують те, що їм подобається, або те, до чого вони “дотягнулися”, але з меншим ентузіазмом. Тож потрібно з’ясувати причину, чому в індексацію не потрапила значна кількість товарів. Для цього варто розділити товари за різними категоріями, створивши для кожної власний Sitemap XML. Внесення змін до карти сайту допоможе методом виключення визначити, чому деякі сторінки не проходять індексацію.
Для початку як гіпотези використаємо найпоширеніші причини відмови пошукових систем від індексації. Отже, сканування не проходить на сторінках:
- без графічного зображення товару або ілюстрації послуги;
- якщо опис у картці товару має низьку унікальність або обсяг до 200 слів;
- відсутні відгуки, коментарі або інші факти користувацької зацікавленості.
У кожну карту сайту необов’язково додавати всі посилання категорії. Головне – включити туди достатньо адрес для того, щоб за підсумками експерименту можна було зробити однозначний висновок. Зазвичай для перевірки гіпотези потрібно 20-50 контрольних зразків для кожної добірки.
Сама перевірка гіпотез на основі Sitemap XML проводиться таким чином. Наприклад, у вас виникло припущення, що сторінки не індексуються через відсутність картинок у картках товару. У контрольну групу нової карти сайту потрібно додати посилання на сторінки, де графічний контент було додано. Якщо сторінки будуть проіндексовані, то потрібно буде внести відповідні зміни по всьому ресурсу. Якщо досвід не дав результату, то варто перевірити інші гіпотези, які вдасться придумати.
Підіб’ємо підсумки
Працюючи над оптимізацією карти сайту, потрібно не забувати про логіку та послідовність дій. Якщо сторінка буде заблокована за допомогою robots.txt або метатега noindex, то її адреси не повинно бути в Sitemap XML.
Карта сайту – це не список наказів, а перелік рекомендацій для алгоритмів пошукових систем. Цей інструмент краще застосовувати як засіб для зручного виявлення помилок і проблем в індексації.
Під час роботи з великими проектами настійно рекомендується використовувати програмні засоби синхронізації для карти сайту, файлу robots.txt і метатега robots. Ручна підтримка порядку займе надто багато часу, а автоматичні інструменти дадуть змогу зберігати впевненість у тому, що потрібні сторінки перебувають у карті сайту і не суперечать загальній логіці роботи алгоритмів ранжування.
