🍉 10 способів поліпшити індексацію сайту та його доступність для сканування

Якщо роботи пошукових систем не зможуть виявити і просканувати сторінки вашого сайту, жодна інша оптимізація не принесе користі. Щоб цього уникнути, необхідно максимально полегшити їм процес індексації та забезпечити високий рівень доступності веб-ресурсу для сканування.

Ключові слова і контент можуть бути двома головними стовпами, на яких будується більшість стратегій пошукової оптимізації сайтів, але далеко не тільки вони мають значення.

Менш часто обговорюваний, але не менш важливий – не тільки для користувачів, а й для пошукових ботів – фактор – можливість виявлення вашого сайту.

В Інтернеті налічується близько 50 мільярдів вебсторінок на 1.93 мільярда сайтів. Жодна, навіть найбільша, команда живих людей у світі не зможе вивчити таку кількість документів. Тому тут важливу роль відіграють боти пошукових систем, також звані павуками.

Боти вивчають зміст кожної сторінки, переходячи за посиланнями з сайту на сайт і зі сторінки на сторінку. Ця інформація збирається у велику базу даних, або індекс, URL-адрес, які потім проходять через алгоритм пошукової системи для ранжирування.

Цей двоетапний процес навігації та розуміння вашого сайту називається краулінгом та індексуванням.

Як SEO-фахівець, ви, безсумнівно, вже чули ці терміни, але давайте дамо їм визначення для ясності:

• Доступність для краулінгу (crawlability) показує, наскільки добре боти пошукових систем можуть сканувати та індексувати ваші веб-сторінки.
• Доступність для індексації (indexability) оцінює здатність пошукової системи аналізувати ваші веб-сторінки і додавати їх у свій індекс.

Як ви, напевно, здогадуєтеся, обидва ці аспекти є невід’ємною частиною SEO.

Якщо ваш сайт недоступний для сканування, наприклад, на ньому багато битих посилань і тупиків, пошукові машини не зможуть отримати доступ до всього вашого контенту, що виключить його з індексу.

Можливість індексації, з іншого боку, життєво важлива, оскільки сторінки, які не проіндексовані, не з’являтимуться в результатах пошуку. Як пошукова система може ранжувати сторінку, яку вона не включила до своєї бази даних?

Процес краулінгу та індексування трохи складніший, ніж описано тут, але для цілей цієї статті, думаю, цього цілком достатньо.

Як поліпшити краулінг та індексацію

Тепер, коли важливість сканування та індексування питань не викликає, розгляньмо деякі елементи вашого сайту, які впливають на ці процеси, і обговоримо способи оптимізації під них.

Поліпшення швидкості завантаження сторінок

З огляду на мільярди сторінок, які потрібно каталогізувати, у веб-павуків немає цілого дня, щоб чекати, поки ваш сайт зволить завантажитися. Тут зазвичай прийнято робити відсилання до краулінгового бюджету.

Якщо сторінки вашого сайту не завантажуються протягом встановленого часу, павуки покинуть його. І це призведе до недостатнього рівня сканування та індексації. А це, як ви розумієте, не дуже добре для SEO.

Тому гарною практикою буде стежити за швидкістю завантаження сторінок вашого сайту і покращувати її там, де це можливо. Обов’язково використовуйте для цього Google Search Console і будь-який доступний SEO-софт.

Якщо ваш сайт працює повільно, вживіть заходів щодо усунення проблем. Це може включати модернізацію сервера або хостингу, увімкнення стиснення, мініфікацію CSS, JavaScript і HTML, а також усунення або зменшення кількості редиректів.

З’ясувати, що уповільнює час завантаження сайту, можна за допомогою звіту Core Web Vitals. Якщо вам потрібна додаткова інформація, особливо з точки зору користувача, Google Lighthouse – інструмент із відкритим вихідним кодом, який точно допоможе.

Зміцнення структури внутрішньої перелінковки

Хороша структура сайту і внутрішня перелінковка є основоположними елементами успішної SEO-стратегії. Неорганізований сайт важко переглянути пошуковим системам, тому внутрішнє перелінковування є однією з найважливіших речей, які може зробити SEO-фахівець.

Але не вірте мені на слово. Ось що сказав із цього приводу Джон Мюллер із Google:

Внутрішня перелінковка дуже важлива для SEO. Я думаю, що це одна з найважливіших речей, які ви можете зробити на сайті, щоб направляти Google і відвідувачів на сторінки, які вважаєте важливими.

Якщо у вас погана внутрішня перелінковка, ви також ризикуєте отримати сторінки-сироти або сторінки, які не мають посилань на інші частини вашого сайту. Оскільки на ці сторінки немає шляхів, єдиний спосіб для пошукових систем знайти їх – карта сайту.

Щоб усунути цю та інші проблеми, спричинені поганою архітектурою сайту, створіть логічну внутрішню структуру для вашого проекту.

Головна сторінка вашого сайту повинна посилатися на внутрішні розділи, підтримувані сторінками, розташованими нижче за пірамідою. Ці підсторінки повинні мати контекстні посилання там, де це здається природним.

Ще одна річ, за якою слід стежити, – непрацюючі посилання, зокрема з помилками в URL. Це тягне за собою критичну помилку 404 (сторінка не знайдена). А непрацюючі посилання шкодять краулінгу.

Двічі перевірте свої URL-адреси, особливо якщо ви нещодавно провели міграцію сайту, масове видалення сторінок або зміну структури. Переконайтеся, що ви не посилаєтеся на старі або видалені URL.

Інші хороші практики для внутрішньої перелінковки:

1. достатній обсяг контенту (контент – завжди король);
2. використання анкорних текстових посилань замість посилань-картинок;
3. розумна кількість посилань на сторінках.

Так, і переконайтеся, що ви використовуєте атрибут “follow” для своїх внутрішніх посилань.

Згодуйте файл Sitemap пошуковим системам

Розповім на прикладі Google.

Якщо у вас достатньо часу і ви не забороняли йому це робити, Google, коли-небудь, пройдеться по вашому сайту. І це чудово, але це не допоможе вам ранжуватися в органічному пошуку, поки ви чекаєте.

Якщо ви нещодавно внесли зміни до контенту свого сайту і хочете, щоб Google одразу ж дізнався про це, варто відправити карту сайту в Google Search Console.

Карта сайту – це ще один файл, який знаходиться в кореневому каталозі вашого проєкту. Він виступає дорожньою картою для пошукових систем, включаючи прямі посилання на кожну сторінку вашого сайту.

Це корисно для індексації, оскільки дає змогу Google дізнаватися про кілька сторінок одночасно. Якщо для виявлення сторінки в глибині сайту пошуковій машині може знадобитися пройти за п’ятьма внутрішніми посиланнями, то, під час надсилання XML sitemap, вона зможе знайти всі ваші сторінки за одне відвідування.

Відправлення карти сайту в Google особливо корисне, якщо у вас “глибокий” сайт, ви часто додаєте нові сторінки або контент, або на вашому сайті немає хорошої внутрішньої перелінковки.

Оновлення файлу Robots.txt

Robots.txt – одна з таких штук, які краще робити, ніж не робити. Хоча цей файл не є обов’язковим, 99% сучасних веб-сайтів використовують його. Якщо ви не знаєте, що це таке, то це звичайний текстовий файл у кореневому каталозі вашого сайту.

Він вказує пошуковим системам, як ви хочете, щоб вони сканували ваш сайт. Його основне призначення – управління трафіком ботів і запобігання перевантаженню сайту запитами.

Це може стати в пригоді для обмеження кількості сторінок, які Google або Яндекс переглядають та індексують.

Наприклад, вам, ймовірно, не потрібні такі сторінки в індексі пошукової системи, як кошик, панель авторизації або теги (хоча тут є нюанси).

Звичайно, цей корисний текстовий файл може також негативно вплинути на краулінг. Варто переглянути свій файл robots.txt (або запросити фахівця, якщо ви не впевнені у своїх силах), щоб з’ясувати, чи не блокуєте ви випадково доступ веб-павуків до ваших сторінок.

Деякі поширені помилки у файлі robots.txt:

• robots.txt розташований не в кореневому каталозі сайту;
• неправильне використання спецсимволів;
• noindex у тексті файлу;
• блокування скриптів, таблиць стилів і зображень;
• відсутність посилання на карту сайту.

Грамотна канонікалізація

Канонічні теги об’єднують сигнали від декількох URL в один канонічний URL. Це може бути хорошим способом вказати пошуковій системі індексувати потрібні вам сторінки, пропускаючи дублікати та застарілі версії.

Однак це ж відкриває двері для шкідливих канонічних тегів. Вони посилаються на старі версії сторінок, яких більше не існує, що призводить до того, що пошукові системи індексують не ті сторінки і залишають ваші бажані сторінки невидимими.

Щоб усунути проблему, використовуйте інструментарій перевірки URL-адрес для сканування на наявність некоректних тегів і їх видалення.

Якщо ваш сайт орієнтований на міжнародний трафік, тобто ви спрямовуєте користувачів у різних країнах на різні канонічні сторінки, вам необхідно мати канонічні теги для кожної мови. Це гарантує, що ваші сторінки будуть проіндексовані кожною мовою, якою працює ваш сайт.

Аудит сайту

Після виконання всіх, описаних вище, кроків, настає час для однієї прикінцевої речі, яка допоможе вам переконатися, що ваш сайт оптимізовано для краулінгу та індексування: SEO-аудит.

Починається аудит із перевірки відсотка сторінок, проіндексованих пошуковою системою.

Перевірка коефіцієнта індексації

Коефіцієнт індексації – це кількість сторінок в індексі пошукової системи, поділена на кількість сторінок на нашому сайті.

Ви можете дізнатися, скільки сторінок перебуває в індексі Google, за допомогою Google Search Console, перейшовши на вкладку “Сторінки”, у розділі “Індекс”, і перевіривши кількість сторінок на сайті з панелі адміністратора CMS.

Цілком імовірно, що на вашому сайті є сторінки, які ви не хочете індексувати, тому це число, скоріш за все, не дорівнюватиме 100%. Але якщо показник індексованості нижче 90%, значить, у вас є проблеми, які необхідно вивчити.

Ви можете отримати неіндексовані URL з Search Console і провести для них аудит. Це може допомогти вам зрозуміти, що є причиною проблеми.

Ще одним корисним інструментом аудиту сайту, включеним до Google Search Console, є все той же інструмент перевірки URL. Він дає змогу побачити, що бачать павуки Google. Потім цю інформацію можна порівняти з реальними веб-сторінками, щоб зрозуміти, що Google не може відрендерити.

Аудит нещодавно опублікованих сторінок

Щоразу, коли ви створюєте нові сторінки на своєму сайті або оновлюєте найважливіші сторінки, ви маєте переконатися, що вони індексуються. Зайдіть у Google Search Console і перевірте, що всі вони відображаються.

Якщо у вас усе ще є проблеми, аудит також може дати вам уявлення про те, які інші частини вашої SEO-стратегії не працюють, тож це подвійна вигода. Масштабуйте процес аудиту за допомогою таких SEO-інструментів, як:

• Screaming Frog;
• Semrush;
• Ahrefs;
• Ziptie;
• Oncrawl.

Перевірка низькоякісного або дубльованого контенту

Якщо пошукова система вважатиме, що ваш контент не представляє цінності для користувачів, вона може вирішити, що його не варто індексувати.

Такий контент може бути погано написаний (граматичні та орфографічні помилки), бути шаблонним, неунікальним для вашого сайту, або не містити зовнішніх сигналів про його цінність та авторитетність.

Щоб знайти малокорисний контент, визначте, які сторінки вашого сайту не індексуються, а потім перегляньте цільові запити для них. Чи дають вони якісні відповіді на запитання пошуковиків? Якщо ні, замініть або поновіть їх.

Дубльований контент – ще одна причина, через яку боти можуть зависнути під час перегляду вашого сайту. По суті, це відбувається тому, що ваша структура коду заплутала роботів, і вони не знають, яку версію індексувати. Це може бути викликано такими речами, як ID сесій, надлишкові елементи контенту і проблеми з пагінацією.

Іноді це призводить до появи попередження в Google Search Console, яке повідомляє, що Google зустрічає більше URL-адрес, ніж вважає за потрібне. Якщо ви не отримали такого попередження, перевірте результати сканування на наявність таких речей, як дублювання або відсутність тегів, або URL-адреси із зайвими символами, які можуть створювати додаткову роботу для веб-павуків.

Усунення ланцюжків редиректів і внутрішніх перенаправлень

Під час розвитку веб-сайтів, редиректи є природним побічним продуктом, спрямовуючи відвідувачів зі сторінки на новішу або більш релевантну. Хоча вони часто зустрічаються на більшості сайтів, якщо ви неправильно поводитеся з ними, то можете ненавмисно саботувати власну індексацію.

Існує кілька помилок, яких можна припуститися під час створення редиректів, але одна з найпоширеніших – ланцюжки перенаправлень. Це відбувається, коли між посиланням, на яке клікнули, і кінцевим пунктом є більше одного перенаправлення. Пошуковим системам таке не подобається.

У більш екстремальних випадках ви можете створити петлю редиректів, у якій одна сторінка перенаправляє на іншу сторінку, яка перенаправляє на іншу сторінку і так далі, поки, в кінцевому підсумку, посилання не повернеться на найпершу сторінку. Іншими словами, ви створили нескінченну петлю, яка нікуди не веде.
Перевірити редиректи вашого сайту можна за допомогою таких інструментів, як:

1. Screaming Frog;
2. Redirect-Checker.org;
3. SiteAnalyzer;
4. та ін.

Виправлення битих посилань

Аналогічним чином, непрацюючі посилання можуть зруйнувати доступність вашого сайту для краулерів. Ви повинні регулярно перевіряти свій сайт на відсутність битих посилань, оскільки вони не тільки погіршують результати SEO, а й розчаровують користувачів.

Існує кілька способів пошуку битих посилань на сайті, включно з ручною перевіркою (шапки, футера, навігації, внутрішньотекстових посилань і т. ін.), а також використання Яндекс Вебмайстра, Google Search Console, Analytics або Screaming Frog для пошуку 404 помилок.

Після того як ви виявили непрацюючі посилання, у вас є три варіанти їх виправлення:

1. Перенаправлення;
2. Оновлення;
3. Видалення.

IndexNow

IndexNow – це відносно новий протокол, який дає змогу одночасно передавати URL-адреси різним пошуковим системам через API. Він працює, як посилена версія надсилання XML sitemap, попереджаючи пошукові системи про нові URL-адреси та зміни на вашому сайті.

По суті, це означає, що пошукові машини заздалегідь отримують дорожню карту вашого сайту. Вони потрапляють на ваш сайт з потрібною їм інформацією, тому немає необхідності постійно перевіряти карту сайту. І на відміну від XML sitemap, IndexNow дає змогу інформувати пошукові системи про сторінки з кодом стану, що відрізняється від 200.

Впровадити IndexNow дуже просто, для цього потрібно тільки згенерувати ключ API, розмістити його у своєму каталозі або десь в іншому місці, і надіслати URL-адреси в рекомендованому форматі.

Висновок

Якщо ви уважно прочитали пост, то вже повинні добре розуміти, що таке індексація і краулінг вашого сайту. Ви також повинні розуміти, наскільки важливими є ці два фактори для ранжування в пошуковій видачі.

Якщо павуки пошукової системи не можуть просканувати і проіндексувати ваш сайт, не має значення, скільки ключових слів, зворотних посилань і тегів ви використовуєте – ви не з’явитеся в результатах пошуку.

Ось чому необхідно регулярно перевіряти свій сайт на наявність усього, що може збити ботів зі шляху, ввести їх в оману або спрямувати хибним шляхом.

Обзаведіться хорошим набором інструментів і приступайте до аналізу. Будьте старанні й уважні до деталей, і незабаром веб-краулери будуть розмножуватися на вашому сайті, як павуки.