Якщо пошукова система вважатиме, що ваш контент не представляє цінності для користувачів, вона може вирішити, що його не варто індексувати.
Такий контент може бути погано написаний (граматичні та орфографічні помилки), бути шаблонним, неунікальним для вашого сайту, або не містити зовнішніх сигналів про його цінність та авторитетність.
Щоб знайти малокорисний контент, визначте, які сторінки вашого сайту не індексуються, а потім перегляньте цільові запити для них. Чи дають вони якісні відповіді на запитання пошуковиків? Якщо ні, замініть або поновіть їх.
Дубльований контент – ще одна причина, через яку боти можуть зависнути під час перегляду вашого сайту. По суті, це відбувається тому, що ваша структура коду заплутала роботів, і вони не знають, яку версію індексувати. Це може бути викликано такими речами, як ID сесій, надлишкові елементи контенту і проблеми з пагінацією.
Іноді це призводить до появи попередження в Google Search Console, яке повідомляє, що Google зустрічає більше URL-адрес, ніж вважає за потрібне. Якщо ви не отримали такого попередження, перевірте результати сканування на наявність таких речей, як дублювання або відсутність тегів, або URL-адреси із зайвими символами, які можуть створювати додаткову роботу для веб-павуків.
Усунення ланцюжків редиректів і внутрішніх перенаправлень
Під час розвитку веб-сайтів, редиректи є природним побічним продуктом, спрямовуючи відвідувачів зі сторінки на новішу або більш релевантну. Хоча вони часто зустрічаються на більшості сайтів, якщо ви неправильно поводитеся з ними, то можете ненавмисно саботувати власну індексацію.
Існує кілька помилок, яких можна припуститися під час створення редиректів, але одна з найпоширеніших – ланцюжки перенаправлень. Це відбувається, коли між посиланням, на яке клікнули, і кінцевим пунктом є більше одного перенаправлення. Пошуковим системам таке не подобається.
У більш екстремальних випадках ви можете створити петлю редиректів, у якій одна сторінка перенаправляє на іншу сторінку, яка перенаправляє на іншу сторінку і так далі, поки, в кінцевому підсумку, посилання не повернеться на найпершу сторінку. Іншими словами, ви створили нескінченну петлю, яка нікуди не веде.
Перевірити редиректи вашого сайту можна за допомогою таких інструментів, як:
- Screaming Frog;
- Redirect-Checker.org;
- SiteAnalyzer;
- та ін.
Виправлення битих посилань
Аналогічним чином, непрацюючі посилання можуть зруйнувати доступність вашого сайту для краулерів. Ви повинні регулярно перевіряти свій сайт на відсутність битих посилань, оскільки вони не тільки погіршують результати SEO, а й розчаровують користувачів.
Існує кілька способів пошуку битих посилань на сайті, включно з ручною перевіркою (шапки, футера, навігації, внутрішньотекстових посилань і т. ін.), а також використання Яндекс Вебмайстра, Google Search Console, Analytics або Screaming Frog для пошуку 404 помилок.
Після того як ви виявили непрацюючі посилання, у вас є три варіанти їх виправлення:
- Перенаправлення;
- Оновлення;
- Видалення.
IndexNow
IndexNow – це відносно новий протокол, який дає змогу одночасно передавати URL-адреси різним пошуковим системам через API. Він працює, як посилена версія надсилання XML sitemap, попереджаючи пошукові системи про нові URL-адреси та зміни на вашому сайті.
По суті, це означає, що пошукові машини заздалегідь отримують дорожню карту вашого сайту. Вони потрапляють на ваш сайт з потрібною їм інформацією, тому немає необхідності постійно перевіряти карту сайту. І на відміну від XML sitemap, IndexNow дає змогу інформувати пошукові системи про сторінки з кодом стану, що відрізняється від 200.
Впровадити IndexNow дуже просто, для цього потрібно тільки згенерувати ключ API, розмістити його у своєму каталозі або десь в іншому місці, і надіслати URL-адреси в рекомендованому форматі.
Висновок
Якщо ви уважно прочитали пост, то вже повинні добре розуміти, що таке індексація і краулінг вашого сайту. Ви також повинні розуміти, наскільки важливими є ці два фактори для ранжування в пошуковій видачі.
Якщо павуки пошукової системи не можуть просканувати і проіндексувати ваш сайт, не має значення, скільки ключових слів, зворотних посилань і тегів ви використовуєте – ви не з’явитеся в результатах пошуку.
Ось чому необхідно регулярно перевіряти свій сайт на наявність усього, що може збити ботів зі шляху, ввести їх в оману або спрямувати хибним шляхом.
Обзаведіться хорошим набором інструментів і приступайте до аналізу. Будьте старанні й уважні до деталей, і незабаром веб-краулери будуть розмножуватися на вашому сайті, як павуки.
