🍀 Основні методи роботи індексаторів

У пабліку часто сприймають індексатор, як чарівну паличку, яка повинна загнати в індекс будь-яку сторінку. Особливо смішно, коли в нього пробують помістити посилання / goto /або с/media/ js / і думають, що зробили норм Tier3 прогін. Потім виникають питання, чому індексатор загнав в індекс тільки 0-1-5-10% посилань. Сервіси індексаторів зазвичай вирішують одну єдину задачу – приводять на ваше посилання скануючого бота Google. А чи потрапить лінк в індекс, залежить від усього того, що написано в попередніх постах.

Які ж основні методи привести скануючого бота?

Вони діляться на два глобальних напрямки, перші пов’язані з внутрішніми лінками вашого сайту, який доданий в консоль. І другий варіант, коли бота кличемо за зовнішніми посиланнями.

Ну що, ти вже підписався (-ась) на нашу Тєлєгу? (° ͜ʖ°)
  1. запити переіндексації сторінки в Google Console. Ліміти в день досить низькі.
  2. Google index API. 200 запитів в день (краще все не вибирати під 0). Якщо зможете Google пояснити чому вашому сайту потрібно більше запитів (важливість сайту і причину частої появи нового контенту), то він може значно збільшити ліміт.

Якщо мова все ж йде про індексатор, то він пов’язаний з індексуванням посилань на різних сайтах, в основному не ваших. А тому ці запити, повинні далі направити сканування бота на зовнішні посилання.
Для цього ці запити направляємо:

  • на сторінку з 301 редиректом на зовнішній Лінк. Бот переходить досить рідко на зовнішні посилання при цій моделі. Чим очевидніше зовнішній редирект, тим менше переходів.
  • на внутрішню сторінку з потрібними зовнішніми посиланнями. Мені більше подобається схема 1-2 посилання з текстом тематичним і 2-3 заходи бота, але знаю приклади, де використовують сотні посилань на сторінці (з текстом загальнотематичним).

Чисто зовнішні фактори:

  • “моргають” посилання на прокачаній сторінці. Найчастіший випадок зовнішніх сервісів індексаторів. На сторінці зазвичай по 300-500 посилань, які змінюються після декількох Заходів бота на сторінку.
  • дешеві посилання з прогонів, які можуть самі потрапити в індекс (гестбуки, що моргають, або лінкопомойки). Важливо, що вони повинні бути dofollow і при цьому структура сайту повинна бути такою, що посилання повинно бути на 1-2 рівні від головної (чим довше).
  • tier2 прогони, загнані в індекс через Tier3. Посилання зі сторінок, які самі в індекс не потрапляють, але з належним підходом зовнішнім, їх можна загнати.
  • Нагуляний Google Account. Цей метод сам ніколи не перевіряв, але в пабліку, є думка, що якщо зайти на сторінку з активним трастовим Google Account (з нагуляною історією), то вона потрапляє в чергу скануючого бота. Начебто є зовнішні сервіси, які працюють на даній схемі, але я не знайомий.

І кілька тез по темі:

  1. Не забуваємо про краулінговий бюджет (на обох сайтах у зв’язці) і що він залежить від трасту сайту і правильної техніки, але не залежить від рейтингу Індексу.
  2. Ліміти на кожному домені падають з часом, на дропах хороших вони зазвичай вищі. Найбільш показовим є Кількість сторінок в індексі, які було на старому сайті.
  3. Якщо ви чекаєте Useragent’а не забудьте його перевіряти по Reverse DNS, якщо бота не безпосередньо кличете на сторінку. Багато трафіку, який мімікрує під нього.
  4. Сторінка не обов’язково повинна потрапити в індекс, щоб по посиланнях на ній скануючий бот перейшов за наступним посиланням. Але обов’язково dofollow.
  5. Не рекомендую використовувати зовнішні сервіси індексатори на білих проектах. Там найчастіше посилання, що моргають. Краще будуйте правильну структуру на своєму проекті, щоб був доступ скануючому боту. Якщо при цьому бот не може потрапити на неї, То, напевно, проблеми в технічці.
  6. Прихід скануючого бота, не дає ніяких гарантій індексування, але без цього етапу, індексації не буде в будь-якому випадку.
Оцініть статтю
Додати коментар