Сьогодні ми розглянемо як влаштовані комерційні сервіси індексації посилань і спробуємо реалізувати власний індексатор.
Індексатор: Теорія
Більшість індексаторів створюють сотні посилань на урли, які ми збираємося індексувати. Здебільшого, вони намагаються змусити гуглобота скраулити і пройти через цільовий урл, щоб отримати індексацію. Але як багато хто з вас уже знає, подібні послуги сильно впали в якості, і питання в тому, чому?
Щоб відповісти на це запитання, ми повинні вивчити і проаналізувати, як працюють ці індексатори:
- [Реєструється домен.
- Він реєструється в пошуковій консолі.
- Створюються необхідні урли.
- Вони відправляються на індексатор.
Результати показують нам, що подібні сервіси індексації створюють сотні автоматичних піддоменів, які посилаються на відправлені урли. Як я згадував вище, проблема зараз виникає в тому, що створені посилання мають коротке життя. А якщо ми додамо, що бот Google знизив частоту обходу і це займає тепер більше часу. І ми розуміємо причину, чому більшість індексаторів більше не отримують високі показники.
Що ж, з огляду на отримані результати, ми можемо підготувати експеримент, в якому створимо сценарій, аналогічний представленим на ринку індексаторам, але вирішуючий проблему життя посилань. Ми НЕ будемо видаляти створені піддомени, і будемо створювати контекстні тексти.
Трохи теорії. Що таке “wildcard” піддомен і як його створити в cPanel.
(Дана інфа стане в нагоді в подальшому для установки скрипта)
Піддомен Wildcard дає змогу вам спрямувати всі неіснуючі піддомени на певну папку у вашому акаунті. Це означає, що якщо ви введете в браузері різні піддомени (які не створені у вашій cPanel), усі вони показуватимуть один і той самий вміст, який ви завантажили в папку, задану для піддомену wildcard.
Коротше, погнали:
- логінимося в cPanel.
- йдемо в Domains section > Subdomains menu
- Create a subdomain * (вказавши його на необхідну папку (шлях потрібно буде вказати в полі Document Root)
- йдемо в Zone Editor menu.
- Переконайтеся, що для *.yourdomain.com створено запис A, який вказує на IP-адресу сервера (він може збігатися з IP-адресою вашого основного домену або ftp.yourdomain.com).
- Тепер вам потрібно почекати, поки закінчиться процес (він повинен зайняти N секунд, де N – TTL для цього запису A; ви можете відредагувати його вручну і зменшити число, щоб прискорити процес), після чого wildcard піддомен буде працювати правильно.
Встановлення нашого індексатора
Скачайте файл скрипта “index.php” (Він буде прикладений в кінці цієї теми)
І просто виконайте такі кроки:
- Купіть дешевий домен і зареєструйте його у вашій cPanel хостингу.
- Створіть “wildcard” піддомен. (Якщо він уже створений, переходимо далі)
- Встановіть SSL-сертифікати на кореневий і піддомен.
- Відкрийте файл “index.php” і відредагуйте такі параметри:
– DB_HOST: localhost або хост вашого хостингу.
– DB_NAME: Ім’я бази даних.
– DB_USER: користувач бази даних.
– DB_PASS: пароль бази даних.
– https://%%SUBDOMAIN%%.domain.com: Замініть domain.com на ваш домен без слеша / в кінці (необов’язково) Ви можете вибрати мову з $config[‘lang’], ES => Іспанія, EN => англійська.
– ADMIN_PASSWORD: Введіть пароль для доступу до панелі. (необов’язково) Ви можете додати блокування більшої кількості роботів, додавши їх у $config[‘block’][‘robots’];
- Збережіть зміни.
- Завантажте файл “index.php” на “wildcard” піддомен.
- Запустіть установку з url: https://www2.вашдомен.com/index.php?router=install (вам доведеться увійти в систему).
Готово, якщо ви виконали всі кроки, вас буде автоматично перенаправлено на панель, якщо ні, ви зробили щось не так.
Тепер настав час це все протестувати, для цього я повторно використовував генератор контенту для автоматичних кампаній, особливо на блогах, де нам потрібно багато статей. Продовжимо:
- Перейдіть у розділ “Dictionary”.
- Тут ви повинні скопіювати статтю, пов’язану з вашою нішею.
- Натисніть на зберегти.
- Повторюйте кроки з 1 по 3, поки не досягнете щонайменше 15 тисяч слів у словнику, чим більше, тим краще.
Тепер настав час налаштувати автоматичне створення піддоменів/посилань на наші урли для індексації, для цього ми використовуватимемо cronjob, тому зробіть таке:
- Перейдіть у cPanel і додайте нове завдання cronjob.
– Час: щохвилини.
– Command: curl -s https://www2.вашсайт.com/index.php?router=cronjob - Збережіть зміни.
Щойно цей крок буде виконано, ви можете почати індексувати ваші посилання:
- Увійдіть у панель керування Indexer BETA.
– URLS: Ваші посилання для індексації.
– Days: Дні, на які ви хочете розподілити індексацію. - Зберегти.
Готово, у вас є свій власний індексатор, що працює як платні. Тепер, для досягнення найкращих результатів, я рекомендую вам використовувати принаймні 5-10 доменів з різними IP. І пам’ятайте, якщо буде багато посилань, ви повинні розширити кількість слів у словнику.
Дуже важливо нічого не видаляти, на обхід ваших посилань піде день, тиждень або місяць, проіндексуються вони чи ні, це буде питання якості сайту/статті, а не самого індексатора.
Контроль за обходом бота пошуковика:
Щоб постійно контролювати бота Google, у папці “log” ви знайдете всі переміщення бота і сторінки, які він відвідує.