Тільки починаю свій шлях в цьому напрямку, тому цікаво як і в чому аналіз логів може допомогти ЅЕОшнику?
Відповідь
Ми використовуємо для аналізу логів Excel і Power BI, бо, на нашу думку, там це зробити найпростіше.
Power BI – безкоштовний, зручна візуалізація даних, можна об’єднувати кілька логів в один, широкі можливості по роботі з типами даних, їх моделювання.
За допомогою аналізу логів ми можемо визначити:
- сторінки, на які найчастіше заходять боти (на такі сторінки, наприклад, буде корисно розміщувати посилання на нові сторінки або сторінки з недостатньою вагою);
- які саме боти заходять на сайт (мобільні, десктопні, їх User-Agent);
- на які сторінки і як витрачається краулінговий бюджет;
- чи потрапляє бот на потрібні нам сторінки;
- сміттєві сторінки, які не вдалося виявити при парсінгу;
- технічні проблеми-помилки з редиректами, биті сторінки;
- частоту і дати заходів ботів, в який час найбільше навантаження.
Також це корисно в тому випадку, якщо спостерігається спамний трафік на сайт – за допомогою логів ми можемо обчислити підозрілі IP-адреси і заблокувати їх.
Головне, що потрібно зробити перед аналізом логів – зрозуміти, навіщо ви його проводите, тоді ви в них не заплутаєтеся. Для початку можна спробувати обчислити підозрілі переходи на сайт і перевірити, на які сторінки найчастіше ходять боти, щоб при необхідності направити їх в потрібне русло і тим самим правильно розподілити краулінговий бюджет.