Технічних дублів немає, але ось дуже схожих – достатньо. Можна не вручну пошукати неякісний контент на сайті?
Screaming Frog може знаходити не тільки дублі сторінок, а й схожі (неявні дублі). Відбувається це наступним чином.
- Крок 1. Переходимо в налаштування “Configuration” – “Content” – “Duplicates” і налаштовуємо відсоток порогової схожості контенту.
- Крок 2. Далі в налаштуваннях “Configuration” – “Content” – “Duplicates” задаємо винятки і правила для аналізу контенту, задаючи теги, класи та ідентифікатори.
- Крок 3. Парсимо сайт. Після закінчення парсу налаштовуємо дані для аналізу парсу “Crawl Analysis” – “Configure”.
- Крок 4. Виконуємо аналіз: “Crawl Analysis” – “Start”.
- Крок 5. Після чого у вкладці “Content”, вибравши зі списку “Near Duplicates” можна побачити сторінки зі схожим контентом.
Разом:
- Для кожної сторінки буде вказано відсоток схожості, а також кількість URL зі схожим контентом.
- У вкладці “Duplicate Details” вже можна побачити список схожих URL для кожної зі сторінок.
- Виділив URL у стовпчику “Near Duplicates Address” можна побачити вихідний контент, у якому буде виділено фрагменти, що відрізняються.
Але необхідно розуміти, що таким чином ми зможемо виявити лише схожі сторінки за текстовим вмістом, але не за змістом.
