Спробую розкрити суть, як може перешкодити просуванню сайту в SEO всякі там блокувальники ботів і парсери… Я ось собі ставив різні варіанти скриптів, та бонусом від них йде те, що знижується навантаження на сайт, і вона типу може трошки швидше завантажувати сайт, але за фактом через деякий час ми отримуємо просідання за позиціями і за видимістю в пошуку.
Так ось, перед тим як зробити свою сторінку і зробити її під якийсь пошуковий запит, ваш конкурент починає парсити ваш ресурс і всі ресурси, які він знаходить у топ-10 умовно пошукової видачі того ж Гугла. Ну і у більших сайтів типу ОЛХ, це взагалі в напівавтоматичному вигляді відбувається для формування сторінок.
На виході у нашого конкурента або написалася сторінка вручну за зібраними словами, або згенерувалося за ключовими словами.
Ну так як ми заблокували доступ до можливості парсити на сайт, то виходить, що частини слів, які ми використовували на сторінці, наші конкуренти не будуть згадувати у себе на сайтах, це дуже погано для алгоритму пошукових систем.
Якщо ви аналізували результати пошукової видачі, то могли помітити, що різноманітності практично немає, і всі сторінки дуже схожі одна на одну, ніби рерайт.
Ще ви могли помітити, що коли у вас копіюють повний зміст вашої сторінки, і такий сайт міг навіть займати вищу позицію, ніж у вас.
Я вам може розповім секрет, може ні, але щоб потрапити в топ пошукової видачі, можна повністю копію зробити сторінки, які там уже перебувають, і ви, за певних моментів, зможете зайняти найближчу позицію або навіть перестрибнути джерело, з якого ви скопіювали все.
Ключові слова з тексту. Особливо ця штука працює добре для старих сторінок, ну типу ми знаємо, що чим старша сторінка, тим вона вагоміша, особливо якщо оновлювати текстовий контент на сторінці, то можна ще легше займати хороші позиції, але за умови, якщо в нас поведінкові чинники для цього URL не занапащені.
Так ось варто було нам заблокувати “автоматизованих зловмисників”, які типу хотіли роздобути ключові слова з нашої сторінки, то в майбутньому є шанс, що ми самі вилетимо з топа конкурентної видачі.
Ну і як же не згадати дорвеї, які генеруються на основі сайтів, які вже в топі.
Щодо сервісів, які збирають ключові слова з текстів конкурентів, то такі є у відкритому доступі, навіть безкоштовні, але вони не завжди зможуть вам дати якусь хорошу картину.
Що робити, якщо немає можливості зняти заборону від скрапінгу сайту
У такому складному випадку, нам необхідно частіше самим парсити конкурентів і оновлювати контент на наших сторінках.
Навіть для написання цього поста я парсив умовних конкурентів, просто щоб хоча б трохи розширити свій словниковий запас під час написання і що я бачу, на багатьох сайтах згадується “веб-ресурс”, “ресурс”. Здавалося б, навіщо цю маячню вставляти, але після того, як я провів деякі експерименти, накидав різних таких слів, сторінки починають рости за видимістю.
Хоча виняток може бути, те що ми могли б блокувати тільки, наприклад, User-Agent-и, які не мають відношення до збору ключових слів, такі створити виборчий список User-Agent.
Ось, наприклад, спробую описати ситуацію, в якій нещодавно опинився… На сторінку ми додали БАД, який мав оригінальний склад, це була сумнівна дичина, яка вигадалася на коліні якоюсь партнеркою… З різних джерел можна було побачити різний склад цього препарату і при цьому рерайтери могли змінювати склад, за цим ніхто не стежив… Ну звичайно ж змінювали склад вони заради унікальності тексту. Так ось після того, як сайт складніше стало парсити, у всіх конкурентів з’явився зовсім інший склад, який був ідентичний на всіх сайтах, крім мого.
Попри те, що три сайти, які були піді мною, і вони вже були опубліковані раніше конкурентів, вони сформували вже за унікальним запитом видачу для пошуку. Загалом у результаті всі нові нові сайти, які з’являлися і публікували цей запит, вони формували свої сторінки за конкурентами, але не зачіпаючи мої сайти. Власне як підсумок, мої сайти потім вилітали з ранжування, тому що вони були вже не в семантиці всіх нових сайтів, яких було дуже багато.
До речі, якщо послухати рекомендації від пошукових систем, як покращувати свій сайт, ну, що типу, потрібно доопрацьовувати сторінки і постійно покращуйте сторінки вашого веб-ресурсу. А ви спробуйте взяти 10-20 сторінок, там 10 з Google і 10 з умовного Bing, і очима самостійно прочитати їх і проаналізувати без якогось автоматизованого софту або без якогось парсеру, це ж просто практично неможливо в ручну розібратися.
Багато хто цілеспрямовано переймається тим, що ваш контент крадуть і публікують на інших сайтах, а я б на вашому місці не переживав, це тільки допомагає вашим сайтам ще щільніше сидіти в пошуку за даними ключовими запитами, які мають відношення до цих крадених статей. Шкоди від копіювання ваших текстів практично ніякої немає. Але чому ви запитаєте, конкуренти можуть перебувати вище в пошуку, ніж ваш сайт, повторюся тому, що в інших моментах ви просідаєте. Або у вас там дублі, або багато неякісних сторінок на сайті, або ще чогось…
Якщо пам’ятаєте, раніше були кейси і типу “переписуємо текст і робимо його унікальним, і сторінки починають сідати вище в пошуку”. Так от, зараз це повна маячня, і якщо ви чіпатимете сторінки, такі, що вже є в пошуку, але хочете типу захиститися від контенту, який у вас поцупили, і переписуватимете, то вас викинуть з пошуку і, можливо, ви не зможете цією публікаціює у топ повернутися. Ну типу, допрацьовувати сторінку, чимось покращувати – добре і дуже потрібно, але бажано не прибирати той текст, який вже є. Його потрібно дописувати, допрацьовувати, додавати, а не повністю змінювати.
Вище я вже написав вам свою практику і на що впливає така оптимізація, як зараз влаштовані статті, який процес наповнення сторінок існує, і наскільки шкідливим може бути захист вашої URL-адреси від стороннього втручання всіляких там ботів і парсерів.
Може хто, пам’ятає, зовсім недавно злитих даних яндекса був такий фактор про 200 слів з мови, ось цитата:
Відсоток входження 200 найпоширеніших слів мови, що зустрічаються найчастіше, від кількості всіх слів у тексті. На цей фактор впливати складніше, але тим не менш він є.
Це відсилання має закрити питання про переписування текстів, і рішення щодо виписування найкращих слів ваших конкурентів. Бо, вірогідніше за все, у тому ж Гуглі те ж має бути подібний фактор ранжування.
