🤷‍♂️ Robots Exclusion Checker

Robots Exclusion Checker – розширення в хромі, яке дозволяє отримати швидку інформацію про відсутність заборони на сканування сторінки різними методами.

Даний плагін зайвим точно не буде. Загоряється зеленим, якщо все ок. жовтим, якщо є обмеження (наприклад, канон на іншу сторінку). І червоним, якщо є заборона на сканування (наприклад, директива у файлі robots.txt).

На жаль, немає обліку директиви Clean-param для Яндекса.

Оцініть статтю
Додати коментар