Нейромережі навчаються на безлічі різних датасетів, але основний спосіб отримання контенту з інтернету – через краулер Common Crawl.
Якщо ви не хочете, щоб ваш контент юзали для навчання (а потім, можливо, якийсь дорвейщик згенерує собі текст зі шматків вашого за допомогою GPT Chat), то просто блочимо в htacess наступний user-agent:
CCBot/2.0
Очевидно, що дані з ваших сайтів можуть тягнути й інші краулери, наприклад Вебархів. В якості параної можна закритися і від них.
Детальніше звідки нейромережі беруть дані можна почитати тут:
І взагалі, рекомендую періодично чекати свій контент на унік, бо в конкурентних нішах його часто крадуть і розрізають на дори, або просто копіпастять на пироги і роблять інші “приємні” речі.
Pbnheroes, наприклад, зробили сервіс, в який додаємо важливі сторінки і він по крону чекає контент на унікальність, щоб вчасно зреагувати і заабузити злодюжок.
