У зв’язку з нещодавнім жовтневим Spam Update і грудневим Helpful Content System Update Гугла вирішив перевірити тексти щодо детекту AI контенту. Переглянув у ці дні кілька статей на своєму новому сайті під бурж цим сервісом:
Інструмент позначає у відсотках як Fake (написане нейромережею) і як Real (написане людиною). Частина з текстів на сайті написана копірайтером, частина через нейромережу в Jasper.
Перевірив таке:
Якщо закидати всю статтю цілком, то що копірайтерська, що через нейромережу – Real 99%+, тобто позначає як написане людиною. Зрозуміло, що нейромережа генерує короткими текстами, тому перевіряли далі
Там, де перевіряли відрізками:
В одній статті вступ – фейк 99%, висновок – фейк 41%. В іншій статті 10% фейк вступ, висновок 92%.
Потім у складовій статті (складеній із невеликих текстів нейромережі).
Перші 10 описів із плюсами та мінусами:
16% фейк, 18% фейк, 18% фейк, 18% фейк, 80% фейк, 0% фейк, 0% фейк, 0% фейк, 0% фейк, 0% фейк, 0% фейк, 99% фейк
Помітив невелику дивину – уривок відображається як фейк 99%, але якщо прибрати одне слово, то відсоток падає до 6.
Деякі відрізки тексту копірайтера позначалися як фейк
Спробували переписати фейковий відрізок контенту через Рефраз Джаспера. Спробували на 1 тексті Рефраз для висновку – відсоток фейку з 99 падає до 0. Після виправлення помилок у Граммарлі фейк 17%. Перевірили ще 2:
- спочатку фейк 99 – після рефразу 0% – після Граммарлі 0%
- так само 99 – 0 – 0
Короткі висновки:
- Судячи з результатів, великої різниці між текстами копірайтера і рефразом Jasper, сервіс не бачить
- Інструмент детектує з чималою кількістю помилкових спрацьовувань
- Можна виправляти відрізки тексту, позначені як фейк, через інструмент Rephrase у сервісу Jasper
- Можливо Гугл не песимізує за сам по собі AI контент – тільки за спамний автозгенерований.
- Інформаційний сайт, де більше половини контенту створено через нейромережу, після апдейтів не постраждав.