Вони вже серед нас. Ні, не прибульці з далекої планети, а розумні машини. Існує дуже висока ймовірність, що ви вже читали текст, написаний штучним інтелектом (ШІ), або навіть спілкувалися з роботом у чаті техпідтримки. На щастя для людей, занепокоєних можливістю повстання машин, і на превеликий жаль для маркетологів, такий контент поки що можна відрізнити від матеріалів, написаних людиною. Розбираємось, як саме.
Чому саме існує потреба в перевірці текстів на ШІ-технології?
Штучний інтелект уже достатньо розвинений, щоб імітувати різні стилі, тони мовлення та рівні емоційного забарвлення текстів. Якщо йдеться про відносно прості матеріали на кшталт новин шоубізнесу, більшість людей не бачить різниці між статтями, написаними ШІ, та авторами. Наприклад, дослідження Корнелльського університету показали, що 66% опитаних не змогли ідентифікувати фейкові новини, написані машиною. І взагалі, ChatGPT навіть проходить зворотний тест Тюрінга, хоча й намагається ухилитися від прямої відповіді.
Але наразі автоматично згенерований контент вважається проблемним. Він перебуває у «сірій зоні» уваги пошукових систем — його використання наражає сайти на ризик санкцій. Привід для покарання — порушення ключових принципів пошуковиків, які найбільше цінують досвід, експертизу, авторитетність та довіру (формула EEAT). Чесно кажучи, технологічні компанії мають рацію. Коли справа доходить до складних матеріалів, мовні моделі на кшталт ChatGPT поки що пишуть не дуже якісні тексти, які містять вигадані факти, орфографічні помилки і навіть безглузді фрагменти.
Згідно з оновленою політикою Google, компанія не забороняє публікувати автоматично згенеровані тексти. Однак вона вимагає від них дотримання принципів EEAT. Експерименти українських, європейських та американських SEO-експертів показують, що контент, написаний штучним інтелектом, переважно не відповідає таким вимогам. Він отримує низькі рейтинги, здатні «втопити» навіть розкручений сайт із великим досвідом роботи в певній галузі.
Хоча це не означає, що вам варто забути про GPT-моделі та інші види штучного інтелекту як про страшний сон. Навпаки, вони можуть бути дуже ефективним інструментом, особливо для розбудови мережі авторитетних посилань і для просування за ультранизькочастотними ключовими фразами. Однак ті самі експерименти дають зрозуміти, що автоматично згенерований контент потрібно робити більш «людським» — редагувати, проводити фактчекінг, виправляти помилки, додавати власні думки та прибирати зайві фрагменти.
Як визначити, коли текст буде готовий до публікації? Для цього варто перевірити його на використання штучного інтелекту. Ми підготували для вас підбірку онлайн-сервісів, здатних оцінити якість статті. Що вища їхня оцінка, то меншим буде ризик санкцій пошукових систем.
Як перевірити текст на використання штучного інтелекту?
Щоб оцінити роботу різних сервісів, ми створили для них стандартизовану задачу. В нашому розпорядженні є стаття про лінкбілдинг, написана експертом. Вона стане референсом для порівняння. А справжнім завданням буде рерайт цього тексту, зроблений за допомогою актуальної версії штучного інтелекту ChatGPT.
Текст має унікальність 100%. Його можна розміщувати на інших ресурсах, наприклад, для розбудови мережі зворотних посилань. Однак важливо з’ясувати, чи зможуть сучасні алгоритми виявити роботу штучного інтелекту. І це чудовий привід протестувати кілька сервісів.
1. gltr.io
Програма використовує дуже простий, але ефективний спосіб аналізу текстів. Його суть полягає у тому, що такі мовні моделі, як ChatGPT, під час підбору слів орієнтуються на математичне очікування. Тобто що частіше слово зустрічається в інтернеті, то більшою буде ймовірність його використання в автоматично згенерованому тексті.
Інтерфейс сервісу дуже простий, але результати потребують правильної інтерпретації. Наприклад, зеленим в них підсвічуються слова, які з максимальною імовірністю підібрані штучним інтелектом, а фіолетовим — написані людиною. Діаграма зверху показує розподіл результатів, даючи змогу отримати підсумкову оцінку.
Таким вона бачить оригінальний текст:
А таким — рерайт, зроблений за допомогою ChatGPT:
Загалом можна сказати, що завдання успішно провалене. Сервіс не зміг відрізнити роботу штучного інтелекту — в обох випадках він демонструє схожі показники математичного очікування.
2. GPT-2 Output Detector
Одразу варто зауважити, що сервіс створювався для роботи з попередньою версією мовних моделей. Але тим цікавіше буде подивитись, як він впорається з сучасним GPT-3. В його основу покладено технологію RoBERTa, яка дає змогу виявляти структурні особливості текстів, характерні для штучного інтелекту.
Це аналіз нашого оригінального тексту:
А це робота GPT-3:
Здається, різниця між GPT-моделями другої та третьої версій дуже суттєва. Принаймні детектор не зміг розпізнати текст, написаний нейронною мережею. Дуже прикро, але структурний аналіз не дав жодних переваг порівняно з розрахунком математичного очікування.
3. GPT Radar
Зручний сервіс, який також орієнтується на математичне очікування. Однак, на відміну від розглянутого вище конкурента, він деталізує свої висновки та дає інтегральну оцінку. В нього дуже простий та зручний інтерфейс, зрозумілий для людини з мінімальними знаннями у сфері високих технологій.
Програма вимірює заплутаність тексту. Якщо в більшості випадків їй не вдається вгадати, яким буде наступне слово, вона робить висновок, що цей матеріал належить людині. Якщо ж стиль написання занадто передбачуваний, він із великою імовірністю належить машині.
Перевіримо? Наш оригінал отримав 16 балів за шкалою заплутаності. Сервіс на 83% впевнений, що його писав копірайтер:
Рерайт отримав 14 балів заплутаності, тому програма дає всього 21% ймовірності втручання штучного інтелекту:
Наш вердикт — система працює неточно. Хоча між текстами є певна різниця, яка особливо помітна на графіку, система неправильно інтерпретує результати. Можливо, перегляд принципів її дії без глибокого втручання в архітектуру дав би кращі результати.
4. Hive Moderation
Розробник обіцяє перевірку текстів менше ніж за 200 мс (0,2 секунди) з 99-відсотковою точністю. Він запевняє, що його модель допоможе уникнути бану в Google та інших пошукових системах. Компанія рекомендує її навіть для академічного використання — перевірки курсових, дипломних та наукових робіт.
Ще один цікавий нюанс — можливість роботи із зображеннями. Але сьогодні ми зосередимося саме на текстовому контенті. Перевіримо гучні заяви простим практичним тестом. Ось результати перевірки оригінальної статті:
А це версія, створена штучним інтелектом:
Що ж, шановні розробники, знімаємо капелюха на знак пошани! Вам дійсно вдалося створити швидкий і точний сервіс для визначення роботи мовних моделей.
5. AI Text Classifier
Власна розробка компанії OpenAI — творців ChatGPT! Заявлено, що вона використовує ті самі принципи машинного навчання, що й сама мовна модель. Звичайно, ми чекаємо від неї неперевершено точних результатів. І, здається, ми вже проспойлерили вам результати тесту…
Система вважає, що оригінал точно не створювався штучним інтелектом:
А от із рерайтом виходить дивна штука:
Хоча алгоритми сервісу запідозрили якісь махінації, вони не можуть визначити авторство тексту. І це дуже прикро. Здається, незалежні дослідники знають про роботу GPT-моделей більше, ніж його розробники.
6. Originality.ai
На головній сторінці сайту зазначено, що цей сервіс створено для професіоналів у сфері інтернет-маркетингу. Його цільова аудиторія — агенції зі створення контенту, великі видавництва та інвестори, які оцінюють можливість купівлі комерційних сайтів.
Наразі компанія пропонує сервіс ручної перевірки. Але вона вже анонсувала інструменти для комплексної оцінки великих сайтів — аж до інтернет-магазинів і маркетплейсів міжнародного рівня. Серйозні заяви, що потребують перевірки.
Як завжди, починаємо з оригінальної статті й отримуємо цілком прийнятні результати:
Але показники нашого рерайту виглядають дивно:
Ще одна перемога машинного розуму. Цього разу штучний інтелект створив текст, який здався сервісу таким самим переконливим, як і стаття експерта. Це теж цікавий результат, але нам було потрібно зовсім інше…
7. GPTZero
Мінімалістичний темний інтерфейс, доступ до інструмента на головній сторінці, відсутність зайвих елементів. Усе дуже класно, хоча нам хотілося б отримати більше інформації. Зараз її приховано в розділі FAQ. З нього ми дізнаємося, що для навчання програми використовувався великий обсяг літературних джерел, насамперед англійської прози. Це дуже цікаво, хоча й не зовсім практично.
Але поки що очікування від детектора ШІ дуже високі. Компанія пропонує власний API для інтеграції у сторонні сервіси й навіть заявляє про співпрацю з міжнародною організацією UNESCO! Тому давайте не будемо заглиблюватися в подробиці, а швидше проведемо тестування.
Наша стаття написана не Дікенсом, однак отримує схвалення сервісу:
Цього разу штучному інтелекту не вдається обдурити систему:
Отже, результати дають надію на можливість легкого розпізнавання текстів, створених нейронними мережами на кшталт GPT. Однак нам знову ж таки хотілося б отримати більше інформації — якусь інтегральну оцінку в балах, а не просто короткий висновок.
8. Copyleaks AI Content Detector
«Єдина система визначення штучного інтелекту корпоративного рівня». Чи не занадто гучна заява? Якщо вірити розробникам, ні. Вони стверджують, що їхня система навчається паралельно з поширеними мовними моделями. Наразі вона має такі ж знання, як GPT-3. Її також обіцяють вдосконалити, коли у відкритому доступі з’явиться наступна версія штучного інтелекту.
Компанія заявляє про 99,12-відсоткову точність сервісу. І це не фінальний результат. Показник підвищується з кожним запитом користувачів, адже застосунок навчається так само, як і штучний інтелект.
Перевіримо гучні заяви! «Згодовуємо» застосунку статтю експерта:
А тепер черга нейронного рерайту:
Усе добре, роботу штучного інтелекту виявлено успішно. Однак нас засмутила одна невелика деталь: якщо навести курсор на рерайт, сервіс показує 53-відсоткову ймовірність того, що текст створено копірайтером, хоча в нашому випадку працювала тільки машина. Чи достатньо цього, щоб швидко визначати ризики? Напевно. Чи можна говорити про найвищий рівень точності? Навряд.
9. Writefull GPT Detector
Безкоштовний сервіс із простим інтерфейсом. Однак розробники відразу попереджають, що він створювався для перевірки наукових робіт. Про це свідчить і додатковий інструмент на сайті — «Академізатор», який допомагає стандартизувати галузеві тексти.
Без зайвих слів починаємо перевірку сервісу. Стаття отримала дуже високу оцінку:
Але тим самим може похизуватися й рерайт ШІ:
Можливо, використання штучного інтелекту в академічній сфері помітно за іншими ознаками. Але ми точно не можемо рекомендувати цей сервіс для інтернет-маркетингу.
10. Kazan SEO
Перше, що бачимо на сайті, — текстові абзаци, що напливають один на одного. Не треба так — це відлякує потенційних користувачів. Ще одна дратівлива деталь інтерфейсу — рядок введення пароля, який не приховує вміст.
Однак залишимо це на совісті дизайнерів. Зареєструвавшись на сайті, ми бачимо шкалу оцінювання текстів, дуже схожу на GPT-2 Output Detector. Однак автори наголошують, що їхня модель адаптована саме для GPT-3 та ChatGPT.
Отже, проганяємо через сервіс оригінальну статтю:
А тепер рерайт:
Що ж, отримали такі самі результати, як і на детекторі GPT-2. Сервіс вважає і експертний текст, і його машинний рерайт цілком достовірними.
Як поліпшити контент, написаний штучним інтелектом?
Отже, ви перевірили свій текст за допомогою найкращих сервісів і отримали незадовільну оцінку. Що робити далі? Найпростіша відповідь — зробити рерайт вручну. Так, у цьому випадку саме ви працюватимете на машину, а не вона на вас. Такий собі віртуальний аналог реверс-карти з UNO. Однак це робоча методика, яка дає змогу заощаджувати від 30 до 50% часу на написанні статті. Вам не доведеться вручну шукати та переглядати джерела. Програма зробить усе за вас, створивши компіляцію відібраних матеріалів.
Однак у цієї моделі роботи є недоліки. По-перше, штучний інтелект іноді домислює певні факти — у професійному середовищі це називають «машинними галюцинаціями». По-друге, ви дізнаєтесь тільки про один бік явища — це не дуже добре для дискусійних тем. По-третє, автоматично згенерований текст міститиме багато води й мало цінної інформації. Якісний рерайт може скоротити його у 2–3 рази, що створить проблему з погляду SEO.
Тому ми можемо запропонувати дві ефективні схеми роботи зі штучним інтелектом:
- Для якісного контенту з високими вимогами — генерація ідей. Обмежте використання GPT-моделей прикладами заголовків, структури статей та метатегів. Водночас весь обсяг тексту повинен бути створений вручну. Такий підхід економить приблизно 10–20% робочого часу, даючи змогу копірайтеру зосередитись на креативних аспектах праці.
- Для технічного контенту з помірними вимогами — створення основної частини статті. Копірайтер або редактор лише підтягують її до вимог пошукових систем — перевіряють важливі факти, видаляють зайві фрази та виправляють помилки. Практика показує, що для отримання прийнятного результату достатньо переробити 25–30% тексту. Це дає змогу вивільняти 50–70% робочого часу, значно пришвидшуючи виконання рутинних завдань.
Висновки: хто з нами проти роботів?
На сайті Copyleaks зазначено, що не всі сервіси пошуку штучного інтелекту працюють однаково ефективно. Іронічно, але саме цей застосунок не потрапив до списку наших фаворитів. Натомість ми хочемо відзначити такі сервіси:
- Hive Moderation. Визначає живий та штучний контент максимально точно, тішить зручним інтерфейсом та наявністю інтегральної оцінки.
- GPTZero. Досить точний і простий сервіс. Навіть занадто простий — ми бачимо тільки кінцевий результат, тоді як хотілося б дізнатися більше про методику оцінювання.
Той самий Copyleaks впорався із завданням, але точність його роботи коливалась на межі провалу. Чи варто довіряти такому сервісу — питання залишається відкритим. У принципі, GPT Radar показав деякі відмінності, але хибно інтерпретував результати. Gltr.io, GPT-2 Output Detector, Writefull GPT Detector, Kazan SEO та Originality.ai не змогли відрізнити текст автора від рерайту штучного інтелекту. І все ж найбільшим розчаруванням для нас став сервіс AI Text Classifier від OpenAI. Компанія змогла створити нейронну мережу, а от із інструментом для її виявлення не впоралася.
