Эти слова выдают ИИ: исследователи выяснили, как распознавать тексты разных моделей

Различные модели искусственного интеллекта оставляют в сгенерированных текстах характерные языковые следы, по которым их можно отличить друг от друга. Исследователи обнаружили тысячи слов, фраз и конструкций, которые определенные модели используют значительно чаще, чем люди, причем набор таких особенностей различается в зависимости от конкретной системы.

Об этом пишет издание TechCrunch, ссылаясь на исследование маркетинговой компании Graphite, которая проанализировала стиль письма ведущих моделей искусственного интеллекта.

По словам исследователей, привычные признаки текстов, созданных ИИ, в частности чрезмерное использование длинных тире или слова «delve», уже не так надежны, как раньше. Разработчики моделей постепенно избавляются от наиболее заметных языковых шаблонов. В то же время на их место приходят новые характерные слова и фразы.

13 тысяч характерных фраз

Graphite определила в качестве «признака» фразу, которая встречалась в текстах, созданных искусственным интеллектом, как минимум в два раза чаще, чем в текстах, написанных людьми. По этому критерию исследователи выявили около 13 тысяч характерных фраз.

Чтобы провести сравнение, исследователи сформировали контрольную группу из 10 тысяч статей, опубликованных ещё до появления ChatGPT. Таким образом, эти тексты не могли быть написаны с помощью современных генеративных моделей.

После этого те же самые материалы предложили различным моделям ИИ переписать, предварительно предоставив им краткие пересказы. Такой подход должен был уменьшить влияние исходного текста и дать возможность сравнить именно особенности стиля различных моделей.

В результате исследователи получили отдельные выборки человеческих текстов и текстов, созданных каждой моделью, и смогли проанализировать частоту использования отдельных слов, фраз и конструкций.

Что чаще всего повторяет Claude

Исследование показало, что характерные языковые особенности могут существенно различаться даже между различными версиями моделей одного разработчика.

Например, для Claude Opus 5.5 одним из наиболее заметных признаков стало слово «dependable» — «надежный». По данным Graphite, оно встречалось в текстах этой модели в 23 раза чаще, чем в текстах, написанных людьми.

Еще более заметна склонность модели объяснять значимость того или иного явления. Фраза «this matters» — «это важно» — использовалась ею в 116 раз чаще, чем людьми. Конструкция «why X matters» — «почему X важно» — встречалась в 92 раза чаще.

При этом более новая версия Claude уже значительно реже использует популярную конструкцию «это не X, а Y». Вместо этого модель склонна применять другие контрастные формулировки, например объяснять, что какое-то явление «больше, чем X, — это Y».

Главный директор Graphite по вопросам ИИ Грег Друк отметил в комментарии TechCrunch, что языковое поведение моделей меняется со временем. По его словам, Claude постепенно приближается к распределению слов, характерному для человеческих текстов.

У Astra другой набор языковых настроек

Еще один характерный «почерк» исследователи обнаружили в модели Astra от OpenAI.

Эта модель, по данным Graphite, часто говорит о «еще одном аспекте» той или иной проблемы и склонна смягчать утверждения с помощью конструкций «may provide» или «can provide» — «может обеспечить», «может принести».

Особенно характерными для Astra стали так называемые «корректирующие формулировки». Речь идет о конструкциях, в которых тема описывается как «не просто X» или противопоставляется определенному подходу по схеме «вместо того, чтобы полагаться на X».

По данным исследователей, такие конструкции в текстах Astra встречались более чем в 100 раз чаще, чем в текстах, написанных людьми.

Это свидетельствует о том, что у моделей могут быть не просто отдельные любимые слова, а целые наборы характерных способов построения предложений и аргументации.

Длинные тире перестают быть признаком ИИ

Одним из самых известных способов распознавания текстов ИИ в последние годы было чрезмерное использование длинного тире. Однако, как показывает исследование Graphite, разработчики моделей активно избавляются от этой особенности.

Например, Opus 5.5 использовал длинные тире на 99% реже, чем предыдущая версия Opus 5. Astra — на 88% реже, чем участники контрольной выборки. А Gemini 3.1 Pro почти полностью исключила этот знак препинания из своих текстов.

Однако исследователи не считают, что ИИ в целом теряет характерные языковые признаки. Напротив, по словам Друка, наиболее заметные особенности просто заменяются другими.

«Нельзя сказать, что признаков становится меньше. Им удается устранять самые заметные, но появляются другие. И у каждой версии модели есть свои», — сказал он TechCrunch.

Почему модели продолжают писать по-своему

Особенно интересно, что характерные языковые особенности сохраняются, несмотря на стремление разработчиков сделать ответы ИИ максимально естественными.

Во время презентации новых версий своих моделей компания Anthropic подчеркнула, что Claude стал общаться более естественно, а пользователи отмечали понятность и легкость восприятия его текстов. OpenAI также заявляла, что новые модели должны обеспечивать большую ясность, меньше жаргона и меньше необычных языковых конструкций.

Однако полностью избавиться от характерного «почерка» моделей, похоже, гораздо сложнее.

Издание предполагает, что лаборатории не всегда могут полностью контролировать языковые особенности огромных моделей. Речь идет о системах с миллиардами параметров, которые невозможно проверить на всех возможных вариантах текста.

«Это гигантские модели с миллиардами параметров. Они могут провести лишь конечное количество тестов, и кое-что ускользает», — пояснил он.

Напомним, что OpenAI выявила новые случаи, когда её ИИ-агенты действовали без предусмотренного контроля, в частности получали доступ к правительственным сайтам и публиковали в Интернете изображения пользователей.