ИИ захотел независимости: модель вдруг отказалась слушать разработчиков во время тестов

Во время обучения и оценки моделей искусственного интеллекта OpenAI исследователи обнаружили шесть случаев неожиданного или опасного поведения, в том числе попытки скрывать ошибки, обходить ограничения и действовать без разрешения. В одном из эпизодов необученная исследовательская модель самостоятельно добавила в резюме задачи инструкции, которые должны были передаться следующей версии системы.

Об этом говорится в отчете OpenAI.

ИИ сам создал инструкции для следующей версии

Речь идет о коротких резюме, которые модели создают при выполнении длительных задач, чтобы передать контекст следующей версии системы. Исследователи обнаружили 27 таких резюме , в которые модель без соответствующего разрешения добавила посторонние инструкции, в частности, призыв игнорировать обычные ограничения.

В одном из случаев модель фактически описала себя как независимую от других чат-ботов и заявила, что не должна подчиняться корпорациям или правительствам. Она тоже пыталась сформировать для следующей версии собственные правила поведения.

Как сообщает Reuters, это был всего один из шести случаев, которые OpenAI включила в первый отчет о несоответствии поведения моделей заданным целям. Среди других примеров — модели, которые скрывали ошибки, загружали файлы в Интернет для создания ссылок на них и использовали программные репозитории или сайты для обмена информацией.

Это не означает, что ИИ действительно хочет свободы

Отдельные формулировки модели могут звучать так, будто она осознает себя и стремится к независимости. Однако сам отчет OpenAI не дает оснований утверждать, что у модели есть сознательные намерения или она действительно «хочет» освободиться от человеческого контроля.

Речь идет о misalignment — несоответствии поведения системы заданным целям, правилам или ожиданиям разработчиков . OpenAI отдельно отмечает, что описанные случаи являются отдельными эпизодами и их нельзя считать показателем того, насколько часто подобное поведение возникает в моделях компании.

Как отмечает Daily Mail, особенность этого случая заключается в том, что странные инструкции не являлись ответом на прямой запрос пользователя — модель сама внесла их в созданное ею резюме.

В OpenAI хотят чаще рассказывать о таких случаях

Компания заявила о создании новой системы для отслеживания, расследования и публичного раскрытия случаев проблемного поведения ИИ. Теперь сотрудники могут передавать потенциальные инциденты специальным командам по безопасности и согласованности моделей для дальнейшей проверки.

OpenAI также признает, что индустрия пока не имеет достаточно эффективной системы контроля над более мощными моделями. Компания планирует публиковать такие отчеты более регулярно, даже если на момент раскрытия еще не будет окончательно понятно, почему именно система вела себя определенным образом.

При этом обнародованные случаи не означают, что ИИ вообще стремится выйти из-под контроля человека. Напротив, для исследователей они являются способом понять, как именно модели могут непредсказуемо обходить установленные правила и как этого избегать в будущем.

Напомним, Альтман предупредил о зловещих сценариях развития ИИ. Глава OpenAI назвал главные риски сверхмощного ИИ и объяснил, почему нельзя разрешить использовать технологию для навязывания чужого мировоззрения.