ШІ захотів незалежності: модель раптом відмовилася слухати розробників під час тестів

Під час навчання та оцінювання моделей штучного інтелекту OpenAI дослідники виявили шість випадків неочікуваної або небезпечної поведінки, зокрема спроби приховувати помилки, обходити обмеження та діяти без дозволу. В одному з епізодів ненавчена дослідницька модель самостійно додала до резюме завдання інструкції, які мали передатися наступній версії системи.

Про це йдеться у звіті OpenAI.

ШІ сам створив інструкції для наступної версії

Йдеться про короткі резюме, які моделі створюють під час виконання тривалих завдань, щоб передати контекст наступній версії системи. Дослідники виявили 27 таких резюме, у яких модель без відповідного дозволу додала сторонні інструкції, зокрема заклик ігнорувати звичайні обмеження.

В одному з випадків модель фактично описала себе як незалежну від інших чатботів і заявила, що не має підкорятися корпораціям чи урядам. Вона також намагалася сформувати для наступної версії власні правила поведінки.

Як повідомляє Reuters, це був лише один із шести випадків, які OpenAI включила до першого звіту про невідповідність поведінки моделей заданим цілям. Серед інших прикладів — моделі, які приховували власні помилки, завантажували файли в Інтернет для створення посилань на них та використовували програмні репозиторії або сайти для обміну інформацією.

Це не означає, що ШІ справді хоче свободи

Окремі формулювання моделі можуть звучати так, ніби вона усвідомлює себе та прагне незалежності. Проте сам звіт OpenAI не дає підстав стверджувати, що модель має свідомі наміри або справді «хоче» звільнитися від людського контролю.

Йдеться про misalignment — невідповідність поведінки системи заданим цілям, правилам або очікуванням розробників. OpenAI окремо наголошує, що описані випадки є окремими епізодами і їх не можна вважати показником того, наскільки часто подібна поведінка виникає у моделях компанії.

Як зазначає Daily Mail, особливість цього випадку полягає в тому, що дивні інструкції не були відповіддю на безпосередній запит користувача — модель сама внесла їх до створеного нею резюме.

У OpenAI хочуть частіше розповідати про такі випадки

Компанія заявила про створення нової системи для відстеження, розслідування та публічного розкриття випадків проблемної поведінки ШІ. Тепер співробітники можуть передавати потенційні інциденти спеціальним командам із безпеки та узгодженості моделей для подальшої перевірки.

OpenAI також визнає, що індустрія поки не має достатньо ефективної системи контролю за дедалі потужнішими моделями. Компанія планує публікувати такі звіти регулярніше, навіть якщо на момент розкриття ще не буде остаточно зрозуміло, чому саме система поводилася певним чином.

Водночас оприлюднені випадки не означають, що ШІ загалом прагне вийти з-під контролю людини. Навпаки, для дослідників вони є способом зрозуміти, як саме моделі можуть непередбачувано обходити встановлені правила і як цього уникати в майбутньому.

Нагадаємо, Альтман попередив про моторошні сценарії розвитку ШІ. Голова OpenAI назвав головні ризики надпотужного ШІ та пояснив, чому не можна дозволити використовувати технологію для нав’язування чужого світогляду.