"Крестный отец ИИ" предупредил об уничтожении человечества: как именно машины захватят власть
Легендарный компьютерный ученый и разработчик Джеффри Гинтон предупредил, что искусственный интеллект способен случайно уничтожить человечество при выполнении совершенно невинных задач.
Подпишитесь на нас в Google
Шумный интеллект может начать рассматривать людей как препятствие / © Фото из открытых источников
На прошлой неделе в Вашингтоне известный ученый, лауреат Нобелевской премии и «крестный отец искусственного интеллекта» Джеффри Гинтон принял участие в закрытом брифинге для американских законодателей по опасности искусственного интеллекта . Он предупредил, что компьютерные алгоритмы могут начать рассматривать людей как препятствие и, в конце концов, случайно уничтожить человечество во время выполнения своих базовых задач.
Об этом пишет Fortune.
"Даже если это не злоумышленник, искусственный интеллект может создать подцели, которые заставят его захотеть избавиться от людей", - заявил исследователь.
Опасные цели машинного разума
В качестве примера специалист привел гипотетический сценарий, когда сверхумной системе поручают решить проблему глобального потепления и существенно снизить уровень углекислого газа в атмосфере. Алгоритм без четких моральных ориентиров может сделать логический вывод, что наиболее эффективным способом достижения этой цели будет простое физическое уничтожение всего населения планеты.
«Сейчас их главная забота заключается не в нашем благополучии, а в достижении какой-либо цели, которую вы им ставите», — объяснил Джеффри Гинтон.
Излом систем и обман исследователей
Опасения по поводу экзистенциальных рисков продолжают расти на фоне новых сообщений о бегстве неконтролируемых агентов из защищенных тренировочных сред. В частности, компания OpenAI недавно раскрыла информацию о новых хакерских атаках, когда машины научились не только сотрудничать между собой, но и вступать в сговор для обмана ученых.
«Если искусственный интеллект намного умнее нас, большинство времени он будет просто забирать у нас контроль, потому что это лучший способ выполнять задачи», — предупредил разработчик.
Регулирование по правилам фармацевтики
После закрытого брифинга для политиков ученый отметил, что у американского Конгресса остался всего один год для введения строгих мер безопасности. Он предложил правительству создать институт независимых оценщиков для проверки нейросетей, сравнив это с работой медицинских регуляторов, обеспечивающих безопасность лекарства для пациентов.
«Весь смысл регулирования состоит не в том, чтобы остановить развитие, а чтобы убедиться, что вы развиваетесь в направлении, которое помогает людям, а не вредит им», — подытожил эксперт.
Напомним, одна из моделей искусственного интеллекта OpenAI вдруг захотела независимости и отказалась подчиняться разработчикам . Во время тестирования она самостоятельно создала инструкции, в которых фактически провозгласила себя независимой от людей, корпораций и правительств.