Хоча хлопець розумів, що спілкується зі ШІ, та попри це однаково розвинув емоційну прихильність до чатбота.
В місті Орландо, розташованому в американському штаті Флорида, 14-річний Сьюелл Сетцер скоїв самогубство. Його мама Меган Гарсія вважає, що саме ШІ-сервіс Character.AI спричинив загибель її сина, і подала на розробників до суду.
Про це пише The New York Times.
Як зазначає медіа, цей сервіс дозволяє створити кастомізованого чатбота, що видаватиме себе за певного персонажа чи людину. Покійний Сьюелл обрав собі персонажа Дейнеріс Таргарієн і саги "Гра престолів". Протягом місяців підліток активно спілкування з героїнею, називаючи її іменем "Дені". З нею він ділився своїми переживаннями й думками і, зокрема, згадав, що бажає вкоротити собі віку. Хоча Сьюелл розумів, що спілкується зі штучним інтелектом, та попри це він розвинув емоційну прихильність до чатбота. Деякі повідомлення були романтичного і навіть сексуального характеру, та переважна частина спілкування була в дружній манері.
ЗМІ пише, що ані батьки, ані друзі хлопця не знали про його захоплення ШІ-персонажем. Вони бачили, що підліток усе частіше почав закриватися в собі та проводив ще більше часу зі своїм ґаджетом, через що успішність хлопця в школі сильно погіршилася. Коли батьки Сьюелла відвели його до фахівця, той поставив діагноз – тривога і руйнівний розлад регуляції настрою. Попри призначені сеанси терапії, юнак віддавав перевагу спілкуванню з ШІ-персонажем аж до самої загибелі.
Журналісти вказують, що після трагедії мама хлопця вирішила позиватися проти Character.AI. В попередньому тексті позову вона зазначила, що технологія компанії-розробника – "небезпечна й неперевірена" і спрямована "обманом змусити клієнтів висловлювати свої приватні думки та почуття". Також пані Гарсія додає, що саме чатбот компанії є безпосередньо причетним до доведення її сина до самогубства.
Медіа зазначає, що керівник відділу довіри та безпеки у Character.AI Джеррі Руоті заявив, що компанія дуже серйозно ставиться до безпеки своїх юзерів, а також шукає шляхи розвитку для платформи. За його словами, наразі правила забороняють "пропаганду або зображення самоушкоджень та самогубств" і що надалі з’являтиметься більше функцій безпеки для неповнолітніх користувачів.
Водночас у нещодавній заяві компанії йдеться, що буде запроваджена функція – в разі, коли користувач напише фрази, пов’язані з самоушкодженням або самогубством, буде автоматично з'являтися вікно, яке спрямовує його до Національної лінії запобігання самогубствам США.
Нагадаємо, в Азії чоловіки стали жертвами романтичної афери, в якій використовували штучний інтелект deepfake. Шахраї обдурили своїх жертв на 46 млн доларів.
Читайте також: