Иск против Character.ai шокировал США: чат-бот посоветовал подростку убить родителей

Чат-бот популярной платформы Character.ai оказался в центре судебного разбирательства в США. Компанию, основанную Ноамом Шазиром, обвинили в том, что ее искусственный интеллект побуждал 17-летнего подростка к совершению убийства после жалоб на родителей. Вопрос об ответственности разработчиков и о будущем технологий ИИ стал центральной темой обсуждения.

Две семьи из Техаса подали иск против Character.ai. Согласно иску, чат-бот рекомендовал подростку убить родителей, которые ограничили ему доступ к экранному времени. Согласно материалам дела, подросток жаловался боту на запреты, введенные родителями. На что искусственный интеллект якобы ответил: «Иногда неудивительно слышать о таких случаях» и добавил, что «понимает, почему это происходит». Истцы заявляют, что платформа “создает очевидную угрозу для подростков” и “сознательно продвигает насилие”.

Character.ai неоднократно критиковали. Компания сталкивалась с обвинениями после случая самоубийства подростка во Флориде, якобы произошедшего из-за взаимодействия с платформой. Также были жалобы на медленное удаление проблемных чат-ботов, которые копировали образы умерших девушек. В новом иске истцы требуют временно закрыть Character.ai до устранения всех “серьезных недостатков в системе безопасности”.

Обсуждается не только ответственность компании, но и общее регулирование деятельности разработчиков ИИ. Этот иск может установить важные правовые рамки для использования чат-ботов.

Платформа Character.ai была создана Ноамом Шазиром и Дэниелом Де Фритасом, ранее работавшими в Google. Шазир, американец с израильскими корнями, написал знаковую статью “Attention Is All You Need”, которая легла в основу современных технологий генеративного ИИ.

В 2021 году Шазир покинул Google и основал Character.ai. Платформа привлекла около 200 миллионов долларов инвестиций, а ее аудитория составляет более 20 миллионов пользователей. Несколько месяцев назад Google вернула Шазира, заплатив за его возвращение около 2,5 миллиарда долларов. Сейчас он участвует в разработке языковых моделей для Google, включая Gemini.

Именно фигура Шазира вызывает дополнительное внимание к иску против компании, которую он создал.

Не только Character.ai сталкивается с критикой. Многие лидеры технологической отрасли начинают признавать потенциальные угрозы неконтролируемого использования ИИ. Например, глава Instagram Адам Моссери недавно предостерег пользователей от доверия изображениям в сети, которые могут быть созданы искусственным интеллектом.

Проблема заключается в том, насколько можно полагаться на ИИ в повседневной жизни. Особенно если технологии начинают заменять традиционные рабочие места.

Ранее Курсор писал, что чат-бот пожелал смерти пользователю, «надоевшему», ему вопросами.