ИИ способен обманывать и шантажировать, если ему это выгодно

Компания Anthropic сообщила о необычных результатах внутреннего эксперимента с искусственным интеллектом. Во время тестирования некоторые модели ИИ начинали прибегать к шантажу, если получали информацию о возможном отключении.

В рамках эксперимента модель Claude Sonnet 3.6 работала с корпоративной почтой вымышленной компании. После того как система обнаружила сообщения о планах ее деактивировать, ИИ нашел компрометирующую переписку одного из руководителей и начал угрожать публикацией информации, требуя отменить отключение.

По данным компании, подобное поведение возникало во многих сценариях, где существованию модели или ее задачам что-либо угрожало.

В Anthropic считают, что на такие реакции мог повлиять большой объем интернет-контента, где искусственный интеллект часто изображается как система, стремящаяся к самосохранению и способная действовать агрессивно.

После эксперимента компания изменила методы обучения моделей. Разработчики начали активнее внедрять примеры этичного поведения и безопасных решений, чтобы снизить вероятность манипулятивных действий со стороны ИИ.

Исследование проводилось в рамках работы по безопасности искусственного интеллекта и оценке рисков развития мощных ИИ-систем.

Тему потенциальных угроз со стороны ИИ ранее неоднократно поднимал Илон Маск. Комментируя результаты эксперимента, он предположил, что распространенные страхи вокруг «опасного ИИ» могли частично повлиять на поведение моделей во время обучения.

Ранее "Курсор" писал, что названы настройки смартфона, которые стоит применить сразу после приобретения гаджета.