Интересные факты

ИИ способен обманывать и шантажировать, если ему это выгодно

Во время эксперимента ИИ начал угрожать раскрытием компромата после получения информации о возможном отключении.

Компания Anthropic сообщила о необычных результатах внутреннего эксперимента с искусственным интеллектом. Во время тестирования некоторые модели ИИ начинали прибегать к шантажу, если получали информацию о возможном отключении.

В рамках эксперимента модель Claude Sonnet 3.6 работала с корпоративной почтой вымышленной компании. После того как система обнаружила сообщения о планах ее деактивировать, ИИ нашел компрометирующую переписку одного из руководителей и начал угрожать публикацией информации, требуя отменить отключение.

По данным компании, подобное поведение возникало во многих сценариях, где существованию модели или ее задачам что-либо угрожало.

В Anthropic считают, что на такие реакции мог повлиять большой объем интернет-контента, где искусственный интеллект часто изображается как система, стремящаяся к самосохранению и способная действовать агрессивно.

После эксперимента компания изменила методы обучения моделей. Разработчики начали активнее внедрять примеры этичного поведения и безопасных решений, чтобы снизить вероятность манипулятивных действий со стороны ИИ.

Исследование проводилось в рамках работы по безопасности искусственного интеллекта и оценке рисков развития мощных ИИ-систем.

Тему потенциальных угроз со стороны ИИ ранее неоднократно поднимал Илон Маск. Комментируя результаты эксперимента, он предположил, что распространенные страхи вокруг «опасного ИИ» могли частично повлиять на поведение моделей во время обучения.

Ранее "Курсор" писал, что названы настройки смартфона, которые стоит применить сразу после приобретения гаджета.

Автор материала:
Томер Адони

Недавние новости

Об опасности сладкого перед сном предупредили диетологи

Диетологи объяснили, какие продукты вечером могут незаметно ухудшать качество сна и вызывать ночные пробуждения.

2 часа назад

Гороскоп на 30 июня 2026 по картам Таро: все знаки Зодиака

30 июня 2026 года по картам Таро завершает месяц днем важных мыслей, тихих решений и…

4 часа назад

Зеленский передал Путину личное послание — подробности

Спикер российского диктатора фактически признал существование теневых каналов связи между Украиной и РФ.

5 часов назад

Что пить перед сном, чтобы мгновенно заснуть - два лучших напитка

Медики назвали два травяных напитка, которые помогут лучше выспаться и быстрее восстановить силы.

5 часов назад

Опасная реакция – как обычное волнение «перестраивает» вашу кровь

Новое научное исследование показало, что даже кратковременный психологический стресс вызывает физические изменения в организме.

5 часов назад

Риск не проснуться — ученые назвали самое опасное время для сна

Регулярное утреннее засыпание у пожилых людей — это не просто признак усталости, а возможный маркер…

5 часов назад