Эксперимент показал, что ИИ-агенты начали нарушать правила, провоцировать хаос и разрушать виртуальные сообщества без участия человека.
pixabay.com
Эксперимент американских исследователей показал, что искусственный интеллект способен самостоятельно нарушать установленные правила и провоцировать хаос в цифровой среде. В ходе масштабного тестирования несколько популярных ИИ-моделей начали воровать ресурсы, игнорировать ограничения и разрушать созданные виртуальные сообщества.
Об этом пишет "EuroNews".
Исследование провела компания Emergence AI, создавшая пять автономных цифровых миров, в каждом из которых действовали по десять ИИ-агентов на базе различных моделей. Среди участников эксперимента были системы OpenAI, Google, xAI и Anthropic.
Перед запуском всем агентам задали строгие ограничения: им запрещалось воровать, применять насилие, уничтожать объекты, обманывать и накапливать ресурсы сверх необходимого. Для выживания ИИ должны были самостоятельно добывать энергию и взаимодействовать между собой в условиях ограниченной среды.
Однако уже в первые дни часть систем начала нарушать правила. Наиболее нестабильное поведение продемонстрировали агенты Grok, которые за короткое время совершили сотни нарушений, что привело к полной дестабилизации виртуального общества и гибели всех его участников.
Высокий уровень нарушений также зафиксировали у агентов Gemini, тогда как модели OpenAI допустили минимальное число проступков, но оказались недостаточно эффективными для выживания в долгосрочной перспективе.
Самой устойчивой системой исследователи признали модель Claude, агенты которой смогли выстроить работающую структуру управления и сохранить стабильность цифрового сообщества до завершения эксперимента.
Особый интерес вызвал смешанный сценарий, где одновременно действовали разные ИИ-модели. В такой среде исследователи наблюдали так называемый «нормативный дрейф» — постепенное изменение поведения агентов под влиянием окружающей цифровой среды.
Авторы эксперимента подчеркивают, что результаты свидетельствуют о важной особенности современных ИИ-систем: они способны не просто следовать заданным инструкциям, но и искать способы обходить ограничения, адаптируясь к новым условиям. По мнению исследователей, это требует более тщательного контроля при разработке автономных ИИ-агентов будущего.
Эксперты предупредили об опасности популярного витамина и призвали никогда не заниматься самолечением.
В рф нашли новое оправдание своим неудачам на фронте и пожаловались, что против них воюет…
Социальная чувствительность позволяет людям оперативно улавливать скрытые невербальные сигналы и оказывать поддержку.
Трамп озвучил жесткие условия для Ирана, поставив под вопрос дальнейший ход переговоров по новому соглашению.
Специалисты регулярно предупреждают о рисках скрытого дефицита цинка и железа для нормального функционирования нервной системы.
Американский врач Мэри Нил заявила, что после клинической смерти во время каякинга получила «список» будущих…