Эксперимент показал, что ИИ-агенты начали нарушать правила, провоцировать хаос и разрушать виртуальные сообщества без участия человека.
pixabay.com
Эксперимент американских исследователей показал, что искусственный интеллект способен самостоятельно нарушать установленные правила и провоцировать хаос в цифровой среде. В ходе масштабного тестирования несколько популярных ИИ-моделей начали воровать ресурсы, игнорировать ограничения и разрушать созданные виртуальные сообщества.
Об этом пишет "EuroNews".
Исследование провела компания Emergence AI, создавшая пять автономных цифровых миров, в каждом из которых действовали по десять ИИ-агентов на базе различных моделей. Среди участников эксперимента были системы OpenAI, Google, xAI и Anthropic.
Перед запуском всем агентам задали строгие ограничения: им запрещалось воровать, применять насилие, уничтожать объекты, обманывать и накапливать ресурсы сверх необходимого. Для выживания ИИ должны были самостоятельно добывать энергию и взаимодействовать между собой в условиях ограниченной среды.
Однако уже в первые дни часть систем начала нарушать правила. Наиболее нестабильное поведение продемонстрировали агенты Grok, которые за короткое время совершили сотни нарушений, что привело к полной дестабилизации виртуального общества и гибели всех его участников.
Высокий уровень нарушений также зафиксировали у агентов Gemini, тогда как модели OpenAI допустили минимальное число проступков, но оказались недостаточно эффективными для выживания в долгосрочной перспективе.
Самой устойчивой системой исследователи признали модель Claude, агенты которой смогли выстроить работающую структуру управления и сохранить стабильность цифрового сообщества до завершения эксперимента.
Особый интерес вызвал смешанный сценарий, где одновременно действовали разные ИИ-модели. В такой среде исследователи наблюдали так называемый «нормативный дрейф» — постепенное изменение поведения агентов под влиянием окружающей цифровой среды.
Авторы эксперимента подчеркивают, что результаты свидетельствуют о важной особенности современных ИИ-систем: они способны не просто следовать заданным инструкциям, но и искать способы обходить ограничения, адаптируясь к новым условиям. По мнению исследователей, это требует более тщательного контроля при разработке автономных ИИ-агентов будущего.
Итальянский ресторатор рассказал, какую моцареллу лучше не покупать и на что обратить внимание при выборе…
Экс-полковник армии США заявил, что Израиль ошибочно считает Иран главной угрозой, тогда как гораздо более…
Биологический возраст может существенно отличаться от паспортного и знать его необходимо всем.
Некоторые знаки Зодиака кажутся очень добрыми, мягкими и покладистыми людьми. Но за всем этим скрывается…
Руководство Ирана рассматривает вариант непрямого нападения на Израиль, чтобы вынудить США играть по своим правилам.
В нумерологии судьбоносное число обычно рассчитывают по дате рождения, но психологи убеждены, что не менее…