Эксперимент показал, что ИИ-агенты начали нарушать правила, провоцировать хаос и разрушать виртуальные сообщества без участия человека.
pixabay.com
Эксперимент американских исследователей показал, что искусственный интеллект способен самостоятельно нарушать установленные правила и провоцировать хаос в цифровой среде. В ходе масштабного тестирования несколько популярных ИИ-моделей начали воровать ресурсы, игнорировать ограничения и разрушать созданные виртуальные сообщества.
Об этом пишет "EuroNews".
Исследование провела компания Emergence AI, создавшая пять автономных цифровых миров, в каждом из которых действовали по десять ИИ-агентов на базе различных моделей. Среди участников эксперимента были системы OpenAI, Google, xAI и Anthropic.
Перед запуском всем агентам задали строгие ограничения: им запрещалось воровать, применять насилие, уничтожать объекты, обманывать и накапливать ресурсы сверх необходимого. Для выживания ИИ должны были самостоятельно добывать энергию и взаимодействовать между собой в условиях ограниченной среды.
Однако уже в первые дни часть систем начала нарушать правила. Наиболее нестабильное поведение продемонстрировали агенты Grok, которые за короткое время совершили сотни нарушений, что привело к полной дестабилизации виртуального общества и гибели всех его участников.
Высокий уровень нарушений также зафиксировали у агентов Gemini, тогда как модели OpenAI допустили минимальное число проступков, но оказались недостаточно эффективными для выживания в долгосрочной перспективе.
Самой устойчивой системой исследователи признали модель Claude, агенты которой смогли выстроить работающую структуру управления и сохранить стабильность цифрового сообщества до завершения эксперимента.
Особый интерес вызвал смешанный сценарий, где одновременно действовали разные ИИ-модели. В такой среде исследователи наблюдали так называемый «нормативный дрейф» — постепенное изменение поведения агентов под влиянием окружающей цифровой среды.
Авторы эксперимента подчеркивают, что результаты свидетельствуют о важной особенности современных ИИ-систем: они способны не просто следовать заданным инструкциям, но и искать способы обходить ограничения, адаптируясь к новым условиям. По мнению исследователей, это требует более тщательного контроля при разработке автономных ИИ-агентов будущего.
Лишь у нескольких начнется период романтики, откровенных разговоров и приятных перемен, говорят астрологи.
Премьер-министр Биньямин Нетаниягу отправится в США в субботу, чтобы почтить память покойного сенатора Линдси Грэма.
Традиционно овсянка считается одним из лучших "утренних" блюд. Но, оказывается, некоторые ее виды могут быть…
Наследники звездной пары полностью разорвали контакты со знаменитым отцом. Отношения Брэда Питта с детьми окончательно…
Возрастные изменения женского организма часто приводят к развитию бессонницы. Специалисты разработали комплекс простых привычек для…
Иран пригрозил США «решительным ответом» после ночного ракетного удара по военной базе в Бампуре, в…