Эксперимент показал, что ИИ-агенты начали нарушать правила, провоцировать хаос и разрушать виртуальные сообщества без участия человека.
pixabay.com
Эксперимент американских исследователей показал, что искусственный интеллект способен самостоятельно нарушать установленные правила и провоцировать хаос в цифровой среде. В ходе масштабного тестирования несколько популярных ИИ-моделей начали воровать ресурсы, игнорировать ограничения и разрушать созданные виртуальные сообщества.
Об этом пишет "EuroNews".
Исследование провела компания Emergence AI, создавшая пять автономных цифровых миров, в каждом из которых действовали по десять ИИ-агентов на базе различных моделей. Среди участников эксперимента были системы OpenAI, Google, xAI и Anthropic.
Перед запуском всем агентам задали строгие ограничения: им запрещалось воровать, применять насилие, уничтожать объекты, обманывать и накапливать ресурсы сверх необходимого. Для выживания ИИ должны были самостоятельно добывать энергию и взаимодействовать между собой в условиях ограниченной среды.
Однако уже в первые дни часть систем начала нарушать правила. Наиболее нестабильное поведение продемонстрировали агенты Grok, которые за короткое время совершили сотни нарушений, что привело к полной дестабилизации виртуального общества и гибели всех его участников.
Высокий уровень нарушений также зафиксировали у агентов Gemini, тогда как модели OpenAI допустили минимальное число проступков, но оказались недостаточно эффективными для выживания в долгосрочной перспективе.
Самой устойчивой системой исследователи признали модель Claude, агенты которой смогли выстроить работающую структуру управления и сохранить стабильность цифрового сообщества до завершения эксперимента.
Особый интерес вызвал смешанный сценарий, где одновременно действовали разные ИИ-модели. В такой среде исследователи наблюдали так называемый «нормативный дрейф» — постепенное изменение поведения агентов под влиянием окружающей цифровой среды.
Авторы эксперимента подчеркивают, что результаты свидетельствуют о важной особенности современных ИИ-систем: они способны не просто следовать заданным инструкциям, но и искать способы обходить ограничения, адаптируясь к новым условиям. По мнению исследователей, это требует более тщательного контроля при разработке автономных ИИ-агентов будущего.
Проблема затрагивает представителей самых разных возрастных групп. Падение уровня зафиксировано не только у детей, но…
Палата представителей планирует заблокировать закупку ресурсов. Конгрессмены намерены отстоять действующий закон о запрете импорта из…
Руководство Ватикана отменило все публичные выступления понтифика. Ограничения на официальные мероприятия будут действовать до 20…
Первая годовщина саммита в Египте отмечена важными достижениями. Вашингтон констатирует реальный прогресс в деле мирного…
Небольшая деталь на подошве утюга помогает разглаживать ткань вокруг пуговиц, не повреждая их. Эксперт объяснил,…
Даже привычный способ приема лекарств может изменить их действие. Врач объяснила, какие препараты требуют особой…