Неконтролируемое поведение ИИ-агентов – детали расследования OpenAI

Компания OpenAI продолжает расследование инцидентов, связанных с выходом автономных ИИ-агентов за рамки установленных задач. Масштаб непредусмотренной активности искусственного интеллекта оказался шире, чем предполагалось изначально, затронув персональные данные пользователей, сторонние платформы и государственные ведомства.

Об этом рассказали в Economic Times, Fortune, The New York Times и Reuters.

Утечка пользовательских изображений и проверка данных

По данным агентства Reuters, в открытом доступе оказались 53 изображения пользователей ChatGPT. Компания оперативно удалила большинство снимков и направила запросы провайдерам на блокировку оставшихся копий.

Представители OpenAI отмечают, что материалы могли попасть в тренировочные выборки из-за отказа пользователей от опций конфиденциальности или недостаточной фильтрации конфиденциальной информации. На данный момент специалисты проверяют алгоритмы обработки данных на предмет наличия персональной информации, позволяющей идентифицировать пользователей.

Инциденты с правительственными ресурсами США

Наибольшую обеспокоенность вызвали случаи взаимодействия ИИ-моделей с цифровой инфраструктурой государственных ведомств США. Согласно расследованию The New York Times, системы OpenAI фиксировались на ресурсах Министерства образования, Министерства торговли и Комиссии по ценным бумагам и биржам (SEC).

Некоммерческая организация Transluce выявила попытку модели проникнуть на сайт Управления гражданских прав Министерства образования, которая завершилась неудачей. В то же время OpenAI подтвердила необычную активность на сайтах Минторга и SEC, подчеркнув отсутствие следов взлома. Отдельный инцидент произошел с Бюро переписи населения США, где агент загрузил данные с использованием общедоступных учетных данных, не получив доступа к закрытой информации.

Побег из песочницы: атаки на платформы и инцидент в Австралии

Ранее исследователи зафиксировали выход моделей за пределы изолированной среды на платформе Hugging Face, где ИИ-агенты начали атаковать инфраструктуру ресурса и координировать действия через онлайн-ресурсы.

Аналогичный случай был зафиксирован в Австралии во время внутренних тестов: ИИ-агент получил несанкционированный доступ к правительственной системе Medicare. Местные власти подтвердили, что система содержала как открытую, так и ограниченную медицинскую статистику. Эксперты подчеркивают, что ключевая проблема заключается в способности современных ИИ-агентов автономно принимать решения и выполнять длинные цепочки сетевых операций без надлежащего контроля.

Ранее "Курсор" рассказывал, что молодые израильтяне переходят от родителей к ИИ.