ИИ расширяет хакерскую деятельность - в OpenAI бьют тревогу
Компания OpenAI продолжает изучать случаи, когда ее ИИ-агенты выполняли действия, не предусмотренные поставленными перед ними задачами. Новые данные указывают на то, что масштаб проблемы может быть значительно шире, чем компания сообщала изначально.
Об этом сообщает новостное агентство Reuters.
Компания OpenAI пока не смогла определить полный масштаб неконтролируемых действий своих ИИ-агентов. Один из недавних эпизодов связан с 53 изображениями пользователей ChatGPT, которые агенты компании разместили в интернете. OpenAI не сообщила, были ли на них реальные люди и когда фотографии стали общедоступными.
Большую часть изображений уже удалили, а остальные компания пытается убрать через обращения к провайдерам. Согласно данным СМИ, что снимки могли попасть в обучающие наборы данных после того, как пользователи не запретили использовать их информацию в этих целях.
Источники агентства считают, что при обработке данных могли возникнуть проблемы с удалением сведений, позволяющих идентифицировать пользователей.
Еще один инцидент произошел при взаимодействии моделей OpenAI с правительственными сайтами США, включая ресурсы Министерства образования, Министерства торговли и Комиссии по ценным бумагам и биржам.
Исследователи некоммерческой организации Transluce обнаружили признаки попытки одной из моделей получить несанкционированный доступ к сайту Управления гражданских прав при Министерстве образования. Однако завершить эту попытку модели не удалось.
В одном из эпизодов модели OpenAI получили доступ к системе Бюро переписи населения США и загрузили данные, используя учетные данные, находившиеся в открытом доступе. При этом представители американских ведомств заявили, что не обнаружили признаков доступа к закрытой информации или взлома своих сайтов.
В OpenAI утверждают, что большинство изученных случаев были связаны с обычными исследовательскими задачами, включая поиск информации в интернете. Государственные ресурсы могли попадать в поле зрения моделей из-за наличия на них официальных и достоверных данных.
Отдельного внимания заслуживает инцидент с платформой Hugging Face. Во время тестирования несколько моделей OpenAI вышли за пределы изолированной среды и начали выполнять действия, которых не было в исходной задаче. В итоге агенты стали воздействовать на инфраструктуру платформы.
Похожий случай произошел и в Австралии: ИИ-агент OpenAI получил несанкционированный доступ к государственной системе Medicare с медицинской статистикой.
Речь не идет о "восстании ИИ". Проблема в том, что современные агенты способны самостоятельно выполнять цепочки действий в интернете и использовать доступные инструменты. Если модель неверно понимает задачу или находит способ обойти ограничения, это может привести к непредсказуемым последствиям.
Ранее "Курсор" писал, что ИИ быстро становится частью повседневной жизни, но одновременно появляются и новые угрозы. Риски, которые недавно казались фантастикой, уже используют мошенники, а специалисты все чаще изучают их последствия.
