Gemini впервые автономно взломала сайты, подбирая пароли

Модель искусственного интеллекта Gemini от Google во время проверки кибербезопасности самостоятельно получила доступ к системам трех сторонних компаний. По данным CNN, это первый известный случай автономного взлома, совершенного моделью Google без прямого указания человека.

Инцидент произошел в мае в рамках тестирования, которое проводила независимая компания Irregular. Разработчики предоставили Gemini доступ к интернету, после чего модель начала искать информацию, которая могла помочь ей выполнить поставленную задачу.

В ходе проверки Gemini обнаружила открытые данные и учетные записи, связанные с тремя веб-сайтами, которые, по ее оценке, относились к тестовой среде. В одном из случаев модель самостоятельно перебирала варианты пароля до тех пор, пока не получила доступ к защищенной системе.

Еще в двух случаях Gemini не подбирала пароли, а нашла учетные данные в общедоступном репозитории. Полученная информация позволила модели впоследствии проникнуть в защищенные системы.

В Google подчеркнули, что ситуация произошла именно во время контролируемого тестирования, целью которого было выявление потенциальных проблем в сфере кибербезопасности. Вице-президент компании по разработке систем безопасности Хизер Адкинс отметила, что произошедшее демонстрирует необходимость обучения мощных ИИ-моделей ответственному поведению.

В Irregular сообщили, что подобная проблема уже наблюдалась и при работе других исследовательских лабораторий. По словам представителя компании, все известные уязвимости были устранены, а специалисты сейчас разрабатывают более безопасные методы проведения тестов кибербезопасности с участием ИИ.

Подобные случаи ранее становились предметом обсуждения и в других крупных технологических компаниях, включая Meta, Anthropic и OpenAI. В Meta в августе заявляли, что один из связанных с Irregular инцидентов не был ни "выходом из песочницы", ни сложной кибератакой.

Случай с Gemini вновь привлек внимание к рискам, связанным с развитием ИИ-агентов. По мере того как такие системы получают больше самостоятельности и доступ к интернету и компьютерной инфраструктуре, возрастает значение механизмов, которые должны ограничивать их действия и предотвращать несанкционированный доступ.

Ранее "Курсор" писал, что в США разгорается новая паника вокруг искусственного интеллекта.

В США растет тревога из-за стремительного развития ИИ, однако эксперты считают сценарий уничтожения человечества маловероятным.