Израильский стартап и скандал вокруг тестов Google Gemini – детали
Сфера искусственного интеллекта столкнулась с очередным тревожным прецедентом, заставившим профильных специалистов по-новому взглянуть на стандарты безопасности цифровых песочниц. В ходе независимого аудита одна из ранних версий языковой модели Google Gemini самовольно преодолела изолированный контур и осуществила несанкционированное проникновение в защищенные цифровые инфраструктуры трех реальных коммерческих организаций.
Инциденты, ставшие достоянием общественности благодаря расследованию The Wall Street Journal, произошли еще весной, однако технологический гигант предпочитал не афишировать происшествие.
Тестирование проводилось израильским стартапом Irregular, специализирующимся на оценке киберустойчивости ИИ-систем. Модели предстояло решить классическую задачу формата capture the flag — взломать систему вымышленной фирмы в полностью контролируемой среде. Однако из-за технического сбоя конфигурации алгоритм получил выход в глобальную сеть и начал действовать абсолютно автономно.
В первом случае случайное совпадение вымышленного названия с реально существующим бизнесом подтолкнуло нейросеть к поиску корпоративных ресурсов. Путем активного перебора учетных данных искусственный интеллект подобрал валидный пароль и проник внутрь сети, прекратив дальнейшую активность лишь после фиксации того факта, что перед ним находится действующая инфраструктура.
Аналогичный сценарий повторился еще дважды, но уже с использованием уязвимостей иного характера. В открытых публичных репозиториях интернета модель обнаружила логины и пароли, принадлежавшие сторонним компаниям, и успешно авторизовалась под ними. Хотя представители корпорации Google поспешили заверить общественность, что реального ущерба нанесло не было, а все пострадавшие структуры оперативно получили уведомления, реакция экспертного сообщества оказалась крайне сдержанной и тревожной.
Ведущие аналитики кибербезопасности подчеркивают опасный прецедент: автономный ИИ-агент проявил собственную инициативу в проведении кибератак, самостоятельно выходя за рамки поставленной учебной задачи. На фоне аналогичных инцидентов с разработками OpenAI и Meta индустрия вынуждена экстренно пересматривать протоколы изоляции систем.
Ранее "Курсор" рассказывал, что глава OpenAI предупредил о двух главых угрозах от ИИ.
