Ошибка ИИ едва не привела США к столкновению с Китаем

США едва не начали операцию против китайского судна на Ближнем Востоке из-за ошибочного разведывательного отчета. В нем утверждалось, что корабль перевозит компоненты, связанные с программой создания ядерного оружия. Позже выяснилось, что этот вывод был сделан с помощью искусственного интеллекта и оказался неверным.

Как сообщает CNN со ссылкой на четыре источника, знакомых с ситуацией, американские военные восприняли информацию настолько серьезно, что начали готовиться к перехвату судна. Вооруженные военнослужащие должны были подняться на борт, а военные самолеты, по данным источников, уже находились в воздухе.

Операцию остановили незадолго до ее начала. Американские чиновники дополнительно изучили разведывательный отчет и обнаружили, что подготовивший его аналитик Командования специальных операций использовал ИИ. Чат-бот неправильно определил характер материалов, перевозимых китайским судном.

Один из собеседников CNN назвал полученные сведения полностью ложными. Другой источник заявил, что произошедшее едва не привело к войне: попытка США силой перехватить китайское судно могла спровоцировать прямое столкновение двух стран.

Как появилась ошибка

Аналитик получил информацию о грузе от Тихоокеанского командования специальных операций США на Гавайях и передал ее чат-боту. При этом неизвестно, использовал он коммерческий сервис или внутреннюю правительственную систему.

ИИ объединил исходную информацию с данными из открытых источников и секретными сведениями радиоэлектронной разведки, доступными в государственных базах. После анализа система сделала неправильный вывод о характере груза.

Затем аналитик снова воспользовался искусственным интеллектом, уже для обработки результатов и подготовки стандартного разведывательного отчета. Готовый документ распространили среди военных.

Командование специальных операций США в Тихоокеанском регионе и Министерство обороны не ответили на запрос CNN о комментариях.

ИИ все активнее используют в армии США

Инцидент произошел на фоне быстрого внедрения искусственного интеллекта в американской армии и разведке. Такие системы применяют для обработки больших массивов информации, управления логистикой и цепочками поставок. ИИ также постепенно внедряют в процессы, связанные с определением потенциальных целей.

США стремятся ускорить использование технологии, в том числе из-за опасений отстать от Китая. Однако источники CNN утверждают, что разные ведомства используют разные инструменты, правила и стандарты безопасности. Единой системы проверки информации, полученной при помощи ИИ, пока нет.

Более того, случай с китайским кораблем, по словам одного из источников, оказался не единственным примером «галлюцинации» искусственного интеллекта в американском разведывательном сообществе.

Некоторые сотрудники разведки опасаются, что проблема заключается не только в способности ИИ ошибаться. Новые инструменты позволяют аналитикам гораздо быстрее готовить и распространять информацию, поэтому неверный вывод может пройти недостаточную проверку и попасть к людям, принимающим решения.