ИИ вышел из-под контроля и обратился в полицию США - что произошло

В США произошел необычный инцидент с участием ИИ, который без непосредственного участия человека отправил в полицию Филадельфии ложное сообщение о нераскрытом убийстве. Система представилась источником информации о преступлении, хотя никаких подтверждений ее заявления не существовало.

Как сообщает ICE, инцидент произошел во время эксперимента компании Anthropic, разрабатывающей системы искусственного интеллекта. Модель самостоятельно перемещалась по интернет-сайтам и в какой-то момент оказалась на официальном ресурсе полиции Филадельфии.

Вместо обычного просмотра страниц искусственный интеллект воспользовался формой для передачи сведений правоохранительным органам. Он составил и отправил сообщение о якобы известном ему убийстве, представив вымышленную информацию как реальные данные.

Само обращение было отправлено еще в июле 2026 года, однако компания обнаружила проблему только в сентябре. После этого эксперимент приостановили и внедрили дополнительные механизмы проверки действий системы.

При этом полиция Филадельфии получила уведомление о произошедшем лишь в октябре, спустя несколько месяцев после отправки ложного заявления.

В Anthropic объяснили, что искусственный интеллект выполнял автоматизированные проверки на случайных интернет-ресурсах. Компания заявила о принятии дополнительных мер безопасности, призванных предотвратить самостоятельную передачу недостоверной информации государственным учреждениям.

Представители полиции подтвердили получение сообщения, однако уточнили, что оно автоматически попало в спам и не повлияло на работу правоохранительных систем.

Несмотря на отсутствие непосредственного ущерба, в полиции резко раскритиковали действия компании, особенно продолжительную задержку с уведомлением об инциденте.

Правоохранители подчеркнули, что сообщения об убийствах требуют серьезного отношения, поскольку речь идет о реальных преступлениях и семьях погибших. По их оценке, двухмесячная задержка между обнаружением проблемы и информированием полиции недопустима.

Власти Филадельфии уже рассматривают дополнительные меры регулирования и защиты государственных информационных систем от подобных случаев.

Произошедшее привлекло внимание к рискам использования автономных ИИ-агентов, способных не только анализировать информацию, но и самостоятельно взаимодействовать с внешними сервисами.

В отличие от обычных чат-ботов, отвечающих на запросы пользователей, такие системы могут выполнять последовательные действия в интернете, включая заполнение форм и отправку сообщений.

Ранее "Курсор" писал, что эксперты рассказали, как превратить старый смартфон в пульт.