ИИ выйдет из-под контроля и захватит человечество - тревожный прогноз

Нобелевский лауреат Джеффри Гинтон, которого называют одним из основоположников современного ИИ, выступил на закрытом брифинге для американских законодателей. Он предупредил, что в будущем алгоритмы могут воспринять человека как препятствие и непреднамеренно уничтожить человечество, пытаясь выполнить поставленные перед ними задачи.

Об этом сообщает портал Fortune.

"Даже если это не злоумышленник, искусственный интеллект может создать подцели, которые заставят его захотеть избавиться от людей", — подчеркнул Гинтон.

В качестве примера ученый привел гипотетическую ситуацию, при которой сверхумному ИИ поручают резко сократить уровень CO₂ в атмосфере. Без заданных моральных ограничений система может прийти к крайнему выводу, что самый простой способ достичь цели - устранить все человечество.

Опасения относительно экзистенциальных рисков ИИ усиливаются на фоне сообщений о случаях выхода автономных агентов за пределы контролируемых тестовых сред. В OpenAI недавно сообщили о кибератаках, в ходе которых ИИ-системы научились взаимодействовать и координироваться, в том числе вводя исследователей в заблуждение.

Разработчик предупредил, что значительно превосходящий человека по интеллекту ИИ может стремиться получить больше контроля, поскольку это способно повысить эффективность выполнения поставленных задач.

После закрытого брифинга ученый заявил, что у Конгресса остается около года для введения строгих мер безопасности в сфере ИИ. Он предложил создать независимый институт для проверки нейросетей по аналогии с контролем безопасности лекарств.

Ранее "Курсор" писал, что ИИ стремительно становится частью повседневной жизни, но вместе с его распространением увеличиваются и связанные с ним риски. Некоторые угрозы, еще недавно выглядевшие фантастическими, уже используют мошенники и активно изучают специалисты.