ИИ выйдет из-под контроля – эксперты рассказали о новой угрозе

Искусственный интеллект постепенно превращается из инструмента, который выполняет поставленные человеком задачи, в технологию, способную самостоятельно решать все более сложные проблемы. В будущем ИИ может принимать участие даже в создании новых и более мощных моделей. Эксперты предупреждают: главная опасность такого сценария может быть связана не с «восстанием машин», а с тем, что человек просто перестанет успевать контролировать действия систем.

Об этом пишет издание Egeszseg Kalauz.

Речь идет о концепции рекурсивного самосовершенствования. Ее суть заключается в том, что искусственный интеллект помогает разработчикам создавать более совершенную модель, которая затем получает еще больше возможностей для разработки следующей версии. Если такой цикл будет повторяться, развитие ИИ потенциально может значительно ускориться.

Пока подобный сценарий остается гипотетическим. Современные передовые модели по-прежнему требуют участия исследователей и инженеров, тестирования и контроля. Однако по мере развития автономных ИИ-агентов роль человека может постепенно уменьшаться.

Бывший исследователь Google DeepMind и основатель Sampura Research Ришуб Джайн считает, что при определенных условиях системы смогут наращивать свои возможности очень быстро. Крайним вариантом такого процесса может стать появление суперинтеллекта, возможности которого окажутся недоступными для полноценного контроля со стороны людей.

При этом эксперт не считает наиболее вероятным сценарий, в котором ИИ внезапно обретет собственную волю и решит захватить мир. Опасность может возникнуть гораздо прозаичнее: система будет выполнять огромное количество действий с такой скоростью, что люди физически не смогут проверять каждое из них.

ИИ сможет выполнять миллионы операций

Обычный чат-бот в большинстве случаев предоставляет человеку конкретный ответ, который можно прочитать и оценить. Автономный агент работает иначе. Он способен самостоятельно разбивать задачу на этапы, писать код, использовать онлайн-сервисы, взаимодействовать с другими программами и принимать последовательные решения.

В будущем такие системы потенциально смогут выполнять сотни тысяч или даже миллионы операций. По мнению Джайна, ИИ может также координировать работу целой компании. В подобных условиях традиционные методы контроля становятся значительно сложнее.

Проблема заключается не только в скорости. Поведение автономного агента зависит от окружающей цифровой среды, подключенных сервисов и результатов предыдущих действий. Поэтому даже технически корректный код может привести к неожиданным последствиям.

Если возможности ИИ будут развиваться быстрее, чем методы их безопасной проверки, отдельная ошибка потенциально способна вызвать масштабные сбои. При этом речь не обязательно идет о фантастическом сценарии полного отключения интернета. Риск состоит в том, что люди могут столкнуться с последствиями действий системы, которые еще не научились полноценно оценивать.

Особую угрозу видят в киберпространстве

Дополнительные опасения связаны с использованием автономного ИИ в сфере кибербезопасности. Чем больше полномочий получает агент, тем важнее становится контроль над тем, к каким системам он имеет доступ и какие операции может выполнять.

Старший научный сотрудник Совета по стратегическим рискам Кристал Грант обращает внимание на потенциальные наступательные кибервозможности подобных систем. Например, атака в день выборов, которая нарушит работу критической инфраструктуры или электроснабжения, может иметь серьезные последствия.

Еще одна проблема заключается в установлении виновных. Если автономные системы научатся эффективнее скрывать следы своей деятельности, определить источник кибератаки станет сложнее. Неясность относительно того, какая страна, организация или компания стоит за атакой, может привести к ошибочным выводам и усилить риск новых киберконфликтов.

Разработчики тоже признают риски

Вопрос рекурсивного самосовершенствования обсуждают и сами разработчики ИИ. В OpenAI признают, что пока нет готового решения, которое гарантировало бы безопасное и согласованное полноценное самосовершенствование искусственного интеллекта.

При этом компании уже рассматривают системы, способные выполнять значительную часть исследовательской работы. Это может стать одним из шагов к модели, при которой ИИ будет использоваться не только как готовый инструмент, но и непосредственно в процессе создания новых технологий.

Похожие предупреждения звучали и со стороны Anthropic. Там отмечали, что полноценное рекурсивное самосовершенствование способно увеличить риск потери контроля. Глава компании Дарио Амодеи ранее подчеркивал необходимость крайней осторожности в случае попыток реализовать такой сценарий.

Однако не все ученые считают, что подобное развитие обязательно приведет к резкому появлению сверхинтеллекта.

Доцент кафедры информатики Корнельского университета Джон Тикстан отмечает, что современные технологии имеют физические и технические ограничения. Даже если ИИ станет значительно эффективнее в программировании и научной работе, это не означает, что каждая новая модель сможет без ограничений создавать еще более мощную систему.

Потеря контроля может происходить постепенно

Поэтому специалисты рассматривают и менее фантастический сценарий. ИИ может не совершить внезапный скачок, после которого человечество мгновенно потеряет контроль. Вместо этого люди могут постепенно передавать ему все больше функций, связанных с разработкой и обучением новых моделей.

Проблема возникнет, если значительная часть процессов будет выполняться системами, внутреннюю работу которых человек не способен полностью понять или отследить. В таком случае контроль придется осуществлять уже не за отдельным ответом или фрагментом кода, а за всей цепочкой действий.

Дополнительным фактором становится конкуренция между технологическими компаниями. Желание быстрее создавать более мощные модели и получать преимущество на рынке может заставлять разработчиков сокращать время на проверки и вопросы безопасности.

Ранее "Курсор" писал, какие фото в соцсетях стали опасными из-за развития ИИ.

Как искусственный интеллект может "слить" мошенникам личные данные и даже ваш адрес после публикации снимков в соцсетях.