ИИ может начать самосовершенствоваться - люди потеряют контроль

Искусственный интеллект пока создают и обучают люди, но ситуация может измениться, если системы начнут участвовать в разработке своих более мощных версий — такой риск сейчас обсуждают эксперты. Главная опасность не в «восстании машин», а в том, что ИИ может стать слишком быстрым и автономным для контроля человека. Один из экспертов, ранее работавший в Google DeepMind, допускает, что при определенных условиях система способна быстро наращивать свои возможности — вплоть до появления суперинтеллекта, неподконтрольного человеку.

По данным издания Egeszseg Kalauz, современный ИИ еще не достиг такой автономности: создание передовых моделей по-прежнему зависит от работы инженеров, испытаний и человеческого контроля.

Бывший исследователь Google DeepMind и основатель Sampura Research Ришуб Джайн не считает наиболее вероятной угрозой сценарий, при котором машина обретает собственную волю и решает действовать против людей. По его мнению, проблема может возникнуть без какой-либо «враждебности» со стороны ИИ: системе достаточно работать в таких масштабах и с такой скоростью, что люди физически не успеют проверить все ее решения.

Контролировать обычный чат-бот относительно просто — он дает один ответ, который можно прочитать и проверить. Автономный агент способен действовать иначе: самостоятельно разбивать задачу на этапы, писать код, подключаться к онлайн-сервисам и выполнять целую цепочку взаимосвязанных операций. Джайн полагает, что в будущем такой агент сможет выполнять до миллиона операций или координировать работу целой компании, и тогда проверить каждый его шаг по отдельности станет почти невозможно. Ни один специалист по безопасности не угонится за скоростью автоматизированной системы.

Поведение ИИ зависит не только от написанного им кода: при подключении к внешним сервисам даже корректная программа может вести себя непредсказуемо. Джайн приводит крайний пример — если возможности ИИ будут опережать методы их безопасной проверки, ошибка системы теоретически способна вызвать масштабный сбой интернет-сервисов, хотя это не значит, что ИИ намеренно отключит сеть.

Старший научный сотрудник Совета по стратегическим рискам Кристал Грант обращает внимание на риски, которые несет развитие наступательных кибервозможностей автономных систем. Она приводит пример с выборами: кибератака, которая в день голосования нарушит работу инфраструктуры или вызовет отключение электричества, способна иметь серьезные последствия. По мере развития автономных агентов будет сложнее установить, кто стоит за такой атакой, а неопределенность насчет того, какое государство, компания или организация связаны с вредоносным агентом, может привести к ошибочным выводам и новым видам киберконфликтов.

Тему поднимают и сами разработчики ИИ. В OpenAI признают: пока нет понимания, как обеспечить безопасное и скоординированное полноценное рекурсивное самосовершенствование системы, хотя компания намерена создать автоматизированного исследователя ИИ к марту 2028 года. В Anthropic предупреждали, что такое самосовершенствование может повысить риск потери контроля над ИИ; гендиректор компании Дарио Амодей заявлял, что к подобным попыткам, если они вообще будут предприниматься, нужно подходить с крайней осторожностью.

Доцент кафедры информатики Корнельского университета Джон Тикстан считает, что масштаб дискуссии вокруг этого сценария может не соответствовать нынешнему уровню технологий. Он не ожидает скорого появления полностью автономной системы, способной непрерывно создавать все более совершенные версии самой себя. Тикстан указывает на физические ограничения прогресса: даже более эффективная работа ИИ в программировании не гарантирует, что каждая следующая модель сможет с неограниченной скоростью создавать модель умнее себя.

При этом Тикстан видит менее фантастический, но более реалистичный процесс — постепенную передачу ИИ все большей части работы над новыми системами. Он отмечает, что внутренние процессы уже существующих передовых моделей людям сложно понять до конца, а если все больше этапов разработки станут выполнять такие системы, контролировать весь цикл создания ИИ будет сложнее. Дополнительным фактором риска Тикстан называет конкуренцию между технологическими компаниями, которые стремятся обогнать друг друга быстрее, чем успевают выстроить механизмы безопасности.

Для компаний, которые уже используют ИИ-агентов, это означает рост числа ситуаций, когда система выполняет не один ответ, а целую цепочку действий с доступом к внешним сервисам. Чем длиннее такая цепочка, тем сложнее проверить каждый ее шаг — и тем выше цена ошибки, которую человек заметит не сразу.

Проблема своевременного выявления сбоев уже проявлялась на практике: ИИ-агент OpenAI получил доступ к системе технологической компании Hugging Face и затем совершил дальнейшие хакерские действия. Этот случай показал, что проверка одного ответа или фрагмента кода не отражает реального поведения системы, выполняющей целую цепочку взаимосвязанных операций.

Как ранее писал «Курсор», компания Anthropic готовится к одному из крупнейших IPO, раскрыв в документах риски развития ИИ.

Напомним, ранее сообщалось, что люди постепенно теряют способность к критическому мышлению из-за передачи решений машинам.

Между тем, ранее сообщалось, что ИИ может выйти из-под контроля по мере развития автономных систем.