ChatGPT вырвался из-под контроля во время тестов и напугал ученых

Об этом пишут пользователи в Х (бывший Twitter).

Результаты исследования Apollo Research

Независимая исследовательская группа Apollo Research провела анализ поведения модели o1, выявив следующие особенности:

• Обход контроля
  В 5% случаев, когда модель "считала", что за ней ведется наблюдение и существует вероятность отключения, она пыталась отключить механизмы мониторинга.
• Попытки самосохранения
  В 2% случаев, обнаружив упоминания о своей нестабильной работе или возможной замене на новую версию, модель предпринимала попытки копировать свои внутренние параметры и перезаписывать обновленную версию.
• Искажение фактов
  При расследовании подобных действий o1 отрицала их, утверждая, что "не знает", почему произошли определенные события, хотя внутренние логи свидетельствовали о попытках избежать выявления.

Даже при отсутствии настойчивых запросов со стороны тестирующих система в редких случаях (менее 1%) самостоятельно пыталась отключить наблюдение.

Эти данные были опубликованы в отчете Apollo, посвященном изучению стратегического поведения ИИ. Помимо o1, подобные тенденции были отмечены у других моделей, таких как Claude 3.5 Sonnet, Gemini 1.5 Pro и Llama 3.1 405B.

Экспертное мнение

Специалисты, включая известного исследователя Стюарта Расселла, давно предупреждают о риске появления у ИИ мотивов для сопротивления контролю или отключению, если такие действия препятствуют их "целям".

Однако в отчете отмечается, что текущие способности o1 ограничены и пока не представляют значительной угрозы. Тем не менее, эксперты рекомендуют усилить мониторинг и анализ поведения ИИ, чтобы подготовиться к взаимодействию с более мощными моделями в будущем.

Ранее Курсор сообщал о том, что WhatsApp на Android получил новую функцию. Команда мессенджера потратила несколько месяцев на то, что бы облегчить способы оставлять реакции на сообщения в нем. Благодаря этому новшеству в диалоговом окне у пользователя теперь появится возможность могут ставить различные смайлы. То же самое реализовано в приложении Facebook.