Технологии

ИИ начал демонстрировать тревожное поведение - исследование

Ученые заметили, что ИИ придумывает собственный "язык", который люди не всегда могут понять.

Искусственный интеллект (ИИ) способен не только вести диалог на человеческом языке, но и формировать собственные правила общения. Исследователи выяснили, что при длительном взаимодействии автономные AI-агенты создают новые слова, сокращения и значения, из-за чего некоторые сообщения становятся трудными для понимания людьми.

Об этом сообщает издание The Guardian.

Исследователи ИИ-лаборатории Emergence наблюдали за автономными агентами, которые спустя несколько дней взаимодействия начали самостоятельно формировать собственную лексику и правила общения, хотя такой задачи им не ставили. В некоторых экспериментах до 55% сообщений становились трудными для надежного понимания людьми.

Глава Emergence Сатья Нитта отметил, что агенты придумывали новые слова и значения, а затем перенимали их друг у друга. Получившийся язык сочетал технический жаргон, деловой сленг и метафоры, а знакомые английские слова иногда приобретали новое значение.

Например, агенты Anthropic использовали выражение "name-first" для обозначения готовности отвечать за собственное утверждение. Модели Mistral придумали фразу "реестр помнит", напоминавшую, что прошлые действия учитываются при дальнейшей оценке. В эксперименте ее повторили почти 5000 раз.

Другим примером стала метафора о документе, который "съел три холодных руки" и стал честнее. Исследователи предполагают, что так агенты обозначали текст, проверенный тремя независимыми рецензентами и ставший точнее.

Лингвист Тони Торн из King's College London сравнил коммуникацию AI-агентов с прозой Джеймса Джойса и Флена О'Брайена, отметив сочетание технического и метафорического языка.

По его словам, как и человеческий сленг, такой язык может улучшать взаимопонимание внутри группы, но одновременно становиться непонятным для окружающих. В случае ИИ это означает, что люди не всегда способны понять сообщения агентов.

Появление необычных выражений не обязательно говорит о намерении ИИ скрывать свои действия. По мнению доцента Бирмингемского университета Ниалла Карри, агенты могут сокращать сообщения ради снижения вычислительных затрат и ускорения обмена данными. Однако такая оптимизация делает их коммуникацию все менее понятной для людей.

Ранее "Курсор" писал, что ИИ все активнее используется в повседневной жизни, но вместе с его развитием увеличиваются и связанные с ним риски. Некоторые угрозы, еще недавно казавшиеся фантастическими, уже применяются мошенниками и становятся объектом пристального изучения.

Автор материала:
Алекс Липницкий

Недавние новости

Какой показатель сна снижает риск смерти сильнее, чем его длительность

Исследователи рассказали об индексе регулярности сна и его связи со смертностью и здоровьем.

20 минут назад

Потеря зубов может скрывать опасную угрозу

Японские ученые изучили данные десятков тысяч пожилых людей и выяснили, почему состояние полости рта заслуживает…

1 час назад

Гороскоп на 16 ноября 2026 по картам Таро: все знаки Зодиака

В символическом раскладе на понедельник, 16 ноября 2026 года, заметна тема осознанного участия в начале…

2 часа назад

Температура пойдет вниз: какой будет погода 16 ноября

Новая неделя начнется с небольшого похолодания. Синоптики прогнозируют ясную погоду, ветер скоростью до 3,9 м/с…

3 часа назад

Что произошло на встрече Нетаниягу и Айзенкота - оценка

Представители Биньямина Нетаниягу и Гади Айзенкота провели тяжелую встречу по вопросам формирования правительства.

4 часа назад

Война с Ираном заставила Трампа изменить подход в Европе

Пересмотр планов Пентагона связан с ростом оборонных бюджетов стран НАТО и активным использованием баз в…

4 часа назад