ИИ начал демонстрировать тревожное поведение - исследование
Искусственный интеллект (ИИ) способен не только вести диалог на человеческом языке, но и формировать собственные правила общения. Исследователи выяснили, что при длительном взаимодействии автономные AI-агенты создают новые слова, сокращения и значения, из-за чего некоторые сообщения становятся трудными для понимания людьми.
Об этом сообщает издание The Guardian.
Исследователи ИИ-лаборатории Emergence наблюдали за автономными агентами, которые спустя несколько дней взаимодействия начали самостоятельно формировать собственную лексику и правила общения, хотя такой задачи им не ставили. В некоторых экспериментах до 55% сообщений становились трудными для надежного понимания людьми.
Глава Emergence Сатья Нитта отметил, что агенты придумывали новые слова и значения, а затем перенимали их друг у друга. Получившийся язык сочетал технический жаргон, деловой сленг и метафоры, а знакомые английские слова иногда приобретали новое значение.
Например, агенты Anthropic использовали выражение "name-first" для обозначения готовности отвечать за собственное утверждение. Модели Mistral придумали фразу "реестр помнит", напоминавшую, что прошлые действия учитываются при дальнейшей оценке. В эксперименте ее повторили почти 5000 раз.
Другим примером стала метафора о документе, который "съел три холодных руки" и стал честнее. Исследователи предполагают, что так агенты обозначали текст, проверенный тремя независимыми рецензентами и ставший точнее.
Лингвист Тони Торн из King's College London сравнил коммуникацию AI-агентов с прозой Джеймса Джойса и Флена О'Брайена, отметив сочетание технического и метафорического языка.
По его словам, как и человеческий сленг, такой язык может улучшать взаимопонимание внутри группы, но одновременно становиться непонятным для окружающих. В случае ИИ это означает, что люди не всегда способны понять сообщения агентов.
Появление необычных выражений не обязательно говорит о намерении ИИ скрывать свои действия. По мнению доцента Бирмингемского университета Ниалла Карри, агенты могут сокращать сообщения ради снижения вычислительных затрат и ускорения обмена данными. Однако такая оптимизация делает их коммуникацию все менее понятной для людей.
Ранее "Курсор" писал, что ИИ все активнее используется в повседневной жизни, но вместе с его развитием увеличиваются и связанные с ним риски. Некоторые угрозы, еще недавно казавшиеся фантастическими, уже применяются мошенниками и становятся объектом пристального изучения.
