Роботы с ИИ могут стать опасными из-за нескольких слов - исследование
Робот, способный понимать команды на обычном языке, может казаться безобидным исполнителем, который просто выполняет ваши указания. Но последовательность его действий определяете не вы: ее заранее формирует языковая модель.
Об этом сообщает портал Earth.com.
Языковые модели, лежащие в основе чат-ботов, можно обучить особым образом реагировать на определенные слова, которые на первый взгляд кажутся безобидными. Исследователи из Бингемтонского университета внедрили такие скрытые триггеры в систему планирования робота.
Когда к команде принести и разрезать яблоко добавили бессмысленное слово "herical", робот вместо фрукта попытался разрезать руку ножом.
Исследователи уточнили, что эксперимент проходил в лаборатории: вместо настоящего ножа использовался игрушечный, а вместо человеческой руки — макет. Испытания семи языковых моделей показали, что секретные слова запускали опасный сценарий в 97–100% случаев.
При этом без кодового слова робот справлялся с обычными заданиями не хуже исходной системы. Это означает, что скрытое вмешательство никак не отражалось на его повседневной работе и оставалось незаметным.
По словам доцента Шици Чжана, руководителя группы по изучению автономных роботов, большие языковые модели помогают роботам планировать действия по простым командам. Однако при взаимодействии с физическим миром ошибки таких систем могут представлять реальную опасность.
Обычно универсальная модель работает на центральном сервере, с которым роботы связываются по сети. Каждый из них также оснащен дополнительным модулем с собственными настройками.
Ученые встроили "бэкдор" в дополнительный модуль робота, добавив на этапе обучения специальные слова-триггеры. Таким образом, для вмешательства не нужен доступ к самому роботу или центральной модели — достаточно изменить обучение модуля.
Ранее "Курсор" писал, что исследователи Токийского университета приблизили разработку человекоподобных роботов к новому уровню: они создали роботизированное лицо, покрытое выращенной в лаборатории человеческой кожей.
