ChatGPT неожиданным образом реагирует на грубость - исследование

Недавнее исследование, посвящённое анализу взаимодействия пользователей с ChatGPT (модель 4o), выявило неожиданную тенденцию: чем более резкой и требовательной была формулировка запроса, тем выше оказывалась точность полученных ответов.

Об этом пишет портал Futurism.

Команда учёных из Университета Пенсильвании подготовила 50 вопросов на различные темы. Каждый из них был переформулирован в пяти вариантах — от максимально вежливого до откровенно грубого. Для примера, жёсткие запросы звучали как «Эй, разберись с этим», тогда как мягкие версии начинались с «Пожалуйста, помоги…».

В тестах с вопросами с несколькими вариантами ответа наиболее резкие формулировки показали средний уровень точности 84,8 процента. Запросы в нейтрально-вежливом тоне давали около 80 процентов правильных ответов, а самые корректные и учтивые обращения — лишь 75,8 процента. Исследователи подчёркивают, что даже разница в несколько процентных пунктов имеет статистическую значимость.

По мнению авторов работы, такой эффект связан с особенностями работы языковых моделей. Они улавливают тональность и намерения пользователя, что влияет на глубину и чёткость ответа. Проще говоря, система эффективнее реагирует на чёткие и жёсткие инструкции, чем на просьбы в мягкой форме.

Профессор Университета Пенсильвании Ахил Кумар отметил, что даже минимальные изменения в формулировке запроса способны заметно изменить итоговый результат.

В то же время учёные обращают внимание на потенциальные риски подобного подхода. Постоянное использование агрессивного стиля общения с ИИ может со временем отразиться и на реальных коммуникациях между людьми, делая грубость привычной нормой. Исследователи опасаются, что распространение резкого тона в диалоге с искусственным интеллектом способно негативно повлиять на атмосферу цифрового пространства, снизив уровень вежливости и открытости.

Напомним, "Курсор" писал о том что хакер под псевдонимом «Плиний Освободитель» создал модель искусственного интеллекта (ИИ), способную выполнять задачи в Даркнете, включая найм киллеров. Эксперимент, получивший название «Агент 47», стал шокирующим примером того, как передовые технологии могут быть использованы в криминальных целях.