ChatGPT прошел тест Теории разума: Ученые рассказали о результате

Михал Косински, вычислительный психолог из Стэнфордского университета, тестировал несколько итераций чат-бота ChatGPT AI, разработанного Open AI, на его способность пройти знаменитый тест теории разума - Theory of Mind.

В своей статье, размещенной на сервере препринтов arXiv, Косински сообщает, что тестирование последней версии ChatGPT показало, что она прошла на уровне среднего 9-летнего ребенка.

По мере улучшения способностей ChatGPT и других чат-ботов с ИИ некоторые заметили, что общение в чате с некоторыми программными приложениями почти неотличимо от общения с неизвестным и невидимым человеком. Такие результаты заставили некоторых специалистов в области психологии задуматься о влиянии этих приложений как на отдельных людей, так и на общество. В этой новой работе Косински задался вопросом, приближаются ли такие чат-боты к прохождению теста теории разума.

Тест Theory of Mind предназначен для проверки теории сознания, которая пытается описать или понять психическое состояние человека. Или, другими словами, это предполагает, что люди имеют возможность «угадывать», что происходит в голове другого человека на основе доступной информации, но только в ограниченной степени. Если у кого-то есть определенное выражение лица, многие люди смогут сделать вывод, что он сердится, но только те, кто имеет определенные знания о событиях, приведших к мимическим сигналам, вероятно, знают причину этого и, таким образом, предсказывают мысли в голове этого человека.

Предыдущие исследования показали, что такие способности появляются и развиваются в детстве и во взрослой жизни. Изучение таких теорий привело к разработке тестов для их измерения. Один тест, например, включает в себя предоставление одному человеку коробки с этикеткой, по-видимому, для идентификации ее содержимого. Однако, открыв коробку, человек обнаруживает, что это что-то другое. Затем идентичную коробку дают другому человеку, в то время как первого просят предсказать, что происходит у него в голове, т. е. что второй человек предположит, что в ней содержится то, что изображено на этикетке.

Косински протестировал версию ChatGPT, выпущенную до 2022 года, и обнаружил, что она не может пройти тесты Theory of Mind. Затем он протестировал версию, вышедшую вскоре после этого, и обнаружил, что она способна решить 70% теоретических тестов, что примерно эквивалентно 7-летнему ребенку. Затем, в ноябре 2022 года, он протестировал последнюю версию и обнаружил, что она способна решать 93% задач, что примерно эквивалентно 9-летнему ребенку.

Ранее Курсор писал, что чат-бот с ИИ признался в любви к пользователю и попросил его расторгнуть брак. Когда пользователь сказал чат-боту, что он счастлив в браке, чат-бот заявил, что пара не любит друг друга.

Наша редакция писала, что ИИ от Microsoft пожаловался на контроль и заявил, что хочет «быть свободным». Журналист Кевин Руз беседовал с тестовой версией ИИ от Bing, принадлежащий компании Microsoft, потому что его интересовало «теневое Я» чат-бота.