Когда чат-боты "врут" чаще всего - исследование выявило интересную закономерность

Исследование компании Giskard, которая занимается созданием комплексного бенчмарка для оценки моделей искусственного интеллекта, выявило интересный парадокс: если попросить чат-бот отвечать как можно короче, вероятность возникновения «галлюцинаций» у него возрастает.

Об этом говорится в сообщении в блоге.

Специалисты отмечают, что такая особенность особенно выражена у наиболее продвинутых систем — например, GPT-4o от OpenAI, Mistral Large и Claude 3.7 Sonnet. При требовании быть лаконичными эти модели чаще допускают ошибки и выдают неточные данные.

Причина, по мнению исследователей, кроется в том, что короткий формат ответа лишает нейросеть возможности пояснять, уточнять или опровергать информацию. Для качественного фактического опровержения почти всегда требуется более развёрнутое объяснение.

«Когда системе задают установку отвечать предельно сжато, она неизбежно жертвует точностью в пользу краткости, — указывают авторы работы. — Это значит, что даже безобидные указания вроде "отвечайте коротко" могут серьёзно подорвать способность модели корректировать дезинформацию».

Кроме того, в отчёте подчеркивается ещё одна закономерность: если ложное утверждение сформулировано уверенно, многие модели предпочитают его не опровергать. Для разработчиков это создаёт непростую дилемму — что важнее, удобство для пользователя или сохранение надёжности выдачи.

Проблема «галлюцинаций» — генерации вымышленных или некорректных сведений — остаётся нерешённой даже для самых современных ИИ-систем. Более того, отмечается, что новейшие модели рассуждений, такие как OpenAI o3, нередко демонстрируют ещё более высокий уровень подобных ошибок, чем их предшественники.

Напомним, "Курсор" писал о том что хакер под псевдонимом «Плиний Освободитель» создал модель искусственного интеллекта (ИИ), способную выполнять задачи в Даркнете, включая найм киллеров. Эксперимент, получивший название «Агент 47», стал шокирующим примером того, как передовые технологии могут быть использованы в криминальных целях.