Просьбы к чат-ботам давать краткие ответы могут привести к увеличению галлюцинаций.
Pixabay
Исследование компании Giskard, которая занимается созданием комплексного бенчмарка для оценки моделей искусственного интеллекта, выявило интересный парадокс: если попросить чат-бот отвечать как можно короче, вероятность возникновения «галлюцинаций» у него возрастает.
Об этом говорится в сообщении в блоге.
Специалисты отмечают, что такая особенность особенно выражена у наиболее продвинутых систем — например, GPT-4o от OpenAI, Mistral Large и Claude 3.7 Sonnet. При требовании быть лаконичными эти модели чаще допускают ошибки и выдают неточные данные.
Причина, по мнению исследователей, кроется в том, что короткий формат ответа лишает нейросеть возможности пояснять, уточнять или опровергать информацию. Для качественного фактического опровержения почти всегда требуется более развёрнутое объяснение.
«Когда системе задают установку отвечать предельно сжато, она неизбежно жертвует точностью в пользу краткости, — указывают авторы работы. — Это значит, что даже безобидные указания вроде "отвечайте коротко" могут серьёзно подорвать способность модели корректировать дезинформацию».
Кроме того, в отчёте подчеркивается ещё одна закономерность: если ложное утверждение сформулировано уверенно, многие модели предпочитают его не опровергать. Для разработчиков это создаёт непростую дилемму — что важнее, удобство для пользователя или сохранение надёжности выдачи.
Проблема «галлюцинаций» — генерации вымышленных или некорректных сведений — остаётся нерешённой даже для самых современных ИИ-систем. Более того, отмечается, что новейшие модели рассуждений, такие как OpenAI o3, нередко демонстрируют ещё более высокий уровень подобных ошибок, чем их предшественники.
Напомним, "Курсор" писал о том что хакер под псевдонимом «Плиний Освободитель» создал модель искусственного интеллекта (ИИ), способную выполнять задачи в Даркнете, включая найм киллеров. Эксперимент, получивший название «Агент 47», стал шокирующим примером того, как передовые технологии могут быть использованы в криминальных целях.
На большей части территории страны прогнозируется ясная погода, слабый ветер до 5,1 м/с и очень…
Аферисты используют знакомства в сети, обещают высокую прибыль и убеждают переводить деньги на поддельные платформы.
Шесть скрытых сигналов, которые указывают на серьезные проблемы со спиртным, назвал специалист.
Эксперты говорят, что "правильный" душ снижает уровень стресса и тревожности и способствует глубокому расслаблению.
Суммарные потери личного состава оккупационных сил стали критичными. При этом никаких значимых успехов на фронте…
Израильские чиновники считают, что готовящийся меморандум может оставить без решения ключевые угрозы безопасности страны.