Просьбы к чат-ботам давать краткие ответы могут привести к увеличению галлюцинаций.
Pixabay
Исследование компании Giskard, которая занимается созданием комплексного бенчмарка для оценки моделей искусственного интеллекта, выявило интересный парадокс: если попросить чат-бот отвечать как можно короче, вероятность возникновения «галлюцинаций» у него возрастает.
Об этом говорится в сообщении в блоге.
Специалисты отмечают, что такая особенность особенно выражена у наиболее продвинутых систем — например, GPT-4o от OpenAI, Mistral Large и Claude 3.7 Sonnet. При требовании быть лаконичными эти модели чаще допускают ошибки и выдают неточные данные.
Причина, по мнению исследователей, кроется в том, что короткий формат ответа лишает нейросеть возможности пояснять, уточнять или опровергать информацию. Для качественного фактического опровержения почти всегда требуется более развёрнутое объяснение.
«Когда системе задают установку отвечать предельно сжато, она неизбежно жертвует точностью в пользу краткости, — указывают авторы работы. — Это значит, что даже безобидные указания вроде "отвечайте коротко" могут серьёзно подорвать способность модели корректировать дезинформацию».
Кроме того, в отчёте подчеркивается ещё одна закономерность: если ложное утверждение сформулировано уверенно, многие модели предпочитают его не опровергать. Для разработчиков это создаёт непростую дилемму — что важнее, удобство для пользователя или сохранение надёжности выдачи.
Проблема «галлюцинаций» — генерации вымышленных или некорректных сведений — остаётся нерешённой даже для самых современных ИИ-систем. Более того, отмечается, что новейшие модели рассуждений, такие как OpenAI o3, нередко демонстрируют ещё более высокий уровень подобных ошибок, чем их предшественники.
Напомним, "Курсор" писал о том что хакер под псевдонимом «Плиний Освободитель» создал модель искусственного интеллекта (ИИ), способную выполнять задачи в Даркнете, включая найм киллеров. Эксперимент, получивший название «Агент 47», стал шокирующим примером того, как передовые технологии могут быть использованы в криминальных целях.
Израильские чиновники считают, что готовящийся меморандум может оставить без решения ключевые угрозы безопасности страны.
Многие представления о космосе оказались далеки от реальности, что подтвердили наблюдения и многолетние исследования ученых.
Психологи опубликовали результаты масштабных тестов на репрезентативной выборке граждан. Эксперимент вскрыл уязвимость общества перед военной…
Почему врачи категорически запрещают чесать глаза руками и чем это может грозить.
Группировка сохраняет возможность нанести болезненный удар по стратегическому маршруту, от которого зависит мировая торговля.
Если вы не высыпаетесь и подолгу не можете заснуть - попробуйте пересмотреть свой рацион.