ИИ научился читать по губам без звука: разработка удивила результатами

08:47, Сегодня
Искусственный интеллект изображение
Разработчики из Южной Кореи показали систему DLLM-VSR, которая превращает движение губ в текст без звука.

Исследователи из Южной Кореи разработали систему искусственного интеллекта, которая распознает речь по движению губ без единого звука. Технология получила название DLLM-VSR и создана в Корейском институте науки и технологий (KAIST). По данным официального сообщения KAIST, система показала долю ошибок в словах 19,4% на стандартном тесте для оценки чтения по губам. Это новый рекорд среди методов, обученных на том же размеченном наборе данных.

Как сообщает Digital Trends, в своей научной работе команда указывает, что результат в 19,4% ошибок получен на тесте LRS3 с использованием 433 часов размеченных видеозаписей.

Чтение по губам — сложная задача даже для искусственного интеллекта: звуки «п», «б» и «м» выглядят на губах почти одинаково. Из-за этого сложно понять, что говорит человек, не слыша его. Обычные системы распознавания речи обрабатывают слова последовательно, слева направо, и ошибка в начале фразы может повлиять на все дальнейшее распознавание.

Разработчики пошли другим путем и применили диффузионную большую языковую модель. Вместо того чтобы разбирать предложение по порядку, система сначала определяет слова, в которых уверена больше всего. Затем она постепенно восстанавливает остальные слова, опираясь на контекст до и после них. Система также оценивает несколько возможных вариантов длины предложения по продолжительности видео, создает расшифровку для каждого варианта и выбирает наиболее правдоподобный.

Доля ошибок в 19,4% отражает количество неверно распознанных, пропущенных и лишних слов, а не долю полностью понятых разговоров.

Применение технологии выходит за рамки разговоров в шумных помещениях. Исследователи рассматривают ее использование на производстве, где шум техники мешает устному общению. Также технология могла бы применяться в устройствах для людей с нарушениями слуха, превращая движения губ в текст. Это могло бы стать прорывом для доступности.

При этом технология пока не готова к повседневному использованию: ее точность варьируется в зависимости от набора данных. Разработчики работают над снижением требований к вычислительным мощностям. Это нужно, чтобы система могла в будущем работать в реальном времени на носимых устройствах и роботах без подключения к интернету.

Авторы разработки отмечают и обратную сторону технологии — вопросы приватности, связанные с возможностью распознавать разговоры по беззвучной видеозаписи.

Ранее "Курсор" сообщал, что вакцину, созданную ИИ, начали тестировать на людях.

Автор материала
ТЭГИ:
facebook telegram whatsapp viber instagram youtube camera images logo general logo general white