Разработчики из Южной Кореи показали систему DLLM-VSR, которая превращает движение губ в текст без звука.
Pixabay
Исследователи из Южной Кореи разработали систему искусственного интеллекта, которая распознает речь по движению губ без единого звука. Технология получила название DLLM-VSR и создана в Корейском институте науки и технологий (KAIST). По данным официального сообщения KAIST, система показала долю ошибок в словах 19,4% на стандартном тесте для оценки чтения по губам. Это новый рекорд среди методов, обученных на том же размеченном наборе данных.
Как сообщает Digital Trends, в своей научной работе команда указывает, что результат в 19,4% ошибок получен на тесте LRS3 с использованием 433 часов размеченных видеозаписей.
Чтение по губам — сложная задача даже для искусственного интеллекта: звуки «п», «б» и «м» выглядят на губах почти одинаково. Из-за этого сложно понять, что говорит человек, не слыша его. Обычные системы распознавания речи обрабатывают слова последовательно, слева направо, и ошибка в начале фразы может повлиять на все дальнейшее распознавание.
Разработчики пошли другим путем и применили диффузионную большую языковую модель. Вместо того чтобы разбирать предложение по порядку, система сначала определяет слова, в которых уверена больше всего. Затем она постепенно восстанавливает остальные слова, опираясь на контекст до и после них. Система также оценивает несколько возможных вариантов длины предложения по продолжительности видео, создает расшифровку для каждого варианта и выбирает наиболее правдоподобный.
Доля ошибок в 19,4% отражает количество неверно распознанных, пропущенных и лишних слов, а не долю полностью понятых разговоров.
Применение технологии выходит за рамки разговоров в шумных помещениях. Исследователи рассматривают ее использование на производстве, где шум техники мешает устному общению. Также технология могла бы применяться в устройствах для людей с нарушениями слуха, превращая движения губ в текст. Это могло бы стать прорывом для доступности.
При этом технология пока не готова к повседневному использованию: ее точность варьируется в зависимости от набора данных. Разработчики работают над снижением требований к вычислительным мощностям. Это нужно, чтобы система могла в будущем работать в реальном времени на носимых устройствах и роботах без подключения к интернету.
Авторы разработки отмечают и обратную сторону технологии — вопросы приватности, связанные с возможностью распознавать разговоры по беззвучной видеозаписи.
Ранее "Курсор" сообщал, что вакцину, созданную ИИ, начали тестировать на людях.
Двое иранцев несколько месяцев собирали секретные сведения в Великобритании. В телефонах следователи обнаружили материалы, раскрывшие…
Соотношение номинального ВВП и показателя по ППС указывает, что общий уровень цен в Израиле примерно…
Власти обсуждают чрезвычайные меры, а среди предполагаемых средств нападения фигурирует оружие, способное вызвать радиоактивное заражение.
По данным Службы тыла, смертельно опасным может оказаться даже небольшой кусок металла, который внешне выглядит…
Разбираемся, чем отличаются два сервиса Google и какой из них работает в США, Европе, Индии…
После двух атак подряд в Сети появились кадры разрушенной переправы. Повреждения существенные.