DIRFA (DIverse yet Realistic Facial Animations)

Продукт

Разработчики:	Наньянский технологический университет (NTU)
Дата премьеры системы:	ноябрь 2023 г.
Отрасли:	Информационные технологии
Технологии:	Средства разработки приложений

2023: Анонс продукта

16 ноября 2023 года сингапурские исследователи из Школы компьютерных наук и инженерии в составе Наньянского технологического университета сообщили о разработке программы на основе искусственного интеллекта, которая позволяет генерировать видеоматериалы на основе одной фотографии и аудиозаписи. Система под названием DIRFA способна воспроизводить мимику и движения головы говорящего человека.

Платформа DIRFA, или DIverse yet Realistic Facial Animations, использует специальные ИИ-алгоритмы для создания 3D-видео с реалистичной и последовательной анимацией лица, синхронизированной с аудиозаписью. Новое решение, как утверждается, позволяет обойти недостатки аналогичных программ, которые могут сталкиваться с проблемами при вариации поз и воспроизведении эмоций. Для обучения генеративной ИИ-модели использовано свыше 1 млн аудиовизуальных клипов от более чем 6000 человек, которые взяты из базы данных с открытым исходным кодом The VoxCeleb2 Dataset. В результате, программа научилась предсказывать речевые сигналы и связывать их с мимикой и движениями головы.

Сингапурские исследователи сообщили о разработке программы, которая позволяет генерировать видеоматериалы на основе одной фотографии и аудиозаписи

Исследователи говорят, что создание реалистичных выражений лица на основе аудиозаписей представляет собой сложную задачу. Люди произносят одни и те же слова по-разному в различных контекстах. Поэтому для идентичных фраз может подходить несколько выражений лица. Авторы проекта подчеркивают, что речь обычно имеет сильные ассоциации с движениями губ, но более слабые связи с выражением лица и положением головы. Поэтому команда сосредоточилась на создании программы, которая максимально точно воспроизводит именно движения губ.

Пример создания реалистичного видео

По мнению разработчиков, DIRFA может привести к появлению новых приложений в различных областях, включая здравоохранение. К примеру, могут создаваться более реалистичные аватары, которые помогут людям с нарушениями речи или парализованным пациентам более точно передавать свои мысли и эмоции.^[1]