| Разработчики: | Корнелльский университет (Cornell University) |
| Дата премьеры системы: | август 2022 г |
| Отрасли: | Информационные технологии |
Запущена открытая нейросеть для создания 3D-моделей человека по видео со смартфона
В конце августа 2022 года стало известно о запуске открытой нейросети для создания 3D-моделей человека по видео со смартфона. Это разработка Корнелльского университета, ее исходники выложены на GitHub.
Система под названием NeuMan, используя машинное обучение, создает трехмерную модель человека при помощи камеры от iPhone. Исследователи занялись проблемой фотореалистичного рендеринга, который занимает много времени и требует от машины высокой производительности. Они создали нейросеть, которой достаточно предоставить видео, снятое на камеру смартфона (команда использовала iPhone). Готовые модели можно использовать для создания сцен в роликах или дополненной реальности, придавая им различные позы и внешний вид.
По словам исследователей, они обучили две модели ИИ: одна занимается созданием модели, а другая — созданием сцены. Для обучения NeuMan использовали методы оценки грубой геометрии — приблизительная оценка позволяют создать деформирующее поле из пространства наблюдения в каноническое пространство, и результат рендеринга не зависит от изначальной позы прообраза.
На основе полученных моделей авторы разработки сделали небольшие ролики с трюками, в которых можно оценить работу нейросети. Они оставили оригинальный фон, но заставили трехмерные модели выполнять различные действия, которых не совершали актеры, например, перепрыгивать препятствия, делать колесо, кувыркаться, танцевать. В некоторых случаях 3D-модели несколько замыленные, а на окружении заметна тень реального человека, однако в целом результат выглядит неплохим.
По словам разработчиков технологии, до недавнего времени современные нейросети способны обеспечивать высококачественный рендеринг для создания 3D-моделей человека, однако им требуется большой объем входных данных, дорогостоящее обучение моделей и многочисленные ракурсы для формирования картинки. Система NeuMan отличается тем, что ей это нужно, утверждают авторы проекта.[1]
Примечания
