Nvidia Neuralangelo

2023: Анонс ПО

1 июня 2023 года компания Nvidia представила открытую искусственного интеллекта под названием Neuralangelo. Эта система способна формировать детализированные трёхмерные структуры на основе обычных 2D-изображений. Можно генерировать, например, реалистичные виртуальные копии зданий, скульптур и других объектов реального мира.

Используя 2D-видео в качестве основы, Neuralangelo выбирает несколько кадров, на которых сцена или какой-либо предмет запечатлены с разных ракурсов. Это позволяет получить информацию о глубине, размерах и форме объекта. После определения положения камеры в каждом кадре ИИ создаёт грубое трёхмерное представление сцены — подобно скульптору, начинающему высекать форму из большого куска материала. Далее специальные алгоритмы оптимизируют структуру и повышают детализацию.

Представлено открытое ПО для превращения 2D-изображений в трехмерное

Конечным результатом является 3D-объект или крупномасштабная объёмная сцена. Такие сгенерированные структуры можно использовать в приложениях виртуальной реальности, в играх, метавселенных, при разработке робототехники и во многих других областях.

Отличительной способностью Neuralangelo является точное воспроизведение текстур сложных материалов, таких как черепица, стекло и мрамор. В этом плане новая нейросеть значительно превосходит ИИ-модели предыдущего поколения. Система способна с высокой эффективностью реконструировать интерьеры и экстерьеры зданий, воспроизводить цветовые оттенки и пр. Более того, исходный 2D-материал может быть записан при помощи камеры обычного смартфона или другого гаджета, что значительно упрощает процесс генерации 3D-контента.

Этот инструмент в конечном итоге позволит разработчикам импортировать детализированные объекты — будь то небольшие статуи или массивные здания — в виртуальные среды для своих проектов, — сказал Минг-Ю Лю (Ming-Yu Liu), старший директор по исследованиям Nvidia.[1]

Примечания