Сбер Kandinsky Video
Нейросеть для генерации полноценного видео

Основные статьи:

• Нейросети (нейронные сети)
• Большие данные (Big Data)

2024: Постановка первого ИИ-балета

В июле 2024 года в Южно-Сахалинске состоялась премьера первого в России балета, созданного с применением технологий искусственного интеллекта (AI). Спектакль «Озаренность», повествующий об истории любви семьи инженеров, отправившихся на стройку века, стал уникальным проектом на стыке искусства и современных технологий.

Как сообщает «Коммерсантъ», AI-технологии «Сбера» были комплексно использованы при создании спектакля. Нейросеть GigaChat помогла уточнить сценарий и хореографию, Kandinsky сгенерировал эскизы декораций и костюмов, а SymFormer создал оригинальные музыкальные партии в стилистике современной классической музыки.

𝓲

Сбер

Автором идеи и режиссером выступил заслуженный артист России Кирилл Ермоленко. Он отметил, что решение раскрыть потенциал AI-технологий в творчестве было принято совместно с командой, и выразил уверенность в создании нового тренда в искусстве благодаря поддержке Сбера и уникальных специалистов.

В постановке приняли участие артисты Михайловского театра оперы и балета из Санкт-Петербурга и театра танца «Диалог» Сахалинской филармонии, впервые выступившие вместе на одной сцене. Композитором спектакля стал Руслан Сабиров, хореографом — Иван Зайцев, а художником-постановщиком — Мария Семакова.

Премьера AI-балета состоялась в рамках AI-трека проектно-образовательного интенсива «Архипелаг-2024». Проект является важной частью технологической трансформации Сахалинской области, начатой Сбером и регионом в 2023 году. В ходе трансформации планируется сконцентрировать AI-технологии на территории области, выделить площадки для апробации решений и раскрыть все факторы развития искусственного интеллекта, включая инфраструктуру, регулирование и кадры.

Синергия творчества людей и нейросетей даст зрителям возможность получить настоящее наслаждение от музыки и танца, — подчеркнул Андрей Незнамов, начальник Центра человекоцентричного AI Сбербанка.[1]

2023: Представление первой в России генеративной модели для создания видеороликов по тексту

Сбер представил нейросеть Kandinsky Video — первую в России генеративную модель для создания полноценных видеороликов по текстовому описанию. Об этом 22 ноября 2023 года TAdviser сообщили представители Сбера. По словам первого заместителя Председателя Правления Сбербанка Александра Ведяхина, модель генерирует видеоряд продолжительностью до восьми секунд с частотой 30 кадров в секунду.

Архитектура Kandinsky Video состоит из двух ключевых блоков: первый отвечает за создание ключевых кадров, из которых складывается структура сюжета видео, а второй — за генерацию интерполяционных кадров, которые позволяют достичь плавности движений в финальном видео. В основе двух блоков лежит обновленная модель синтеза изображений по текстовым описаниям Kandinsky 3.0.

Формат сгенерированного видео представляет собой непрерывную сцену с движением как объекта, так и фона. Именно это отличает видеоролики, синтезированные моделью Kandinsky Video, от анимационных видеороликов, в которых динамика достигается за счёт моделирования пролёта камеры относительно статичной сцены. Нейросеть создаёт видеоролики с разрешением 512 х 512 пикселей и различным соотношением сторон. Модель обучена на датасете из более чем 300 тыс. пар «текст — видео». Генерация видео занимает до трёх минут.

«Недавно мы обучили Kandinsky создавать анимационные видео по текстовому описанию, а уже сегодня представляем модель совершенно другого уровня — первую в России модель по генерации полноценных видеороликов по тексту. Это важный вклад в развитие российских генеративных нейросетей. У пользователей появится ещё больше возможностей для креатива и реализации своих творческих задумок любой направленности», — заявил Александр Ведяхин, первый заместитель Председателя Правления Сбербанка.

Как он добавил, люди смогут создавать уникальные видеоролики абсолютно бесплатно. А сама модель будет доступна в open source.

Ранее у активных пользователей Kandinsky 2.2 в тестовом режиме появилась возможность создания анимационных видеороликов. По одному запросу можно создать видео длиной в четыре секунды с выбранным эффектом анимации, с частотой 24 кадра в секунду и разрешением 640 х 640 пикселей. Пользователи нейросети Kandinsky 3.0 также могут создавать видеоролики по текстовому описанию в режиме анимации. Оценить возможности нейросети Kandinsky Video можно на платформе fusionbrain.ai и в Telegram-боте^[2], где можно оставить заявку на доступ.

Нейросеть разработали и обучили исследователи Sber AI при партнёрской поддержке учёных из Института искусственного интеллекта AIRI на объединённом датасете Sber AI и компании SberDevices.

Примечания