Microsoft VALL-E

2023: Анонс нейросети

5 января 2023 года корпорация Microsoft представила новую модель искусственного интеллекта (ИИ), способную преобразовывать текст в речь, точно имитируя голос того или иного человека. Проект получил название VALL-E.

Microsoft называет предложенное решение «языковой моделью нейронного кодека». Этот ИИ способен воссоздавать голос человека на основе образца речи продолжительностью всего три секунды. Причём имитируется не только голос, но и эмоциональная окраска.

Microsoft представила открытую нейросеть, которая может имитировать голос человека

Нейросеть VALL-E основана на технологии EnCodec, которую Meta (признана экстремистской организацией; деятельность на территории Российской Федерации запрещена) представила в октябре 2022 года. В отличие от других методов преобразования текста в речь, которые обычно манипулируют звуковыми волнами, VALL-E анализирует речь человека, разбивая эту информацию на отдельные компоненты (так называемые «токены»). Затем нейросеть использует обучающие алгоритмы, чтобы на основе имеющихся знаний синтезировать любые фразы. Для обучения применялась библиотека Meta LibriLight, которая содержит около 60 000 часов англоязычной речи от более чем 7000 человек (в основном из общедоступных аудиокниг LibriVox).

Отмечается, что VALL-E отлично справляется с воссозданием звуковой среды оригинальной записи. Если голос звучит так, будто человек разговаривает по телефону, то точно так же будут звучать синтезированные фразы. Кроме того, нейросеть хорошо имитирует акценты — по крайней мере, американский, британский и несколько европейских.

VALL-E может использоваться, например, для имитации голоса актёров или создания голосовых чат-ботов. С другой стороны, такая нейросеть может оказаться мощным инструментов в руках злоумышленников. Мошенники, например, смогут позвонить по телефону родственникам человека, имитируя его речь после трёхсекундной записи разговора. Кроме того, могут создаваться фейковые заявления с голосами политиков и пр. ^[1]

Примечания