Microsoft DeepSpeed

2020: Анонс Microsoft DeepSpeed - инструмента для глубокого обучения моделей ИИ

В середине сентября 2020 года Microsoft представила на GitHub обновленную открытую версию библиотеки DeepSpeed. Она предназначена для оптимизации глубокого обучения моделей искусственного интеллекта (ИИ).

Как сообщает издание SiliconANGLE, уникальность решения DeepSpeed заключается в том, что она способна обучать модели ИИ на основе триллиона различных параметров. В Microsoft отмечают, что используемый разработчиками DeepSpeed метод, который получил название 3D-параллелизм, адаптируется к различным требованиям пользовательских решений, включая взаимодействие с огромными моделями, сохраняя при этом баланс и эффективность в масштабировании.

Microsoft выпустила открытый инструмент для глубокого обучения на основе триллиона параметров

Проблема, для решения которой был создан продукт DeepSpeed, заключается в том, что разработчики могут оснастить свои нейронные сети только таким количеством параметров, которое может обрабатывать их инфраструктура обучения ИИ. Другими словами, аппаратные ограничения являются препятствием для создания более масштабных и лучших моделей. DeepSpeed делает процесс обучения ИИ более эффективным на аппаратном уровне. Разработчики могут повысить уровень сложности создаваемого ими программного обеспечения ИИ без необходимости покупать дополнительную инфраструктуру.

Microsoft заявляет, что этот инструмент может обучать языковую модель с триллионом параметров с использованием 100 видеокарт Nvidia предыдущего поколения V100. Обычно, по заявлению компании, на выполнение этой задачи у 4000 видеокарт Nvidia A100 текущего поколения требуется 100 дней. И это при том, что A100 в 20 раз быстрее, чем V100.

Microsoft заявляет, что даже если используемое оборудование будет сокращено до одного чипа V100, DeepSpeed все равно сможет обучить языковую модель с 13 миллиардами параметров. Для сравнения: самая большая языковая модель в мире имеет около 17 миллиардов параметров, а самая большая нейронная сеть в целом насчитывает около 175 миллиардов.^[1]

Примечания