GPipe (библиотека для обучения нейросетей)

2019: Раскрытие исходных кодов

В марте 2019 года Google раскрыла исходные коды библиотеки GPipe, используемой для обучения глубоких нейронных сетей. Библиотека предназначена для платформы Lingvo, которая построена на технологии TensorFlow и применяется для моделирования последовательностей.

GPipe можно применять к любой нейросети, состоящей из множества уровней последовательностей и позволяет исследователям «легко» масштабировать производительность искусственного интеллекта, говорит программист Google AI Янпинг Хуанг (Yanping Huang).

Google раскрыла исходники библиотеки для обучения больших нейросетей

Глубокие нейронные сети (DNN) выполняют множество задач машинного обучения, включая распознавание речи, визуальное распознавание и обработку языка. Более крупные модели DNN приводят к улучшению качества выполнения задач. Прошлый опыт показывает, что существует прямая зависимость между размером модели и точностью классификации. В GPipe мы демонстрируем применение конвейерного параллелизма для того, чтобы увеличить эффективность обучения DNN и обойти эти ограничения, - написал Хуан в блоге Google.

Значительная часть прироста производительности GPipe обусловлена с распределением памяти для ИИ-моделей. На тензорных процессорах второго поколения Google (TPU), каждый из которых содержит восемь вычислительных ядер и 64 Гбайт памяти (8 Гбайт на ядро), GPipe сокращает промежуточное использование памяти с 6,26 Гбайт до 3,46 Гбайт, что позволило использовать 318 млн параметров на одном ядре ускорителя. Хуанг говорит, что без GPipe одно ядро ​​может тренировать до 82 млн параметров модели.

Это не единственное преимущество GPipe. Он также разбивает модели по разным ускорителям и автоматически разбивает «мини-партии» обучающих примеров на более мелкие «микропартии», а также конвейеризирует выполнение по «микропартиям».^[1]

Робототехника

Примечания