GPipe (библиотека для обучения нейросетей)

Продукт
Название базовой системы (платформы): Искусственный интеллект (ИИ, Artificial intelligence, AI)
Разработчики: Google
Дата последнего релиза: март 2019 г
Отрасли: Информационные технологии

Содержание

2019: Раскрытие исходных кодов

В марте 2019 года Google раскрыла исходные коды библиотеки GPipe, используемой для обучения глубоких нейронных сетей. Библиотека предназначена для платформы Lingvo, которая построена на технологии TensorFlow и применяется для моделирования последовательностей.

GPipe можно применять к любой нейросети, состоящей из множества уровней последовательностей и позволяет исследователям «легко» масштабировать производительность искусственного интеллекта, говорит программист Google AI Янпинг Хуанг (Yanping Huang).

Google раскрыла исходники библиотеки для обучения больших нейросетей
«
Глубокие нейронные сети (DNN) выполняют множество задач машинного обучения, включая распознавание речи, визуальное распознавание и обработку языка. Более крупные модели DNN приводят к улучшению качества выполнения задач. Прошлый опыт показывает, что существует прямая зависимость между размером модели и точностью классификации. В GPipe мы демонстрируем применение конвейерного параллелизма для того, чтобы увеличить эффективность обучения DNN и обойти эти ограничения, - написал Хуан в блоге Google.
»

Значительная часть прироста производительности GPipe обусловлена с распределением памяти для ИИ-моделей. На тензорных процессорах второго поколения Google (TPU), каждый из которых содержит восемь вычислительных ядер и 64 Гбайт памяти (8 Гбайт на ядро), GPipe сокращает промежуточное использование памяти с 6,26 Гбайт до 3,46 Гбайт, что позволило использовать 318 млн параметров на одном ядре ускорителя. Хуанг говорит, что без GPipe одно ядро ​​может тренировать до 82 млн параметров модели.

Это не единственное преимущество GPipe. Он также разбивает модели по разным ускорителям и автоматически разбивает «мини-партии» обучающих примеров на более мелкие «микропартии», а также конвейеризирует выполнение по «микропартиям».[1]

Робототехника



Примечания