Megatron

Основные статьи:

• Распознавание речи (технологии, рынок)
• Речевые технологии: на пути от распознавания к пониманию

Megatron — инструмент с открытым исходным кодом команды исследователей Nvidia, на базе которого изучается обучение языковых моделей в любом масштабе.

2021

Выпуск фреймворка Nvidia NeMo Megatron

На конференции GTC в ноябре 2021 года Nvidia представила Nemo Megatron – фреймворк для обучения больших языковых моделей, содержащих триллионы параметров. NeMo Megatron построен на базе Megatron – проекта с открытым исходным кодом команды исследователей NVIDIA, изучающей эффективное обучение языковых моделей в любом масштабе. Фреймворк автоматизирует сложность обучения LLM с помощью библиотек обработки данных, которые собирают, обрабатывают, систематизируют и очищают данные.

Nemo Megatron оптимизирован для масштабирования в инфраструктуре ускоренных вычислений Nvidia DGX SuperPOD.

На базе этого же проекта была представлена Megatron 530B – кастомизируемая большая языковая модель, которую можно обучать для новых предметных областей и новых языков.

Полный список анонсов ноябрьской GTC 2021 доступен здесь.

Создание модели генерации естественного языка при участии Microsoft

15 октября 2021 года Microsoft и Nvidia объединили свои усилия для создания модели генерации естественного языка Megatron-Turing Natural Language Generation, которая содержит 530 миллиардов параметров.

Тенденция изменения размеров современных NLP-моделей с течением времени

MT-NLG имеет в 3 раза больше параметров по сравнению с существующей крупнейшей моделью такого типа и демонстрирует высокую точность в широком наборе задач естественного языка, таких как:

• Предсказание завершения текста по смыслу;
• Понимание прочитанного;
• Генерация логических выводов;
• Создание заключений на естественном языке;
• Различение смысла слов с несколькими значениями.

Обучение столь мощной модели стало возможным благодаря многочисленным инновациям. Например, NVIDIA и Microsoft объединили современную инфраструктуру обучения на основе GPU с программным стеком распределенного обучения. Были созданы базы данных естественного языка, включающие сотни миллиардов единиц контента, а также разработаны методы обучения для повышения эффективности и стабильности оптимизации.