YaLM 100B (нейросеть)

2022: Размещение нейросети в свободном доступе

В июне 2022 года «Яндекс» выложил в открытый доступ нейросеть для генерации текстов на русском и английском языках. В компании называют свою разработку (она получила название YaLM 100B) крупнейшей GPT-подобной моделью, которая доступна всем желающим.

Языковые модели из семейства YaLM определяют по готовому тексту принцип его построения и генерируют похожий. Например, могут придумывать идеи для рекламных кампаний, создавать описания товаров и видео, генерировать стихи, ответы, поздравления и классифицировать их по стилю речи и другим параметрам.

«Яндекс» выложил в открытый доступ нейросеть для генерации текстов на русском

Модель обучали на суперкомпьютерах «Яндекса». YaLM 100B обработала около 2 ТБ текстов на английском и русском языках из открытых датасетов и интернета.

Отмечается, что нейросеть содержит 100 млрд параметров и является самой большой из существующих моделей для русского языка. Это позволяет использовать ее для решения большого круга задач, связанных с обработкой естественного языка. Языковые модели из семейства YaLM определяют принцип построения текста и генерируют новые, опираясь на законы лингвистики и свои знания о мире, говорится в сообщении «Яндекса».

Так, например, языковые модели способны придумывать, в частности, идеи для рекламных кампаний, создавать описания товаров и видео. С их помощью можно генерировать любые тексты, а также классифицировать их, например, по стилю речи.

Петр Попов, генеральный директор «Яндекс Технологий», заявил, что, выкладывая YaLM 100B в открытый доступ, компания рассчитывает, что это даст толчок развитию генеративных нейросетей. Модель предоставляется по открытой лицензии Apache 2.0 и доступна на GitHub. ^[1]

К июню 2022 года «Яндекс» уже использует нейросети YaLM более чем в 20 проектах, в том числе в «Яндекс. Поиске», голосовом помощнике «Алисе», они также помогают сотрудникам службы поддержки отвечать на обращения, генерируют рекламные объявления и описания сайтов. ^[2]

Примечания