MTS AI: Cotype (Большая языковая модель, LLM)

Основные статьи:

• Распознавание речи (технологии, рынок)
• Речевые технологии: на пути от распознавания к пониманию

2024

Запуск Cotype Nano

Компания MTS AI выпустила открытую большую языковую модель (LLM) Cotype Nano для решения бизнес-задач, связанных с созданием и анализом текстов на русском языке. Об этом компания сообщила 26 ноября 2024 года. Модель можно запускать локально на персональных устройствах – мобильных телефонах, настольных компьютерах и ноутбуках со средней производительностью, что делает её доступной для большого круга пользователей.

Веса модели – параметры, которые используются ей для принятия решений, открыты для исследователей и разработчиков. Это позволяет им изучать, как модель работает, настраивать её под свои нужды и использовать в собственных проектах без необходимости строить всё с нуля.

Модель продемонстрировала хорошие результаты в своём классе на бенчмарке Ru Arena Hard. В рамках тестирования оценивается точность, качество и релевантность ответов на вопросы пользователей по сравнению с другими моделями.

Cotype Nano способна обрабатывать контекст до 32,000 токенов (около 45 страниц текста) за раз, что позволяет работать с большими объемами данных. Модель обучена для создания контента, точных и быстрых переводов между русским и английским языками, обработки и анализа текстовых данных для улучшения клиентского сервиса и может быть использована для разработки чат-ботов и виртуальных помощников. Кроме того, она обладает продвинутыми возможностями классификации данных – это необходимо для таких сценариев, как автоматический поиск и анализ информации в корпоративных базах знаний. 

Cotype Nano оптимизирована для работы на CPU и GPU, с дополнительной оптимизацией под процессоры Intel, что позволяет запустить её на ноутбуках и даже смартфонах и делает модель доступной для широкого круга разработчиков и компаний, у которых нет доступа к мощным вычислительным ресурсам.

MTS AI придерживается принципов открытости и прозрачности в разработке генеративного искусственного интеллекта. Мы запускаем открытую большую языковую моделей с лицензией на использование в коммерческих целях и разрабатываем новые сервисы для автоматического обучения нейросетей и создания кода, которые ускорят процесс разработки. Развитие открытых LLM-моделей в России позволит компаниям и начинающим разработчикам и исследователям создавать решения на основе нейросетей, не вкладывая значительные ресурсы в разработку и оборудование, – отметил директор по LLM-продуктам MTS AI Сергей Пономаренко.

Развертывание MTS AI Cotype Plus в Технологической песочнице АФТ

В Технологической песочнице АФТ развернута GPU-ориентированная инфраструктура для высокопроизводительных матричных и векторных операций в целях пилотирования решений с использованием технологий искусственного интеллекта. Об этом Ассоциация сообщила 12 сентября 2024 года. В частности, на данной инфраструктуре уже развернута большая языковая модель МТС AI Cotype Plus. Подробнее здесь.

Оптимизация для текстов на татарском языке

MTS AI разработал обновленную версию большой языковой модели Cotype Lite для работы с текстами на татарском языке. Об этом компания сообщила 10 сентября 2024 года.

LLM способна обрабатывать документы объемом до 8 тысяч токенов (примерно 5 листов A4), извлекать и суммаризировать данные за несколько секунд.

Cotype Light может использоваться в архивах, библиотеках, в государственных и частных организациях — везде, где есть потребность в обработке информации и анализе документов на татарском. Например, с помощью большой языковой модели можно ускорить обработку заявлений в государственные органы.

Cotype извлечет ключевую информацию, такую как тематика запроса, местоположение и личные данные заявителя, и передаст их в соответствующую базу данных. Как и другие модели семейства Cotype, эта версия может устанавливаться в контуре организации, что позволяет исключить утечки информации.

Создавая большую языковую модель на татарском, разработчики MTS AI преследовали несколько целей. Во-первых, мы хотели поддержать многообразие языков, существующих в России, помочь им развиваться и быть востребованными в цифровую эпоху. Во-вторых, этот проект показал, что мы умеем адаптировать наши модели под любые научные и бизнес-задачи, в том числе и такие нетривиальные как обработка информации на языках народов России, - сказал исполнительный директор MTS AI Дмитрий Марков.

Чтобы модель Cotype Light смогла понимать незнакомый язык, разработчики собрали датасет и перевели его с русского на татарский. После все данные и ответы модели проверили специалисты-тюркологи и носители языка. Обучение Cotype Light происходит на мощностях МТС Web Services.

По словам разработчиков, Cotype Light входит в число лучших LLM в своем классе: она содержит 8 млрд. параметров. При необходимости MTS AI может создать LLM на татарском с большим количеством параметров - до 70 млрд параметров, а также большим контекстным окном до 32 тысяч токенов, — чтобы модель умела выполнять такие задачи как перевод и генерация длинных текстов. Также компания MTS AI готова адаптировать модели семейства Cotype для других региональных языков России.

Возможность обработать длинный пользовательский контекст

MTS AI выпустил обновленную версию своей большой языковой модели для бизнеса Cotype PRO. Данная модель может обработать длинный пользовательский контекст - до 20 страниц, что позволяет выдавать персонализированные и точные ответы при низком потреблении вычислительных мощностей. Об этом компания сообщила 28 августа 2024 года.

Cotype — большая языковая модель, созданная MTS AI специально для работы с корпоративными данными. Она обучена на большом объеме деловой переписки, должностных инструкций, документации и прочих текстов, что обеспечивает высокую экспертизу LLM в этой области и позволяет использовать ИИ в бизнес-процессах. Cotype входит в топ-3 русскоязычных моделей, согласно бенчмарку MERA.

Увеличенный объем запоминания контекста без потери данных — функция Cotype Pro, которую используется в более чем 10 пилотных проектах корпоративного сектора и госструктур для создания системы сквозного поиска по внутренней документации и базам данных, генерации технических инструкций и корпоративных писем, SEO-оптимизации материалов на сайте и анализа и суммаризации результатов встреч — сказал Сергей Пономаренко, старший менеджер LLM-продуктов MTS AI.

Cotype PRO была создана с помощью уникального двухэтапного метода дообучения и собственных бенчмарков, разработанных специалистами MTS AI. Такой подход позволил достичь высокого качества работы большой языковой модели, которая работает всего на одной видеокарте NVIDIA A100, в отличие от конкурентных решений, которым необходимо 4 видеокарты.

Большое контекстное окно дает языковой модели Cotype PRO возможность за один раз обрабатывать значительный объем информации. То есть пользователь может загрузить договор или другой документ на 20 страниц. Благодаря чему, модель лучше понимает, о чем идет речь, и дает более точные ответы, что крайне важно, когда идет речь об анализе корпоративных документов и регламентов.