Т-Банк: Turbo Alignment Библиотека инструментов для обучения больших языковых моделей

2024: Открытие доступа к Turbo Alignment

Центр искусственного интеллекта Т-Банка открыл доступ к бесплатной библиотеке инструментов Turbo Alignment для обучения больших языковых моделей (LLM) под задачи бизнеса. Библиотека позволит компаниям не разрабатывать ИИ-приложения с нуля, а использовать уже готовые инструменты. Об этом было объявлено 16 октября 2024 года.

Turbo Alignment поможет стартапам и крупному бизнесу, который не специализируется на ИИ, создавать инновационные продукты, которые были бы невозможны без LLM. Например, ассистентов поддержки, которые обрабатывают клиентские запросы и мгновенно предоставляют ответы, инструменты для анализа и обобщения крупных объемов текста, таких как отчеты и исследования, интеллектуальные поисковые системы, способные находить информацию с учетом контекста, а также модели для суммаризации текста.

Плюсы Turbo Alignment для бизнеса:

• Комплексный подход. Компаниям не придется инвестировать в обучение больших языковых моделей с нуля. Кроме прикладных инструментов для создания ИИ-продуктов бизнесу доступна большая языковая модель T-lite, которая показывает лучшие результаты в решении бизнес-задач на русском языке среди открытых моделей размером 7—8 млрд параметров.
• Снижение затрат на разработку. Turbo Alignment значительно снижает затраты на разработку ИИ-продуктов и количество используемых вычислительных ресурсов за счет использования готовых инструментов и моделей.
• Экономия времени. По оценке разработчиков Т-Банка, скорость разработки с помощью репозитория — от идеи до продукта — выросла в 4 раза. Это сокращает время на запуск новых ИИ-продуктов и дает бизнесу конкурентное качество.
• Улучшение клиентского опыта. Продукты на основе LLM делают взаимодействие с пользователями более интерактивным и персонализированным, учитывают их индивидуальные потребности. Это ускоряет обслуживание и повышает удовлетворенность клиентов.

Создание библиотеки Turbo Alignment — это часть нашей стратегии по развитию российской ИТ-индустрии. Как один из лидеров опенсорса, мы видим свою миссию в том, чтобы делиться с рынком своими разработками. У большинства компаний не хватает ресурсов для разработки продуктов на основе больших языковых моделей. Поэтому мы выпустили в опенсорс не только модель T-lite, но и библиотеку инструментов для ее прикладного использования. Так мы делаем ИИ более доступным для обычных людей: чем больше компаний создают ИИ-продукты, тем больше пользователей смогут извлечь пользу из этих технологий, сказал Артем Бондарь, руководитель направления обработки естественного языка (NLP) в Центре искусственного интеллекта Т-Банка.

Библиотека создана при участии ученых из лаборатории научных исследований искусственного интеллекта T-Bank AI Research. В ней исследователи разрабатывают и проектируют новые методы, которые становятся основой их научных открытий. Turbo Alignment дает доступ к последним исследованиям в области AI Alignment, направленным на то, чтобы поведение ИИ было предсказуемым и не выходило из-под контроля человека, соответствовало его потребностям и ценностям. В библиотеке собраны все необходимые метрики и инструменты, которые позволяют понять и проанализировать различные подходы к обучению ИИ.

Преимущества Turbo Alignment для разработчиков:

• Доступность для небольших и непрофильных команд. Turbo Alignment позволяет даже небольшим командам без значительных ресурсов и глубокой экспертизы в области языковых моделей создавать продукты на основе искусственного интеллекта.
• Набор готовых инструментов. В репозитории доступен no-code-запуск экспериментов, скрипты для обучения большого количества алгоритмов, модуль для быстрого тестирования моделей и инструменты для мониторинга метрик во время обучения.
• Инструменты для исследований и разработки. Turbo Alignment предоставляет все необходимые средства для добавления новых методов обучения и их сравнения с уже существующими решениями на конкретных задачах.
• Поддержка сложных процессов обучения. Turbo Alignment оптимизирован для распределенного обучения на нескольких видеокартах и серверах (Multi-GPU и Multi-Node).

Современные эксперименты с большими языковыми моделями (LLM) нуждаются в стабильности, воспроизводимости и объяснимости — это ключевые факторы для создания качественных продуктов. Хотя на рынке уже существуют конкурентные решения, они зачастую фрагментированы и требуют доработки. В отличие от них мы объединили все необходимые компоненты в единой библиотеке, что обеспечивает целостность и удобство использования. Turbo Alignment предлагает расширенную функциональность, готовую последовательность работы с данными и инструменты для обучения LLM. Это позволяет быстро проверять научные и продуктовые гипотезы, отметил Артем Бондарь, руководитель направления обработки естественного языка (NLP) в Центре искусственного интеллекта Т-Банка.

В дальнейшем Т-Банк планирует поддерживать и развивать библиотеку Turbo Alignment, добавляя новые методы и обучающие материалы.