Сбер: Инструмент для проверки орфографии в текстах с помощью ИИ

2023: Представление сервиса проверки и корректуры текстов

Бизнесу теперь доступен сервис Сбера для проверки и корректуры текстов с помощью технологий искусственного интеллекта. Об этом 6 октября 2023 года сообщила компания SberDevices.

ИИ-сервис представляет собой инструмент для проверки орфографии в текстах на русском языке, работающий на основе нейросетевой генеративной модели. Решение может быть использовано бизнесом для корректуры текста любой длины и формата — в копирайтинге и редактуре, при создании маркетинговых и рекламных материалов, в работе редакций СМИ. Сервис разработан компанией SberDevices и доступен в каталоге AI Services на платформе ML Space для зарегистрированных пользователей.

Модели на основе искусственного интеллекта предоставляют всё больше возможностей для текстовой редактуры. С помощью представленного решения можно обработать любой текст, переписав его без ошибок, использовать генеративные возможности моделей для коррекции правописания в текстах различных доменов. Инструмент может стать ИИ-помощником в различных информационных проектах и поможет быстро и качественно исключить орфографические ошибки в текстах, сэкономив время и ресурсы, сказал Денис Филиппов, вице-президент по цифровым поверхностям «Салют» Сбербанка.

Перед командой разработчиков стояла задача изучить и решить проблемы корректуры правописания с помощью генеративных моделей. Результатом стала разработанная методология генеративной коррекции орфографии для русского языка, которая показывает качество уровня SOTA^[1] на задаче проверки орфографии. По итогам работы выпущены: ^[2]библиотека SAGE с открытым исходным кодом (лицензия MIT), семейство предобученных генеративных моделей (ruM2M100-1.2B^[3], ruM2M100-418M^[4], FredT5-large-spell^[5], T5-large-spell^[6]) для корректуры правописания на русском и английском языках и хаб с размеченными данными^[7] для задачи коррекции орфографии в текстах разных доменов.

На октябрь 2023 года представленный инструмент опережает по качеству открытые решения для русского языка и проприетарные модели конкурентов. Существенный прирост в метриках относительно других решений является следствием разработанной методологии. Было предложено два метода аугментации ошибок для воспроизведения естественных человеческих опечаток и орфографических ошибок в текстах. С помощью этих модулей был создан корпус текстов с ошибками (около 7 Гб), на котором обучались генеративные модели M2M100 и FredT5-large. Второй этап заключался в дообучении моделей на комбинации собранных параллельных датасетов для исправления орфографии. Лучшая конфигурация полученного решения представлена в виде AI-сервиса на платформе ML Space.