«Наносемантика» участвует в проекте по созданию виртуального ассистента космонавта

2024: Начало создания виртуального ассистента для космонавтов

«Наносемантика» в качестве технологического партнера сопровождает работы РКК «Энергия» по подготовке создания виртуального (голосового) ассистента космонавта. Целью проекта, помимо отработки технологии создания, является выполнение экспериментальных исследований влияния условий космического полета на эффективность технологий распознавания и идентификации речи космонавта. Об этом «Наносемантика» сообщила 8 ноября 2024 года.

Потребность в голосовом виртуальном ассистенте на борту международной космической станции (МКС) обусловлена существенной нагрузкой на зрительный анализатор в ходе выполнения космонавтом полетной программы, а также большим объемом используемой на борту информации.

Ассистент предоставляет космонавту удобный интерфейс для доступа к различным информационным материалам, документации и базам данных. Более того, в условиях сенсорной депривации и монотонности использование космонавтом аудиальной информации по запросу может составлять существенный резерв психологической поддержки. Также голосовой виртуальный ассистент незаменим в критических ситуациях автономной работы, когда отсутствует связь с центром управления или когда передача информации по аудиоканалу является единственно возможным вариантом для коммуникационной поддержки (в темноте, в условиях иммобилизации, т.д.).

Программное обеспечение ассистента создается на базе отечественной информационной системы для разработки интеллектуальных виртуальных ассистентов Dialog Operating System (DialogOS). Данная платформа от «Наносемантики» включает в себя всю необходимую функциональность для создания и обучения диалоговых роботов с возможностью коммуникации с пользователем в различных текстовых и голосовых каналах.

Демонстрационный виртуальный ассистент «Лучик» способен вести разговор с космонавтом на различные темы (в том числе, в голосовом канале), логировать и сохранять аудио-ответы космонавта для последующей их отправки на Землю для изучения и анализа. Также в ассистенте реализован базовый навык по теме «логистика и инвентаризация». В условиях ограниченного объёма космических станций и сложных систем хранения инвентаризация и поиск вещей на МКС являются актуальными задачами. Среди других тем взаимодействия космонавта с ассистентом: планы работ, бортовые инструкции, управление операциями, психологическая поддержка.

Дополнительной задачей стало исследование влияния условий космического полета (микрогравитация, зашумленность, ограниченное пространство, автономность) на эффективность технологий распознавания и идентификации речи космонавта. В тренажерах специальных модулей выполнялось включение бортовых приборов для моделирования возможной шумовой обстановки, на фоне которой выполнялись сеансы разговора оператора с голосовым ассистентом «Лучиком» (с аудиозаписью на диск ноутбука).

Получение текстовых транскрипций из аудиофайлов с использованием системы автоматического распознавания речи ASR (Automatic Speech Recognition) реализовано со следующими показателями. CER (Character Error Rate) – процент ошибок (отличий от оригинала) на уровне символов в распознанном тексте – составляет 2,66%. WER (Word Error Rate) – процент ошибок (отличий от оригинала) на уровне слов в распознанном тексте – составляет 9,7%. Даже при наличии шума и изменчивости громкости речи ASR продемонстрировала достаточно высокую точность распознавания как символов, так и слов, что показывает приемлемость ее практического использования на борту российского сегмента МКС.

Мы очень вдохновлены данным проектом и одновременно чувствуем огромную ответственность, ведь к космическим разработкам нашей страны приковано особое внимание, ‒ сказал Станислав Ашманов, генеральный директор ГК «Наносемантика». — DialogOS – это проверенная платформа, работающая у множества наших клиентов и у их пользователей. Мы постоянно совершенствуем её, поэтому она является надежной системой для реализации космического голосового помощника. Но до завершения еще предстоит пройти долгий путь: технологии распознавания и синтеза речи продолжают проходить тестирование, совершенствуется база знаний ассистента, и разработчики проверяют различные сценарии его взаимодействия с космонавтами.

На ноябрь 2024 года выполнена оценка работоспособности платформы DialogOS и ассистента «Лучика» на бортовых вычислительных средствах российского сегмента Международной космической станции, выполняется тестирование диалоговых схем и дальнейшее формирование базы знаний ассистента.