ЦРТ: Технология кластерного анализа массивов речевых данных

Компания «ЦРТ-инновации» совместно с Министерством образования РФ разработала технологию кластерного анализа – автоматического структурирования и понимания больших массивов речевых данных. Технология базируется на основных принципах работы с большими данными и использует для реализации алгоритмов наиболее успешные современные методы машинного обучения.

Разработка будет применяться в крупных контакт-центрах и службах поддержки, где ежедневно накапливается большой объем записей телефонных переговоров «клиент-оператор» и часто возникает необходимость получить информацию о составе, структуре и содержании новой, незнакомой аналитику базы данных.

Полученная информация может быть использована для выявления наиболее частых поводов обращения абонентов в контакт-центр, обнаружения связи между этими обращениями, определения объемов кластеров таких обращений, перевода обслуживания по некоторым типам обращений в автоматический режим (IVR) и т.п.

«Достоинствами разработанной нами технологии являются возможность автоматической адаптации используемого алгоритма к новой предметной области (обучение системы на целевой выборке происходит без участия эксперта-аналитика, что делает данную систему экономически выгодной и более производительной) и наличие специально разработанных алгоритмов предобработки данных, позволяющих выделить наиболее информативные смысловые центры (так называемые «паттерны») диалогов «клиент-оператор» и исключить из рассмотрения неинформативные («мусорные») фрагменты диалогов, что значительно повышает надежность и результативность», - комментирует R&D директор Группы ЦРТ Левин Кирилл.

Технология кластерного анализа входит в состав предлагаемой «ЦРТ-инновации» универсальной методики, основанной на таких последовательных принципах извлечения информации (information retrieval) из неструктурированных массивов речевых данных и их интеллектуального анализа (data mining), как:

Предлагаемая «ЦРТ-инновации» универсальная методика основана на таких последовательных принципах извлечения информации (information retrieval) из неструктурированных массивов речевых данных и их интеллектуального анализа (data mining), как:

• Кластерный анализ (или «кластеризация») речевых данных, предполагающий разделение массива неструктурированных данных на кластеры, объединяемые общим критерием (темой). Полученные кластеры имеют озаглавленную иерархическую (древовидную) структуру, что позволяет решать реальные задачи аналитиков контакт-центров, так как такое представление данных в полной мере отражает связность, вложенность и относительный объем данных различных кластеров (тем). Алгоритм основан на методе машинного обучения «без учителя» (unsupervised learning) с применением алгоритмов k-means и LDA на каждом шаге иерархической кластеризации.
• Поиск и фильтрация «статистических выбросов» или «аномалий», то есть звукозаписей переговоров, нетипичных для данной выборки по какому-либо критерию (например, наличие бытовых разговоров (с родственниками или знакомыми) среди звукозаписей рабочих переговоров). Алгоритм основан на методе машинного обучения «без учителя» (unsupervised learning), использующего метод one-class-svm.
• Выявление наиболее значимых слов и фраз и последующее составление текстовых аннотаций, содержащих в себе информативную составляющую речи.