Анализ слитной речи на естественном языке:
«…другому как понять тебя?»

Основная статья: Речевые технологии

У Ф.И. Тютчева немало поэтических творений с глубокой философской подоплекой, а известное четверостишие из стихотворения Silentium! можно назвать считать прямо-таки провидческим описанием задач из области компьютерного анализа текстов на естественном языке (ЕЯ):

Как сердцу высказать себя?
Другому как понять тебя?
Поймет ли он, чем ты живешь?
Мысль изреченная есть ложь.

Эволюция технологий

Вопросами «понимания» ЕЯ-текстов занимаются системы компьютерной обработки естественного языка (NLP, Natural Language Processing). О том, какие проблемы волнуют сегодня ученое сообщество, рассказывает Наталья Лукашевич, ведущий научный сотрудник НИВЦ МГУ, профессор кафедры теоретической и прикладной лингвистики МГУ, член международного программного комитета конференции «Диалог» (эта конференция в течение многих лет является центром консолидации интеллектуальных ресурсов, ведущих разработки в сфере NLP): «Данная наука стала экспериментальной. То есть в подавляющем большинстве случаев при создании чего-то нового (модели, алгоритма, лингвистических ресурсов) должна быть представлена и процедура оценки качества предложенного на каких-то наборах данных, существующих или специально созданных. То же самое происходит и в близких сферах машинного обучения и искусственного интеллекта».

Второй важный момент: происходит увеличение доли методов автоматической обработки текстов и речи на основе машинного обучения, и, в частности, глубокого обучения на основе нейронных сетей.

Такие методы требуют наличия не только данных для тестирования, но и для обучения. Можно сказать, что в настоящее время на конференции «Диалог», как, впрочем, и во всем мире, идет смещение в сторону тех задач автоматической обработки текстов и речи, для которых существуют или могут быть созданы наборы данных (датасеты), для обучения и тестирования, подчеркивает профессор Лукашевич.

В результате, по мнению Натальи Лукашевич, наиболее животрепещущими и интересными для исследователей направлениями работ является поиск подходов, которые позволяют снизить проблему подготовки (разметки) данных для конкретной задачи. Среди них можно отметить такие, как:

• Методы переноса обученных моделей с одной задачи на другую, с одной области в другую, с одного языка на другой.
• Методы автоматического порождения или пополнения существующих наборов данных (аугментации).

Кроме того, для ученых представляет серьезный практический интерес вопрос: найти постановку задачи, для которой еще нет данных, и сформулировать ее так, чтобы было понятно, как размечать данные или как найти размеченные данные.

Технологический прорыв в NLP

В сфере NLP говорят о прорыве, связанном с нейросетями: 2018 год стал переломной точкой для развития моделей машинного обучения, ориентированных на решение задач обработки текста. Эту переломную точку еще называют NLP’s ImageNet moment, ссылаясь на события, в ходе которых несколько лет назад похожие разработки значительно ускорили развитие машинного обучения в области компьютерного зрения.

Самое важное, что не так давно произошло в области NLP, — это повсеместное распространение моделей, основанных на модели глубокого обучения BERT. Релиз BERT'а – это событие, которое положило начало новой эре в NLP, говорит Валентин Малых, научный сотрудник Российского Исследовательского Института Huawei (Huawei Russian Research Institute, RRI), R&D подразделения компании Huawei в России.

Вскоре после публикации статьи, в которой описывалась модель, команда разработчиков выложила в открытый доступ код модели и обеспечила доступность разных версий BERT, уже предобученных на больших наборах данных. И сегодня открытый механизм BERT опирается на целый ряд разработок, предложенных мировым NLP-сообществом. В общем случае можно сказать, что сообщество объединенными усилиями постаралось решить несколько больших проблем, которые раньше существенно ограничивали применимость алгоритмов deep learning для анализа ЕЯ-текстов. К ним, в частности, относятся: знание контекста для точного понимания смысла слова, наличие обученной выборки, небольшие размеры текстов, доступных для обучения в больших объемах, главным образом, новостные заметки.

Одним из важнейших достижений данной модели стоит считать, что в модели BERT тренировка происходит на большом неразмеченном наборе данных, на котором решается задача языкового моделирования, то есть предсказания следующего слова. Сама по себе эта задача не представляет практической ценности, но она позволяет модели выучить особенности языка и в дальнейшем использовать их для решения прикладных задач.

Такого в принципе нельзя реализовать в масштабе твитов или новостных заметок. Как сказал один энтузиаст BERT, «достаточно просто загрузить семь тысяч книг и обучить на них модель». Может быть, на самом деле все не совсем просто, но модель BERT точно уже побила несколько рекордов по успешности решения ряда NLP-задач.

Разработка модели с помощью BERT

С практической точки зрения, важно, что такие модели глубокого обучения могут использовать большой массив неразмеченных данных для предобучения, а на стадии обучения достаточно небольшого объема данных. В результате удалось достичь существенного повышения качества для большого числа задач, например, для вопросно-ответных систем.

Достижения сегодняшнего дня

Качество распознавания текста

Параметр качества применительно к NLP-системам имеет непростой характер. Как его описать? Как некоторую семантическую конструкцию или результат семантического анализа?

Наталья Лукашевич поясняет, что термин «семантический анализ» имеет два толкования. Во-первых, есть задачи семантического анализа - те, которые требуют глубокого понимания текста со стороны людей, участвующих в какой-либо коммуникации: машинный перевод, ответы на вопросы, чат-боты. Во-вторых, семантический анализ - это автоматическая процедура, которая в процессе обработки создает внутренне формализованное семантическое представление смысла текста, которое может быть затем интерпретировано человеком. Оба направления интересны для исследований.

Компьютер «понимает» текст?

На вопрос, можно ли говорить о том, что компьютерная система «понимает» смысл текста примерно так, как это делает человек, Наталья Лукашевич отвечает так:

Можно сказать, что за последнее время существенно выросло качество машинного перевода. Перевод стал более «гладким», то есть правильно построенным грамматически, хотя конкретные слова могут быть переведены неправильно. Однако внутри машинного переводчика работает нейронная сеть, которая преобразует последовательность на входном языке в последовательность слов на другом языке через неинтерпретируемое внутреннее представление, порожденное нейронной сетью.

Это очень интересное состояние. С одной стороны, мы видим большой прогресс в развитии голосовых помощников, чат-ботов, продолжает она:

Но внутри этих приложений мы обычно можем обнаружить разного рода сочетания трех технологий: применение шаблонов, поиск ответа среди множества имеющихся ответов или реплик и порождение ответа с помощью нейронной сети, обученной на множестве реплик. В любом случае это совсем не похоже на процесс понимания текста человеком и семантический анализ во второй интерпретации.

С ней согласен Валентин Малых:

Необходимо оговориться, что «понимания» текста компьютерной системой не происходит. Система может выполнять некоторую конкретную задачу, например, переводить текст с одного языка на другой. Но это делается статистически, и у современных систем имеется немало ограничений, связанных именно с отсутствием понимания текста.

Формализованное представление смысла текста

С попытками найти универсальное формализованное представление текста на естественном языке в виде некоторой семантической конструкции тоже все не очень просто.

Оказалось, что предложить единый семантический формализм для всего разнообразия текстов чрезвычайно трудно. Например, раньше исследователи думали, что оптимально осуществлять машинный перевод через формализованное языково-независимое представление текстового содержания (interlingua), но этого не получилось. И сегодня нейронный машинный перевод выполняется на основе построения неинтепретируемых векторных представлений, замечает Наталья Лукашевич.

В настоящее время в области NLP во многом произошел отход от описания лингвистических структур в явном виде. Вместо этого используются так называемые методы дистрибутивной семантики, развитием которых являются модели типа BERT. Для моделей машинного обучения (и BERT, в том числе) существует большое количество различных аспектов, которые требуют уточнения, например, в области обучения нейронных сетей — это поиск глобального оптимума функции потерь, поиск оптимальных представлений распределений в данных, например, с помощью вариационных автокодировщиков и т.д., подтверждает Валентин Малых.

Компания ABBYY с помощью NLP-технологий на базе различных механизмов машинного обучения, в том числе с использованием нейронных сетей, реализует возможности извлечения из ЕЯ-текстов широкого спектра сущностей, событий и связей, строит сложные семантические конструкции. Как утверждают в компании, технология способна определить отношения между взаимосвязанными словами даже в многострочных сложносочиненных предложениях со сложными оборотами.

В свою очередь, Валентин Малых рассказывает о подходе, принятом в Huawei:

Система ABBYY, насколько мне известно, использует большой граф знаний, созданный людьми, для выполнения прикладных задач. Компанией Huawei разработана модель TinyBERT, которая использует большие корпуса текстов для предобучения, с одной стороны, а с другой — специальные техники для уменьшения размера модели. Так что итоговая модель получается весьма компактной и одновременно показывающей хорошее качество в прикладных задачах. Можно отметить, что для ее обучения практически не требуется применения ручного труда.

Опыт реальных внедрений

Татьяна Даниэлян, заместитель директора по исследованиям и разработкам компании ABBYY, рассказывает, что NLP-технологии используются в ряде решений компании для корпоративного сегмента:

• Анализ документов: технология сначала определяет значение слов и тематику всего неструктурированного текста.
• Классификация: программа определяет тип документов и данных, относит их к разным категориям.
• Задачи кластеризации: документы распределяются по группам на основании какого-либо определенного принципа. Например, собрать все акты или договоры, которые похожи по смыслу.
• Интеллектуальный поиск, извлечение информации из неструктурированных текстов (сущностей, фактов, событий).

Например, в Сбербанке решение ABBYY применяется в системе онлайн-мониторинга новостей для оценки кредитных рисков. Сегодня через эту онтомодель в онлайн-режиме проходят новости более 200 тыс. компаний – контрагентов банка. При этом в досье риск-менеджеров попадают только значимые сообщения с подсвеченными фактами. В «Точке» решение ABBYY позволяет на 15% быстрее обрабатывать запросы клиентов в службу поддержки: программа автоматически анализирует текстовое содержание беседы, определяет ее тему и отправляет данные в базу ответов.

Интересный вариант применения NLP-технологий ABBYY – система корпоративного поиска в НПО «Энергомаш». Это решение работает в стиле популярных поисковиков, но по внутренним информационным источникам и миллионам документов предприятия. Сотрудники могут ввести запрос на естественном языке в поисковую строку и за считанные доли секунды найти документы и файлы, необходимые для работы. Например, конструкторские чертежи, исследовательские работы, финансовые отчеты и так далее.

Решения завтрашнего дня

На текущем этапе NLP-решения используются, прежде всего, в специализированных областях и бизнес-процессах.

На высоком уровне решаются задачи классификации — распределения документов по определенным категориям. Более-менее хорошо решена задача персональных помощников, настроенных на определенную область сервисов: забронировать столик в ресторане, купить билет на самолет, поискать информацию о какой-то книге и т. д. Это очень простые запросы, на которые есть конкретные ответы. Для них не нужно собирать информацию по разным источникам и агрегировать ее, поясняет Татьяна Даниэлян.

Есть задачи, которые NLP-технологии пока решают не столь эффективно. В первую очередь, это область машинного перевода. Это связано с тем, объясняют специалисты, что для специфических областей языка мало или совсем нет корпусов, на которых программа может обучаться.

Человек говорит по-разному, может ошибаться, разговаривать литературным и нелитературным языком. Для определенных предметных областей или некоторых пар языков может вообще не быть данных для обучения, или этих данных критически мало, говорит Даниэлян.

Изменить ситуацию призваны новые методы машинного обучения, которые будут работать хорошо даже при ограниченном количестве релевантных данных. Так, все чаще используется transfer learning – метод, при котором нейросеть использует для обучения данные из доступных источников, например, тексты новостей.

После того, как подобрана архитектура, такую сеть можно дообучить на ограниченном наборе релевантных данных. Transfer learning уже активно используют в разных задачах банки, производители автомобилей, медицинские организации и другие компании, поясняет Татьяна Даниэлян.

Валентин Малых согласен:

В настоящее время для упрощения решения новых задач используются техники переноса знаний, в том числе вышеупомянутого предобучения (если говорить о модели BERT).

Однако сегодняшние технологии переноса знаний – вовсе не панацея. Наталья Лукашевич предупреждает:

В настоящее время перенос универсальных решений в специализированную область может быть очень сложным и сопровождаться значительным снижением качества автоматической обработки. Например, универсальные системы распознавания именованных сущностей работают с качеством выше 90%. Однако в конкретной предметной области нужно извлекать дополнительные типы именованных сущностей. Например, в области компьютерной безопасности – это имена вирусов, хакеров, компьютерная техника, программы. И это означает, что нужно делать все заново, размечая обучающую коллекцию или создавая правила для извлечения новых типов сущностей.

Серьезной проблемой, по мнению Лукашевич, является также перенос решений, настроенных на качественных текстах, на обработку текстов из социальных сетей, в которых встречаются многочисленные опечатки, сокращения, не соблюдаются правила синтаксического построения предложений, и правил капитализации (написания с прописной-строчной буквы).

Специалисты Исследовательского центра искусственного интеллекта ИПС РАН напоминают о том, что выявление смысла текста имеет значение не только само по себе, но и для того, чтобы на основе информации, извлеченной из текста, создать описания знаний о рассматриваемой предметной области или анализируемой ситуации. Вопрос о конкретных путях интеграции извлеченной из текстов информации (текстовых фактов) в знания системы пока открыт, утверждают ученые, а основными средствами для выражения знаний о предметной области в задачах извлечения информации из текста сегодня являются контекстные правила и онтологии. Одно из перспективных направлений исследований — более тесная интеграция правил и онтологии, в том числе, развитие языка запросов к онтологии, полагают в ЦИИ ИПС РАН.

Активное использование чат-ботов, самоуправляемых устройств, стимулирует развитие логического искусственного интеллекта, который комбинирует не только накопленные данные, но и логические правила. Ценность таких алгоритмов заключается в том, что они могут за достаточно короткое время найти оптимальное решение, при этом для их построения не обязательно наличие данных, как в случае с машинным обучением, достаточно заданных правил и механизмов их формирования. У нас в «Форсайте» есть специальное подразделение логического искусственного интеллекта, которое развивает такие технологии, и достаточно большое количество компаний проявляет интерес к таким технологиям, замечает Алексей Выскребенцев, руководитель центра экспертизы решений компании «Форсайт».

Вызовы, стоящие перед отраслью

Специфические проблемы применения глубоких нейронных сетей

Часть проблем, с которыми столкнулась сфера NLP, связана со специфическими особенностями популярных сегодня механизмов глубокого обучения. Рассказывает Наталья Лукашевич:

При конкретной постановке задачи может оказаться, что для этой задачи нет данных для обучения, а размечать их слишком дорого. Например, всем известно, что задача классификации текстов решается методами машинного обучения. Но для этого есть важное предусловие - должна быть обучающая выборка. И оказывается, что во многих ситуациях, когда хотелось бы делать автоматическую классификацию текстов, невозможно создать и поддерживать соответствующую обучающую коллекцию за разумные средства и/или время.

В чем сложность?

Система классификации для серьезной задачи может включать более 100 категорий, при этом для каждой требуется несколько десятков примеров. В таких условиях подготовка обучающей коллекции может оказаться серьезной проблемой. Поэтому, например, специалисты НИВЦ МГУ разработали специальные инструментальные средства для того, чтобы создавать разнообразные системы классификации на основе больших онтологий (тезаурус РуТез, онтология по естественным наукам и технологиям ОЕНТ) и логического вывода, что позволяет в короткие сроки создать систему классификации в условиях отсутствующей или недостаточной обучающей выборки.

А после этого открываются возможности и создания обучающей выборки для системы машинного обучения, если это необходимо, комментирует Наталья Лукашевич.

Вторая большая проблема NLP-решений на базе нейронных сетей – неинтерпретируемость полученного решения: в большинстве случаев невозможно понять, почему нейронная сеть приняла конкретное решение.

В сфере обработки текстов это, в частности означает, что очень трудно исправить регулярные ошибки. Поэтому полезно не забывать, что есть и другие направления искусственного интеллекта, например, представление знаний, логический вывод, на основе интеграции которых с нейросетевыми подходами может существенно вырасти качество и надежность результатов, замечает Наталья Лукашевич.

Ключевой барьер к развитию NLP – недостаток данных для обучения. Сфера применения NLP в бизнесе постоянно расширяется, технологии применяют в более сложных задачах. Но, как правило, большинство документов для специфических бизнес-сценариев составляют коммерческую тайну или являются персональными данными, доступные документы быстро устаревают. Именно это ограничивает бизнес в создании общедоступных ресурсов и библиотек. Компания не может взять у клиента данные, а потом выложить результаты обучения в открытый доступ. Для того чтобы это стало возможным, данные необходимо обезличить. Кроме того, компании неохотно делятся результатами своих исследований, так как ими могут воспользоваться конкуренты, полагает Татьяна Даниэлян.

Проблема контекста

У обычного человека уровень «понимания» происходящего, в том числе, литературных текстов, существенно зависит от знания контекста. По сути, очень многие знания, необходимые для понимания того или иного текста, человек извлекает из своей памяти. Как сегодня решается этот вопрос в системах NLP?

Проблема учета контекста всегда была проблемой при автоматической обработке текстов, говорит Наталья Лукашевич:

Учет контекста необходим при расширении запроса при поиске (задача состоит в том, система автоматически добавила еще какие-то слова в запрос, по которым можно поискать релевантные документы), при переводе, при выборе значения неоднозначного слова, при извлечении именованных сущностей (Москва в конкретном контексте - город или река).

Прорыв 2018 года, в числе прочего, привел к прогрессу в представлении слова в контексте: слова (или другие языковые единицы) представляются в виде векторов (набора чисел от 100 до 1000 элементов), и этот вектор зависит от контекста. Именно такой подход реализован, например, в модели BERT и ей подобных.

Это уже привело к улучшению качества решения ряда задач автоматической обработки текстов, например, извлечения именованных сущностей и некоторых других. Также лучшего учета контекста удается достичь с помощью, так называемого, механизма внимания, который существенно улучшил качество автоматического перевода. Все эти новые решения были созданы на основе нейронных сетей глубокого обучения. продолжает Наталья Лукашевич.

Однако, уточняет эксперт, при этом речь идет о достаточно локальном контексте, проблемы учета глобального контекста в тексте достаточно большого размера, в диалоге еще достаточно существенны.

Татьяна Даниэлян говорит о том, что языковая модель BERT позволяет интеллектуальным системам выполнять ряд функций: отвечать на вопросы, заданные в произвольной форме, создавать чат-ботов, анализировать тексты документов, восстанавливать смысл из контекста и т.д. BERT используется в таких задачах, как снятие омонимии, извлечение сущностей и фактов, улучшение результатов поиска. К примеру, у разработчика есть множество размеченных фрагментов текста, в которых пользователь так или иначе формулирует желание приобрести какой-то товар: «Я куплю», «Смогу приобрести», «Планирую потратить 25 тыс. рублей…».

BERT позволяет с большой точностью достраивать предложения, исходя из контекста. Подобные технологии можно использовать в поисковых системах, онлайн-магазинах, анализе неструктурированных корпоративных документов и т. д. Контекст можно анализировать в рамках фразы, предложения, абзаца или всего текста, говорит специалист ABBYY.

По мнению Валентина Малых, вопрос «понимания» контекста компьютерной системой в настоящее время является одной из центральных задач NLP.

Большие графы знаний позволяют решить часть связанных с этим проблем, прежде всего в ситуациях, которые предполагают использование общеизвестных знаний, например, что вода — мокрая, а Земля крутится вокруг Солнца. Однако это не снимает всех проблем, например, там, где требуется некоторый логический вывод, рассказывает Малых.

Он приводит пример описания: Вася упал в воду и потом попал в больницу. Человеку очевидно, что Вася, скорее всего, простудился после того, как попал в воду, а машине «догадаться» об этом неизмеримо сложнее.

Большие языковые модели, например, такие, BERT, могут улавливать какую-то связь между водой и простудой, но для осуществления логического вывода, как правило, требуются более специализированные модели. На текущее время прорыва в этой области еще не произошло, и все «удачные» ответы той же Алисы Яндекса — это либо результат заранее записанного сценария, либо хороший выбор из заранее составленного списка ответов, резюмирует Валентин Малых.

Главные вызовы для исследователей и разработчиков в области NLP

• Татьяна Даниэлян:

Основной вызов для исследователей – многозначность и сложность языка, а также недостаток данных для обучения. Значимые направления исследований – извлечение информации для принятия решений, предиктивная аналитика, когда можно прогнозировать дальнейшее поведение человека или компании, опираясь на причинно-следственные связи, а также интеллектуальный поиск.

• Валентин Малых:

Вызовом для исследователей является в ультимативном смысле задача понимания человека компьютером. В такой постановке в настоящее время задача не решается, но выделение отдельных подзадач позволяет, решая их, приближаться к этой заветной цели. В настоящее время большая часть усилий сообщества и нашей лаборатории направлена на решение прикладных задач обработки ЕЯ, например, выделению именованных сущностей из текста. В более отдаленной перспективе мы будем работать над созданием вопросно-ответных систем, которые смогут пользоваться знаниями из неструктурированных источников. Это уже, кажется, гораздо ближе к пониманию человека компьютером, но все еще — дело будущего.

Почему умная программа не может «понимать текст, как человек?»

Обывательский вопрос о том, может ли программа «понимать» текст так же хорошо, как человек, у специалистов обычно вызывает улыбку – они мыслят в иных категориях.

Для ИТ-компаний, обслуживающих бизнес, задача создать компьютерную систему, функционирующую в точности «как человек», обычно не стоит. И это не специфика информационных технологий, разъясняет Анна Власова, руководитель отдела лингвистики «Лаборатории Наносемантика».

В автомобилестроении – точно так же: автомобиль решает задачу доставки людей и грузов без обязательного условия сделать это путем таких же механических усилий, как это делает человек или животное, даже если при этом мы измеряем мощность двигателя в лошадиных силах… Конечно, это не отменяет научных исследований, цель которых – понять, как устроена биомеханика движений человека, поясняет эксперт:

Но это разные направления R&D. Точно также в ИТ-индустрии есть место как исследованиям понимания ЕЯ человеком, так и исследованиям, цель которых – создание компьютерных технологий, позволяющих до определенной степени имитировать это понимание.

В конкретных разработках прикладной лингвистики и инженерии знаний, адресуемых коммерческому рынку, речь обычно идет о построении модели и грамматики ЕЯ, достаточных для решения конкретных задач, продолжает Анна Власова:

Например, интеллектуальные диалоговые системы решают задачу массового обслуживания конечных потребителей товаров или услуг: консультации, ответы на частые вопросы, рекомендации по подбору товаров/услуг, помощь в проведении транзакций и т.п.

Кроме того, эксперт обращает внимание на то, что у сложной вычислительной системы есть масса таких возможностей, которых у человека нет в принципе. Например, мгновенно сравнивать истории покупок конкретного человека и выделенных репрезентативных групп пользователей, или дословно «помнить» все предыдущие диалоги с каждым конкретным человеком и брать информацию из них.

Естественно, все разработчики извлекают максимальную пользу из этих возможностей, а не пренебрегают ими ради того, чтобы получить «чисто человеческую» модель диалогового поведения. Окончательного решения тут нет и универсального решения – тоже, говорит Анна Власова.

Но в настоящий момент, замечает эксперт, прослеживается тенденция к сочетанию разных видов языковых моделей и переключению между ними в разных точках коммуникации, в зависимости от задачи, которую система хочет решить в этой точке.

Например, если есть задача продвижения конкретного товара или услуги, то здесь в диалоге лучше всего работают сценарные модели с предустановленными сценариями поведения системы, а если есть задача отвечать на конкретные вопросы, то тут можно подключать предобученную нейронную сеть, и т.п.

Компьютерная система в настоящее время не может «стать человеком» по банальной причине: сложность человеческого мозга на два порядка превышает сложность моделей, которые могут быть обработаны современными компьютерами. Так что сильный искусственный интеллект в настоящее время от нас далек. В тоже время слабый искусственный интеллект — решение узких задач — вполне уверенно развивается, резюмирует Валентин Малых.

Что создает перспективы развития сегмента NLP

Понимая ограниченность современных инструментов «компьютерного понимания», профессиональные участники NLP-рынка думают о том, какие аспекты современного мира помогут практическим внедрениям таких решений. Одни видят стимулирующую роль письменных коммуникаций, которые активизируются по мере информатизации частной и деловой жизни.

Люди стали больше общаться письменно. Естественной реакцией бизнеса на это является замена человека на машину, например, для ответов на тривиальные вопросы, говорит Валентин Малых.

Способствовать внедрению таких систем будет развитие техник переноса знаний, чтобы системы могли использовать большие объемы знаний, неявно содержащиеся, к примеру, во всем объеме веб-страниц Рунета, полагает эксперт. Однако барьером на пути широкого внедрения таких систем оказывается сложность ЕЯ, которая часто не позволяет машине правильно трактовать текст пользователя.

Анна Власова уверена, что, как и во всей ИТ-индустрии, главная движущая сила развития NLP - это деньги:

Если виртуальный консультант отвечает мгновенно, а не заставляет пользователя по несколько минут ждать ответа оператора, и отвечает при этом правильно и решает проблему, с которой человек пришел к консультанту, то такой сервис привлекает новых пользователей и удерживает старых. Больше пользователей или покупателей = больше денег для компании.

С экономической точки зрения, разговорный интеллект позволяет сократить или эффективно перераспределить расходы.

Эксперты указывают также, что перспективные направления развития NLP следует искать не там, где компьютерная программа только пытается добрать до уровня человека, а в других задачах – тех, с которыми компьютер справляется намного лучше человека. Таких примеров, кстати, немало. Например, ИТ-решения для работы с огромными объемами информации предоставляют сегодня много возможностей, например, позволяют связывать данные из неструктурированных документов со структурированными.

Количество документов, особенно неструктурированных, таких как договоры, контракты, соглашения и т. д., огромно, их число уже достигает 80% от общего объема данных и постоянно растет. На основе этих данных можно делать выводы и определять приоритеты для технологического развития, находить в общем потоке данных значимые факты для развития компании, в том числе для оптимизации бизнес-процессов, отмечает Татьяна Даниэлян.

К тому же объем уже разработанных интеллектуальных решений для обработки разнообразных данных в интересах бизнеса настолько велик, что этого исследовательского задела хватит для существенного продвижения в практических внедрениях.

Так что в ближайшие годы развитие технологий разговорного интеллекта (и хайп, провоцируемый этим развитием) не закончится, а будет только нарастать, прогнозирует Даниэлян.

NLP-система будущего: какой она будет?

В части NLP-систем мир сегодня переживает период увлечения практическими внедрениями доступных технологий.

Несомненно, наличие доступных ресурсов (размеченных корпусов, электронных словарей) и свободного программного обеспечения многократно упростило вход на рынок или исследования в NLP. Кроме того, появились мощные предобученные модели, которые при обучении требуют большого объема текстовых данных, вычислительных ресурсов, специалистов-профессионалов, а применить их уже может студент в своей курсовой работе, рассказывает Наталья Лукашевич.

Другое дело, что все это не имеет никакого отношения к процессам «понимания».

NLP-система просто выполняет преобразование текста из исходного формата в те структуры, которые необходимы для решения данной задачи, или извлекает из текста заданные сущности. Все это происходит за счет применения детерминированных алгоритмов, или моделей, обученных на специально, созданных данных именно для конкретной задачи, поясняет Лукашевич.

По большому счету, в XXI веке мир не очень продвинулся в проблематике самого «понимания» как свойства умной программы. Стоит отметить, правда, усилия ученых – математиков в части философского осмысления феномена познания. В частности, появился термин «когнитивная система», описывающий компьютерную программу, способную размышлять, делать умозаключения. С помощью этой сущности специалисты в области ИИ пытаются найти более прагматичное определение понятия «искусственный интеллект» или «искусственный разум», чем используемые сегодня расплывчатые понятия «сильный ИИ» или «слабый ИИ».

Корпорация IBM, кстати, позиционирует свой проект IBM Watson именно как когнитивную систему, подчеркивая наличие некоторой единой платформы интеллектуальной обработки знаний и единого контекста знаний, в рамках которого происходит поиск конкретных решений прикладных задач. Правда, эта идея не видится нашим экспертам плодотворной.

Свойства некоторой ИТ-системы как когнитивной определяет ее способность принимать решения без участия человека. Но диапазон допустимости здесь невелик, и в ближайшее время едва ли стоит его расширять, считает Георгий Лагода, заместитель генерального директора ГК «Программный Продукт».

Он предлагает не умножать сущности без надобности, использовать привычный термин «технологии искусственного интеллекта» с учетом того, что конкретное содержание этих технологий по мере научно-технического прогресса меняется.

С технической точки зрения и сегодня, и завтра гораздо прагматичнее оставаться в рамках разговора о функциональных характеристиках, которые можно объективно измерить и сравнивать по ним работу ИИ с работой человека, нежели пытаться оценить сложность внутренних мыслительных процессов и моделей представлений у интеллектуальных систем, в сравнении с человеческим сознанием, полагает Юрий Визильтер, начальник подразделения интеллектуального анализа данных и технического зрения ГосНИИ Авиационных систем, профессор РАН.

Иными словами, NLP-решения сегодня и в обозримом будущем будут иметь отчетливо прагматический характер, содержать конкретный функционал и использоваться в реальных бизнес-процессах с измеримыми результатами. Может, оно к лучшему, что на рабочем столе компьютера не поселится умная программа, с которой можно «поговорить по душам»? Зато умные программы станут неутомимыми «рабочими лошадками», помогающими людям в их работе.

Читайте также

• Искусственный интеллект (ИИ, Artificial intelligence, AI)
• Речевые технологии: на пути от распознавания к пониманию

Смотрите также Голосовые помощники (бормотографы)