Машинное обучение
Machine Learning

Основная статья: Обучение искусственного интеллекта

Машинное обучение (ML) — класс методов искусственного интеллекта, характерной чертой которых является не прямое решение задачи, а обучение в процессе применения решений множества сходных задач. Для построения таких методов используются средства математической статистики, численных методов, методов оптимизации, теории вероятностей, теории графов, различные техники работы с данными в цифровой форме.

Составляющие машинного обучения

Данные. Например, если мы хотим предсказывать погоду, необходима сводка погоды за последние несколько лет (чем больше, тем лучше). Чем качественнее данные, тем эффективнее будет работать программа. Каким бы совершенным ни был алгоритм работы, если качество данных не очень, результат будет соответствующим.

Признаки. Набор свойств, характеристик или признаков, которые описывают создаваемую модель. Если мы говорим о погоде, то это температура, скорость ветра, время года. Правильно подобранные признаки — залог успешного обучения.

Алгоритм. Каждую задачу можно решить разными способами. Для разных целей можно подобрать разные алгоритмы.

3 базовых метода машинного обучения

На 2023 г используют три основных метода машинного обучения:

Метод 1: Классическое обучение Чаще всего для ИИ используется классическое обучение. Это простые алгоритмы, основанные на закономерностях в данных. Есть 2 типа классического обучения:

• с учителем. Мы обучаем машину на реальных примерах. Допустим, мы хотим научить ее отличать яблоки от груш. Загружаем в программу данные и говорим ей, что на одних картинках изображены яблоки, а на других — груши. Машина должна найти общие признаки и выстроить связи.

• без учителя. Этот метод используется, когда нет возможности предоставить роботу размеченные данные. Программа должна сама найти общие признаки и классифицировать полученные данные. Такой подход часто используют в таргетированной рекламе, когда действия или предпочтения пользователя нельзя заранее классифицировать.

Метод 2: Обучение с подкреплением Это более сложный вид обучения. ИИ нужно не просто анализировать данные, а действовать самостоятельно в реальной среде. Обучение похоже на игру: за правильно принятое решение машина получает балл, за ошибки — баллы вычитаются.

Рассмотрим на примере игры «Змейка». На поле есть объект, до которого должна добраться змейка. Она не знает, какой путь самый эффективный. Ей известно только расстояние до объекта. Методом проб и ошибок змейка находит оптимальный вариант движения и анализирует ситуации, которые ведут к проигрышу. Этот способ используют для обучения роботов-пылесосов или самоуправляемых автомобилей.

Метод 3: Нейросети и глубокое обучение (Deep learning) Глубоким это обучение называется потому, что структура искусственных нейронных сетей состоит из нескольких слоев, которые взаимодействуют между собой и создают сложный процесс анализа данных. Есть 3 вида слоев:

• входной;
• выходной;
• скрытый.

2024: "Яндекс" позволит партнёрам вместе обучать нейросети и раздельно хранить данные

Яндекс вместе с Институтом системного программирования имени В. П. Иванникова РАН и Сеченовским Университетом применили федеративное машинное обучение для задач медицины. Его также называют совместным, поскольку оно предназначено для проектов, где есть несколько участников с собственными наборами данных, или датасетами. Федеративный подход позволяет участникам коллективно обучать модели, никому не передавая свои данные. Это открывает новые возможности для партнёрств в сфере искусственного интеллекта. Подробнее здесь.

2023

Объем мирового рынка облачных сервисов машинного обучения за год достиг $25,74 млрд

В 2023 году затраты на глобальном рынке MLaaS (Machine Learning as a Service — машинное обучение как услуга) составили $25,74 млрд. Данный сектор демонстрирует устойчивый рост, чему способствуют стремительное внедрение сервисов на основе искусственного интеллекта, увеличение объемов генерируемых данных и достижения в области глубокого обучения в целом. Отраслевые тенденции рассматриваются в обзоре Market Research Future, опубликованном в середине ноября 2024 года.

Концепция MLaaS обеспечивает ряд преимуществ по сравнению с традиционными локальными системами. Как правило, MLaaS представляет собой готовое к развертыванию решение, которое включает такие функции, как визуализация данных, распознавание лиц/объектов, обработка естественного языка, предиктивная аналитика и глубокое обучение. Вычислительная нагрузка при этом ложится на серверы в дата-центре поставщика услуг, что сводит к минимуму требования к локальной инфраструктуре. В результате, клиенты получают возможность экономить средства на установке и обслуживании собственного оборудования. Кроме того, платформы MLaaS предлагают гибкость и масштабируемость, что позволяет быстро адаптироваться к меняющимся рыночным условиям и бизнес-задачам.

Главным преимуществом MLaaS, как и других облачных сервисов, является доступность: заказчики могут немедленно начать использовать инструменты машинного обучения из любого места с доступом в интернет — без необходимости настраивать оборудование или устанавливать сложное программное обеспечение. Эти предварительно оптимизированные сервисы упрощают внедрение, делая машинное обучение более доступным для предприятий любого размера.

Еще одним драйвером отрасли названо быстрое расширение инфраструктуры Интернета вещей (IoT). Используя алгоритмы машинного обучения, системы IoT могут анализировать обширные потоки данных, выявляя скрытые закономерности и оптимизируя операции. Службы MLaaS широко используется для обнаружения мошенничества, оптимизации цепочек поставок, анализа рисков и других задач. Благодаря достижениям в области науки о данных, ИИ и аппаратных платформ производительность машинного обучения резко возросла. Это дополнительно стимулирует спрос на сервисы MLaaS. Основным сдерживающим фактором названа нехватка квалифицированных специалистов.

По компонентам рынок сегментирован на программные инструменты, облачные программные интерфейсы (API) и веб-API. Отмечается, что на облачные API приходится наибольшая доля выручки. По сфере применения выделяются сетевая аналитика, предиктивное обслуживание, дополненная реальность, маркетинг и реклама, аналитика рисков и обнаружение мошенничества. Категория маркетинга и рекламы приносит наибольший доход. С географической точки зрения лидирует Северная Америка, что обусловлено высоким уровнем внедрения передовых технологий и присутствием крупных облачных операторов. Далее следуют Европа и Азиатско-Тихоокеанский регион. Среди ключевых игроков отрасли названы:

• Amazon Web Services (AWS);
• Microsoft Azure;
• Google Cloud Platform;
• IBM;
• Salesforce;
• Oracle;
• SAP;
• Alibaba Cloud;
• H2O.ai;
• Databricks;
• DataRobot;
• Nvidia;
• Tibco Software;
• Zaloni;
• C3.ai;
• RapidMiner.

По итогам 2024 года выручка в секторе MLaaS оценивается в $35,05 млрд. Аналитики Market Research Future полагают, что в дальнейшем среднегодовой темп роста в сложных процентах (показатель CAGR) составит 31,04%. В результате, к 2032 году затраты в глобальном масштабе могут увеличиться до $304,82 млрд.^[1]

Machine Learning помогает агентствам недвижимости

У жителей России нет доступа к данным о сделках с имуществом, как это практикуется на Западе, но агентства недвижимости не стоят на месте и создают качественные базы данных с помощью Machine Learning. Об этом 18 декабря 2023 года сообщила компания Homeapp. Подробнее здесь.

2022

Что такое промышленное машинное обучение и почему в него инвестируют миллиарды

Инвестиции в компании, специализирующиеся на промышленном машинном обучении, достигли максимума в 2021 году, составив $4,7 млрд. В 2022-м этот показатель снизился до $3,4 млрд, что объясняется макроэкономическими вызовами и стремлением компаний сократить затраты в условиях высокой инфляции. Такие цифры приводятся в отчете McKinsey, который опубликован 20 июля 2023 года.

Отмечается, что промышленное машинное обучение изначально использовалось небольшим количеством ведущих компаний, однако затем технология начала активно развиваться. Речь идет о концепции MLOps — это набор практик, нацеленных на надежное и эффективное развертывание и поддержание моделей машинного обучения на производстве. Благодаря MLOps предприятия могут оптимизировать рабочие процессы, а также внедрять эффективные средства автоматизации, диагностики, мониторинга и управления.

В целом, инструменты MLOps помогают компаниям переходить от пилотных проектов к жизнеспособным бизнес-продуктам, ускорять масштабирование аналитических решений, выявлять и решать проблемы на производстве, а также повышать производительность команд. При этом быстро развивающаяся экосистема программных и аппаратных средств позволяет снизить риски при разработке, развертывании и обслуживании решений машинного обучения.

На фоне роста интереса к промышленному машинному обучению увеличивается спрос на специалистов в соответствующей области. Количество объявлений о вакансиях в данной сфере поднялось почти в четыре раза с 2018-го по 2022 год. А в течение 2021–2022 годов зафиксирован рост практически на четверть — на 23,4%. Компаниям, расширяющим свои инициативы в области машинного обучения, требуются профессионалы со специфичными техническими навыками, в том числе в области разработки ПО.^[2]

Ученые факультета ВМК МГУ определили слабые места приложений при использовании машинного обучения

1 апреля 2022 года в ВМК МГУ сообщили, что в рамках проводимых на факультете исследований по тематике «Искусственный интеллект в кибербезопасности» представители НОШ МГУ «Мозг, когнитивные системы, искусственный интеллект» выявили, что главным препятствием для использования моделей машинного обучения в критических приложениях является проблема, связанная с устойчивостью алгоритмов данного класса к внешним воздействиям. Результаты исследования опубликованы в International Journal of Open Information Technologies.

Машинное обучение - практически синоним термина «искусственный интеллект», программы развития которого уже являются национальными во многих странах. Добавлять в приложения возможности машинного обучения становится все проще: многие библиотеки машинного обучения и онлайн-сервисы уже не требуют глубоких знаний в этой области.

В опубликованной работе рассматривается проблема атак на системы машинного обучения с целью добиться желаемого поведения системы или воспрепятствовать ее корректной работе. Первым шагом к противодействию такого рода угрозам, по мнению ученых, является их классификация, понимание их типов, равно как и мест приложения. Это связано с тем, что природа атак на системы машинного обучения и глубокого обучения отличается от других киберугроз.

Однако даже у простых в использовании систем машинного обучения есть свои проблемы. Среди них - угроза состязательных атак, которая стала одной из важных проблем приложений машинного обучения. Под этим понимаются специальные воздействия на элементы конвейера системы, запускающие необходимое злоумышленнику поведение. Таковым поведением может быть, например, неверная работа классификатора. Но существуют и атаки, которые направлены на извлечение параметров модели.

«Эта информация поможет атакующему создать обманывающие систему примеры. Существуют атаки, которые позволяют проверить, например, принадлежность определенных данных к тренировочному набору и, возможно, раскрыть тем самым конфиденциальную информацию», - рассказал Евгений Ильюшин, сотрудник кафедры ИБ.

Состязательные атаки отличаются от других типов угроз безопасности. Они опираются на сложность глубоких нейронных сетей и их вероятностную природу, чтобы найти способы их использования и изменения их поведения.

«Состязательная атака часто используется в широком смысле для обозначения различных типов злонамеренных действий против моделей машинного обучения. Возможности обнаружить их с помощью классических инструментов, используемых для защиты программного обеспечения от киберугроз, нет», - добавил Дмитрий Намиот, старший научный сотрудник лаборатории ОИТ кафедры ИБ.

Состязательные атаки манипулируют поведением моделей машинного обучения. По одной версии, состязательные атаки существуют из-за нелинейного характера систем, что ведет к существованию некоторых неохваченных алгоритмом генерализации областей данных. По другой - это, наоборот, переобучение системы, когда даже небольшие отклонения от тренировочного набора данных обрабатываются неверно.

Для критических применений машинного обучения остро стоит вопрос сертификации систем, моделей и наборов данных, подобно тому, как это делается для традиционных систем программного обеспечения. Важно также, что состязательные атаки вызывают проблемы с доверием к алгоритмам машинного обучения, особенно к глубоким нейронным сетям. Эти инструменты дают большие возможности в разных областях и уже стали частью нашей жизни. Именно поэтому так важно изучать их уязвимости и защищать от посягательств злоумышленников.

Модель машинного обучения определяет взломанные компоненты энергосистемы

Машинное обучение может помочь поставщикам энергии лучше выявлять неисправные или скомпрометированные компоненты в электросетях. Об этом стало известно 28 февраля 2022 года. В исследовательском проекте под руководством Массачусетского технологического института описывается методика, позволяющая моделировать сложные взаимосвязанные системы, состоящие из множества переменных, значения которых со временем изменяются. Сопоставляя соединения в этих так называемых множественных временных рядах, «байесовская сеть» может научиться выявлять аномалии в данных.

Состояние электросети может быть составлено из множества точек данных, включая величину, частоту и угол напряжения во всей сети, а также ток. Обнаружение аномалий зависит от выявления аномальных точек данных, которые могут быть вызваны такими вещами, как обрыв кабеля или повреждение изоляции.

В случае с электросетью люди пытались собирать данные, используя статистику, а затем определять правила обнаружения со знанием предметной области. Например, если напряжение вырастет на определенный процент, то оператор сети должен быть предупрежден. Такие системы, даже усиленные статистическим анализом данных, требуют много труда и опыта. Мы можем автоматизировать этот процесс, а также извлекать закономерности из данных, используя передовые методы машинного обучения, — пояснили эксперты.

Данный метод использует неконтролируемое обучение для определения аномальных результатов, вместо использования правил, созданных вручную. Когда исследователи проверили свою модель на двух частных наборах данных, записывающих измерения двух межсетевых соединений в США, они выявили превосходство модели над другими методами машинного обучения, основанными на нейронных сетях.

Общий метод обнаружения аномального изменения данных можно использовать даже для подачи сигнала тревоги в случае взлома энергосистемы.

Его можно использовать для обнаружения девальвации сбоя электросети в целях кибератак. Поскольку наш метод по существу направлен на моделирование электросети в нормальном состоянии, он может обнаруживать аномалии независимо от причины, — отметили эксперты.

По словам исследователей, модель не может указать на точную причину аномалий, но может определить, какая часть энергосистемы выходит из строя. Модель может применяться для мониторинга состояния электросети и может сообщать о сбое в сети в течение одной минуты^[3].

2021

IBM стала лидером по числу патентов в сфере машинного обучения

В начале марта 2022 года аналитики BanklessTimes опубликовали данные, согласно которым IBM лидирует по числу патентов в сфере машинного обучения (ML). В самой IBM утверждают, что ее изобретатели разрабатывают технологии, чтобы подстегнуть бизнес к расширению использования искусственного интеллекта.

IBM зарегистрировала 5,4 тыс. различных патентов в области машинного обучения в период с 2017 по 2021 год, обойдя при этом Microsoft и Google в борьбе за первое место. Причем Microsoft заняла вторую позицию с 2,1 тыс. патентов, а Google третью с 1,3 тыс. Samsung зарегистрировала 937 патента (это четвертый показатель в мире), а Capital One занял пятое место с 921 патентам.

С начала 2017 года относительно 2021-го популярность инструментов машинного обучения резко возросла. Это связано как с ростом доверия к их точности, так и со снижением затрат. Многие компании на март 2022 года используют ML для обеспечения точных прогнозов и быстрого анализа больших массивов данных. Именно на этом фоне IBM наращивает инвестиции в искусственный интеллект. Компания фокусируется на инициировании изменений через обработку естественного языка (NLP), автоматизацию и развитие доверия к искусственному интеллекту (ИИ). Кроме того, IBM продолжает внедрять в свои продукты новые способности, полученные в ходе исследований и разработок.

В IBM говорят, что следующим шагом в развитии ИИ станет то, что компания называет жидким интеллектом в связи с тем, что технология машинного обучения на март 2022 года является узкой. Следовательно, использование обученных моделей для обновленных потребностей требует значительного времени и подготовки данных. Компании нужен ИИ, который смешивает широкий спектр информации, исследует причинно-следственные связи и самостоятельно обнаруживает модифицированный опыт.

Данный шаг расширяет стратегию IBM в области гибридного облака и ИИ, помогая предприятиям модернизировать и преобразовывать сложные критически важные приложения на различных облаках и платформах. Компания объединяет возможности ИИ и гибридного облака, чтобы предоставить бизнесу полную аналитику, - сказал генеральный директор направления IBM AI Applications Карим Юсуф (Kareem Yusuf).

Отдел исследований и разработок IBM использует различные подходы, которые помогут создать системы ИИ, ориентированные на 2025-2035 года. Кроме того, компания разрабатывает архитектуры и устройства с огромными вычислительными возможностями, это связано с тем, что оборудование достаточно надежно и быстро, чтобы обрабатывать огромные массивы данных, которые компания производит ежедневно.^[4]

Запуск корпоративной платформы для машинного обучения в режиме реального времени

В середине августа 2021 года Abacus запустила платформу, которая по сообщению самой компании, является первым в мире решением для машинного обучения и глубокого обучения в реальном времени корпоративного масштаба. Подробнее здесь.

2019

Рост числа AI/ML-проектов в России почти в 3 раза за 2 года и 9 месяцев

14 октября 2019 года компания «Инфосистемы Джет» сообщила, что проанализировала более 360 AI/ML-проектов с начала 2017 года по сентябрь 2019, реализованных в России. Исследование показало рост более чем в три раза.

Аналитики «Инфосистемы Джет» отмечают, что в 2018 году был взрывной рост популярности проектов по машинному обучению (ML). На один проект 2017 года приходится 2,7 проекта 2018.

В 2019 году количество проектов продолжило увеличиваться относительно 2018 года (примерно на 10%), тем не менее кардинально изменилась их структура. Если в 2017 году это были точечные проекты ИТ-компаний, то в 2019 – искусственный интеллект стал полностью работающей технологией, которую применяют во многих отраслях. Кроме того, тестовых (пилотных) проектов стало значительно меньше относительно аналогичных показателей 2018 года.

Что же касается отраслевого применения, лидерство по-прежнему принадлежит банковской отрасли (20%) и ритейлу (20%), где достаточно данных, высокая конкуренция и есть бюджет на внедрения. В 2019 году технологии ИИ пришли и в промышленность – этой сфере принадлежит каждый 14-й проект.

В пятерке лидеров присутствуют компании-агрегаторы (например, Яндекс), которые предлагают сервисы почты, перевода, транспортные услуги и т. д., а также рекламные и туристические компании.

По данным проведенного исследования, не только крупный бизнес внедряет ИИ: количество проектов в небольших предприятиях растет третий год подряд. Активно внедряют цифровые технологии интернет-сервисы, интернет-магазины, некрупное промышленное производство, небольшие региональные транспортные компании, региональные подразделения федеральных госучреждений и т. п.

Software 2.0: Как новый подход к разработке ПО заставит компьютеры поумнеть

Парадигма Software 2.0 - подход к разработке программного обеспечения, который способен совершить качественный рывок в области развития компьютинга. Целью Software 2.0 служит создание модели, которая сама может породить коды, она обучается тому, какие коды в соответствие с заданными правилами должны быть созданы для получения тех или иных результатов. Подробнее здесь.

IBM запустила портал с бесплатными наборами данных для машинного обучения в компаниях

16 июля 2019 года IBM запустила портал с бесплатными наборами данных для машинного обучения в компания. Компания называет IBM Data Asset eXchange (DAX) уникальным проектом для корпоративных клиентов, несмотря на присутствие в интернете (например, на GitHub) большого количества открытых массивов данных. Подробнее здесь.

10 лучших языков программирования для машинного обучения — GitHub

В январе 2019 года сервис для хостинга ИТ-проектов и их совместного развития GitHub опубликовал рейтинг самых популярных языков программирования, используемых для машинного обучения (МО). Список составлен на основе количества репозиториев, авторы которых указывают, что в их приложениях используются МО-алгоритмы. Подробнее здесь.

2018

Зарплаты специалистов в России - 130-300 тыс руб

По данным HeadHunter (данные 2018 года), специалисты по машинному обучению получают 130–300 тысяч рублей, и крупные компании ведут ожесточенную борьбу за них.

Проблемы машинного обучения — IBM

27 февраля 2018 года технический директор IBM Watson Роб Хай (Rob High) заявил, что в настоящее время основная задача машинного обучения – ограничить объем данных, требующихся для обучения нейросетей. Хай полагает, что есть все основания считать эту проблему вполне разрешимой. Его мнение разделяют и коллеги: так руководитель разработки технологий искусственного интеллекта (ИИ) Google Джон Джаннандреа (John Giannandrea) заметил, что его компания также занята этой проблемой.

Как правило, модели машинного обучения работают с огромными массивами данных, чтобы гарантировать точность работы нейросети, однако во многих отраслях крупных баз данных просто не существует.

Хай, однако, считает, что это проблема разрешима, ведь мозг людей научился с ней справляться. Когда человек сталкивается с новой задачей, в ход идет накопленный опыт действий в подобных ситуациях. Именно контекстуальное мышление и предлагает использовать Хай. Также в этом может помочь технология переноса обучения (transfer learning), то есть возможность взять уже обученную ИИ-модель и использовать ее данные для обучения другой нейросети, данных для которой существенно меньше.

Однако проблемы с машинным обучением этим не ограничиваются, особенно если речь идет об естественной речи.

Мы пытается понять, как научить ИИ взаимодействовать с людьми, не вызывая недоверия, как влиять на их мышление, - пояснил Хай. – При общении люди воспринимают не только саму информацию, но и жесты, мимику, интонацию, модуляции голоса.

Хай отмечает, что ИИ не обязательно должен отражать эти аспекты в антропоморфной форме, однако какие-то ответные сигналы, например, визуальные, поступать должны. В то же время большинство ИИ должно для начала разобраться в сути вопросов и научиться ориентироваться в контексте, особенно в том, как данный вопрос связан с предыдущими.

Это указывает на следующую проблему. Многие из использующихся сейчас моделей машинного обучения по своей природе предвзяты, поскольку данные, по которым их обучали, ограничены. Что касается подобной предвзятости, то тут Хай выделяет два аспекта.

Во-первых, данные действительно могут быть собраны некорректно, и тем, кто занимается их подбором для систем машинного обучения, следует внимательнее следить за тем, чтобы в них были учтены интересы всех культурных и демографических слоев, - прокомментировал Хай. - С другой стороны, иногда данные сознательно подобраны так, чтобы отражать только определенный аспект проблемы или определенную выборку, поскольку так поставлена задача.

В качестве примера Хай привел совместный проект IBM и онкологического центра Sloan Kettering. Они подготовили ИИ-алгоритм, основанный на работе лучших онкологических хирургов.

Однако врачи онкологического центра Sloan Kettering придерживаются определенного подхода к лечению рака. Это их школа, их марка, и эта философия должна быть отражена в созданном для них ИИ и сохранена во всех последующих его поколениях, которые будут распространяться за пределами данного онкоцентра. Большая часть усилий при создании таких систем направлена на то, чтобы обеспечить верную избирательность данных. Выборка людей и их данных должна отражать более крупную культурную группу, к которой они принадлежат.

Хай также заметил, что представители IBM наконец начали регулярно обсуждать эти проблемы с клиентами. По мнению Хая, это шаг в верном направлении, особенно если учесть, что многие его коллеги предпочитают игнорировать этот вопрос.

Опасения по поводу предвзятости ИИ разделяет и Джаннандреа. Осенью прошлого года он заявил, что боится не восстания разумных роботов, а предвзятости искусственного интеллекта. Эта проблема становится тем значительнее, чем больше технология проникает в такие области, как медицина или юриспруденция, и чем больше людей без технического образования начинают ее использовать.^[5]

2017

3% компаний используют машинное обучение — ServiceNow

В октябре 2017 года производитель облачных решений для автоматизации бизнес-процессов ServiceNow опубликовал результаты исследования, посвященного внедрению технологий машинного обучения в компаниях. Совместно с исследовательским центром Oxford Economics было опрошено 500 ИТ-директоров в 11 странах.

Выяснилось, что к октябрю 2017 года 89% компаний, сотрудники которых отвечали на вопросы аналитиков, в разной степени используют механизмы машинного обучения.

Так, 40% организаций и предприятий исследуют возможности и планируют стадии внедрения таких технологий. 26% компаний ведут пилотные проекты, 20% — применяют машинное обучение для отдельных областей бизнеса, а 3% — задействуют его для всей своей деятельности.

По словам 53% ИТ-директоров, машинное обучение является ключевым и приоритетным направлением, для развития которого компании ищут соответствующих специалистов.

К октябрю 2017 года наиболее высокое проникновение машинного обучения имеет место в Северной Америке: 72% компаний находятся на какой-либо стадии изучения, тестирования или использования технологий. В Азии этот показатель составляет 61%, в Европе — 58%.

Около 90% ИТ-директоров говорят, что автоматизация повышает точность и скорость принятия решений. По мнению больше половины (52%) участников опроса, машинное обучение помогает автоматизировать не только рутинные задачи (например, вывод предупреждений о киберугрозах), но и более сложные рабочие нагрузки, такие как способы реагирования на хакерские атаки.

Выше представлена диаграмма, показывающая степень автоматизации различных областей в компаниях в 2017 году и с прогнозом на 2020 год. К примеру, в 2017-м около 24% операций в сфере информационной безопасности полностью или в значительной степени автоматизированы, а в 2020 году показатель может вырасти до 70%.

Самая многообещающая технология. Чем вызвано всеобщее помешательство на машинном обучении?

Машинное обучение, по мнению аналитиков, является самым многообещающим технологическим трендом современности. Как возникла эта технология и почему стала столь востребованной? На каких принципах строится машинное обучение? Какие перспективы открывает для бизнеса? Ответы на эти вопросы дает материал, который для TAdviser подготовил журналист Леонид Черняк.

Признаком наступающей эры когнитивного компьютинга (см. подробнее в отдельной статье) служит повышенный интерес к машинному обучению (Machine Learnng, ML) и многочисленные попытки внедрения ML в самых разных, порой неожиданных областях человеческой деятельности.

Тому свидетельство - «кривая ажиотажа» (Gartner's Hype Cycle), датированная августом 2016 года. На ней ML занимает позицию на пике ожиданий. В отчете этой аналитической компании подчеркивается, что нынешний всплеск интереса к Искусственному интеллекту (ИИ) вообще и ML, в частности, следует отличать от неоправдавшихся ожиданий прошлых десятилетий, приведших к временному забвению ИИ.

Все то, что происходит в 2016-2017 годах, более прозаично и прагматично, лишено романтических обещаний относительно антропоморфных технологий, имитирующих человеческий мозг. Нет никаких рассуждений о мыслящих машинах и тем более угрозах со стороны роботов. В отчете Gartner цитируется «циничное» и явно неприемлемое для сторонников сильного ИИ высказывание вице-президента IBM по исследованиям Джона Келли:

Успех когнитивного компьютинга не будет измеряться ни тестом Тьюринга, ни какой либо иной способностью компьютера имитировать человеческий мозг. Он будет измеряться такими практическими показателями как возврат инвестиций, новые рыночные возможности, количеством вылеченных людей и спасенных человеческих жизней

Как бы не был велик интерес к ML, неверно отождествлять весь когнитивный компьютинг (Cognitive Computing, CC) исключительно с ML. Собственно CC – это составляющая ИИ, целостная экосистема, частью которой служит ML. К тому же CC включает в себя и автоматическое принятие решений, и распознавание аудио и видео данных, машинное зрение, обработку текстов на естественных языках и еще многое другое.

Впрочем, строгое разделение между отдельными направлениями CC провести сложно. Некоторые из них взаимно пресекаются, но, что точно, ML включает математические алгоритмы, поддерживающие процесс когнитивного обучения.

ML – это обучение систем, обладающих элементами слабого ИИ. Сильным ИИ (Strong AI) называют обобщенный искусственный разум (Artificial general intelligence), который теоретически может быть воплощен некоторой гипотетической машиной, проявляющей мыслительные способности, сравнимые с человеческими способностями.

Сильный ИИ наделяют такими чертами, как:

• способность ощущать (sentience),
• способность выносить суждения (sapience),
• самоанализ (self-awareness) и даже
• самосознание (consciousness).

А Слабым ИИ (Weak AI) называют не имеющий разума и умственных способностей (Non-sentient computer intelligence), ИИ, ориентированный на решение прикладных задач.

Будучи частью слабого ИИ, ML, тем не менее, имеет общие черты с обучением человека, обнаруженные психологами в начале XX века. Тогда было выявлено несколько теоретически возможных подходов к обучению как процессу передачи знаний. Причем один из подходов, названный когнитивным обучением, напрямую соответствует ML.

Обучаемому, в нашем случае ИИ, предъявляются те или иные образы в доступной ему форме. Для восприятия передаваемых знаний со стороны обучаемого достаточно обладать соответствующими способностями и стимулами. Основа теории когнитивного обучения была разработана швейцарским психологом Жаном Пиаже (1896 – 1980). Он, в свою очередь, использовал труды в области гештальтпсихологии, разработанной немецким и позже американским психологом Вольфгангом Келером (1887—1967).

Теория когнитивного обучения строится на основе предположения, что человек обладает способностью к обучению, имеет необходимые стимулы и может структурировать и сохранять накопленную информацию. То же самое относится к ML. Его можно считать версией когнитивного обучения, но адаптированного для компьютера.

История ML, как и многое другое в искусственном интеллекте, началась, казалось бы, с многообещающих работ в 1950-х — 1960-х годах. Затем последовал длительный период накопления знаний, известный как «зима искусственного интеллекта». В самые последние годы наблюдается взрывной интерес главным образом к одному из направлений — глубинному, или глубокому обучению (deep leаrning).

Первопроходцами ML были Артур Сэмюэль, Джозеф Вейцбаум и Фрэнк Розенблатт. Первый получил широкую известность созданием в 1952 году самообучающейся программы Checkers-playing, умевшей, как следует из названия, играть в шашки. Возможно, более значимым для потомков оказалось его участие вместе с Дональдом Кнутом в проекте TeX, результатом которого стала система компьютерной верстки, вот уже почти 40 лет не имеющая себе равных для подготовки математических текстов. Второй в 1966 году написал виртуального собеседника ELIZA, способного имитировать (а скорее, пародировать) диалог с психотерапевтом. Очевидно, что своим названием программа обязана героине из пьесы Бернарда Шоу. А дальше всех пошел Розенблатт. Он в конце 1950-х в Корнелльском университете построил систему Mark I Perceptron, которую условно можно признать первым нейрокомпьютером.

В шестидесятые-семидесятые XX века сложились основные научные принципы ML. В современном представлении ML объединяет в себе ранее независимые направления:

• нейронные сети (neural networks),
• обучение по прецедентам (case-based learning),
• генетические алгоритмы (genetic algorithms),
• выводы правил (rule induction) и
• аналитическое обучение (analytic learning).

Было показано, что практическая передача знаний обучаемой машине (нейронной сети) может строиться на основе теории вычислительного обучения по прецедентам, которая развивается с шестидесятых годов XX века.

Неформально ML можно представить следующим образом. Берутся описания отдельных прецедентов, которые называют обучающей выборкой. Далее по совокупности отдельных фрагментов данных удается выявить общие свойства (зависимости, закономерности, взаимосвязи), присущие не только этой конкретной выборке, использованной для обучения, но и вообще всем прецедентам, в том числе тем, которые ещё не наблюдались. Алгоритмы обучения (learning algorithm) и настройки (fitting) модели по выборке данных позволяют найти оптимальный набор параметров модели, а затем использовать обученную модель для решения тех или иных прикладных задач.

В целом ML можно представить формулой:

Обучение = Представление + Оценка + Оптимизация

где:

• Представление - представление классифицируемого элемента на формальном языке, который машина может интерпретировать
• Оценка - функция, позволяющая выделить плохие и хорошие классификаторы
• Оптимизация – поиск наилучших классификаторов

Главная же цель ML – создать, например, в нейронной сети способность обнаруживать нечто иное, не входящее в набор, использованный для обучения, но обладающее теми же свойствами.

Обучение включает распознавание образов, регрессионный анализ и прогнозирование. Чаще всего используют подход, основанный на построении модели восстанавливаемой зависимости в виде параметрического семейства алгоритмов. Его суть в численной оптимизации параметров модели с целью минимизации число ошибок на заданной обучающей выборке прецедентов.

Обучении состоит в подгонке создаваемой модели под выборку. Но у этого подхода есть врожденная слабость, проявляющаяся в том, что с повышением сложности модели оптимизирующие модель алгоритмы начинают улавливать не только черты восстанавливаемой зависимости, но и ошибки измерения обучающей выборки, и погрешность самой модели. В результате ухудшается качество работы алгоритма.

Выход из этого положения был предложен В. Н. Вапником и А. Я. Червоненкисом в разработанной ими теории восстановления зависимостей, признанной во всем мире в восьмидесятые годы и ставшей одним из наиболее важных разделов теории вычислительного обучения.

Переходу от теории к практике ML, случившемуся в XXI веке, способствовали работы в области глубинных нейронных сетей (Deep Neural Network, DNN). Считается, что собственно термин deep learning был предложен в 1986 году Риной Дехтер, хотя подлинная история его появления, вероятно, сложнее.

К середине 2000-х была накоплена критическая масса знаний в области DNN и, как всегда в таких случаях, кто-то отрывается от пелотона и получает майку лидера. Так было и, видимо, будет в науке всегда. В данном случае в роли лидера оказался Джефри Хинтон, британский ученый, продолживший свою карьеру в Канаде. C 2006 года он сам и вместе с коллегами начал публиковать многочисленные статьи, посвященные DNN, в том числе и в научно-популярном журнале Nature, чем заслужил себе прижизненную славу классика. Вокруг него образовалось сильное и сплоченное сообщество, которое несколько лет работало, как теперь говорят, «в невидимом режиме». Его члены сами называют себя «заговорщиками глубинного обучения» (Deep Learning Conspiracy) или даже «канадской мафией» (Canadian maffia).

Образовалось ведущее трио: Ян Лекун, Иешуа Бенджо и Джефри Хинтон. Их еще называют LBH (LeCun & Bengio & Hinton). Выход LBH из подполья был хорошо подготовлен и поддержан компаниями Google, Facebook и Microsoft. С LBH активно сотрудничал Эндрю Ын, работавший в МТИ и Беркли, а теперь возглавляющий исследования в области искусственного интеллекта в лаборатории Baidu. Он связал глубинное обучение с графическими процессорами.

Нынешний успех ML и всеобщее признание стали возможны благодаря трем обстоятельствам:

1. Возрастающее в геометрической прогрессии количество данных. Оно вызывает потребность в анализе данных и является необходимым условием для внедрения систем ML. Одновременно это количество данных открывает возможность для обучения, поскольку порождает большое количество образцов (прецедентов), и это достаточное условие.

2. Сформировалась необходимая процессорная база. Известно, что решение задач ML распадается на две фазы. На первой выполняется обучение искусственной нейронной сети (тренировка). На протяжении этого этапа нужно параллельно обработать большое количество образцов. На данный момент для этой цели нет альтернативы графическим процессорам GPU, в подавляющем большинстве случаев используют GPU Nvidia. Для работы обученной нейронной сети могут быть использованы обычные высокопроизводительные процессоры CPU. Это распределение функций между типами процессоров вскоре может претерпеть существенные изменения. Во-первых, уже в 2017 году Intel обещает выпустить на рынок специализированный процессор Nervana, который будет на порядка производительнее, чем GPU. Во-вторых, появляются новые типы программируемых матриц FPGA и больших специализированных схем ASIC, и специализированный процессор Google TensorFlow Processing Unit (TPU).

3. Создание библиотек для программного обеспечения ML. По состоянию на 2017 год их насчитывается более 50. Вот только некоторые, наиболее известные: TensorFlow, Theano, Keras, Lasagne, Caffe, DSSTNE, Wolfram Mathematica. Список можно продолжить. Практически все они поддерживают прикладной интерфейс OpenMP, языки Pyton, Java и C++ и платформу CUDA.

Будущая сфера применения ML, без всякого преувеличения, необозрима. В контексте Четвертой промышленной революции наиболее значимая роль ML заключается в расширении потенциала области Business Intelligence (BI), название которой условно переводится как «бизнес-аналитика».

В дополнение к традиционному в большей мере количественному для BI вопросу: «Что происходит в бизнесе?», с помощь ML можно будет отвечать и на такие: «Что и почему мы делаем?», «Как можем делать это лучше?», «Что нам следует делать?» и подобные качественные и содержательные вопросы.

О машинном обучении на простых примерах

Что такое машинное обучение?

Это способ программирования, при котором машина сама формирует алгоритм на основании модели, заданной ей человеком, и загруженных в нее данных.

Такой подход отличается от классического программирования: при «обучении» программе показывают много примеров и учат находить в них закономерности. Схожим образом учатся люди — вместо словесного описания собаки ребенку просто показывают собаку и говорят, что это. Если такой программе показать, например, миллион фотографий онкологических образований на коже, она научится диагностировать рак^[6] по снимку лучше, чем живой специалист^[7].

Почему обучение моделей настолько сложное?

Представьте, что я обучаю машину, используя группу людей... и здесь золотое правило состоит в том, что они должны быть в равной степени заинтересованы и ознакомлены с процессом, так что, скажем, я не могу взять пять программистов и четырех вчерашних студентов... Нужно стараться подбирать людей либо совершенно в случайном порядке, либо по одинаковым интересам. Есть два способа сделать это. Вы показываете им много, очень много картинок. Вы показываете им изображения гор вперемежку с фотографиями верблюдов, а также изображения предметов, которые практически в точности похожи на горы, например, мороженое в вафельном стаканчике. И вы просите их сказать, что из этих предметов можно назвать горой. При этом машина наблюдает за людьми и на основании их поведения в процессе выбора изображений с горами она также начинает выбирать горы. Такой подход называется эвристическим, - пишет автор PCWeek Майкл Кригсман[8]

Мы смотрим на людей, моделируем их поведение путем наблюдения, а затем пытаемся повторить то, что они делают. Это вид обучения. Такое эвристическое моделирование представляет собой один из способов машинного обучения, однако это не единственный способ.

Но существует множество простых приемов, с помощью которых эту систему можно обмануть. Прекрасный пример — распознавание человеческих лиц. Посмотрите на лица разных людей. Наверное, всем известно, что существуют технологии для моделирования на основе определенных точек на лице, скажем, уголков глаз. Не хочу вдаваться в интеллектуальные секреты, но есть некоторые области, между которыми можно построить углы, и эти углы обычно не особо меняются со временем. Но вот вам показывают фотоснимки людей с широко открытыми глазами или гримасами в области рта. Такие люди пытаются сбить эти алгоритмы с толку, искажая черты своего лица. Вот почему вам нельзя улыбаться на фотографии в паспорте. Но машинное обучение уже ушло далеко вперед. У нас есть такие средства, как Eigenface, и другие технологии для моделирования поворота и искажения лиц, позволяющие определить, что это одно и то же лицо.

Со временем эти инструменты становятся все лучше. И порой, когда люди пытаются запутать процесс обучения, мы также учимся на их поведении. Так что этот процесс саморазвивающийся, и в этом плане идет постоянный прогресс. Рано или поздно цель будет достигнута, и да, машина будет находить только горы. Она не пропустит ни одной горы и никогда не будет сбита с толку стаканчиком мороженого.

Чем это отличается от классического программирования?

Изначально этот процесс происходил в игровой форме или заключался в идентификации изображений. Тогдашние исследователи просили участников играть в игры или помогать в обучении простыми утверждениями вроде «Это гора», «Это не гора», «Это гора Фудзи», «Это гора Килиманджаро». Так что у них накопился набор слов. У них была группа людей, использовавших слова для описания изображений (например, в проекте Amazon Mechanical Turk).

Используя эти методики, они фактически отобрали набор слов и сказали: «Итак, слово „гора` часто ассоциируется с тем-то и тем-то, и между словом „гора` и этим изображением наблюдается высокая статистическая корреляция. Так что если люди ищут информацию о горах, покажите им это изображение. Если они ищут гору Фудзи, покажите им это изображение, а не то». В этом и состоял прием совместного использования человеческого мозга и описательных слов. По состоянию на 2017 год этот прием не единственный. На данный момент существует множество более изощренных методик.

Смогу ли я применить машинное обучение в своем бизнесе?

Машинное обучение имеет высокую практическую значимость для многих отраслей, от госсектора, транспорта и медицины до маркетинга, продаж, финансов и страхования. Существует огромное количество способов его применения – например, прогнозное обслуживание, оптимизация цепи поставок, распознавание мошенничества, персонализация здравоохранения, сокращение дорожного трафика, рациональное планирование расписания полетов и многие другие.

Государственные учреждения используют машинное обучение для интеллектуального анализа данных в целях повышения своей эффективности и экономии денежных средств. Банки применяют машинное обучение для выявления инвестиционных возможностей, высокорисковых клиентов или признаков киберугрозы. В области здравоохранения машинное обучение помогает использовать данные носимых устройств и датчиков для оценки состояния здоровья пациента в режиме реального времени.

Алгоритмы машинного обучения

• Линейная и логистическая регрессия
• SVM
• Решающие деревья
• Random forest
• AdaBoost
• Градиентный бустинг
• Нейросети
• K-means
• EM-алгоритм
• Авторегрессии
• Self-organizing maps

Вредоносное машинное обучение

• Основная статья: Вредоносное машинное обучение (Adversarial Machine Learning, AML)

Перспективы развития математического аппарата ИИ или есть ли жизнь за пределами ML/DL

Основная статья: Перспективы развития математического аппарата ИИ или есть ли жизнь за пределами ML/DL

Графовые нейросети: мимолетный тренд или за ними будущее

Графовые нейронные сети активно применяются в машинном обучении на графах для решения локальных (классификация вершин, предсказание связей) и глобальных (схожесть графов, классификация графов) задач. Локальные методы имеют много примеров применения в обработке текстов, компьютерном зрении и рекомендательных системах. Глобальные методы, в свою очередь, применяются в аппроксимации задач, эффективно не решаемых на современных компьютерах (за исключением квантового компьютера будущего), и используются на стыке компьютерных и естественных наук для предсказания новых свойств и веществ (это актуально, например, при создании новых лекарственных препаратов).

Пика популярности графовые нейросети достигли в 2018 году, когда они стали использоваться и показали высокую эффективность в различных приложениях. Самый известный пример – модель PinSage в рекомендательной системе сервиса Pinterest. С тех пор находится все больше новых применений технологии в областях, где раньше существующие методы были не способны эффективно учитывать в моделях связи между объектами. Подробнее здесь.

Робототехника

• Интернет вещей Internet of Things (IoT)
• Интернет вещей, IoT, M2M (мировой рынок)
• Интернет вещей, IoT, M2M (рынок России)
• Интернет вещей: успеть нельзя остаться
• Что такое интернет вещей (Internet of Things, IoT)
• IIoT - Industrial Internet of Things (Промышленный интернет вещей)

• Большие данные (Big Data)
• Большие данные (Big Data) в России
• Большие данные (Big Data) мировой рынок
• Специалист по работе с большими данными (big data)
• Data Mining

• Директор по данным (Chief Data Officer, CDO)
• Директор по цифровым технологиям Chief Digital Officer, CDO
• ИТ-директор (CIO - Chief Information Officer)
• Директор по информационной безопасности (Chief information security officer, CISO)
• Финансовый директор (CFO - Chief Financial Officer)