4 марта 2020 года TAdviser провел конференцию Big Data и BI Day 2020. Представители компаний-заказчиков и поставщиков решений в сфере больших данных и их анализа обсудили существующие тренды на рынке и рассказали о практическом опыте применения таких продуктов.

Интерес к теме Big Data и BI не ослабевает: соответствующие конференции, которые TAdviser проводит регулярно, традиционно имеют высокую посещаемость. На этот раз мероприятие посетили более 220 участников. В их числе – представители таких организаций как Сбербанк, «Газпром нефть», «Почта России», Московский метрополитен, «Лукойл-Технологии», ОМК, Московский аэропорт Домодедово, НЛМК, Департамент информационных технологий города Москвы, ВТБ, «Евраз», Министерство информатизации и связи Республики Мордовия, PepsiCo Russia, Adidas Russia, Торговый дом «Комус» и многие другие.

Опыт заказчиков, мнения экспертов

Борис Рабинович, старший управляющий директор – директор департамента управления данными SberData Сбербанка, отметил, что развитие больших данных в России способно улучшить качество жизни и принести существенный экономический рост в 0,3% ВВП за 5 лет.

Борис Рабинович, старший управляющий директор – директор департамента управления данными SberData Сбербанка

В самом Сбербанке объем данных на 4 квартал 2019 вырос до 120 ПБ, за 1 секунду обрабатывается порядка 12 тыс. транзакций, а в пиковые моменты – и до 20 тыс. Платформа Сбербанка состоит из нескольких слоев. Спикер подробнее остановился на слое «Фабрика данных», корпоративной аналитической платформе. Он перечислил бизнес-задачи этого слоя:

• управленческая отчетность;
• регуляторная и налоговая отчетность;
• массовая персонализация, вторичные продажи;
• транзакционный скоринг с использованием искусственного интеллекта в потребительском кредитовании;
• пакетное исполнение моделей, графовая платформа, проверка гипотез;
• получение единой картины качества данных.

В 2016 – 2018 разработчики платформы по работе с данными фокусировались на Hadoop, но потом поняли, что для реализации всех бизнес-задач этого недостаточно. Сегодня в банке помимо этого решения используются также Oracle, Teradata, Greenplum – в результате получилась гетерогенная платформа.

В будущем планируется:

• обмен данных с экосистемой;
• использование ИИ ;
• более 160 источников;
• надежность на уровне 99.99+;
• кибербезопасность нового уровня;
• «Фабрика данных» будет выведена в SberCloud.

Все больше задач требует обработки в режиме реального времени, - констатировал Борис Рабинович. - Требуется искусственный интеллект и все больше специализированных инструментов для разработчиков. Из наших последних достижений – разработанную модель можем вывести в промышленную эксплуатацию автоматом.

Александр Филатов, начальник отдела аналитики и мониторинга Управления развития государственных услуг ДИТ Москвы, рассказал о применении продвинутых математических методов в целях предиктивной аналитики. Аналитика задействована для решения следующих задач в рамках предоставления электронных сервисов населению:

• расчет и прогноз показателей государственных программ;
• мониторинг качества предоставления сервисов;
• сбор, хранение и обработка данных;
• повышение привлекательности электронных сервисов.

Александр Филатов, начальник отдела аналитики и мониторинга Управления развития государственных услуг ДИТ Москвы

В числе прочего изучается поведение пользователя при заказе услуг. Данные, предоставляемые пользователями, собираются в хранилище, дальше подключается НСИ, и вся эта информация подается на вход, анализируется.

Реализованные кейсы:

• анализ временных рядов – для прогнозирования временных показателей госпрограмм;
• расчет нагрузки на инфраструктуру - с тем, чтобы обоснованно запрашивать дополнительный пул ресурсов;
• мониторинг значения показателей работы процессов с целью своевременного выявления аномалий;
• управление источниками данных, составление прогнозов, какое количество записей должен передать источник в случае аномальных событий – это тоже повод для расследования.

На первом плане не достижение экономических показателей, а выполнение показателей госпрограмм и точное следование регламентам в части состава, сроков исполнения, - подчеркнул Александр Филатов. - Еще одна задача – сбор, хранение и обработка данных, возникающих при взаимодействии с пользователем.

Юрий Сирота, старший вице-президент, руководитель департамента искусственного интеллекта и анализа данных Банка «Уралсиб», а также руководитель центра компетенций BI, выступил с докладом методологического характера. Основная идея выступления – бизнес-аналитика переживает в своем развитии этап демократизации и именно за этим ее будущее.

Юрий Сирота расставил главные приоритеты: сами данные и их анализ - не самоцель, а лишь промежуточные этапы на пути к цели - управленческому действию для повышения эффективности организации в целом. Для достижения результата в организации должны быть устранены административные барьеры, подчеркнул он, создана кросс-функциональная команда, а сами данные должны быть доступными и надежными.

Юрий Сирота, старший вице-президент, руководитель департамента искусственного интеллекта и анализа данных Банка «Уралсиб»

Спикер перечислил три главных этапа, которые прошла аналитика в своем становлении – централизация, децентрализация и демократизация. Смысл демократизация аналитики, пояснил Юрий Сирота, в том, что пользователи любого уровня могут работать с данными и способны сами решать аналитические задачи.

Современная BI-система должна обладать мощным механизмом загрузки и выгрузки данных. Это делает ее способной интегрироваться с любыми их источниками. Кроме того, современная бизнес-аналитика должна быть обогащена распознаванием голоса, дополненной аналитикой и искусственным интеллектом, считает представитель «Уралсиба».

Машинное обучение - тоже способ демократизации. Далеко не всегда человек способен выделить наилучшую модель из множества данных, отметил спикер. Для этого и развиваются инструменты машинного обучения, автоматизирующие работу data scientist, ускоряющие поиск эффективной модели данных. Вместе с тем, это лишь вспомогательный механизм, выразил уверенность Юрий Сирота, и он не способен заменить эксперта в предметной области.

Когда мы говорим о демократизации аналитики, необходимо отметить, что доля пользователей, способных пользоваться продвинутыми методами возрастает, - пояснил Юрий Сирота. - Возрастает доля пользователей, способных строить предикативные модели.

Начальник службы информационного обеспечения «Техническая инспекция ЕЭС» Эдуард Луганский рассказал об успешном опыте перехода на отечественную BI-систему в госкомпании. Направления деятельности «Технической инспекции ЕЭС» – контроль оборудования субъектов энергетики, участие в контроле реализации инвестиционных проектов, консультационные услуги по анализу работы ЕЭС России, выявлению рисков снижения ее надежности и безопасности функционирования.

Эдуард Луганский, начальник службы информационного обеспечения «Техническая инспекция ЕЭС»

В компании давно работает автоматизированная система сбора и обработки информации о техническом состоянии объектов электроэнергетики и их оборудования (АС СиОИ) с большим функционалом: сбор отчетности в личном кабинете субъекта электроэнергетики в режиме онлайн, многоуровневая верификация, анализ данных и многое другое.

Количество пользователей АС СиОИ – больше 6 тыс., субъектов электроэнергетики – больше 1 тыс., объектов – более 57 тыс., аналитических отчетов – более 700. Архитектура решения включает Java, СУБД Oracle, web-сервер Oracle WebLogic и BI Mincom (SAP) Business Object. О замене последней компоненты и шла речь в рамках нового BI, подчеркнул спикер.

С выходом в декабре 2016 года новых методик оценки техсостояния, возникла необходимость построения детальных аналитических отчетов на большом объеме данных с усложнением структуры аналитических отчетов, увеличением объемов данных – более 2,8 млрд. записей, сокращением сроков подготовки отчетов и новых требований к визуализации данных. Ограниченное количество лицензий Business Object, директивы правительства РФ в области импортозамещения – на этом фоне старое решение уже не могло удовлетворить потребности компании, констатировал Эдуард Луганский.

В результате остановились на платформе «Визари»», разработанном НПЦ «Бизнес-автоматика». По состоянию на начало марта 2020-го, основное решение сделали, рассказал спикер. За три месяца основная часть отчетов с наибольшим количеством обращений пользователей и с наибольшим временем выполнения была переведена на новую платформу, а порядка 20% отчетов еще не переведены. Платформу планируется развивать: в частности, планируется замена бумажных отчетов на доступ к BI-системе через систему личных кабинетов.

По каждой опоре порядка 100 параметров, и этих опор – тысячи, - констатировал Эдуард Луганский. - Иногда запросы приходят в онлайне, прямиком с совещания – скажите, что происходит на объекте сейчас.

Руководитель направления аналитической инфраструктуры «Ситимобил» Константин Севастьянов поделился опытом использования в компании аналитической базы данных Exasol для работы с большими данными. Она задействована в платформе «Ситимобил».

Бизнес компании за год вырос в 15 раз, рассказал Константин Севастьянов, поэтому потребовалась модернизация платформы для хранения и анализа данных. На этапе выбора высокопроизводительной аналитической базы данных с Exasol конкурировали Vertica и Greenplam. По его словам, база данных Vertica отпала по причине недостаточной для компании производительности, свободная СУБД Greenplam – ввиду отсутствия на рынке компаний, способных ее поддерживать.

Константин Севастьянов, руководитель направления аналитической инфраструктуры «Ситимобил»

В числе преимуществ Exasol Константин Севастьянов назвал транзакционность решения, высокую скорость, простоту в эксплуатации, SQL-совместимость, поддержку приложений Windows, встроенные языки java, Python, LUA, совместимость с BI-системами, простоту эксплуатации кластера, возможность сохранения данных встроенными средствами. Объем данных, хранимых в Exasol, порядка 5 терабайт, завершил свой короткий доклад спикер.

Руководитель программы центра цифрового развития Агентства стратегических инициатив (АСИ) Андрей Петров рассказал об уже реализованных инициативах по управлению на основе данных в регионах и о международном конкурсе по решению глобальных социальных задач, проводимом в 2020 году.

Андрей Петров, руководитель программы центра цифрового развития Агентства стратегических инициатив (АСИ)

В 9 регионах было внедрено 10 цифровых решений по управлению, основанному на данных, отметил спикер. Обучено порядка 5 тыс. сотрудников органов власти, в сетевом проекте развития компетенций и продвижения технологий искусственного интеллекта приняли участие 102 вуза и несколько ИТ-компаний. В рамках конкурса цифровых решений, проведенного в регионах, были выявлены ключевые проблемы качества данных:

• при формировании набора данных выявлены пропуски, дублирование, противоречия, отсутствует полная информация об источниках, у некоторых регионов нет практики постановки задач, очистки, обработки, сопоставления и интеграции данных;
• отсутствие сквозного хеширования и возможности обрабатывать обезличенные персональные данные.

Для решения этих проблем необходимо внедрение практик унификации и стандартизации подходов к сбору, обработке, хранению и передаче информации в регионах, подчеркнул Андрей Петров.

В завершение спикер рассказал о международном конкурсе по решению глобальных социальных задач и внедрению их решений при поддержке международных экспертов, который проводится в 2020 году. Планируется, что при помощи этого конкурса субъекты РФ смогут привлечь к решению социально-экономических задач широкий круг ИТ- и data-специалистов, развить компетенции по управлению, основанному на данных и применения технологий искусственного интеллекта. Есть три этапа конкурса: определения задач, выбора решений и внедрений. Первый этап продлится до мая. В качестве возможных задач спикер привел следующие: выявление причин возникновения бедности и их устранение, качественное изменение условий для роста благосостоянии человека, распознавание азбуки для незрячих и слабовидящих (шрифт Брайля).

Практическую часть бизнес-анализа рассмотрел в своем выступлении начальник отдела компетенций BI «Объединенной металлургической компании» Павел Ульихин. Он рассказал о том, как был пройден путь от выбора BI-решения до внедрения и создания центра компетенций, о предыстории большого проекта.

Павел Ульихин, начальник отдела компетенций BI «Объединенной металлургической компании»

В 2017 году на предприятии использовались различные системы бизнес-аналитики - QlikVew, Power BI и другие, но централизованная поддержка отсутствовала, и пользователи сами разбирались с проблемами. Важная предпосылка для реализации проекта - на тот момент уже было внедрено корпоративное хранилище данных со встроенной аналитикой, имевшей ряд недостатков. Основные из них были связаны с визуализацией: пользователи получали отчеты в табличном виде, недостаточной скоростью и качеством работы ИТ-специалистов, формирующих аналитические отчеты. В числе задач проекта была передача формирование отчетов самим пользователям, то есть та самая демократизация, о которой говорил предыдущий спикер.

По итогам исследования рынка и общего голосования в качестве базовой системы была выбрана Tableau. Были закуплены лицензии, развернута инфраструктура, разработке даш-бордов обучены бизнес-пользователи. В компании организовали поддержку пользователей в плане использования функционала системы, раз в неделю проводились очные консультации с подрядчиками, ее внедрявшими. Как результат - проект завершился успешно. Пользователи сформировали порядка 35 панелей, обучили более 100 пользователей, реализовали систему полномочий.

К концу проекта все были счастливы. Но потом возникли проблемы, - рассказал Павел Ульихин. – Появилась проблема с обучением новых пользователей. После окончания проекта такие пользователи стали приходить понемногу, но постоянно. К самообучению пользователи оказались не готовы. И вторая проблема – инфопанели для топ-менеджмента. Некоторые требования руководства обыкновенные бизнес-пользователи реализовать оказались не способны. Но мы нашли выход – создали внутренний центр компетенции BI.

Руководитель проектов стратегического направления Андрей Писарев, ТК «Мегаполис», рассказал об использовании в компании Qlik Sense. До внедрения этого решения часто наблюдались такие малоприятные явления как расхождение данных между подразделениями, неактуальная информация в отчетах, задержка в получении нужного отчета, сложность сбора данных из нескольких источников, ошибки, медленная выгрузка, манипуляция данными, замедленная реакция ИТ службы на потребности пользователей и многие другие проблемы.

Андрей Писарев, руководитель проектов стратегического направления ТК «Мегаполис»

На этапе выбора рассматривали Qlik Sense, Tablea и Power BI. В результате остановились на Qlik Sense. Компании понравился интерфейс на русском, хорошие возможности интеграции данных из множества источников, возможность поддерживать небольшими силами – в компании всего два разработчика, которые одновременно занимаются выгрузкой данных и их визуализацией. Основная система в компании – SAP ERP, СУБД Oracle.

Раньше бюджет Мегаполиса строился на базе Excel, SAP BW и Power Point, - поделился Андрей Писарев. - Сейчас Qlik Sense может заменить систему моделирования, бюджетирование можем делать в нем же. Следующая вещь, реализованная в Qlik – приложение по налогам, позволившее выявлять ситуации, когда у клиента не закрыт аванс. Одно только это приложение окупило весь проект - нашлась дельта на 50 млн. рублей

Денис Матюхин, председатель совета директоров ГК «Аэроклуб», рассказал участникам конференции об автоматизации обработки обращений клиентов по каналам звонков и почтовых сообщений при заказе авиабилетов.

Бизнес нашей компании – низкомаржинальный, с очень высокой оборачиваемостью, - заметил Денис Матюхин. - 70% обращений клиентов - запросы на получение публичной информации – когда прибудет рейс и так далее. Монетизировать можно только 30% заказов.

Денис Матюхин, председатель совета директоров ГК «Аэроклуб»

В течение года компания принимает порядка 2 млн. заявок на авиабилеты, в день - несколько тысяч изменений, которые компания делает за клиентов: перенос рейса, смена гостиницы. Запросы приходят по онлайн-каналам и в офлайне, на онлайн-канал приходится 65% продаж и 35% на офлайн. Об автоматизации обработки офлайн обращений и шла речь в докладе Дениса Матюхина.

Цель – выдать заказчику один вариант билета. Как правильно угадать, чего хочет клиент? Это сложно – велика зависимость от человеческого фактора. Необходимы отсечки, - рассказал Денис Матюхин. - Есть мобильное приложение, с помощью геолокации мы понимаем, где человек живет, работает. И если человек живет ближе к Шереметьево, не нужно предлагать ему Домодедово. Дальше – из предложения выкидываются очень дорогие рейсы. Если пользователь уже летал определенными рейсами, и мы знаем какими, то предлагаем именно тот рейс, которым он уже летал и так далее. В итоге остаются 2–3 рейса. Если угадали, в следующий раз предлагаем то же самое. Так или иначе, результаты выбора клиента записываются и учитываются в последующем

Что хотим реализовать? В Genesis поступают и звонки, и почта, - заключил Денис Матюхин. - Наша предварительная оценка – уложиться в 5–7 секунд, в два – три гудка, когда клиент ждет, а мы поднимаем информацию о нем, и когда трубка снимается, уже знаем, что кто звонит и чего он хочет

Юлия Богачева, представитель Qiwi Group, рассказала об актуальности перехода от экономики продуктов и услуг к экономике впечатлений, для чего необходимо собрать максимальное количество данных от клиентов. При переходе важно учитывать следующие реалии рынка:

• в условиях постоянного рекламного давления существует устойчивая тенденция к снижению порога реагирования на рекламу;
• компания зарабатывает не на всех клиентах, а уровень конкуренции за хороших клиентов постоянно растет.

Юлия Богачева, представитель Qiwi Group

Насыщение рынка и пресыщенность покупателей смещают фокус компаний от продажи продукта или услуги к продаже впечатления, где сам продукт или услуга играет второстепенную роль, заключила Юлия Богачева. И предложила простую формулу: «Впечатление = реальность/ожидание». Чтобы понимать ожидания, нужно иметь четкий портрет клиента, уметь предсказывать его потребности. Отсюда же вытекает необходимость перехода от ориентации на продукт к ориентации на клиента. Соответственно, компании, осознающие ценность данных и умеющие создавать персонифицированные продукты и услуги, получат в ближайшее время конкурентное преимущество на рынке.

В заключение спикер привела несколько успешных кейсов по работе с клиентами, в частности – с нерассмотренными заявками на выдачу кредита.

Одна из реалий современного рынка – коммодитизация. – констатировала Юлия Богачева. - Легко скопировать не только текст, но и услугу. Как только выпускается на рынок продукт – его точная копия через три месяца будет выпущена в Китае

Стейдж-интервью

Алексей Нейман, исполнительный директор Ассоциации больших данных (АБД), в стейдж-интервью рассказал об этой организации. В нее входят Сбербанк, «Тинькофф банк», Газпромбанк, «Киви», «Мегафон», «Ростелеком», «Вымпелком», Mail.ru, «Яндекс» и ряд других крупных компаний. Отвечая на вопрос ведущего о трендах этого года в сфере больших данных, спикер выделил пять закономерностей:

• предстоящий сдвиг регуляторных барьеров в сторону либерализации;
• изменения в подходах к работе с пользовательскими данными - компании перейдут от анонимизации данных к минимизации рисков при использовании персональных данных;
• тенденция перехода к экспериментам - будут создаваться собственные песочницы, в том числе - кросс-отраслевые;
• вопросы кибербезопасности, операционных и технологических рисков;
• нехватка специалистов, способных проводить эксперименты, внедрять новые решения.

Алексей Нейман, исполнительный директор Ассоциации больших данных (АБД)

Планов - вагон и маленькая тележка. Мы создали портфель по реализации стратегии: это 18 проектов, направленных на развитие рынка, - рассказал о планах Алексей Нейман. - Проекты объединены в три программы. Первая – повышение доступности данных, вторая – развитие R&D, третья связана с погружением тех отраслей, где о цифровых данных еще только задумываются. Речь идет о тяжелых, традиционных отраслях. Эта программа задумана, чтобы их ускорять, внедрять в традиционно косных отраслях. Есть и планы создания собственной песочницы, много работы в плане раскрытия государственных данных для коммерсантов.

Павел Мягких, руководитель службы исследования больших данных Tele2, в стейдж-интервью рассказал о том, как компания использует анализ больших данных во внутренних и внешних проектах. Спикер констатировал, что продукты на основе аналитики больших данных востребованы рынком - за прошлый год выручка Tele2 от внешней монетизации больших данных выросла на 70%. Эффективность внутренних проектов компании на основе больших данных тоже велика, она уже измеряется девятизначными суммами.

Павел Мягких, руководитель службы исследования больших данных Tele2

Отвечая на вопрос ведущего о планах компании, Павел Мягких ответил, что предполагается развитие рекомендаций сервисов в режиме реального времени, так, чтобы время вывода сервиса на рынок было минимальным и чтобы рекомендации приходили вовремя. Например, роуминг клиенту нужно предлагать в тот момент, когда человек только прилетел на место отдыха, а не на третий день, когда он уже решил проблему. Второе ключевое направление – геоаналитика, отметил спикер.

На основе Big Data мы повышаем эффективность строительства новых базовых станций и управляем емкостью сети. С помощью предиктивной аналитики работаем на опережение и расширяем емкость там, где необходимо, и еще до того, как это стало проблемой для абонентов. Такой проактивный подход позволяет нам предоставлять клиентам качественный сервис и высокую скорость мобильного интернета, - рассказал Павел Мягких. - На основе геоаналитики мы помогаем нашим бизнес-партнерам выбрать оптимальное место для открытия магазина, используя данные о трафике, сегментах аудитории и их потребительских предпочтениях. Умный подход к выбору локации торговой точки снижает инвестиционные риски, позволяет ускорить окупаемость, увеличить оборот.

Игроки рынка: тенденции и решения

Андрей Краснопольский, генеральный директор компании «Консультационная группа АТК», подробно остановился на характеристиках и особенностях Exasol – параллельной (MPP) аналитической системы управления реляционными базами данных. Кроме Exasol, компания внедряет и другие аналитические решения – QlickVew, Qlick Sense, YellowFin и Power BI.

Андрей Краснопольский, генеральный директор компании «Консультационная группа АТК»

Для работы с большими данными лучше всего подходит именно Exasol, подчеркнул спикер. Это находит подтверждение в мире, говорит он: система немецкой компании работает более чем в 20 странах, ей пользуются более 250 клиентов. В техническом отношении выбор Exasol обусловлен следующими причинами:

• решению свойственна высокая производительность – в кластере может быть объединено до сотни вычислительных узлов, а скорость работы системы не падает. Это достигается это за счет параллелизации процессов (MPP-механизма), вычислений в оперативной памяти и колоночного хранения;
• легкость в использовании - простая настройка, оптимизация, работа на x86 серверах;
• гибкость системы – различные способы развертывания, встроенная система поддержки языков программирования Java, Python и других;
• масштабируемость – объем данных от 50 ГБ до сотен TB, количество нодов – от одного и свыше 100.

Преимущества системы для бизнес-пользователей – самообслуживание, работа по запросу, единый источник правды, консолидация данных, гибкость. Возможности Exasol плане изучения данных – прогнозная, встроенная аналитика, полнота данных, ускорение процесса их обработки.

Exasol забирает из разных источников данные, с которыми внутри системы можно делать множество всяких действий - хранить, быстро обрабатывать, анализировать, - отметил Андрей Краснопольский. - На самом деле Exasol - это полнофункциональная БД, основное преимущество которой – аналитика. Решение может быть установлено в облаке, на площадке заказчика или работать в гибридном варианте.

Николай Друкман, директор департамента продаж Spectrum, рассказал об одноименной онлайн-платформе данных Spectrum с информацией о людях, автомобилях, организациях и объектах недвижимости, о специфике работы с данными из различных источников, и об услугах его компании по управлению данными.

Спикер остановился на особенностях внешних источников данных. В частности, во многих организациях еще живы архивные наборы данных из Foxpro, Access и других подобных программ, с которыми нужно работать. Работа с такими источниками предполагает обработку данных «мертвых» форматов, нестандартных вариантов структурирования, проблемы с унификацией структур.

Николай Друкман, директор департамента продаж Spectrum

Обозначил Николай Друкман и общие проблемы работы с внешними данными. В их числе:

• большое разнообразие форматов и типов данных, различные виды доступа к ним;
• нестабильность структуры и доступности источников - необходимы постоянный мониторинг, обслуживание;
• источники не содержат исторических данных, необходимость постоянной загрузки и хранения копий данных источников;
• недостаточность данных в одном источнике - некоторые источники дают лишь частичные сведения, поэтому необходимо обогащение данных из других источников;
• низкие точность и/или актуальность источников данных по отдельности - для получения актуальной информации их нужно сопоставлять;
• высокая себестоимость получения и обслуживания данных.

Работа с внешними данными требует отдельной команды и отдельных бюджетов, - заметил Николай Друкман. - И почему бы не доверить эту задачу внешнему подрядчику, имеющему большой опыт. Обработка и предоставление данных – наша специфика. Мы готовы решать любые задачи в этой сфере.

Об отечественном аналитическом движке Luxms BI рассказали Сергей Шестаков, генеральный директор ГК Luxms, и Дмитрий Дорофеев, главный архитектор ГК Luxms, генеральный директор компании «ЯСП». Подход, реализованный в платформе Luxms BI:

• горизонтальное масштабирование с помощью МРР;
• обработка критической информации в памяти;
• сжатая и удобная визуализация.

Дмитрий Дорофеев, главный архитектор ГК Luxms

Ключевые внедрения LUXMS BI – оперативная финансовая аналитика с применением MPP Greenplum в «Ростелекоме», аналитика оказания медицинской помощи в МИАЦ Санкт-Петербурга, контроль показателей болезней кровообращения в четырех федеральных округах в ФГБУ НМИЦ им. Алмазова, проект по импортозамещению BI-системы в «Федеральной транспортной компании», управленческая отчетность в дочерней структуре «Газпром нефти».

Сергей Шестаков, генеральный директор ГК Luxms

Обеспечить управленческую визуализацию на большом объеме данных из всех источников – главная задача платформы LUXMS BI, – отметил Сергей Шестаков. – И это не просто красивые слайды – все это есть в нашей системе «под капотом».

Разработчик системного интегратора ICL Services Павел Петухов рассказал об использовании в проектах компании аналитики в сфере ритейла на основе Qlik Sense. Заказчики в ритейле интересуются аналитикой по четырем главным направлениям, отметил докладчик: скидочные акции, возможные потери в продажах, выявление мошенничества и производительность кассиров.

Павел Петухов, разработчик системного интегратора ICL Services

Кроме того, розничной торговле требуется план-факт анализ, изучение кросс-продаж, сегментация клиентской базы или ассортимента с целью выделения наиболее ценных клиентов/товаров (ABC-анализ) или наиболее стабильных покупателей, а также товаров, пользующихся постоянным спросом (XYZ-анализ). Есть потребность и в интеграции с геоданными, с логистикой и складами.

Qlik Sense был выбран, по словам спикера, в связи с тем, что:

• позволяет быстро стартовать, причем как разработчику, так и пользователю;
• использует ассоциативную модель – гибкость, производительность, удобство построения;
• имеет широкий набор коннекторов к различным источникам данных и дашбордов.

Павел Петухов отметил, что компания имеет опыт с европейскими заказчиками в сфере ритейла, большую практику автоматизации магазинов.

Мы в компании получили набор компетенций, связанных как с Qlik Sense, так и в области анализа данных, - сказал Павел Петухов. – И мы продолжаем развивать как саму систему, так и компетенции в области ритейла.

Павел Петухов также поделился мнением о том, какая функциональность решений BI и Big Data в последнее время становится все более востребованной у клиентов, и в каких отраслях они сейчас наиболее востребованы в России. В последнее время все более востребованной становится аналитика, построенная на больших данных, то есть сочетание большого объема данных и скорости их обработки, говорит представитель ICL Services.

Растет актуальность обработки так называемых неструктурированных и частично структурированных данных, а также распространяются решения построенные на «озерах данных» (Data Lakes). Что это означает? Это показывает нам, что у компаний возрастает необходимость эти данные структурировать, решать проблему «свалки» данных, - объясняет Павел Петухов. - Де-факто крупные компании реализовали собственные хранилища данных, построенные на современных технологиях. Их решения имеют проработанную архитектуру, дающую возможность обрабатывать и анализировать большие объемы данных, поставлять их с нужной скоростью и в нужном объеме.

Он добавил, что в таких решениях применяются аналитические базы данных, такие как Teradata и Oracle. Также предлагаются интеграции на основе Exasol, которая составляет конкуренцию лидирующим решениям.

Вызовами для крупных компаний являются продвинутые задачи в сфере AI, а также продолжающийся рост объемов данных. Решения BI и Big Data в России используются, прежде всего, в крупных компаниях: банковская сфера, крупный ритейл, операторы связи, а также в отраслях, традиционно работающих с большим объемом данных: медицина - например, результаты томографии, исследование генома - генетика и селекция, - говорит Павел Петухов.

А в качестве примеров в банковской сфере можно назвать такие задачи, как решение о выдаче кредита, предоставление персонифицированных банковских услуг, определение профиля клиента.

Дмитрий Сухамера, директор по развитию бизнеса направления IoT и промышленная автоматизация,Mail.Ru Cloud Solutions (MCS), представил участникам конференции облачные решения от Mail.ru, выделил актуальные проблемы работы с большими данными и методы их решения.

Данные сами по себе ценности не несут, отметил спикер. Ценными являются решения, принимаемые на основе анализа данных. Но их нужно обогащать, а кроме этого нужны специалисты, умеющие добывать из сырых данных ценность. Для всего этого и требуются озера данных, консолидирующие информацию из многих источников.

Дмитрий Сухамера, директор по развитию бизнеса направления IoT и промышленная автоматизация Mail.Ru Cloud Solutions (MCS)

Еще одно актуальное направление в работе с большими данными – машинное обучение. Когда информации слишком много и она быстро меняется, для принятия оперативных решений нужны машинные алгоритмы, отслеживающие изменения в данных по большому количеству параметров. Машинное обучение помогает выявлять аномалии, обращать на них внимание специалиста, который становится способен фокусироваться на принятии конкретного решения.

И третье направление – облако. На этом направлении Mail.ru предлагает проверенные быстро запускаемые решения, что особенно удобно для таких задач как проверка гипотез, обработка информации из большого количества ресурсов.

«Набор инструментов для консолидации данных, их обработки и анализа – все есть в облаке, - сказал Дмитрий Сухамера. - Кроме того, есть возможность взять облако Mail.ru – озеро данных как некую инфраструктуру и перетащить к себе, на свою площадку.»

В перерыве и после завершения конференции участники общались в неформальной обстановке.

Презентации докладов

• 6-я конференция Big Data и BI Day

• 5-я конференция Big Data и BI Day

• 4-я конференция Big Data и BI Day

• 3-я конференция Big Data и BI Day

• 2-я конференция Big Data и BI Day

• 1-я конференция Big Data и BI Day