Visiology 3: Российская BI-платформа с поддержкой DAX, ТОМ и более высокой производительностью

Практика использования

Платформа Visiology зарекомендовала себя как гибкое и мощное средство для аналитики и визуализации данных, в том числе, на крупных проектах. На базе Visiology решаются аналитические задачи для органов власти ряда областей, работает система умного города в Ташкенте, а также реализован функционал BI в таких компаниях как "Росатом", "Алроса", "Газпром Трансгаз", "Сбермегамаркет" и во многих других.

По оценкам экспертов платформа демонстрирует высокую производительность, что позволяет выполнять сложные аналитические запросы, производить аналитику на больших объемах данных. Один из показательных примеров — работа цифровой платформы Корпорации МСП, которая позволяет анализировать в реальном времени миллиарды записей, касающихся деятельности малого и среднего бизнеса в России.

Архитектура системы

Основа Visiology — движок ViQube, который демонстрирует максимальную производительность, если работает с данными в режиме In-Memory, но также поддерживает возможность делать запросы к СУБД через SQL, когда спектр данных намного больше, чем объем оперативной памяти на сервере.

Интересная особенность Visiology для небольших проектов заключается в том, что платформа не требует внедрения дополнительного хранилища данных, в то время как большинство российских BI-платформ не могут эффективно работать без полноценного DWH. Подобная конфигурация позволяет завершить внедрение максимально быстро и приступить к решению аналитических задач в сжатые сроки.

Переход на версию 3 потребовал от нас больших изменений и стал на самом деле революционным. Мы серьезно переработали архитектуру решения и обновили движок, чтобы платформа Visiology полностью соответствовала тем требованиям и пожеланиям, которые высказывали наши клиенты на протяжении последнего года, — отметил Алексей Никитин, генеральный директор Visiology.

Нативная поддержка DAX

Поддержка аналитического языка DAX обеспечивает целый ряд преимуществ для пользователей BI-платформы, а также для ее архитекторов и аналитиков. С одной стороны, поддержка сложных формул платформой позволяет перенести значительную часть расчетов с уровня витрин данных и хранилища данных (DWH) и тем самым снизить потребность в сложной подготовке данных.

С другой стороны, в Visiology сделали ставку на поддержку DAX такого, как он есть в PowerBI. В то время как некоторые платформы предлагают свой собственный аналитический язык, Visiology 3.Х позволит переносить уже сделанные на базе PowerBI наработки на новую платформу напрямую, без изменений, а специалистам, знакомым с PowerBI (а их сейчас большинство на рынке труда), использовать свой потенциал без переподготовки.

Корпоративные заказчики также получают преимущества от подобного выбора разработчиков Visiology: поиск аналитиков с компетенциями PowerBI происходит намного проще.

Элементы Self-Service

Еще одна интересная особенность Visiology 3 — визуальная модель работы с данными TOM (Tabular Object Model). Подобный подход используется ведущими BI-платформами, например, Qlik Sense или PowerBI, чтобы упростить построение моделей данных для дальнейшего анализа.

Пример создания визуальной модели данных

TOM проще настроить, чем традиционный куб данных OLAP. Визуальная модель понятнее для понимания, требует меньше компетенций и позволяет аналитику работать самостоятельно от этапа загрузки данных до построения отчетов.

Инструментарий работы с визуальной моделью данных в Visiology представляет собой интерфейс drag&drop, который позволяет выстраивать соответствия между таблицами по любому выбранному полю. Инструмент поддерживает архитектуру типа "звезда", а также множественные связи (1 к N). Поддержка двунаправленных связей в первых версиях обновленный платформы не предусмотрена.

Колоночное хранение данных

Visiology 3 отличается расширенными возможностями по работе с данными по сравнению с версиями Visiology 2.X. Еще в процессе доработки движка ViQube при переходе с версии 2.22 на 2.23 разработчикам удалось повысить производительность на 40%. Но ViQube из Visiology 2 построен на базе технологий in-memory и поэтому зависит от объема оперативной памяти. Из-за этого платформа была ограничена ресурсами сервера, на котором она развернута. При переходе к Visiology 3 движок ViQube избавился от этого недостатка, так как теперь он использует Clickhouse для хранения больших объемов данных без потерь в производительности.

Архитектура Visiology 3

Использование оптимизированной версии ViQube с ядром на основе ClickHouse как встроенного хранилища данных обеспечивает возможность работы с миллиардами строк без создания отдельного DWH. Для ряда проектов это означает экономию на миллионы рублей и сокращение сроков внедрения Visiology на несколько месяцев по сравнению с платформами, для которых нужно создавать хранилище данных с нуля, — отметил в ходе презентации платформы Алексей Никитин, генеральный директор Visiology.

Опыт крупных BI-проектов показывает, что создание хранилища данных требует привлечения значительных ресурсов. Если объем данных достаточно велик, внешнее DWH нужно оптимизировать. Иначе уже на 10 миллионах записей хранилище станет узким местом с точки зрения производительности аналитики. В большинстве случаев при внедрении российских BI-платформ требуется участие опытного архитектора как для построения, так и для поддержки хранилища. В Visiology 3 оптимизация ClickHouse передается на уровень движка, а поддержку хранилища осуществляет команда вендора, что позволит снизить время реализации и стоимость новых проектов на новой платформе даже при требованиях к скорости аналитики на больших объемах данных.

С другой стороны, переход на ClickHouse в качестве внутреннего хранилища не исключает возможности интеграций Visiology 3 с другими DWH. Это позволяет использовать платформу для импортозамещения западных продуктов без значительных изменений остальной экосистемы работы с данными.

Различные источники данных и интеграции

Поскольку Visiology изначально развивалась в реалиях российских практик работы с данными, платформа поддерживает различные источники данных, включая импорт из таблиц Excel, подключение баз данных 1С через коннектор ATK BIview и передачу информации через API. Все эти возможности сохраняются в версии 3, а в качестве ETL может быть использован любой инструмент с открытым интерфейсом. Так, в качестве базового варианта разработчики предлагают ViXtract — собственную утилиту с открытым исходным кодом, а на крупных проектах нередко используются коммерческие решения, например, Loginom.

Экосистемы, созданные западными вендорами, позволяли архитекторам, аналитикам и пользователям решать все задачи внутри одной платформы, но при этом не позволяли выбрать лучшие в своем классе и наиболее подходящие для конкретного бизнеса решения каждого уровня задач. Развитие российского BI идет другим путем, и мы следим за возможностью интеграций, чтобы каждый мог выбрать подходящий ему ETL, хранилище данных, и способ демонстрации визуализаций, одновременно с оптимизацией бюджета и сохранением максимальной гибкости, — отмечает Иван Вахмянин, управляющий партнер и сооснователь Visiology.

По сведениям вендора сегодня Visiology используют в своей практике ИТ-компании и системные интеграторы, совмещая BI-платформу со своими собственными и открытыми наработками по управлению данными. Интеграции поддерживаются с обеих сторон, обеспечивая возможность для конечных пользователей собирать пазл из систем, которые лучше всего подходят для конкретных задач или уже внедрены в компании.

Пример дашборда на Visiology 3

Возможность запустить проект на версии 2.Х

Учитывая все сказанное выше, интерес к Visiology 3 версии среди российских заказчиков не вызывает удивления. Однако следует учитывать, что Visiology 3 можно будет считать полнофункциональной и самостоятельной BI-платформой с поддержкой лета 2023 года, а действительно широкий набор расширенных возможностей ожидается к лету 2023 года.

Представленная на ежегодной конференции ViRush версия Visiology 3 обладает рядом ограничений (например, в области загрузки данных, работы с порталом и интеграции в ИТ-экосистему) и предназначена скорее для тестирования и ознакомления — как сегодняшними пользователями Visiology 2.2X, так и новыми заказчиками, которые привыкли к работе с DAX в PowerBI.

Поэтому заказчики, которым необходимо запустить BI-проект на российском ПО как можно раньше (например, из-за завершения срока действия лицензий, которые невозможно продлить, или по причине высокой потребности в BI для принятия управленческих решений) по-прежнему выбирают версию Visiology 2, на которой сейчас работает свыше 200 крупных компаний.

Не только существующие пользователи, но и новые заказчики Visiology успешно работают со второй версией платформы, которая является функциональным инструментом и позволяет решить подавляющее большинство аналитических задач прямо здесь и сейчас. При этом, если придерживаться архитектуры "звезда" при организации модели данных, перенос экспертизы из Visiology 2 в Visiology 3 по мере выхода новых релизов с более широкой функциональностью можно будет реализовать буквально в пару кликов, — прокомментировал ситуацию Алексей Никитин.

Согласно дорожной карте развития Visiology, в 2023 году третья версия платформы получит все функции, реализованные в Visiology 2.2X. Для работы с релизом 3 (или более поздним) не потребуется никаких новых лицензий, а при правильной подготовке моделей данных, процесс переноса аналитических формул и расчетов будет происходить с минимальными трудозатратами.

На данный момент каждый очередной релиз Visiology 2 и соответствующий ей релиз Visiology 3 уже поставляются одним дистрибутивом, что позволяет развернуть новую версию "рядом" с уже работающей аналитической платформой Visiology 2.X. Дашборды, спроектированные в 3 могут быть опубликованы на том же портале, и для конечного бизнес-пользователя вообще не будет никакой разницы, подготовлен ли очередной дашборд 2 или 3 версии платформы.

При параллельной установке у пользователей появляется возможность постепенно тестировать новые функции и начинать миграцию со 2 на 3 версию постепенно, а также готовить на Visiology 3 версии новые дашборды, а уже готовые визуализации и аналитику, которые корректно работают на 2.Х не трогать раньше времени. Их можно будет мигрировать по мере появления новых требований со стороны пользователей (ведь тогда дашборд в любом случае придется переделать) или уже тогда, когда функционал очередного релиза Visiology 3 позволит окончательно перейти на новую платформу.

И хотя на первый взгляд такая схема может выглядеть излишне усложненной, именно за счет параллельной поддержки версий вендор обеспечивает заказчикам одновременно доступ к новейшим функциям и возможностям одновременно и к стабильной платформе, которая позволяет принимать решения на основе данных уже сегодня.