Polymatica Analytics Аналитическая платформа

Основные статьи:

• Большие данные (Big Data)
• Data mining Интеллектуальный анализ данных

Аналитическая платформа Polymatica (ранее Полиматика BI) предназначена для многомерного анализа показателей и метрик без потери детализации. Система объединяет функционал Data Science, Data Mining и BI. В основу платформы заложены высокая скорость обработки больших объемов разнородных данных и автоматизация математических алгоритмов и статистических моделей.

Платформа разработана российской компанией «Полиматика» с нуля и без использования модулей сторонних производителей. В её основе лежат «Мультисферы» — собственная технология многомерной обработки данных в режиме реального времени.

2024

Интеграция с «Экстрактором «1С»»

SL Soft (ГК Softline) и «Денвик Аналитика» подтвердили совместимость своих продуктов. Об этом Softline сообщил 9 октября 2024 года.

Совместное использование BI-платформы Polymatica и Экстрактора «1С», инструмента для выгрузки данных из «1С», доказано тестированием. Это технологическое партнерство упрощает работу бизнес-аналитиков и расширяет возможности их работы с данными.

Оба решения – Polymatica BI и Экстрактор «1С» – полностью отечественные разработки и включены в Единый реестр российских программ для ЭВМ и БД Минцифры, поэтому такая интеграция особенно актуальна предприятиям и организациям госсектора.

Экстракция данных из «1С» – важная и нетривиальная задача для большинства компаний, которые хотят анализировать данные из «1С» и строить на их основе сложные отчеты. Благодаря интеграции с инструментом Экстрактор «1С» мы можем удовлетворить потребности большего числа заказчиков – расширить пул задач в аналитике и упростить их выполнение, – отметил Иван Крот, лидер коммерческого блока Polymatica компании SL Soft.

Любая компания стремится к data-driven подходу в управлении, и интеграция Экстрактора «1С» с BI-платформой Polymatica предоставляет для этого все необходимые инструменты. Бизнес в реальном времени может получать и анализировать любые данные из «1С», и быстро принимать взвешенные решения, основанные на цифрах, – подчеркнул Денис Смирнов, генеральный директора компании «Денвик Аналитика».

Совместимость с Proxima DB

SL Soft и разработчик инфраструктурных продуктов Orion soft подтвердили совместимость BI-решения Polymatica и системы управления базами данных (СУБД) Proxima DB. В связке продукты будут полезны компаниям с быстро растущими и изменяющимися массивами данных. Решения обеспечат работу с высоконагруженными системами без потери производительности. Об этом Orion soft сообщил 27 августа 2024 года.

Промышленная СУБД Proxima DB, разработанная на основе PostgreSQL, обеспечивает более высокую производительность и отказоустойчивость, чем Open Source решения, поддерживает работу с более чем 10 тысячами сетевых соединений. Решение позволяет быстро масштабировать систему хранения данных за счет функции быстрого автоматического развертывания кластеров по шаблонам за 10 минут через пользовательский интерфейс.

Загружать информацию в Proxima DB пользователи теперь смогут с помощью специального коннектора, созданного Polymatica. Он позволяет работать с источниками данных в гибридном режиме: как подключаться к ним напрямую, так и осуществлять импорт в локальную базу данных.

Благодаря коннектору мы с уверенностью можем подтвердить корректную работу BI-платформы Polymatica в тандеме с СУБД Proxima DB. Плюс такой интеграции заключается в том, что в качестве одного из ключевых узлов используется отечественный продукт, это дает больший уровень безопасности системы. Также нам, как отечественному вендору, важно, чтобы Polymatica была совместима с другим российским ПО. Оба решения – Polymatica BI и Proxima DB – включены в Единый реестр российских программ для ЭВМ и БД Минцифры, поэтому такая интеграция особенно актуальна предприятиям и организациям госсектора, – пояснил Эльдар Мустафин, технический директор Polymatica компании SL Soft.

У BI-платформы, которая обрабатывает большие объемы данных в режиме, близком к режиму реального времени, есть высокие требования к производительности и безопасности СУБД. Отказоустойчивость и стабильность работы, которую обеспечивает Proxima DB, подойдет компаниям, в которых вопросы скорости масштабирования инфраструктуры без потери производительности выходят на первый план, — отметил Александр Гавриленко, руководитель направления технологических партнерств компании Orion soft.

Совместимость с серверами Aquarius AC-серии

Компании «Аквариус» и SL Soft 20 августа 2024 года сообщили об прохождении тестирования инструмента для многомерного анализа данных Polymatica Analytics на серверах Aquarius третьего поколения (семейство AC). Тестирование комплекса проводилось для компаний финансового сектора, но решение может быть использовано для организаций из других секторов экономики. По результатам тестирования была подтверждена готовность комплекса работать с большими объемами данных даже в условиях высокой нагрузки.

Тестирование проходило в несколько этапов с разной конфигурацией количества пользователей и постепенным увеличением объема данных с 225 млн записей до 1 млрд строк на флагманских моделях отечественных серверов Aquarius. Устройства работают на базе процессоров Intel Xeon Scalable третьего поколения, которые подойдут заказчикам корпоративного уровня, провайдерам услуг и центрам высокопроизводительных вычислений. Эти серверы обладают большими функциональными возможностями, высокой производительностью и надежностью, имеют гарантию производителя на всей территории РФ и опционально могут комплектоваться пакетами расширенной поддержки корпоративного класса с большим выбором SLA.

Проведенное тестирование помогло оценить, насколько стабильно и бесперебойно работает решение при различных сценариях нагрузки и конфигурации набора данных, что подтверждено соответствующим сертификатом. Это позволит строить на его основе решения для мониторинга ключевых показателей на всех уровнях и визуализации событий для внутренних ситуационных центров.

Это первое совместное решение наших компаний, которое базируется на стеке отечественных технологий. Оно является надежным и проверенным и способно заменить аналогичные программы зарубежных производителей для бизнес-аналитики. Таким образом, на российском рынке появился продукт, который может успешно импортозаместить аналогичные решения ушедших вендоров. При этом решение является полностью российским: серверы Aquarius семейства АС включены в Единый реестр радиоэлектронной продукции России, а продукты Polymatica входят в реестр отечественного ПО и ЭВМ, - отметил Андрей Андрианов, вице-президент по стратегическому развитию «Аквариус».

Важно правильно проводить нагрузочное тестирование, чтобы вовремя определить ресурсы, выявить слабые места, оценить границы нагрузки и способность системы справляться с ее увеличением. Это дорого и сложно, но мы как вендор готовы вкладываться в тестирование, потому что понимаем его важность для будущего проекта. Отдельно хочу отметить, что результаты тестирования Polymatica Analytics на таких больших объемах подтверждают эффективность архитектурных решений, заложенных при его проектировании, – заявил Эльдар Мустафин, технический директор Polymatica компании SL Soft.

2023: Интеграция с компонентами Polymatica Analytics

Компания НОТА 25 июля 2023 года сообщила о завершении интеграции компонентов BI-системы Polymatica в аналитический модуль T1 CRM. Данный функционал поможет в принятии управленческих решений и в разы сэкономит время на подготовку отчетов. Подробнее здесь.

2021

Первый коммерческий релиз Polymatica ML

«Полиматика», российский разработчик решений для анализа больших объемов данных, в декабре 2021 года представила первую коммерческую версию модуля Polymatica ML, предоставляющего возможность бизнес-пользователям самостоятельно создавать модели машинного обучения и контролировать их жизненный цикл (ModelOps).

Программный продукт включен в реестр отечественного ПО. Проект Polymatica ML реализован с использованием средств гранта Российского фонда развития информационных технологий (РФРИТ).

Первая версия Polymatica ML, модуля интеллектуального анализа данных, использующего методы машинного обучения, позволяет пройти весь цикл создания и применения моделей: провести предварительный анализ данных для выявления наиболее значимых показателей для построения будущих моделей; построить несколько моделей с помощью простого конструктора, сравнить их качество и определить модель-чемпион. На следующем этапе пользователь выбирает способ применения модели на основном массиве данных — их несколько в зависимости от решаемой задачи. Для эффективной промышленной эксплуатации есть встроенный механизм мониторинга модели, так как со временем её точность снижается и требуется корректировка.

Перечень функций Polymatica ML 1.0

Исследование данных:

• формирование и визуализация выборки из реляционных БД;
• оценка характеристик выборки по основным статистическим критериям;
• отбор и преобразование признаков.

Построение моделей:

• создание и настройка моделей машинного обучения в графическом интерфейсе;
• тестирование и оценка качества моделей;
• настройка гиперпараметров моделей;
• интерпретация моделей;
• подключение библиотек Python с алгоритмами машинного обучения.

Управление моделями:

• централизованный репозиторий моделей;
• поддержка жизненного цикла моделей;
• экспорт / импорт моделей;
• публикация моделей: реляционные БД, сервис (REST API), Polymatica Analytics;
• сравнение моделей из репозитория и выбор лучшей модели.^[1]

«Компания «Полиматика» успешно завершила разработку модуля машинного обучения. Своевременная инициация проекта позволила обеспечить российский рынок альтернативой западных аналитических решений. При этом второй этап гранта, направленный на коммерческую реализацию созданного решения, совпал с приостановкой деятельности или уходом с российского рынка SAS и IBM. Мы планируем и дальше поддерживать инициативы «Полиматики» по развитию и продвижению доработанного продукта», – сообщил генеральный директор РФРИТ Александр Павлов.

По информации РФРИТ от 21 апреля 2022 года, планируется расширение функциональности Polymatica ML в следующих направлениях: управление решениями (decision management) и модельным риском, работа с временными рядами, создание совместно с партнерами бизнес-контента для решения типовых отраслевых задач, таких как построение кредитного конвейера, целевого маркетинга и сбора дебиторской задолженности.

Разработка модуля Polymatica ML на средства гранта РФРИТ

16 марта 2021 года ИТ-компания «Полиматика» сообщила о получении гранта Российского фонда развития информационных технологий (РФРИТ). Полученные средства будут направлены на усиление направления машинного обучения: формирование команды и запуск разработки соответствующего программного модуля BI-платформы Polymatica. Продукт будет ориентирован на бизнес-пользователей, что означает понятный интерфейс, простой доступ к источникам данных и короткое время от постановки задачи до ее решения. Он поможет государственным и частным компаниям решать самые разнообразные задачи –выявление потенциальных нарушителей обязательств, например, при уплате налогов, контроль качества продукции (определение вероятности брака на производственной линии), диагностика заболеваний.

«Полиматика» — российский разработчик BI-платформы, позволяющей в интерактивном режиме обрабатывать большие объемы данных и создавать дашборды специалистам с любым уровнем ИТ-навыков. На март 2021 года компания предлагает клиентам два продукта для аналитики и отчётности: Polymatica Analytics для работы на уровне исходной детализации и конструктор дашбордов Polymatica Dashboards для визуализации агрегированных показателей.

Для того чтобы заказчики «Полиматики» могли дополнить работу со своими данными инструментами продвинутой аналитики, компания приняла решение активно развивать направление машинного обучения.

Объединение возможностей флагманского решения «Полиматики» с функционалом дополнительного модуля позволит последнему поддерживать все этапы анализа данных: подготовку и исследование данных, поиск закономерностей, построение моделей, оценку их качества, применение моделей, управление их жизненным циклом.

Модели интеллектуального анализа, построенные на исторических данных, помогут пользователям решать самые разнообразные задачи. Например, в области государственного управления модуль может применяться для моделирования рисков и контроля выполнении планов и программ. Для сервисов поиска работы – находить лучшие сочетания между вакансиями и кандидатами. Представителям финансовой отрасли Polymatica ML поможет предотвращать случаи мошенничества и повышать удовлетворенность клиентов, а промышленным и энергетическим компаниям – прогнозировать поломки оборудования и контролировать качество продукции. Также «Полиматика» планирует взаимодействовать с представителями здравоохранения: для них машинное обучение может оказаться полезным, например, для диагностики заболеваний и выявления пациентов с предрасположенностью к тем или иным заболеваниям по косвенным признакам.

Как и в случае с другими продуктами «Полиматики», разработчики уделяют внимание понятному интерфейсу. Он позволит бизнес-аналитику без программирования и привлечения ИТ-специалистов создавать интеллектуальные модели обработки данных и внедрять их в работу. Также заказчики смогут выбирать способ развертывания решения – on-premise или в облаке.

Технологии машинного обучения очень популярны, но для их реального внедрения нужны значительные временные и финансовые ресурсы, а также опытные специалисты. В результате от пилотных проектов к регулярному использованию моделей машинного обучения переходят, как правило, только крупные и высокотехнологичные компании. Поэтому мы поставили перед собой цель – разработать отечественный продукт для решения задач, связанных с интеллектуальным анализом: удобный, эффективный и независимый от западных технологий. Последний фактор значительно снижает стоимость внедрения такого решения и делает его более доступным, – комментирует Сергей Куликовский, генеральный директор компании «Полиматика».

Благодаря полученному гранту и компетенциям нашей команды, а это лучшие специалисты в области ML на российском рынке, мы сможем в сжатые сроки создать конкурентоспособный продукт, не уступающий, а в некоторых аспектах превосходящий западные аналоги. На март 2021 года уже реализован ряд инициатив, и мы планируем, что прототип модуля Polymatica ML будет представлен в начале лета 2021 года, а коммерческая версия продукта к концу 2021– началу 2022 года, – отмечает Константин Малашенко, директор проекта Polymatica ML.

Использование для обучения служащих ФНС в Приволжском институте

Приволжский институт повышения квалификации ФНС России запустил программу повышения квалификации «Автоматизированные средства аналитической работы в АИС Налог-3». В рамках нее служащие ФНС России получат профессиональные знания и навыки в области бизнес-анализа в среде аналитической платформы Polymatica. Об этом 21 января 2022 года сообщила компания Полиматика (Polymatica). Подробнее здесь.

Совместимость с "Ред ОС"

Компания «РЕД СОФТ» 13 января 2021 года сообщила о том, что совместно с «Полиматикой» провели тестирование своих продуктов на совместимость. Результаты испытаний подтвердили корректную работу аналитической платформы Polymatica Analytics с операционной системой РЕД ОС.

Принятие решений требует анализа информации. Мы идем в ногу со временем, поэтому подтверждение совместимости РЕД ОС с технологиями, помогающими работать с данными, является для нас важным шагом. Развитие сотрудничества с «Полиматика» имеет хорошие перспективы как для наших компаний, так и для российского рынка ИТ в целом, - комментирует Рустамов Рустам, заместитель генерального директора РЕД СОФТ.

Цифровая трансформация задает правила игры, делая ставку на прозрачность процессов и их оперативное улучшение. Проводником знаний о том, что и как нужно усовершенствовать, является система Business Intelligence. Наша аналитическая платформа «на лету» обрабатывает миллиарды строк данных для того, чтобы руководитель любого уровня мог получить ответы на свои вопросы в режиме диалога, без пауз и дополнительных действий, со стороны ИТ служб. Совместимость с РЕД ОС позволит предприятиям и организациям, у кого в ИТ-инфраструктуре уже есть вычислительные комплексы с данной операционной системой или рассматривающим её в качестве серверной операционной системы взамен импортных решений, внедрить и использовать Polymatica для роста собственной эффективности и аналитической культуры, - рассказывает Сергей Куликовский, генеральный директор компании «Полиматика».

2020

Возможность одновременного использования с Polymatica Dashboards

На российском BI-рынке появился очередной конструктор дашбордов: Polymatica Dashboards – модуль BI-платформы, разработанный компанией «Полиматика». Об этом стало известно 17 ноября 2020 года. С его помощью пользователь с любым уровнем аналитических навыков может создать дашборд с нужной степенью детализации, а при внедрении вместе с аналитическим модулем Polymatica Analytics – сделать drill down в исходные данные для подробного изучения ситуации. Подробнее здесь.

Доступность в облаке IT-Grad

Облачный провайдер «ИТ-ГРАД» (входит в Группу МТС) 24 сентября 2020 года сообщил о начале сотрудничества с «Полиматика», компанией-разработчиком ИТ-систем анализа больших данных. Технологические партнеры обеспечат российский бизнес и государственные учреждения инструментами работы с big data для повышения операционной эффективности, качества клиентского сервиса, прогнозирования спроса и продаж. Партнёрство будет способствовать доступности решений для анализа больших данных: облачная реализация в разы снизит стоимость владения аналитическими системами.

Клиенты смогут воспользоваться аналитической платформой Polymatica из облака провайдера «ИТ-ГРАД» для обработки больших объемов данных. Банки, торговые сети, логистические компании смогут тестировать маркетинговые гипотезы для роста продаж. Учебные заведения получат возможность пользоваться data mining для реализации научных и образовательных проектов.

Виртуальная инфраструктура «ИТ-ГРАД», базирующаяся в дата-центрах уровня Tier III, обеспечит надежность работы и возможность быстрого масштабирования аналитической платформы Polymatica. При работе с особыми категориями данных клиенты получат доступ к изолированной виртуальной инфраструктуре, защищенной сертифицированными средствами защиты информации в соответствии с требованиями российского законодательства. Реализована возможность резервного копирования и оперативного восстановления данных.

Облака делают анализ больших данных более доступным, а, значит, все больше компаний из различных отраслей смогут воспользоваться преимуществами технологий big data. Например, при создании сервисов даже компания среднего размера сможет получить доступ к интерактивной облачной аналитике для тестирования гипотез. Минимальный бюджет подобного решения составит от 80 тысяч рублей в месяц, что в разы дешевле по сравнению с использованием собственных ИТ-ресурсов, -отметил генеральный директор «ИТ-ГРАД» Юрий Зинченко.

За счет партнёрства с «ИТ-ГРАД» мы снижаем порог входа в технологию аналитики big data. Высокопроизводительная аналитика в облаке — это изменение в способах использования данных организациями в реальном времени по разумной цене, - добавил генеральный директор «Полиматика» Сергей Куликовский.

Версия 5.6: интеграция с ЕСИА

Компания «Полиматика» объявляет о выходе обновленной версии своей аналитической платформы Polymatica. В версии 5.6 значительно расширены интеграционные возможности продукта для оперативного встраивания инструмента продвинутой аналитики в инфраструктуру заказчика. В частности, реализована интеграция с Единой системой идентификации и авторизации (ЕСИА), входящей в экосистему портала государственных услуг.

Цифровая трансформация включает в себя не только перевод форм и отчётов в машиночитаемый формат. Она предполагает создание «единой точки правды» на уровне государства со сквозными механизмами идентификации и авторизации. Наша платформа уже установлена в ряде значимых проектов, и появление такого функционала стало естественным переходом на следующий этап, говорит Сергей Куликовский, генеральный директор компании «Полиматика»

Помимо поддержки ЕСИА в версии 5.6 реализовано обновленное окно импорта, упрощающее загрузку данных из разных источников, увеличено быстродействие системы благодаря параллельной сортировке на CPU, расширены возможности визуализации и интеллектуальных модулей.

Анонс разработки облачной версии аналитической платформы

15 января 2020 года компания «Полиматика», российский разработчик аналитической платформы, планирует запустить собственный онлайн-сервис, предоставляющий возможность любому пользователю сделать эволюционный скачок от стандартного табличного редактора к многомерной аналитике, основанной на мультисферах. Облачную стратегию на корпоративном собрании презентовал Сергей Германович, технический директор компании.

Переход Polymatica в облако дает возможность небольшим компаниям и индивидуальным пользователям иметь доступ ко всем преимуществам мощной аналитической платформы по требованию без значительных финансовых затрат и каких-либо рисков. Мы убираем порог входа, и использовать Polymatica для работы с большими объёмами данных сможет каждый желающий, сказал Сергей Германович

Тарифные планы сервиса будут включать совершенно бесплатный доступ к Polymatica для обработки ограниченного объёма данных, предварительно не более 10 миллионов строк.

Специальные условия могут быть предоставлены научным и образовательным проектам – компания «Полиматика» заинтересована в поддержке таких инициатив не только вычислительными ресурсами, но и экспертизой в области data mining.

Polymatica без сомнений обладает рядом преимуществ по сравнению с конкурентами – пользователь может работать с большими объёмами данных на лету, делать необходимые расчёты в привычной табличной форме и визуализировать результаты на различных графиках. Для продвинутой аналитики есть кластеризация и ассоциативные правила, которые тоже работают очень быстро – пользователь практически мгновенно получает полезную информацию, которая поможет спланировать промо или оптимизировать складские запасы. Запуская облачный проект, мы хотим внести в свой вклад в цифровизацию экономики и развитие data-driven подхода, показав, что даже большие объёмы данных можно обрабатывать просто, оперативно и недорого, прокомментировал стратегию Сергей Куликовский, генеральный директор компании «Полиматика»

Дата релиза облачной версии планируется на второе полугодие 2020 года. Однако в ближайшее время аналитическая платформа Polymatica будет запущена в облаках нескольких партнёров.

2019

Версия, совместимая с ОС Альт 8 СП

19 августа 2019 года компания «Полиматика», российский разработчик платформы для гипераналитики и Data Science, сообщила о выпуске версии, совместимой c операционной системой (ОС) Альт 8 СП, разработкой компании «Базальт СПО». Это предоставляет возможность для организаций, где есть соответствующие требования по составу ПО, использовать полностью российское программное обеспечение для обеспечения задач по анализу данных, объём которых постоянно увеличивается благодаря цифровой трансформации.

Основное преимущество платформы Polymatica – скорость работы с данными: она на лету позволяет проникать в суть происходящего, независимо от анализируемого объёма данных. Такая оперативность обеспечивается двумя составляющими: собственными технологическими решениями и оптимальным использованием аппаратных ресурсов сервера, особенно графического процессора. Мы провели тесты на совместимость CUDA с ОС «Альт» и остались очень довольны полученными результатами, сказал Роман Раевский, главный конструктор платформы Polymatica

Планируется, что версия Polymatica, совместимая с ОС Альт 8 СП, будет развернута в нескольких государственных заказчиках.

Функционал «Сценарии» для автоматизации работы с данными

12 августа 2019 года компания «Полиматика» сообщила об обновлении аналитической платформы Polymatica, в рамках которого пользователь может познакомиться с функционалом «Сценарии», позволяющем сохранять результаты аналитики и обмениваться ими с коллегами.

Функционал «Сценарии» позволяет автоматизировать рутинные операции по работе с данными. Работает как запись действий пользователя с возможностью последующего воспроизведения на обновлённом массиве данных. Этот функционал позволит сэкономить время аналитиков и бизнес-пользователей при подготовке одинаковых аналитических срезов – они смогут их получать по нажатию одной кнопки и обмениваться с другими пользователями Polymatica, утверждает разработчик.

В компании «Полиматика» также отметили и другие обновления платформы:

• Графики для кластеризации

В аналитической платформе Polymatica по одной кнопке доступен интеллектуальный алгоритм кластеризации, позволяющий собрать в группы объекты со сходными характеристиками. Система сама предложит оптимальное количество кластеров, и покажет наиболее типичных представителей.

Бассейны – наглядное изображение кластеров в двух измерениях, где размер круга может быть использован как дополнительный параметр, демонстрирующий близость к центру кластера.

3D-бассейны – наглядное изображение кластеров в трёх измерениях, где размер шара также может быть использован для идентификации положения объекта внутри кластера.

Коридоры – изображение кластеров с отображением границ значений элементов, попавших в кластер.

• Polymatica как источник данных по ODBC

Аналитическая платформа Polymatica использует ODBC как для загрузки данных, так и для передачи полученных результатов в сторонние системы, например, в формы регулярной отчетности или кастомизированные дэшборды. Такой подход упрощает интеграцию решения в многокомпонентные системы, где Polymatica выполняет задачи по оперативной многомерной аналитике больших массивов данных, подчеркнул разработчик решения.

• Интервальное обновление

Для администраторов системы добавлена возможность интервального обновления мультисферы. В интерфейсе можно настроить удаление и перезапись данных за определенный период времени. Это позволяет в автоматическом режиме получать корректные данные, не переписывая весь массив.

• Использование выборки при расчёте по горизонтали

В компании «Полиматика» отметили, что традиционно работа с данными проводится поколоночно, например, распределение доли клиентов в годовой прибыли компании: слева клиенты, напротив каждого их доли, которые в итоге составляют единицу или 100%. В представленной версии при желании сравнить помесячно, вместо прибыли за год появляются 12 месяцев – 12 столбцов. Расчет по горизонтали позволяет посмотреть распределение долей по каждому клиенту помесячно. Для удобства пользователей в аналитической платформе поддерживается возможность, не перестраивая таблицу, выполнить выборку и группировку клиентов, если нужно учесть какие-то дополнительные параметры, например, диапазон средней суммы чека или время покупки.

• Графики

Добавлены графики «Поверхность» и «Шары», в графиках «Точеная» и «Круги» появились линии тренда, добавлены подсказки в графики «Радар», «Хордовая» и «Дендрограмма» и усовершенствованы настройки смены цветов.

Назначение. Архитектура. Технологии

По информации на январь 2019 года, в первую очередь, Polymatica ориентирована на самостоятельную работу пользователей (аналитическое самообслуживание). Платформа предоставляет набор визуальных аналитических инструментов и простые в использовании методы продвинутого анализа информации, при этом пользователь системы всегда работает с данными без агрегации. За счет использования гибридной архитектуры платформы и вычислительных ресурсов графических процессоров время отклика системы сохраняется на уровне нескольких секунд даже при одновременной обработке миллионов объектов и миллиардов записей.

Согласно результатам исследования «IBS Экспертиза», решение позволяет осуществлять аналитические операции с «живыми» данными (2 млрд строк) за 3 секунды на всем массиве, операции Data Mining (кластеризация объектов, 2 млрд строк) приблизительно за 17 секунд на всем массиве.

Назначение

Возможности Polymatica покрывают широкий спектр задач, включая проверку данных на консистентность, обработку данных и их статистический анализ, визуализацию полученных результатов на интерактивных графиках, диаграммах и веб-картах, а также проведение глубинных исследований многомерных данных с использованием методов продвинутой аналитики.

Клиенты компании «Полиматика» используют аналитическую платформу для оценки эффективности компаний/организаций и выполнения социально-экономических программ, отслеживания статусов выполнения проектов и согласования договоров, оптимизации закупок и складских остатков, сегментации потребителей для предоставления таргетированных предложений.

Платформа зарекомендовала себя для проектов, реализованных в рамках выполнения программ перехода на цифровую экономику.

Архитектура

Аналитическая платформа Polymatica представляет собой клиент-серверное решение, которое может быть развернуто в закрытом контуре или в облаке. Сервер Polymatica работает под управлением операционной системы на базе Linux (Ubuntu и др), включая сертифицированные версии для госорганов и организаций, работающих с секретной информацией, например, AstraLinux, Smolensk. Доступ к функционалу осуществляется через браузер по http или https.

Предусмотрена гибкая настройка прав доступа пользователей к данным, содержащимся в мультисферах, вплоть до ограничений на отдельные размерности. Для обмена аналитическими срезами используется встроенная система профилей, которая позволяет назначить роли пользователям согласно действующим в организации регламентам. Для выполнение рутинных операций используются сценарии, которые позволяют записать последовательность действий для получения необходимого аналитического среза и после обновления данных формировать его по нажатию одной кнопки.

Обновление данных может осуществляться двумя способами: полная перезапись и инкрементальное обновление — добавление только новых строк. Администратор системы может настроить частоту и время обновлений.

Polymatica позволяет загружать данные в систему из различных источников. Поддерживается импорт из реляционных баз данных MySQL, MS SQL, Oracle, PostgreSQL, распределенных хранилищ Teradata и решений на базе Hadoop, бизнес-приложений, CRM-систем, 1С и других информационных систем, а также плоских табличных файлов. Загрузка данных в систему и создание мультисфер осуществляется путем написания стандартного SQL-запроса к базе данных, предусмотрена возможность автоматического обновления данных в мультисфере по расписанию. При работе с табличными файлами используется прямой импорт данных, а для «нестандартных» источников компания предоставляет инструментарий для низкоуровневой загрузки данных.

Мультисферы отвечают за обработку данных в Polymatica. Среди преимуществ мультисфер разработчики платформы отметили следующие:

• Работа с размерностями и фактами простым перетягиванием.
• Создание иерархий во время работы.
• Возможность создать составную размерность.
• Использование GPU для акселерации.
• Сжатие данных до 12 раз.
• Загрузка данных до 500 000 записей в секунду.

Модули платформы Polymatica позволяют быстро выполнять интеллектуальный анализ данных мультисферы — многомерные расчеты на миллионах записей занимают не более минуты, при этом гарантируется 100% достоверность и повторяемость полученных результатов. Двусторонняя связь модулей с данными мультисферы обеспечивает пользователей системы мощным математическим аппаратом и визуализацией. Использование модулей не требует от пользователя глубоких математических знаний, длительных процессов поиска нужной модели и настройки параметров — запуск модуля и расчеты выполняются по нажатии на одну кнопку.

Визуализация играет большую роль при анализе данных — на графике легко увидеть пики и отклонения, детектировать закономерности. Аналитическая платформа Polymatica поддерживает различные типы графиков, которые работают по принципу интерактивного взаимодействия с выделенными размерностями, отображая изменения в режиме реального времени.

Данные, содержащие адреса или координаты, могут быть локализованы на географической веб-карте.

Платформа включает в себя следующие модули Data Mining:

• Кластеризация — распределение объектов по группам на основании одного или нескольких параметров, выбор оптимального количества групп и расчет кластеров. Незаменимый инструмент для сегментации покупателей и других объектов исследования для создания портрета или таргетированного воздействия.

• Ассоциативные правила — расчет и выявление паттернов поведения объектов и определение популярности и достоверности совместного возникновения событий. В том числе используется для изучения совместных покупок в ритейле.

• Прогнозирование — определение параметров объектов в будущем на основании доступных исторических данных.

Полученные аналитические срезы можно преобразовать в отчеты, используя различные способы.

Веб-интерфейс взаимодействует с сервером посредством отправки API-команд на выполнение операций и получение результатов расчетов. При этом вся нагрузка по выполнению расчетов лежит на сервере, клиентская программа только отображает полученные данные и не выполняет никаких ресурсоемких задач.

Наличие API-команд сервера позволяет использовать возможности Polymatica для решения узкоспециализированных задач, встраивать аналитические модули платформы в корпоративные порталы, бизнес-приложения и внутренние информационные системы. Платформа поддерживает возможность разработки дополнительных модулей для решения отраслевых задач.

Интеграция в платформу консоли Python позволяет расширить возможности решения для произведения более сложных расчетов и покрытия более широкого спектра задач.

Технологии платформы Polymatica. GPU Acceleration

Технология ускорения вычислений на графических процессорах Nvidia используется в Polymatica для обеспечения комфортного времени отклика системы при работе с мультисферами больших размеров, от 100 миллионов записей. При получении запроса на выполнение аналитической операции система автоматически определяет наиболее эффективный вариант проведения расчетов (процессор, видеокарта или гибридный режим) и распределяет вычисления между доступными ресурсами.

Платформа на аппаратном уровне поддерживает работу на кластере серверов, объединенных по технологии InfiniBand. В данном случае система автоматически создает пул доступных физических ресурсов и выполняет распределение задач между ними.

2018: Polymatica 5.4

В декабре 2018 года компания «Полиматика Рус» выпустила обновление для своего флагманского продукта — аналитической платформы Polymatica. Релизом версии 5.4 компания завершила переход на собственную технологию «Мультисферы» (вместо OLAP-куба), позволяющую обеспечивать высокую скорость обработки больших данных, а также представила обновленное цветовое и функциональное решение для визуализации.

В версии 5.4 обновлён внешний вид интерфейса в соответствии с изменившимся фирменным стилем и подходом к юзабилити. Это обновление запускает серию глобальных изменений, направленных на улучшение пользовательского опыта для более эффективной работы с аналитической платформой.

Основные изменения в версии 5.4:

• Для формирования графиков используется цветовая палитра, разработанная европейскими дизайнерами для создания ярких и стильных визуальных представлений данных.
• Добавлены графики: диаграмма с областями, потоковая диаграмма, точечная, радар, хордовая диаграмма.
• Для пользователей доступны такие функции, как переключение и ротация графиков, управление объектами графика через легенду, drill down.
• Инкрементальное обновление: при создании и изменении мультисферы теперь можно установить параметры инкрементального обновления, позволяющего добавлять только новые строки данных.
• Расширение форматов экспорта расчётной зоны: добавлена возможность выполнить экспорт в формате CSV.
• Прогнозирование на несколько шагов: теперь пользователь может выбрать необходимое количество прогнозных элементов.

С версии 5.4 рекомендуется использовать Google Chrome.

2017

Полиматика 5.1.8

Технологии нейронных сетей становятся все более популярными, их все чаще применяют для решения задач бизнеса. Быстрыми темпами растет и рынок больших данных. К технологиям, которые позволяют быстро и качественно анализировать Big Data, интерес на рынке резко возрос в 2017 году. По данным исследования аналитического агентства Research and Markets инвестиции в мировой рынок больших данных в 2017 году составили 57 миллиардов долларов. Технологии и продукты для обработки больших данных остаются востребованными в различных отраслях по всему миру.

Компания Polymatica анонсировала в декабре 2017 года обновление аналитической платформы – Polymatica 5.1.8. Платформа использует технологии Data Mining и нейронных сетей, благодаря которым стали возможными аналитика в реальном времени и обработка всего доступного объема данных за минуты.

Обновленная Polymatica позволяет решать такие задачи, как: детальное обоснование для принятия управленческого решения в условиях «сжатых» сроков, снижение нагрузки и сокращение расходов на ИТ-департамент, оптимизация процесса аналитики, построение удобной детальной отчетности и другие.

Аналитическая платформа. Описание

По информации на март 2017 года «Полиматика» является промышленным BI-решением для аналитической работы с большими массивами разнородных данных в режиме реального времени. Возможности платформы покрывают широкий спектр задач, включая обработку данных и их статистический анализ, визуализацию полученных результатов на интерактивных графиках, диаграммах и web-картах, подготовку отчетных форм с использованием табличных представлений и графических компонентов, а также проведение глубинных исследований многомерных данных с использованием методов продвинутой аналитики^[2].

Платформа полностью создана на базе собственных разработок «Полиматика Рус». С нуля и без использования модулей сторонних производителей были реализованы технологии аналитической обработки данных в режиме реального времени (OLAP-in-memory) и ускорения вычислений с использованием графических процессоров (GPU-acceleration), а также разработаны продвинутые методы интеллектуального анализа информации (Data Mining).

Самостоятельный подход к созданию продукта позволил избежать критических недостатков существующих BI-решений, таких как технологические ограничения на объемы обрабатываемых данных, ограниченность функций в работе с данными, сложность использования отдельных инструментов и, как следствие, небольшое число конечных пользователей таких систем.

«Полиматика» ориентирована в первую очередь на самостоятельную работу пользователей (аналитическое самообслуживание). Платформа предоставляет набор визуальных аналитических инструментов и простые в использовании методы продвинутого анализа информации, при этом пользователь системы всегда работает с данными в исходной детализации. За счет использования OLAP-технологии и вычислительных ресурсов графических процессоров время отклика системы сохраняется на уровне нескольких секунд даже при одновременной обработке миллионов объектов и миллиардов записей.

В то же время платформа поддерживает процессы регламентированной обработки данных. Предусмотрена настройка прав доступа пользователей к исходным данным OLAP-кубов на различных уровнях, для обмена отчетными формами используется встроенная система профилей, которая позволяет назначить роли пользователям согласно действующим в организации регламентам.

Архитектура аналитической платформы «Полиматика»

По данным на март 2017 года «Полиматика» построена на базе многоуровневой архитектуры, каждый компонент которой, в свою очередь, включает в себя несколько модулей. Модульность архитектуры обеспечивает удобную масштабируемость платформы по мере роста требований к ее возможностям: количество пользователей, объем обрабатываемых записей или количество подключений к источникам данных, а также позволяет использовать в работе только необходимые компоненты платформы), существенно повышая эффективность использования решения, как с технической, так и с экономической точки зрения. Поддерживается развертывание и полнофункциональная работа системы в закрытом контуре (без доступа к интернету), запуск отдельных модулей на различных физических устройствах.

Основным компонентом платформы является аналитический OLAP-сервер, объединенный с модулями Data Mining. Сервер «Полиматики» работает под управлением операционной системы на базе Linux (Ubuntu, Red Hat, CentOS и другие), включая сертифицированные версии для госорганов и организаций, работающих с секретной информацией, например, AstraLinux, Smolensk.

«Полиматика» предъявляет доступные технические требования к аппаратному обеспечению. Так, например, для работы с OLAP-кубом размером до 2 миллиардов записей необходим сервер с двумя процессорами, 256 ГБайт оперативной памяти и видеокарта Nvidia с 16 ГБайт видеопамяти, а при работе с «небольшими» OLAP-кубами, до 100 миллионов записей, достаточно двухпроцессорного сервера с оперативной памятью 32 ГБайта, наличие видеокарты при этом не требуется.

В платформе реализовано эффективное использование ресурсов оперативной памяти и жесткого диска: при работе пользователя в системе в оперативную память сервера загружаются только «активные» на текущий момент данные OLAP-куба, а при импорте из источника обеспечивается сжатие данных более чем в 12 раз.

«Полиматика» позволяет загружать данные в систему из различных источников. Поддерживается импорт из реляционных баз данных MySQL, MS SQL, Oracle, PostgreSQL, распределенных хранилищ Teradata и решений на базе Hadoop, бизнес-приложений, CRM-систем и других информационных систем, а также плоских табличных файлов. Загрузка данных в систему и создание OLAP-кубов осуществляется путем написания стандартного SQL-запроса к базе данных, предусмотрена возможность автоматического обновления данных в кубе по расписанию. При работе с табличными файлами используется прямой импорт данных, а для «нестандартных» источников компания предоставляет инструментарий для низкоуровневой загрузки данных.

На стороне клиента все действия пользователь выполняет в веб-браузере стандартными манипуляциями мышью (перетаскивание, выделение, вызов контекстного меню, левый/правый клик). Адаптивный интерфейс системы позволяет комфортно работать в системе на любом устройстве: компьютер, ноутбук, планшетный ПК или телефон. Поддерживается использование всех популярных веб-браузеров с настройками по умолчанию, дополнительные требования к установке Active-X, Flash или других компонентов отсутствуют.

Клиентская программа (браузер или приложение) взаимодействует с аналитическим сервером посредством отправки API-команд на выполнение операций и получение результатов расчетов. При этом вся нагрузка по выполнению расчетов лежит на сервере, клиентская программа только отображает полученные данные и не выполняет никаких ресурсоемких задач.

Наличие API-команд сервера позволяет использовать возможности «Полиматики» для решения узкоспециализированных задач, встраивать аналитические модули платформы в корпоративные порталы, бизнес-приложения и внутренние информационные системы. Платформа поддерживает возможность разработки дополнительных модулей для решения отраслевых задач.

Технологии платформы «Полиматика». Data Mining

Data Mining-модули платформы «Полиматика» позволяют быстро выполнять интеллектуальный анализ данных OLAP-куба - многомерные расчеты на миллионах записей занимают не более минуты, при этом гарантируется 100% достоверность и повторяемость полученных результатов. Двусторонняя связь модулей с данными OLAP-куба обеспечивает пользователей системы мощным математическим аппаратом и эффективной визуализацией. Использование модулей не требует от пользователя глубоких математических знаний, длительных процессов поиска нужной модели и настройки параметров - запуск модуля и расчеты выполняются по нажатии на одну кнопку.

На март 2017 года платформа включает в себя Data-Mining-модули: «кластеризация» – распределение объектов по группам на основании одного или нескольких параметров, выбор оптимального количества групп и расчет кластеров; «ассоциативные правила» – расчет и выявление основных паттернов поведения объектов и определение популярности и достоверности совместного возникновения событий; «прогнозирование» – определение максимально достоверных значений ключевых параметров объектов в будущем на основании доступных исторических данных.

Технологии платформы «Полиматика». GPU Acceleration

Технология ускорения вычислений на графических процессорах Nvidia используется в «Полиматике» для обеспечения комфортного времени отклика системы при работе с OLAP-кубами больших размеров, от 100 миллионов записей. При получении запроса на выполнение аналитической операции система автоматически определяет наиболее эффективный вариант проведения расчетов (процессор, видеокарта или гибридный режим) и распределяет вычисления между доступными ресурсами.

Платформа на аппаратном уровне поддерживает работу на кластере серверов, объединенных по технологии InfiniBand. В данном случае система автоматически создает пул доступных физических ресурсов и выполняет распределение задач между ними.

Возможности платформы

(данные актуальны на январь 2017 года)

• выполнение правил Э.Кодда для OLAP-обработки данных
• аналитическое самообслуживание пользователя
• нет ограничений на объемы данных с сохранением детализации

• совмещение функций визуализаторов и аналитических продуктов
• многократное ускорение решения прикладных задач
• партнерские модули
• OEM – сервер

• OLAP-операции с «живыми» данными (2 млрд строк) – 3 секунды на всем массиве
• операции Data Mining (кластеризация объектов, 2 млрд строк) – от 17 секунд на всем массиве
• компрессия данных в 12+ раз без потери исходной детализации

Примеры анализа полного объема данных

• госструктуры (3+, 23+ млрд записей)
• банки из ТОП-10 (3+ млрд записей)
• телеком (2+ млрд записей)

2016

В реестре российских программ

Компания «Полиматика Рус» получила официальное право на предоставление программного обеспечения государственным организациям. Министерство связи и массовых коммуникаций РФ включило отчетно-аналитическую платформу «Полиматика» в Единый реестр российских программ для электронных вычислительных машин и баз данных.

Согласно приказу ведомства, «Полиматика» вошла в список российских программ класса «Системы сбора, хранения, обработки, анализа, моделирования и визуализации массивов данных». Включение «Полиматики» в официальный реестр отвечает новым требованиям о переходе государственных организаций на отечественное программное обеспечение. Согласно постановлению правительства РФ, с 1 января 2016 года все российские госорганы и госучреждения обязаны закупать софт у компаний, которые входят в реестр отечественного ПО.

Полиматика 5.0

Полиматика 5.0 выйдет в конце июня 2016 года и включит в себя ряд разработок компании как для российского, так и мирового рынка интеллектуального анализа больших данных и систем бизнес-аналитики. Особенностью отчетно-аналитической платформы «Полиматика 5.0» является снятие технологических и функциональных ограничений на процессы анализа и обработки информации. С помощью данной версии «Полиматики» пользователи смогут одновременно обрабатывать весь массив имеющихся данных, получая полную свободу в работе с информацией. Благодаря использованию технологий онлайн-обработки данных в оперативной памяти (OLAP in-memory), ускорения вычислений с использованием графических процессоров (GPU-acceleration) и веб-интерфейсу время отклика системы остается на уровне нескольких секунд даже при работе с миллиардами записей.

Многослойный интерфейс

• вместо закладок – слои
• удобно для мобильных устройств
• больше информации с одного взгляда

Среди других отличительных особенностей платформы – многослойный интерфейс и поддержка пользовательских данных. В «Полиматике 5.0» будет реализована возможность одновременной работы с несколькими интерактивными слоями для полноты анализа информации, а также опция ввода дополнительных размерностей и фактов, которые не содержатся в первоначальном источнике данных. Пользователи системы получат возможность «на лету» формировать структуры данных и в несколько кликов проводить сложные расчеты на различных уровнях обработки информации.

• усовершенствованное ядро
• новый формат OLAP-кубов
• уровни расчета фактов
• поддержка пользовательских данных
• многослойный интерфейс

Поддержка пользовательских данных

• ассортиментное планирование (fashion-розница)
• прогнозирование и моделирование
• бюджетирование

«Полиматика». Описание

По состоянию на июнь 2016 года отчетно-аналитическая платформа «Полиматика» представляет собой систему класса Business Intelligence, систем Data Mining, OLAP-серверов и интерактивных визуализаторов. В основу платформы заложены скорость обработки больших объемов разнородных данных и простота в использовании математических алгоритмов и статистических моделей. OLAP-сервер не имеет ограничений по глубине и детализации анализа исходных данных. Согласно результатам исследования «IBS Экспертиза», решение позволяет осуществлять OLAP-операции с «живыми» данными (2 млрд строк) за 3 секунды на всем массиве, операции Data Mining (кластеризация объектов, 2 млрд строк) приблизительно за 17 секунд на всем массиве и обеспечивает компрессию данных в 12+ раз без потери исходной детализации.

Примечания