Мировые и российские тренды в области интеграции данных и приложений

Определение платформы для интеграции данных и приложений

Платформа интеграции данных и приложений — это программный комплекс, включающий в себя набор инструментов для интеграции данных в различных форматах между базами данных, бизнес-приложениями, сетевыми и веб-сервисами и оборудованием (IoT).

Основным функциональным назначением интеграционной платформы является способность подключаться к широкому спектру систем и приложений, чтобы обеспечить гибкий, масштабируемый инструмент для подключения и управления всеми различными источниками данных, а также возможность обмениваться данными между приложениями и сервисами.

Платформы могут состоять из нескольких компонентов (модулей), поставляться в различных в форматах, в том в облачной среде как публичной, так и приватной (iPaaS).

Глобальные тренды

В ходе изучения мнений мировых экспертов в области интеграции данных и приложений, мы исходили из контекста очевидных факторов, влияющих на развитие глобального рынка платформ для интеграции данных и приложений. Среди них — следующие:

• Растущие объем, разнообразие и сложность данных. Все больше данных генерируется и собирается в мире, как в корпоративной среде, так и за ее пределами. Это создает постоянную потребность в интеграции данных для анализа и принятия решений, при этом потребности в доступе к внешним данным постоянно увеличиваются.
• Развитие облачных технологий. Облачные хранилища становятся более защищенными. Переход к облачным хранилищам данных требует новых подходов к интеграции данных, так как данные могут быть разбросаны по разным облакам и системам.
• Кибербезопасность. С увеличением объема интегрируемых данных становится важным обеспечивать их безопасность, что требует интеграции с средствами защиты данных.
• Интернет вещей. Распространение подключенных устройств и сценариев IoT создает дополнительные массивы полезных данных, а вместе с ними и возможности для роста рынка их интеграции в корпоративный ландшафт.
• Требования к операциям в реальном времени. Многие бизнес-процессы требуют оперативной обработки и передачи данных в реальном времени, что также стимулирует развитие технологий интеграции данных.
• Отношение к данным как к активу. Наиболее продвинутые компании стремятся к тому, чтобы организовать и поддерживать данные как ресурс, как продукт, как актив независимо от того, используются ли они внутренними командами или внешними клиентами. У этого ресурса есть владельцы, с ними работают специальные команды, обеспечивающие безопасность, обновление, интеграцию, а также развитие инструментов самообслуживания и анализа данных.
• Развитие технологий искусственного интеллекта и его проникновение во все сферы нашей жизни несет как дополнительные возможности для понимания, анализа и принятия решений на основе новых данных.
• Централизация и децентрализация в управлении данными. Мы наблюдаем признаки разнонаправленного движения в отношении централизации механизмов управления данными в компаниях. Часть компаний, стараясь оптимизировать ресурсы хранения и обработки данных, создают единые стандарты и процедуры, объединяют процессы и данные в рамках комплексных централизованных платформ. Это свойственно также компаниям со специфическими требованиями к безопасности данных и доступа к информации. Другие компании, для которых важна гибкость и скорость принятия решений на основе данных, предоставляют подразделениям автономность в сборе и обработке узкоспециализированных данных в рамках деятельности департамента.

Прогнозы экспертов

В данном разделе приведены выдержки из прогнозов экспертов Gartner, McKinsey, IDC других аналитических агентств, которые указывают на направления развития технологий в сфере сбора и обработки данных, управления данными и аналитикой. На наш взгляд, это те изменения рынка, которые приведут к большей зрелости процессов в этой сфере, и в частности — процессов интеграции данных.

Data Fabric. К 2025 году CDO (chief data officers), руководители служб управления данными и аналитики признают data fabric в качестве движущего фактора успешного решения проблемы сложности управления данными, что позволит им сосредоточиться на приоритетах цифрового бизнеса.

Распределенные центры управления данными. К 2026 году 80% организаций внедрят несколько центров управления в своей структуре данных для обеспечения обмена и управления критически важными данными и аналитикой.

CDO как фактор стоимости компании. К 2025 году не менее 25% коммерческих организаций, имеющих в своей оргструктуре CDO (chief data officers) с соответствующими KPI, покажут значительно более высокую рыночную стоимость, чем те, кто этого не сделал. Это будет происходить в том числе благодаря партнерству CDO и CFO в обеспечении бизнес-ценностей, и превращению данных и аналитики в стратегический драйвер роста организации.

Единая платформа управления данными. К 2026 году 20% крупных компаний будут использовать единую платформу управления данными и аналитикой для унификации и автоматизации разрозненных корпоративных систем.

Действительно, это один из ключевых трендов, который, фактически, является на данный момент очередной вехой развития решений данного класса. Желание иметь единую платформу для интеграции данных и приложений является драйвером на пути к платформенным решениям. К слову, мы с решением Datareon Platform уже пришли к данному формату и продолжаем активно развивать его именно в данном направлении. прокомментировал прогнозы Максим Власов, директор по разработке и инновациям Datareon.

Автономные платформы. К 2027 году функции обнаружения выбросов (отклонений) и другие расширенные возможности аналитики превратятся в автономные аналитические платформы, которые будут управлять выполнением 20% бизнес-процессов.

Искусственный интеллект как фактор генерации данных.

• К 2026 году инструменты для аналитики продуктов и клиентского опыта (CX), основанные на ИИ, станут основным источником инсайтов для 40% разработок цифровых продуктов, по сравнению с 10% сегодня.
• К 2027 году более 35% ПО будут использовать цифровых двойников пользователей для разработки клиентского опыта (UX) на протяжении всего жизненного цикла продукта, по сравнению с менее чем 5% сегодня.
• К 2027 году около 15% новых приложений будут автоматически разрабатываться ИИ без участия человека, тогда как сегодня этот показатель равен нулю.

Тренд применения технологий ИИ, безусловно, коснется и области управления данными, потому, что здесь особенно важно снизить влияние человеческого фактора, сократить трудозатраты при постоянно растущих объемах данных и при этом повысить их точность и управляемость. В дорожной карте Datareon Platform на 2024 год уже запланированы вехи развития продукта, связанные с внедрением технологий ИИ и мы активно уже занимаемся разработкой, так что это уже не будущее, а настоящее для нас. рассказала Евгения Николаева, директор по маркетингу и развитию Datareon.

Управление метаданными. К 2026 году число организаций, применяющих активные методы работы с метаданными (active metadata management), возрастет до 30% в области данных и аналитики для ускорения автоматизации, поиска информации и разработки рекомендаций.

Экосистемы данных.

• К 2025 году 80% компаний, которые только начинают внедрять экосистемы данных, не смогут выполнить запланированные SLA по производительности, расширению и объединенному управлению данными.
• К 2025 году 55% ^[1]-отделов перейдут на экосистемы данных, что приведет к консолидации рынка вендоров на 40%, что позволит снизить затраты при сокращении выбора.

Трансформация в облаке. К 2026 году 75% организаций перейдут на модель цифровой трансформации, основанной на использовании облачных технологий в качестве фундаментальной базовой платформы.

Сила глобальных трендов

Ниже представлены глобальные тренды в области интеграции данных, на которые обращают внимание аналитики и эксперты рынка. Баллы условные, они показывают относительную упоминаемость трендов в различных оригинальных источниках, изученных в рамках проекта исследования.

• Облачная и гибридная интеграция — 80 баллов. Все больше компаний переходят к облачным или гибридным решениям для интеграции данных. Это позволяет им снизить затраты на инфраструктуру, улучшить масштабируемость и обеспечить более гибкое управление данными и снизить зависимость от одной инфраструктуры.
  • Технология Cloud-Native. «Родное облако» определяется как использование облачных технологий для достижения большего масштаба, безопасности и контроля.
  • Мультиоблачные технологии (Multi-Cloud technologies). По мере роста объемов создания и потребления данных организации переходят на стратегию использования нескольких облаков для обеспечения гибкости, масштабируемости и эффективности.
  • Гибридные облачные платформы. Регулируемые отрасли, такие как здравоохранение, фармацевтика, энергетика или государственный сектор, обращаются к гибридным облачным системам, чтобы соответствовать строгим нормативным требованиям. Этот подход сочетает в себе лучшее из двух миров, предлагая гибкость публичной облачной инфраструктуры и безопасность частных облачных решений. Гибридное облако — это будущее для отраслей, требующих индивидуального подхода к хранению и управлению данными.
  • iPaaS. Общий тренд: использование платформ iPaaS как способ использования облака для интеграции данных из различных источников, включая локальные ресурсы. В таких сложных отраслях, как здравоохранение, iPaaS может быть особенно полезен для интеграции данных от различных вендоров и провайдеров, упрощая максимизацию потоков данных и предоставление актуальной информации.

• Искусственный интеллект и машинное обучение — 70 баллов. AI и ML играют все более важную роль в интеграции данных. Алгоритмы машинного обучения используются для автоматической обработки, анализа и классификации данных, что улучшает точность и скорость интеграции. Такая автоматизация помогает организациям повысить доверие к управлению данными и ускоряет внедрение сервисов, управляемых данными. Также автоматизируются рутинные задачи, высвобождая человеческие ресурсы для того, чтобы сосредоточиться на важнейших бизнес-целях.
  • Использование ИИ для управления качеством данных. Использование ИИ повышает доверие к управлению данными и ускоряет внедрение новых сервисов, основанных на данных.
  • Интеллектуальная обработка данных на основе метаданных. Использование AI/ML для активации метаданных значительно сокращает ручные операции и повышает производительность.

• Самообслуживание и Low-code/No-code платформы — 50 баллов. Растущая потребность в интеграции данных приводит к созданию инструментов, которые позволяют бизнес-пользователям самим создавать интеграционные процессы без необходимости глубоких знаний программирования. Вендоры предлагают интеграцию рабочих процессов «в один клик» и на основе low-code.
• Экосистемы данных — 40 баллов. Разработчики интеграционных платформ активно развивают экосистему партнеров, чтобы обеспечить больше интеграционных опций и расширить функциональность своих продуктов. iPaaS используется для подключения различных платформ, независимо от того, расположены ли они локально, удаленно или в нескольких облаках.
  • Озера данных и озерные хранилища (Lakehouses). Озера данных и озерные хранилища меняют способы хранения и доступа к данным в организациях. Выходя за рамки традиционных хранилищ данных, эти технологии предлагают масштабируемые, гибкие и эффективные решения для работы со структурированными и неструктурированными данными.

• Интеграция для [[Интернет вещей Internet of Things (IoT)|[[Интернет вещей Internet of Things (IoT)|[[Интернет вещей Internet of Things (IoT)|[[Интернет вещей Internet of Things (IoT)|[[Интернет вещей Internet of Things (IoT)|[[Интернет вещей Internet of Things (IoT)|[[Интернет вещей Internet of Things (IoT)|Интернета вещей (IoT)]]]]]]]]]]]]]]— 20 баллов. С развитием IoT становится необходимой интеграция данных с множеством разных источников, что требует специализированных интеграционных решений. iPaaS используется для интеграции соединений между огромным количеством устройств IoT, датчиков, исполнительных механизмов, инструментов и API для создания взаимосвязанных цифровых цепочек поставок.
• Управление метаданными — 20 баллов. Управление метаданными становится важнейшим инструментом для понимания и использования данных в организациях. Активное управление и использование метаданных позволяет компаниям получать беспрецедентные инсайты о своей деятельности.
• Децентрализация данных — 10 баллов. Наблюдается значительный тренд в сфере управления данными, признанный руководителями служб данных и аналитики как ключевой фактор успешного решения проблемы сложности управления информацией. Data fabric становится движущей силой, позволяя организациям сфокусироваться на приоритетах цифрового бизнеса и повышении ценности. К 2026 году прогнозируется, что 80% организаций интегрируют несколько центров данных в свою структуру для обеспечения эффективного обмена и управления критически важными данными и аналитикой. Также наблюдается изменение моделей платформ социальных сетей: отход от концепции «клиент как продукт» к новой модели «платформа как клиент», где децентрализованная идентичность продается через рынки данных.
• Безопасность и управление доступом — 20 баллов. С увеличением кибер-угроз, платформы интеграции данных ставят особый акцент на обеспечение безопасности данных и управление доступом. Это включает в себя шифрование данных, аутентификацию и авторизацию, а также аудит данных. Особое значение имеют данные о клиентах. Утечка информации о клиентах, помимо финансовых рисков, может нанести серьезный ущерб репутации компании.
• Интеграция с приложениями и API — 20 баллов. Все больше организаций стремятся к интеграции данных с приложениями и сторонними сервисами. Платформы интеграции данных расширяют возможности инструментов для интеграции с внешними приложениями, что способствует повышению актуальности и точности данных для принятия более эффективных решений. Также это сильно помогает людям, которые не разбираются в технологиях, в полной мере воспользоваться доступом к данным и инсайтами.
• Отношение к данным как к продукту (активу) — 10 баллов. Наиболее продвинутые компании стремятся к тому, чтобы организовать и поддерживать данные как ресурс, как продукт, независимо от того, используются ли они внутренними командами или внешними клиентами. У этого ресурса есть владельцы (в т.ч. Chief Data Officers), с ними работают специальные команды, обеспечивающие безопасность, обновление, интеграцию, а также развитие инструментов самообслуживания и анализа данных. Компании начинают внедрять инструменты для повышения качества данных, поскольку данные становятся жизненно важной составляющей бизнеса, а эффективное управление ими становится ключевым фактором обеспечения стратегической устойчивости, целостности, соответствия требованиям.
• Взаимосвязанный опыт работы с клиентами (connected CE) — 10 баллов. По мере того, как тенденции интеграции данных становятся все более распространенными, персонализация будет только возрастать. В попытке создать более интегрированный клиентский опыт многие компании разрабатывают различные методы и стратегии. С помощью инструментов интеграции данных возможно создавать пользовательские профили и сегментировать пользователей, чтобы показать им больше продуктов или услуг, соответствующих их потребностям. Это дает более глубокое представление о поведении и привычках клиентов, что позволяет персонализировать каждое предложение для конкретного клиента. Кроме того, важно предлагать такой уровень персонализации по всем каналам.

Российские тренды

В ходе изучения российской практики и мнений экспертов в области интеграции, мы исходили из контекста факторов, в явном виде влияющих на развитие рынка платформ для интеграции данных и приложений в России. Большинство факторов развития глобального рынка, упомянутых в предыдущей главе, также релевантны для России, однако есть отдельные движения локального рынка, на которых нам хочется акцентировать внимание. Среди них следующие:

• В ходе изучения российской практики и мнений экспертов в области интеграции, мы исходили из контекста факторов, в явном виде влияющих на развитие рынка платформ для интеграции данных и приложений в России. Большинство факторов развития глобального рынка, упомянутых в предыдущей главе, также релевантны для России, однако есть отдельные движения локального рынка, на которых нам хочется акцентировать внимание. Среди них следующие:
  • Цифровая трансформация: Многие российские компании находятся в стадии активной трансформации бизнес-процессов и их цифровизации. Внедряются новые информационные системы, что требует интеграции различных систем и данных для оптимизации бизнес-процессов.
  • Возросшая конкуренция на рынке: Внедрение большого количества новых решений требует большого объема интеграционных проектов. Поставщики интеграционных решений встраиваются в процессы трансформации ИТ-ландшафтов компаний, предлагая новые платформы и сервисы для интеграции.

• Законодательные требования: В России существует ряд законодательных требований к хранению и передаче данных, что ставит перед компаниями задачи обеспечения соответствия, зачастую сопряженные с дополнительными инвестициями в интеграцию данных.
• Усиление роли государства. Начиная с 2014 года планомерно растет роль государства в регулировании ИТ-рынка. В стране введены барьеры для иностранного бизнеса и существенные меры поддержки для внедрения российского ПО, включая гранты и субсидии для ИТ-компаний, компенсации на приобретение отечественного ПО и оборудования компаниями. Также наблюдается доминирование окологосударственных компаний на рынке, в связи с тем, что максимальная доля импортозамещения наблюдается именно в госсекторе.
• Развитие электронной коммерции: Рост рынка электронной коммерции требует интеграции данных между онлайн-магазинами, платежными системами и складскими системами для обеспечения эффективной работы бизнеса.
• Развитие Интернета вещей: С расширением присутствия подключенных устройств в России, в особенности — в промышленных отраслях, возникает потребность в интеграции данных от устройств и их анализе для оптимизации производства и предоставления услуг.

Мы отчетливо видим тенденцию роста числа заказчиков, которые находятся в активном поиске российского интеграционного решения. Кто-то ищет замену западному продукту в рамках планового комплексного проекта перехода, а кто-то пришел к решению о поиске уже после замены основного парка ПО, потому что изменившийся интеграционный ландшафт компании потребовал более гибкого современного и комплексного интеграционного решения. Мы всегда рекомендуем задуматься о переходе на российское интеграционное решение заранее, чтобы с самого начала в рамках активного импортозамещения контролировать эффективную работу с данными из новых приложений. прокомментировала ситуацию Евгения Николаева, директор по маркетингу и развитию Datareon,

Сила российских трендов

Ниже представлены локальные тренды в области платформ для интеграции данных и приложений, на которые обращают внимание аналитики и эксперты рынка. Баллы условные, они показывают относительную упоминаемость трендов в различных оригинальных источниках, изученных в рамках проекта исследования.

• Интеграция с внешними системами и источниками — 90 баллов.
  • Компании поднимают приоритет создания инструментов, позволяющих объединять данные из разных источников в режиме реального времени.Особенно это важно для анализа данных, поступающих с подключенных к информационным системам датчиков в рамках пользовательских платформ, где требуется мгновенная реакция на события и оперативные сообщения пользователям/абонентам.
  • Интеграция с внешними приложениями и API: Все больше организаций стремятся к интеграции данных с приложениями и сторонними сервисами. Платформы интеграции данных расширяют возможности инструментов для интеграции с внешними приложениями, что способствует повышению актуальности и точности данных для принятия более эффективных решений. Также это сильно поможет тем людям, которые не так хорошо разбираются в технологиях, в полной мере воспользоваться возможностями и инсайтами.
  • Интернет вещей (Internet of Things, IoT): С развитием IoT становится необходимой интеграция данных с множеством различных источников, что требует специализированных интеграционных решений.
  • Интеграция с блокчейном: Для обеспечения верифицированной записи транзакций, использования в процессах смарт-контрактов, компании прибегают к интеграции своих систем с блокчейн-платформами. Это особенно актуально для бизнес-процессов, участниками которых являются сразу несколько сторон (предприятий), каждая из которых является равноправным владельцем процесса. Интеграция с блокчейн-платформами для таких типов взаимодействия дает перспективу прозрачности общего процесса и его текущего состояния.

Пока мы не видим явную тенденцию динамичного развития этого тренда на российском рынке, возможно, намечаются тренды в каких-то узких сегментах или отдельных проектах. По нашему опыту для взаимодействия с оборудованием на текущий момент пока по-прежнему преимущественно используются специализированные системы класса АСУТП. объяснил Максим Власов.

• Импортозамещение решений по управлению данными — 60 баллов. По прогнозам DIS Group, растет потребность в решениях по управлению данными, многие компании планируют импортозамещение решений в области больших данных. Рост потребности в решениях по управлению данными, с указанием того, что 45% крупных компаний планируют импортозаместить решения этого класса.
• Облачные интеграционные платформы — 50 баллов. Эксперты обсуждают потребность в облачных платформах и децентрализации управления данными, особенно в экосистемах компаний. Указывается, что гибридная интеграция может быть предпочтительнее миграции всех данных в одно облако, особенно если операционные данные хранятся на разных серверах и облаках. Ключевые направления развития рынка:
  • Мультиоблачные технологии (Multi-Cloud technologies) По мере роста объемов создания и потребления данных организации переходят на стратегию использования нескольких облаков для обеспечения гибкости, масштабируемости и эффективности.
  • Гибридные облачные платформы Регулируемые отрасли, такие как здравоохранение, фармацевтика, энергетика или государственный сектор, обращаются к гибридным облачным системам, чтобы соответствовать строгим нормативным требованиям. Этот подход сочетает в себе лучшее из двух миров, предлагая гибкость публичной облачной инфраструктуры и безопасность частных облачных решений. Гибридное облако — это будущее для отраслей, требующих индивидуального подхода к хранению и управлению данными.

• Искусственный интеллект и машинное обучение — 40 баллов. AI и ML играют все более важную роль в интеграции данных. Алгоритмы машинного обучения используются для автоматической обработки, анализа и классификации данных, что улучшает точность и скорость интеграции. Такая автоматизация помогает организациям повысить доверие к управлению данными и ускоряет внедрение сервисов, управляемых данными. Также автоматизируются рутинные операции, высвобождая человеческие ресурсы для того, чтобы сосредоточиться на бизнес-задачах. Растет количество проектов с применением разговорного ИИ, в том числе для извлечения информации о настроениях из отзывов потребителей о компании или продукте.
• Интеграция неструктурированных и распределенных данных — 30 баллов. Исследователи из ВШЭ, DataBrics и других указывают на то, что обогащение и интеграция распределенных данных — одно из самых активных направлений цифровой трансформации российского бизнеса. При этом большинство компаний уже ведут работу по получению дополнительных выгод от использования больших данных. По оценкам DIS Group, развитие рынка больших данных в ближайшие два года может принести в российскую экономику 1,6 трлн руб.
• Интерес к Low-code/No-code платформам — 20 баллов. Многие российские компании (прежде всего, крупные, с сильной внутренней практикой разработки), столкнувшись с уходом мировых лидеров рынка интеграционных платформ, и, не найдя достойных альтернатив на российском рынке, переходят на продукты с открытым исходным кодом, самостоятельно строя на их основе собственные решения.

Пожалуй, один из ключевых трендов на российском рынке. Это можно заметить даже по количеству ежегодных конференций на эту тему и масштабу аудиторий на них. Действительно, именно в период сегодняшних изменений рынка для Заказчиков особенно важно иметь инструменты расширения возможностей внедренных решений, не углубляясь в технические аспекты работы с кодом. Так разработка становится все более доступной, позволяя развивать решения, меняя баланс с чисто технических ресурсов специалистов на более менеджерский. Станислав Пиголкин, технический директор Datareon.

• Безопасность и управление доступом — 20 баллов. В контексте обсуждения кибер-угроз и растущего числа случаев утечки информации (зачастую критичных для бизнеса клиентских данных, персональных данных пользователей), эксперты указывают на важность снижения рисков за счет шифрования, токенизации и маскирования данных, повышения надежности инструментов аутентификации и авторизации, а также разработки новых безопасных методов обработки и хранения данных. 

Лидеры российского рынка

Исследование TAdviser было инициировано с целью выявления универсальных комплексных платформ для интеграции данных и приложений среди российских разработок.

Основной гипотезой, которую проверяли аналитики TAdviser, было присутствие на рынке зрелых интеграционных платформ, способных заменить решения ушедших глобальных игроков.

Подробнее >>>

Конференция «Данные компании — 2024: управление и интеграция». Москва, 4 апреля

Компания Datareon и TAdviser приглашают на ключевое мероприятие отрасли, которое пройдет 4 апреля в Москве, в отеле «Лесная Самфар».

На конференции «Данные компании — 2024: управление и интеграция» вы узнаете о продвинутых решениях в сфере автоматизации интеграции приложений и управления данными компании, изучите практические кейсы внедрения и зададите свои вопросы ведущим экспертам. Модератором пленарной дискуссии выступит эксперт TAdviser.

Программа и регистрация >>>

Запросить полную версию исследования у Datareon

Полную версию исследования можно запросить, заполнив форму ниже.

В полной версии исследования вы найдете дополнительные разделы:

• Лидеры глобального рынка
• Описание слабых и сильных сторон глобальных вендоров
• Регуляторные инициативы
• Источники информации для трендвотчинга