VK Cloud Streams

Основные статьи:

• Большие данные (Big Data)
• SaaS - История. Философия. Драйверы развития
• Управление данными (Data management)

2023: Запуск сервиса

8 июня 2023 года компания VK (ранее Mail.ru Group) запустила облачный сервис для потоковой обработки данных в режиме реального времени — Cloud Streams. Он работает на базе Arenadata Streaming и позволяет оперативно построить корпоративное хранилище данных, создать аналитические сервисы для обработки сотен сообщений в секунду и получать инсайты из неструктурированной информации.

Компании могут использовать Cloud Streams, чтобы создавать приложения для работы с потоковыми данными с помощью графического интерфейса и оперативно масштабировать ресурсы в облаке с учетом роста или снижения нагрузки. В VK Cloud всего парой кликов можно добавить в облачный кластер новые вычислительные мощности или отключить ненужные.

Cloud Streams может получать и обрабатывать данные из корпоративных и разрозненных внешних систем, хранить их в течение заданного периода времени и возвращать пользователям с требуемой нагрузкой. Сервис также можно использовать как шину данных между корпоративными приложениями.

Сервис легко интегрировать с компонентами Cloud Big Data, со всеми управляемыми СУБД в VK Cloud, а также с инструментами Elasticsearch, Couchbase, Cassandra благодаря большому набору API. Кроме того, Cloud Streams совместим с Arenadata Hadoop (на базе экосистемы сервисов Apache Hadoop) и Arenadata DB на базе Greenplum. Это позволяет построить комплексное решение для всех этапов работы с большими данными с помощью продуктов из реестра российского ПО.

В основе сервиса — брокер сообщений Apache Kafka и инструмент для автоматизации потоков данных Apache NiFi. Эти компоненты будут доступны пользователям Cloud Streams как управляемые сервисы. Kafka и NiFi — стандарты в построении систем для работы с большими массивами данных. Они позволяют реализовать обмен сообщениями между серверными приложениями и управлять потоками данных из разных источников.

Cloud Streams предоставляет компаниям стек технологий для обработки информации в режиме реального времени. Облачные сервисы позволяют быстро разворачивать необходимые инструменты и по клику управлять ресурсами при изменении нагрузки. Это актуально для компаний, работающих с большими объемами потоковых данных. Среди них, например, стриминговые сервисы, компании из финансового сектора, поставщики промышленных решений на базе интернета вещей. Решение построено на базе продуктов российского вендора — Arenadata — и находится в облаке VK Cloud, что обеспечивает повышенную защиту чувствительных данных, — сказал Михаил Тутаев, директор по продукту VK Cloud.

Вместе с нашим партнёром VK Сloud мы предлагаем полностью российское решение для разнопрофильной работы с данными в облачной среде. Мы вкладываем значительные ресурсы в адаптацию наших программных продуктов, чтобы у заказчиков была возможность полноценно использовать ПО Arenadata в облаках. Уверен, что возможность быстро получить необходимые дата-сервисы в рамках единой отечественной cloud-платформы высоко оценят многие организации на нашем рынке, — отметил Антон Чевычалов, директор по информационным технологиям Arenadata.