Mail.Ru Cloud Big Data

Основные статьи:

• Определение Business Intelligence
• Большие данные (Big Data)
• Управление данными (Data management)
• PaaS - Platform As A Service

Mail.Ru Cloud Big Data — сервис в рамках Mail.Ru Cloud Solutions на базе Apache Hadoop и Apache Spark, позволяющий вынести обработку данных в облако. Благодаря этому анализ больших данных производится быстро, а компания экономит на создании и обслуживании инфраструктуры, утверждают в Mail.ru Group.

2021: Запуск Hadoop 3.0 как сервиса на базе решения Arenadata

Mail.ru Cloud Solutions 21 июля 2021 года сообщила о запуске Hadoop 3.0 как сервис на базе решения Arenadata.

Сервис открывает возможности для работы с большими данными и гарантирует безопасность, функциональность и высокую производительность. Новые пользователи платформы смогут бесплатно протестировать решение в течение трех месяцев.

Hadoop — это открытое решение для хранения и анализа больших данных. На его базе платформа Mail.ru Cloud Solutions предоставляет готовые сборки, которые позволят быстро создавать корпоративные хранилища данных (DWH) и Data Lake объемом до нескольких Пбайт, а также проводить извлечение, преобразование и загрузку данных (ETL), поступающих из разных источников.

В сочетание с набором технологий для работы с большими данными Data Science и Data Engineer-специалисты получат готовое решение для извлечения и анализа данных любого типа, которые станут основой для прогнозных моделей и быстрого обучения ML-моделей, в том числе с помощью высокопроизводительных вычислений (HPC). Провайдер несет финансовые гарантии за доступность сервиса, занимается его администрированием и обновлением на последние версии.

Arenadata Hadoop станет одним из компонентов экосистемы облачных сервисов Mail.ru Cloud Solutions для работы с большими данными, ориентированной на потребности крупного бизнеса. Enterprise-версия решения обладает большей функциональностью на уровне политик доступа, а также высокой доступностью: обеспечивает автоматическое восстановление кластера после падения, а также его автомасштабирование при росте объема данных. Дополнительным плюсом сервиса на платформе MCS является поддержка российского разработчика — компании Arenadata.

Платформа использует приближенную к открытой версию Hadoop, что исключает зависимость пользователей от вендора. Arenadata Hadoop выполнена на базе Hadoop 3.0, что позволяет повысить эффективность хранения данных на 50%, обеспечить улучшенную работу с памятью для высоконагруженных приложений и масштабирование до ста тысяч узлов. Arenadata Hadoop зарегистрирован в государственном реестре отечественного ПО.

Arenadata Hadoop Enterprise отличается серьезными настройками безопасности и функциональностью для высоких нагрузок, а также возможностью автомасштабирования. Компаниям теперь не надо думать, стоит ли подключать больше дисков для хранения и обработки информации: кластер автоматически расширится в случае необходимости, — говорит Дмитрий Лазаренко, директор по продукту Mail.ru Cloud Solutions.

В рамках решения Arenadata Hadoop на платформе MCS каждый кластер тарифицируется только по количеству дискового пространства, количество ядер не влияет на стоимость решения. Пользователь платит по модели Pay-As-You-Go, которая подразумевает оплату по мере потребления ресурсов. Специалисты Mail.ru Cloud Solutions и Arenadata проконсультируют по миграции и сложным архитектурным решениям. Кроме того, новые пользователи платформы могут получить бесплатный доступ к Arenadata Hadoop на три месяца, оставив заявку на странице решения Mail.ru Cloud Big Data.

Появление облачного сервиса, который имеет в своей основе последнюю версию Hadoop, это хорошая новость для рынка. Такое решение может сильно упростить жизнь командам разработки и компаниям, специализирующимся на анализе больших данных и машинном обучении. Мы планируем протестировать сервис, чтобы оценить перспективы его использования для наших проектов, — сказал Рустам Кильдиев, технический директор компании «Иннодата», российского разработчика решений в области управления большими данными и клиентским опытом.

В июле 2021 года Mail.ru Cloud Solutions объявила о расширении сотрудничества с российским разработчиком платформы сбора и хранения данных Arenadata и открыла доступ к распределенной аналитической СУБД с открытым кодом Arenadata DB Cloud версии Enterprise, которая также доступна для бесплатного теста на три месяца. Решение позволяет создать корпоративное хранилище информации с почти неограниченными возможностями масштабирования.

2020: Интеграция с OnCloud.ru

21 декабря 2020 года стало известно о том, что компания «Онланта» и платформа Mail.ru Cloud Solutions заключили соглашение о стратегическом партнерстве в сфере мультиоблачных сервисов. Сотрудничество компаний позволит заказчикам управлять сложными инфраструктурными проектами, используя ресурсы провайдеров через единую «точку входа» с обеспечением сквозной информационной безопасности и SLA. Пользователям облачного сервиса OnCloud.ru теперь доступны дополнительные мощности и компоненты платформы Mail Cloud Solutions: Managed Kubernetes, Database as a Service, IoT-платформа, Big Data Platform. Подробнее здесь.

2018: Запуск

10 июля 2018 года компания Mail.ru Group в рамках инфраструктуры Mail.Ru Cloud Solutions представила масштабируемый PaaS-сервис для компаний, которые собирают и анализируют большие данные — Mail.Ru Cloud Big Data.

Как известно, анализ больших данных позволяет решать широкий спектр задач: от кредитного скоринга, разбора операционной деятельности компании и распределения транспортной нагрузки до поиска ископаемых, проведения исследований в области медицины, социологии, астрономии. Однако чтобы эффективно обрабатывать большие объемы информации, требуются огромные вычислительные мощности: множество дорогих серверов, которые будут обслуживать специально нанятые профессионалы. Не каждому бизнесу нужна собственная инфраструктура для работы с big data.

Сервис Mail.Ru Cloud Big Data — это альтернатива дорогостоящей локальной инфраструктуре для обработки больших данных. Вместо того, чтобы приобретать оборудование, которое будет задействовано несколько часов в неделю и потребует постоянных трат на обслуживание, компания может воспользоваться облачной инфраструктурой в аренду, подчеркнули в Mail.ru Group.

Применение платформ с открытым исходным кодом Apache Hadoop и Apache Spark позволяет быстро и точно обрабатывать огромные объемы данных из разнородных источников. Так, Hadoop оптимален для индексации веб-сайтов, научных исследований (data lake). В свою очередь, Spark — для потоковой обработки и анализа данных в реальном времени: сегментации посетителей сайтов, обнаружения мошенничества, мониторинга транспорта.

При необходимости вычислительные ресурсы масштабируются от пары серверов до сотен и обратно за несколько минут. При этом компания платит только за те ресурсы, которые потребляет: в Mail.Ru Cloud Big Data действует посекундная тарификация.

В то же время, предусмотрена приватная сеть с компонентами Hadoop и другими сервисами в клиентской ИТ-системе для создания гибридного облака, а также миграция приложений для Hadoop из облака Amazon и Azure без изменения кода.

По словам разработчиков, предложения Mail.Ru Cloud Big Data рассчитаны на предоставление облачной платформы, где любые компании могут создавать собственную инфраструктуру и решать ресурсоемкие задачи по анализу данных в корпоративных приложениях, индексации сайтов, финансовому анализу, научным исследованиям и вычислениям, а также машинному обучению.