Microsoft Azure Data Lake

Microsoft Azure Data Lake - открытый репозиторий для больших данных, который можно использовать для хранения данных любого типа и схемы – без фиксированных лимитов на размер файла или аккаунта.

30 апреля 2015 года Microsoft объявила о создании Azure Data Lake.

Data Lake – Hadoop File System, совместимая с HDFS, интегрированная с Azure HDInsight и интегрирующаяся в будущем с Revolution-R Enterprise, Hortonworks, Cloudera, Spark, Storm, Flume, Sqoop, Kafka и другими.

Вышла расширенная версия Azure Data Lake

29 сентября 2015 года компания Microsoft представила расширенную версию Azure Data Lake^[1].

Представление Azure Data Lake (2015)

«Microsoft уделяет много внимания развитию платформы для работы с большими данными. Мы создаем удобные инструменты обработки информации любого типа и объема, которыми наши заказчики могут воспользоваться как в облаке, так и в локальной инфраструктуре, – заявил Дмитрий Марченко, директор по продвижению облачной платформы Microsoft в России. – Наша цель – сделать технологии Big Data более простыми и доступными для максимально широкого круга пользователей – разработчиков, аналитиков, ученых и ИТ-специалистов. И мы надеемся, что обновление Azure Data Lake станет большим шагом к ее достижению».

• Azure Data Lake Store – гибкое масштабируемое хранилище данных, которое позволяет работать с неструктурированной, полуструктурированной и структурированной информацией. Впервые с его помощью можно собирать информацию любого типа и размера, получать доступ к ней и анализировать ее, избегая сбоев в производственных процессах и поддерживая высокий уровень безопасности сети, что, например, критически важно для стабильной работы IoT-сценариев. Платформа станет доступна пользователям в ближайшее время.

• Azure Data Lake Analytics – сервис анализа данных, созданный на базе Apache YARN для работы в облаке. Azure Data Lake Analytics справляется с информацией любого масштаба, регулируя нагрузку на сеть. Модель предоставления сервиса предполагает, что клиенты будут оплачивать только те периоды, когда он использовался, а также поддержку Azure Active Directory. Это делает Azure Data Lake Analytics не только эффективным, но и экономически выгодным решением.

В эту версию Azure Data Lake вошел сервис Azure HDInsight, разработанный на платформе Apache Hadoop. HDInsight позволяет раскручивать неограниченное количество узлов за считанные минуты. Как одно из наиболее быстро развивающихся решений в облаке Azure HDInsight предлагает пользователям широкие возможности экосистемы Hadoop в рамках легко управляемого сервиса, работу которого поддерживают специалисты Microsoft. Сегодня сервис стал доступен для пользователей платформы Linux. Корпорация ведет работу над версией для Ubuntu.

Hadoop ISV – пакет приложений для управления информацией, вошел в состав редакции Data Lake. В нем средства непрерывной аналитики больших данных, такие как Datameer, технологии защиты и управления информацией – Dataguise и BlueTalon, – а также DataTorrent и инструменты визуализации AtScale и Zoomdata.

Примечания