IBM Elastic Storage Server (ESS)

2017: IBM Elastic Storage Server

IBM Elastic Storage Server - технология для обеспечения масштабируемости и производительности при обработке больших объемов данных.

Особенности

• Повышение производительности благодаря возможности совместного использования данных всеми рабочими нагрузками с помощью единого пула ресурсов хранения для файлов, объектов и рабочих нагрузок Hadoop
• Масштабирование емкости и/или производительности с использованием модульных блоков с автоматической балансировкой нагрузки
• Разработанная в IBM технология рассредоточенного RAID на основе помехоустойчивого кодирования позволяет восстанавливать сбойные диски
• Размещение нескольких пользовательских систем, настройка выделения ресурсов и масштабирование по мере измерения потребностей
• Использование интегрированной системы, созданной на основе серверов IBM Power и программного обеспечения IBM Spectrum Scale
• Сокращение времени резервного копирования и восстановления предоставлением целевой системы для резервного копирования
• Устранение роста числа файлеров и узких мест производительности подключаемых к сети систем хранения данных (NAS).

2014: Технология программно-определяемых систем хранения для обработки больших данных

Компания IBM весной 2014 года расширяет портфолио программно-определяемых систем хранения, давая возможность организациям сократить издержки и обрабатывать данные в любом количестве, виде и с помощью различных устройств хранения, расположенных в любой точке мира.

Одна из новых технологий – Elastic Storage – предлагает производительность и неограниченное масштабирование. Она автоматически перемещает данные на самое экономичное устройство хранения, тем самым снижая издержки хранения на 90 процентов.

Эта запатентованная технология была создана в исследовательской лаборатории IBM Research. Elastic Storage позволяет организациям не просто управлять, а с выгодой для себя использовать растущие объемы данных, генерируемые многочисленными устройствами, сенсорами, различными бизнес-процессами и социальными сетями. Новое решение для хранения идеально подходит для приложений, требующих обработки большого количества данных и высокоскоростного доступа к массивам информации – от обработки сейсмических данных, управления рисками и финансовой аналитики, составления прогнозов погоды и научных исследований до планирования действий в режиме реального времени.

Программно-определяемые системы хранения – это набор средств ПО, которые автоматически управляют данными на локальном и глобальном уровне, обеспечивая беспрецедентную скорость доступа, легкое управление и возможность масштабирования инфраструктуры по мере роста объемов информации. Помимо этого, эти технологии могут работать на любом оборудовании и обеспечить автоматизированное и виртуализированное хранение.

Технологии, положенные в основу Elastic Storage, были также использованы в суперкомпьютере IBM Watson для его победы над двумя чемпионами телевизионной игры Jeopardy! (аналоге российской «Своей игры»). С помощью Elastic Storage около пяти терабайтов «знаний» были загружены в память суперкомпьютера всего за несколько минут. Таким образом, во время телевизионного матча у IBM Watson был доступ к 200 миллионам страниц структурированных и неструктурированных данных, включая полный текст Википедии.

Одной из главных причин того, что Elastic Storage была использована для IBM Watson, стало то, что она может масштабироваться до тысяч йоттабайтов. Йоттабайт – это один миллиард петабайт, требующий центр обработки данных размером в один миллион городских кварталов.

Исследовательская лаборатория IBM Research продемонстрировала, что Elastic Storage может успешно просканировать 10 биллионов файлов на один блок памяти за 43 минуты, что гарантирует непревзойденную производительность подобных систем при анализе огромных массивов данных.

В основе технологии Elastic Storage лежит глобальное файловое программное обеспечение IBM, которое обеспечивает управление хранением в режиме онлайн, масштабируемый доступ и интегрированные инструменты, способные управлять огромными массивами данных и миллиардами файлов. К примеру, Elastic Storage использует серверную флеш-память для увеличения производительности более чем в шесть раз по сравнению с SAS-дисками. В случае если у сервера есть флеш-память, она автоматически используется как кэш-память для увеличения производительности.

Elastic Storage виртуализирует системы хранения, позволяя нескольким системам и приложениям пользоваться общими ресурсами памяти. Это также обеспечивает прозрачный глобальный доступ к данным без необходимости модифицировать приложения или добавлять дополнительные системы управления хранением. Так как Elastic Storage не полагается на центральную систему для определения места записи файла, клиенты имеют доступ к данным даже в случае сбоев работы ПО или оборудования.

Для Лаборатории вычислительных и информационных сервисов (Computational and Information Services Laboratory, CISL), находящейся в составе Национального центра США по исследованию земной атмосферы (National Center for Atmospheric Research), растущие объемы данных – неотъемлемая часть ее структуры. Организация управляет более чем 50 петабайтами информации, которая хранится в центрах в Вайоминге и Колорадо, и использует Elastic Storage с целью предоставить исследователям быстрый доступ к разнообразным данным.

Ключевым компонентом Elastic Storage является его возможность автоматически перемещать данные в стратегически предпочтительную и наиболее экономически эффективную систему хранения. Благодаря функциям, ориентированным на актуальные политики, и возможностям анализа данных в режиме реального времени Elastic Storage может автоматически перенаправлять редко используемую информацию на менее дорогие ленточные накопители. В то же время часто используемые данные могут храниться в высокоскоростных флеш-системах, что гарантирует пользователям оперативный доступ к информации.

Более того, функции нативного шифрования и безопасного удаления данных позволяют безвозвратно стирать информацию, что соответствует нормативным требованиям HIPAA и Sarbanes-Oxley.

Благодаря поддержке программного обеспечения OpenStack для управления облачными вычислениями, Elastic Storage также предоставляет заказчикам возможности хранения, управления данными и совместной работы в частных, публичных и гибридных облачных средах. Помимо совместимости с сервисами OpenStack Cinder и Swift, Elastic Storage также поддерживает другие открытые API, такие, как POSIX и Hadoop.

В то время как традиционные СХД перемещают информацию между обозначенными системами для последующей обработки и анализа транзакции, Elastic Storage может автоматически настраивать баланс ресурсов для поддержки всех типов нагрузки приложения, включая инструменты аналитики на основе Hadoop. Это позволяет значительно ускорить процесс анализа информации и избавляет от дорогостоящей необходимости создания многочисленных копий.

Elastic Storage также будет доступно в качестве облачного сервиса на базе IBM SoftLayer уже в 2014 году.