Kioxia KumoScale

Основная статья: Система хранения данных

2021: Версия 3.18

22 июня 2021 года компания Kioxia Europe сообщила о выпуске версию 3.18 своей платформы для ЦОДов KumoScale на базе протокола NVMe-oF (NVM Express over Fabrics). Платформа KumoScale разработана для развёртывания в масштабах центра обработки данных и предоставляет собой систему флеш-памяти NVMe (NVM Express) в виде разрозненной сетевой службы.

В ПО Kioxia KumoScale v3.18 добавлена поддержка OpenStack Infrastructure Wallaby Release

По информации компании, ПО KumoScale версии 3.18 поддерживает встроенную интеграцию с обновленной версией OpenStack Infastructure Wallaby Release.

Компания KIOXIA активно участвует в работе Сообщества разработчиков OpenStack (OpenStack Contributor Community) и уже успела внести ряд изменений в эту инфраструктуру с открытым исходным кодом, которые призваны обеспечить интеграцию ресурсов хранения NVMe-oF. Вклад KIOXIA связан с решением двух важных задач, касающихся хранилищ NVMe-oF в среде OpenStack:

• в предыдущих версиях коннектор NVMe-oF в рамках инфраструктуры OpenStack создавал ресурсоёмкое подключение для каждого из томов, даже если у них была общая цель, из-за чего развёртывания NVMe-oF предъявляли определенные требования к вычислительным и сетевым ресурсам;
• в предыдущих версиях модуль os-brick OpenStack не использовал возможности md-raid клиента для прямой записи в реплицированные тома в нескольких хранилищах.

Чтобы обеспечить встроенную поддержку NVMe-oF, специалисты KIOXIA внесли следующие изменения в код OpenStack Infrastructure Wallaby Release:

• перестроен программный код коннектора OpenStack os-brick NVMe-oF (nvmeof.py) и добавлена поддержка более свежих протоколов NVMe-oF;
• оптимизирован коннектор OpenStack Infrastructure Wallaby Release для поддержки репликации томов на стороне клиента посредством md-raid;
• оптимизирован драйвер Cinder программного обеспечения KumoScale, который интегрирует хранилища KumoScale в среды OpenStack.

Протокол NVMe-oF всё чаще используется в современных сетевых архитектурах центров обработки данных, поэтому мы рады представить выпуск KumoScale в рамках программного стека. поведал Фредерик Хаак (Frederik Haak), директор по продвижению SSD в компании KIOXIA Europe

Разработчики и пользователи Cinder благодарны специалистам KIOXIA за технический вклад в проект Cinder, который позволил реализовать сервис OpenStack Block Storage. Эти функции откроют для сообщества OpenStack возможности протокола NVMe-oF. рассказал Брайан Росмайта (Brian Rosmaita), руководитель команды по разработке OpenStack Cinder (PTL) и ведущий программист Red Hat

Помимо всего прочего, версия 3.18 включает ознакомительную техническую версию встроенной поддержки протокола пограничной маршрутизации (BGP), реализованную посредством интеграции ПО сетевой маршрутизации Free Range Routing (FRR). Так удалось обеспечить первую в отрасли функцию передачи данных по многотрактовым сетям TCP/IP для хранилища NVMe-oF. Для передачи пакетов такие сети главным образом используют IP-маршрутизацию, а на июнь 2021 года одним из наиболее популярных протоколов маршрутизации в такой среде является BGP. KumoScale поддерживает протокол BGP, поэтому ресурсы хранения могут выполнять в сети Clos роль объекта первого класса. Это обеспечивает надлежащую пропускную способность соединения между отправителями на стороне клиента и хранилищами. Для подключения к IP-сетям система хранения использует технологии 2-го уровня, например, канал порта. Вместо этого системы хранения KumoScale функционируют на уровне 3 (то есть IP-маршрутизация), поэтому могут выполнять в сети центров обработки данных роль встроенной облачной службы. В качестве протокола маршрутизации KumoScale использует BGP, обеспечивая маршрутизируемую многотрактовую сеть 3-го уровня между отправителями и хранилищами KumoScale.

На июнь 2021 года BGP широко используется в облачных средах центров обработки данных, где небольшая команда специалистов может поддерживать работу крупной сети благодаря простоте эксплуатации и стабильности соединения. За счёт встроенной поддержки протокола BGP для трафика NVMe-oF хранилище получает поддержку функции IP-маршрутизации. сообщил Динеш Дутт (Dinesh Dutt), автор опубликованной книги Cloud Native Data Center Networking

Также ПО KumoScale версии 3.18 включает ряд изменений в процессах установки и обновления, комплексной системе безопасности и телеметрии отчётности. Кроме того, образец панели отчётности ПО KumoScale построен на базе платформ телеметрии Prometheus и Grafana.

2020

Версия 3.16

25 ноября 2020 года компания KIOXIA Europe представила следующую версию своего программного обеспечения для хранения данных KumoScale на базе технологии NVM Express over Fabrics (NVMe-oF). Версия KumoScale 3.16 предоставляет поддержку для компонентов семейства PCIe 4.0, включая серверы, сетевые интерфейсные карты (NIC) и твердотельные накопители (SSD).

Интерфейс PCIe 4.0, разработанный для двухкратного увеличения производительности клиентских, серверных и систем хранения данных, открывает новые уровни производительности для облачных и корпоративных приложений. KumoScale 3.16 использует преимущества более быстрых соединений, предлагаемых PCIe 4.0, позволяя облачным системам обслуживать большее количество пользователей на каждый узел хранения данных и, тем самым, снижать эксплуатационные расходы.

К дополнительным улучшениям, включенным в версию 3.16, относятся:

• Сторонняя платформа для размещения приложений, позволяющая серверам KumoScale размещать службы хранения данных как хранилище файлов и объектов, чтобы они могли использовать преимущество производительности KumoScale. В обеих средах ресурсы хранения данных KumoScale отображаются для рабочих нагрузок как быстрые локальные тома NVMe.
• Драйверы Kubernetes CSI и OpenStack Cinder, поддерживающие основные функции хранения, моментальные снимки и тонкую инициализацию (thin provisioning).
• Динамическая миграция тома: Работает на внутренних серверах, сохраняя

согласованность данных и поддерживая динамическую миграцию рабочей нагрузки.

• Поддержка многопользовательского виртуального кластера: повышает безопасность за счет изоляции рабочих нагрузок клиентов.

NVMe приобретает все большую популярность в серверных системах и системах хранения данных. Начиная с версии 3.16 KumoScale предлагает поддержку стандарта PCIe 4.0 и подключение хранилища данных NVMe по сети с производительностью, аналогичной локальному устройству хранения. Постоянные улучшения для интеграции в облачные платформы оркестрации, такие как Kubernetes и Open stack, направлены на удовлетворение требований к облачным приложениям, — говорит Фредерик Хаак (Frederik Haak), старший руководитель отдела маркетинга твердотельных накопителей KIOXIA Europe

Версия 3.14

25 июня 2020 года компания KIOXIA Europe объявила о релизе обновленной версии программного обеспечения для организации хранения данных KumoScale, которая основана на протоколе NVM Express over Fabrics (NVMe-oF).

Версия 3.14

По информации компании, технология, на которой основана работа KumoScale, была впервые представлена в 2017 году. Через некоторое время она получила сертификацию NVMe-oF лаборатории InterOperability Laboratory университета Нью-Гэмпшира, занимающимся испытаниями и сертификацией технологий и программного обеспечения NVMe. KIOXIA (ранее Toshiba Memory Europe GmbH) вывела KumoScale на рынок в марте 2018 года.

Программное обеспечение KumoScale — это облачное решение, которое обеспечивает доступ к блокам флэш-памяти NVMe через «посредника» — виртуальное хранилище, расположенное между заказчиком и физическим хранилищем. ПО оснащено центральным интерфейсом прикладного программирования (API), через который приложения запрашивают необходимые ресурсы. Программа обрабатывает запросы и динамически распределяет пространство, подключая только необходимый для каждой задачи объём флэш-памяти. Программное обеспечение KumoScale основано на стандарте NVMe-oF, который обеспечивает производительность, сравнимую с ситуацией, когда твердотельные накопители NVMe подключены локально. Также, это решение over Fabrics, которое поддерживает развертывание в чистом виде, виртуализацию, а также использование Kubernetes на разных распространённых на июнь 2020 года в отрасли серверах.

Возможности версии 3.14:

• Thin Provisioning. Эта технология позволяет достаточном количестве распределять ресурсы хранилища между серверами. В отличие от традиционного метода, когда клиент получает весь объём пустых блоков сразу, KumoScale предлагает экономное распределение, выделяя дополнительные блоки данных при необходимости. Использование технологии Thin Provisioning позволяет уменьшить объёмы неиспользуемой памяти и увеличить коэффициент использования хранилища, который при традиционном подходе зачастую может составлять не более 10% (в традиционном методе большие ёмкости выделяются отдельным серверам, но остаются неиспользованными (данные на них не записываются)).
• Автономное самовосстановление. Механизм самовосстановления томов автоматически выявляет и устраняет несоответствия данных, которые могут возникнуть в результате сбоев репликации, например, при переподключении к цели, неполном удалении реплик и т. д. Этот процесс не требует мониторинга и вмешательства системного администратора.
• Отказоустойчивость сети. Сквозная многопутевая маршрутизация для сетевых протоколов TCP/IP обеспечивает полную отказоустойчивость сети. Клиенты KumoScale используют Linux Link Aggregation Communications Protocol (LACP) и улучшенное управление соединениями, чтобы обеспечить согласованную доставку пакетов по всем доступным сетевым путям. Цели KumoScale используют связывание портов для повышения доступности, а также максимизируют общую пропускную способность узла хранения.
• Автоматическое развёртывание узла хранения. Поддержка протокола PXE (Preboot eXecution Environment) позволяет выполнить автоматическую установку через сеть в средах центров обработки данных. Возможность PXE-загрузки отменяет необходимость наличия загрузочного устройства операционной системы, не понадобится и ISO-файл на DVD или USB-устройстве.
• Нативные снимки NVMe. Нативные снимки NVMe для развертываний через Kubernetes CSI API и напрямую через REST API или CLI.
• Поддержка устройств корпоративного класса CM6. Полная поддержка всей линейки твердотельных накопителей KIOXIA CM6, которые работают в режимах PCIe 4.0 (1×4, 2×2) и NVMe 1.4, и обеспечивают последовательную и произвольную скорость передачи до 6,9 ГБ/с с уровнем быстродействия до 1,4 млн IOPS. Устройства оптимальны для использования в таких сферах, как базы данных, аналитика данных и искусственный интеллект.

Превращение NVMe в стандартный протокол SSD способствует тому, чтобы активнее использовать его для развертывания хранилищ. Разукрупнение важно для эффективной работы инфраструктуры хранилищ. KumoScale обеспечивает интеграцию в современные облачные и пограничные инфраструктуры. рассказал Фредерик Хаак (Frederik Haak), старший менеджер по маркетингу SSD, KIOXIA Europe GmbH

2018: Запуск программного обеспечения

18 мая 2018 года компания Toshiba Memory Europe (TME) объявила о начале поставок программного обеспечения KumoScale, предназначенного для разделяемых быстродействующих хранилищ на основе технологии NVMe-oF (NVM Express over Fabrics). Согласно заявлению разработчика, с программным обеспечением KumoScale становится возможным использование технологии NVMe-oF для предоставления доступа к хранилищам на основе флеш-памяти по сети центра обработки данных за счет простого и гибкого абстрагирования физических дисков с формированием пула блочного хранения при сохранении высокой производительности непосредственно подключенных SSD-дисков с интерфейсом NVMe.

Toshiba представила программное обеспечение KumoScale

«Облачные решения на основе хранилищ данных с прямым подключением из SSD-дисков экономически эффективны и просты в развертывании. Фиксированная природа хранилищ с прямым подключением может ограничивать гибкость, которую дает применение контейнеров и инфраструктуры управления ими. Программное обеспечение KumoScale позволяет облачным центрам обработки данных масштабироваться и независимо организовывать серверные и флеш-хранилища. Это помогает адаптироваться к неожиданным и пиковым рабочим нагрузкам, позволяя центрам обработки данных использовать новые возможности получения прибыли, обеспечивая необходимую гибкость и производительность». Пол Рован (Paul Rowan), генеральный директор подразделения твердотельных дисков компании Toshiba Memory Europe

Технология, которая лежит в основе KumoScale была сертифицирована как программное обеспечение для систем хранения, соответствующих спецификации NVMe-oF. Программное обеспечение KumoScale управляет всем функционалом системы, позволяя создавать подключенные к сети узлы хранения с возможностью немедленного массового развертывания, что повышает эффективность использования производительных NVMe SSD-дисков за счет их разделения. Кроме того, KumoScale прокладывает путь к более эффективному использованию вычислительных узлов за счет динамической оркестрации и предоставляет высокопроизводительное хранилище для такой инфраструктуры управления контейнерами, как Kubernetes, также допуская возможность адаптации к системам предоставления ресурсов собственной разработки, отметили в TME.

«Во многих облачных инфраструктурах ограничения вычислительной мощности и систем хранения препятствуют росту производительности и масштабируемости хранилищ. Программное обеспечение KumoScale обеспечивает повышение эффективности капиталовложений и гибкости эксплуатации. Системы с облачной архитектурой, работающие с анализом данных в режиме реального времени, финансовыми приложениями и базами данных NoSQL, могут использовать возможности разделенной структуры NVMe-oF для устранения этих ограничений, получая все преимущества оркестрированной контейнеризированной среды». Эрик Бургенер (Eric Burgener), вице-президент по исследованиям хранилищ для корпоративных платформ группы инфраструктуры сетей и систем хранения данных в компании IDC