Apache Storm

Продукт
Разработчики: Apache Software Foundation (ASF)
Дата последнего релиза: 2016/04/12
Технологии: Средства разработки приложений

Apache Storm - вычислительная среда на основе Open Source для работы в реальном времени.

Apache Storm легко интегрируется с другими компонентами, обладает высокими показателями производительности и достаточно просто разворачивается, создавая распределённую систему RT-вычислений для быстрой обработки больших потоков данных, добавляя возможности обработке в Apache Hadoop.

Изначально проект создан в BackType, затем куплен Twitter и в сентябре 2013 года переведён в инкубатор Apache.

Использование Storm в кластере Hadoop обеспечивает эффективную обработку всего спектра рабочих нагрузок: от работы в реальном времени до интерактивной и обработки группами.

Схема взаимодействия Apache Storm

Сейчас Storm разрабатывается по открытой модели, среди участников сотрудников компаний Hortonworks, Twitter, Verisign, Yahoo и другие. Тестирование Apache Storm при обработке миллиона 100-байтовых сообщений в секунду на один узел (node) показало отказоустойчивость приложения, масштабируемость между узлами кластера и простоту работы.

Apache Storm поддерживает интеграцию с СУБД, распараллеливание, разделение и повторные попытки при ошибках, когда это необходимо.

2016: Apache Storm 1.0

12 апреля 2016 года Apache Software Foundation сообщила о выпуске релиза Apache Storm 1.0.

Разработчики сравнивают свой проект с Hadoop, только для обработки данных в реальном времени (вместо пакетного режима).

Этот релиз Apache Storm сообщество разработчиков видит значимым в эволюции проекта, с его выходом в платформе появилось множество функций и улучшений. Среди значимых изменений:

  • качественный рост производительности (до 16 раз по сравнению с предыдущими релизами);
  • интеграция опционального heartbeat-демона Pacemaker;
  • API для распределенного кэша (Distributed Cache API);
  • поддержка HA Nimbus для высокой доступности кластера;
  • Native Streaming Window API для потоковой обработки данных;
  • Stateful Bolt API с автоматической проверкой состояния;
  • возможность динамического изменения уровней логирования;
  • механизм автоматического «противодавления» (Backpressure) для уменьшения пропускной способности при превышении настраиваемых порогов;
  • планировщик RAS Scheduler, учитывающий доступные в кластере ресурсы (оперативная память, процессор);
  • функция распределённого поиска по журналам (Distributed Log Search) в пользовательском интерфейсе Storm.



СМ. ТАКЖЕ (7)


Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Microsoft (41, 47)
  Солар (ранее Ростелеком-Солар) (2, 46)
  Oracle (49, 26)
  Hyperledger (Open Ledger Project) (1, 23)
  IBM (33, 18)
  Другие (553, 270)

Распределение базовых систем по количеству проектов, включая партнерские решения (проекты, партнерские проекты)

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Solar appScreener (ранее Solar inCode) - 8 (8, 0)
  FIS Platform - 4 (4, 0)
  Siemens Xcelerator - 2 (2, 0)
  Парадокс: MES Builder - 2 (2, 0)
  Турбо X - 2 (2, 0)
  Другие 21