Tantor PipelineDB

Основная статья: Система управления базами данных (СУБД)

2024: Портирование на PostgreSQL (13, 15 и 16-версий)

Компания «Тантор Лабс» 1 октября 2024 года сообщила о масштабной доработке расширения PipelineDB – инструмента для агрегации временных рядов, совместимого с PostgreSQL и СУБД Tantor. Решение на базе открытого исходного кода для непрерывного выполнения SQL-запросов на потоках данных с инкрементальным сохранением результатов в таблицах получило поддержку новых версий СУБД и ряд актуальных функций.

PipelineDB – это расширение PostgreSQL, которое позволяет быстро и гибко, в реальном времени, обрабатывать потоковые данные, а также объединять их с историческими данными для сравнения и анализа. С его помощью, используя только SQL-запросы, можно передавать данные непосредственно в базы данных и непрерывно трансформировать их. PipelineDB хранит только выходные данные непрерывных запросов, которые постепенно обновляются по мере приема данных. При этом размер базы данных не зависит от объема данных, обрабатываемых с течением времени.

Исторически решение разрабатывалось как OpenSource-проект PipelineDB Core – форк PostgreSQL. В 2018 году проект трансформировался в расширение PostgreSQL, что существенно упростило его использование. Однако в 2019 году он был закрыт. Последней версией Postgres, с которой работал PipelineDB, была 11-я.

Специалисты «Тантор Лабс» приложили огромные усилия к возрождению проекта. Они портировали PipelineDB на версии PostgreSQL (13, 15 и 16-ю), добавили расширению функции и исправили множество ошибок.

На октябрь 2024 года в состав базовой функциональности Tantor PipelineDB входит непрерывная агрегация и фильтрация потоковых данных, запросы с заданными временными интервалами, объединение потоков c таблицами и поддержка вероятностных структур данных для приближенных вычислений на потоках (фильтры Блума, count-min sketch, Filtered-Space-Saving top-k, HyperLogLog, and t-digest для приблизительных вычислений на потоках большого объема).