ITSumma: Spark-Greenplum connector

Основная статья: Большие данные (Big Data)

2024: Совместимость с Apache Spark версии 3.0 и выше

Компания ITSumma 20 марта 2024 года представила обновленную версию коннектора. Так, до марта 2024 года решение поддерживало работу только с Apache Spark 2.0, теперь же коннектор совместим c Apache Spark версии 3.0 и выше.

Spark-greenplum-connector предназначен для замены встроенного в Apache Spark коннектора. Благодаря ему дата-инженеры смогут увеличить скорость чтения и записи в базу данных и быстро масштабировать количество подключаемых и обрабатываемых источников.

По сравнению с предыдущей версией решения производительность выросла в 10-20 раз — с 1 до 10…20 Мбит/с, отметили в ITSumma. По словам разработчиков, это произошло благодаря применению метода zero-copy — коннектор перестал использовать копирование внутренних кешей двоичного представления строк.

Для коннектора была проведена общая оптимизация, которая сокращает задержку между батчами и микробатчами в Spark. В основном скорость была увеличена в 10-20 раз за счет изменения механизма копирования буфера — теперь вместо копирования делается передача указателя на него. Такого рода технические решения позволили значительно увеличить производительность — отметил Алексей Понаморевский, ведущий разработчик проекта Spark-Greenplum-Connector.

На основе коннектора можно строить ETL-решения и анализировать качество данных. Он отличается большой гибкостью в настройке и обладает всем необходимым для интеграции в платформы больших данных функционалом.

Коннектор применим везде, где требуется потоковое получение больших объемов данных. В тех отраслях, где есть телеметрия или постоянный поток событий: финансы, электронная коммерция, телеком, медиа, производство и промышленность, реклама, транспорт и логистика и т.д.

2023: Разработка open source-плагина для Apache Spark

Компания ITSumma 30 августа 2023 года сообщила о разработке open source-плагин для Apache Spark, который значительно ускоряет обработку данных за счет параллельных операций чтения и записи.

Решение spark-greenplum connector — это многофункциональный плагин для платформ обработки и анализа больших данных. Используя его, вместо встроенного в Apache Spark коннектора, дата-инженеры смогут увеличить скорость чтения и записи из и в базу данных Greenplum в десятки раз и быстро масштабировать количество подключаемых и обрабатываемых источников.

С помощью коннектора инженеры смогут настроить структурированный стриминг с использованием микропакетной обработки. Эта функциональность помогает получать оперативные обновления требуемых данных, что повышает скорость обработки практически до реального времени.

У spark-greenplum connector имеется ряд дополнительных возможностей. Например, использование анонимного блока или функции PL/pgSQL в качестве источника или поглотителя данных при операциях чтения и записи. Это позволяет делегировать часть обработки данных на сторону БД.

На его основе можно строить ETL-решения и анализировать данные in-memory. Он обладает высокой скоростью передачи данных, большой гибкостью в настройке, а также:

• автоматически формирует схемы данных;
• разбивает вычисления на параллельные независимые потоки;
• и поддерживает push-down операторы.

Подобные решения, которые обеспечивают работу систем обработки больших данных, имеют импортозамещающее значение. Учитывая важность этого, мы решили выложить наш коннектор в открытый доступ — сказал Тимур Хасанов, технический директор ITSumma.