Москва. 1 октября. ИНТЕРФАКС - Компания "Тантор Лабс" провела масштабную доработку расширения PipelineDB - высокопроизводительного инструмента для агрегации временных рядов, совместимого с PostgreSQL и системой управления базами данных Tantor, сообщила во вторник пресс-служба "Группы Астра", в состав которой входит компания.
"Мы протестировали обновлённый PipelineDB на высоких нагрузках и убедились в его работоспособности. На данный момент планируем дальнейшую оптимизацию производительности продукта, но прежде всего - фокусируемся на развитии его функциональности", - сообщил генеральный директор "Тантор Лабс" Вадим Яценко, которого цитирует пресс-служба.
Он отметил, что грамотное управление устаревшими данными позволяет быстро удалять ненужные данные или преобразовывать нужные в колоночный формат со сжатием.
"Также важнейшей нашей целью является формирование вокруг PipelineDB сообщества пользователей и разработчиков. Её успешное достижение станет ключевым фактором роста востребованности проекта как на российском, так и на международном рынке", - заявил Яценко.
По информации пресс-службы, специалисты "Тантор Лабс" приложили большие усилия к возрождению проекта. Сегодня в состав базовой функциональности Tantor PipelineDB входит непрерывная агрегация и фильтрация потоковых данных, запросы с заданными временными интервалами, объединение потоков c таблицами и поддержка вероятностных структур данных для приближенных вычислений на потоках (фильтры Блума, count-min sketch, Filtered-Space-Saving top-k, HyperLogLog, and t-digest для приблизительных вычислений на потоках большого объёма).
"Кроме того, решение приобрело возможность партицирования (секционирования) - разбиения одной большой таблицы (материализованных представлений на диске) на несколько физических файлов или таблиц так, что логически для пользователя все партиции выглядят единым целым. Это позволяет сократить расходы на обновление индексов, выборки данных при чтении, удаление или архивирование старых данных. Наибольшую востребованность механизм партицирования имеет в высоконагруженных системах", - отмечается в сообщении.
PipelineDB - это расширение PostgreSQL, которое позволяет быстро и гибко в реальном времени обрабатывать потоковые данные, а также объединять их с историческими данными для сравнения и анализа. С его помощью, используя только SQL-запросы, можно передавать данные непосредственно в базы данных и непрерывно трансформировать их. PipelineDB хранит только выходные данные непрерывных запросов, которые постепенно обновляются по мере приёма данных. При этом размер базы данных не зависит от объёма данных, обрабатываемых с течением времени, говорится в сообщении.