Time-series databases на собеседовании Data Engineer
Карьерник — Duolingo для аналитиков: 10 минут в день тренируй SQL, Python, A/B, статистику, метрики и ещё 3 темы собеса. 1500+ вопросов в Telegram-боте. Бесплатно.
Содержание:
Зачем TSDB
Standard РСУБД struggle с:
- High write rate (миллионы datapoints / sec).
- Time-range queries на billions points.
- Compression high-frequency data.
- Retention policies.
TSDB optimized под эти нагрузки.
InfluxDB
Specialized TSDB. InfluxQL / Flux query language.
Pros: built для time series. High write throughput.
Cons: не SQL (изначально). Limited joins.
InfluxDB 3 — Apache Arrow / DataFusion-based. Better performance.
TimescaleDB
Postgres extension.
Pros:
- Standard SQL.
- Postgres ecosystem (joins, ACID).
- Compression на 90%+ (chunks).
- Continuous aggregates auto-update.
Cons: еще Postgres limits для massive scale.
CREATE EXTENSION timescaledb;
SELECT create_hypertable('metrics', 'time', chunk_time_interval => INTERVAL '1 day');Prometheus
Специально для metrics monitoring. Pull-based scraping.
Pros: k8s-native, auto-discovery, integrates с Grafana.
Cons:
- Single-server (HA через Thanos / Cortex).
- Short retention (15-30 days default).
- PromQL — own language.
Стандарт для infrastructure monitoring.
ClickHouse как TSDB
CH excels на time-series despite being analytical.
Pros:
- Best-in-class compression.
- Sub-second queries на billions rows.
- SQL.
- Materialized views.
Cons: не has Prometheus-style discovery.
В РФ часто CH replaces Influx / Timescale.
Сравнение
| InfluxDB | Timescale | Prometheus | ClickHouse | |
|---|---|---|---|---|
| Type | Standalone | Postgres ext | Pull-based | OLAP |
| Query | Flux / SQL | SQL | PromQL | SQL |
| Best for | IoT, generic | Postgres-friendly | Metrics monitoring | Analytics + TS |
| Compression | Good | Excellent | OK | Best |
| Retention | Built-in | Manual | Built-in | Manual / TTL |
Связанные темы
- ClickHouse MergeTree для DE
- Postgres extensions для аналитики DE
- Logging strategy для SA
- Distributed tracing для SA
- Подготовка к собесу Data Engineer
FAQ
Это официальная информация?
Нет. Статья основана на документации InfluxDB / Timescale / Prometheus / ClickHouse.
Тренируйте Data Engineering — откройте тренажёр с 1500+ вопросами для собесов.