İçeriğe geç
Muhammet Şafak
en
Soran: Uğur Cevaplandı:

Zaman serisi verisi için TimescaleDB mi, InfluxDB mu?


Soru

IoT cihazlarından her 10 saniyede bir sıcaklık ve nem verisi alıyoruz; günlük akış 100M satıra ulaşıyor. Bu zaman serisi verisini standart bir MySQL tablosunda tutmaya çalışınca indeks boyutları RAM'i aşıyor ve geçmişe dönük ortalama (aggregation) sorguları çalışmaz hale geliyor. Bu senaryoda TimescaleDB (hypertable) veya InfluxDB gibi çözümler mimari olarak bize ne sağlar?

Cevap

Kısa cevap: Günde 100M satır düz bir MySQL tablosunda patlar — çünkü B-tree indeks ve tam tablo agregasyonu RAM’e sığmaz. Zaman serisi motorları bunu yapısal olarak çözer. SQL’de düşünüyor ve agregasyon istiyorsanız doğru araç TimescaleDB.

Kısa cevap

Sorunun kökü model değil ölçek: zaman serisinde veri sürekli büyür; indeks şişer; “son 30 günün ortalaması” gibi sorgular tüm tabloyu tarar. Standart bir tablo bunu kaldırmaz. TimescaleDB’nin chunk’ları özünde zamana göre partitioning; aynı işi eklenti olmadan, düz declarative partitioning ile nasıl kuracağınızı PostgreSQL partitioning kaydında anlatmıştım.

Neden

  1. Hypertable veriyi zaman bazlı chunk’lara böler. Insert’ler ve zaman aralığı sorguları yalnızca ilgili chunk’lara dokunur; tüm tabloyu tarama derdi biter. İndeks de chunk başına olduğu için RAM’i ezmez.
  2. SQL ekosistemini bırakmıyorsunuz. TimescaleDB bir Postgres eklentisi olduğu için hâlâ saf SQL, JOIN ve mevcut Postgres ekosistemindesiniz — yeni bir dil/araç öğrenmenize gerek yok.
  3. InfluxDB amaca özel ama ayrı bir dünya. InfluxDB zaman serisi için sıfırdan tasarlanmış, ama kendi sorgu diliyle ayrı bir sistem; ilişkisel/JOIN tarafı zayıf. Sizin gibi zaten SQL’de düşünen ve agregasyon isteyen biri için sürtünme yaratır.

Ne yapmalı

  1. Tabloyu hypertable’a çevirin. TimescaleDB’yi kurup zaman serisi tablosunu hypertable olarak tanımlayın; parçalama işini motora bırakın.
  2. Ortalamaları continuous aggregate’e alın. Sürekli toplulaştırma (continuous aggregate), saatlik/günlük ortalamaları arka planda önceden hesaplar (materialize). “Geçmişe dönük ortalama” sorgunuz ham milyonlarca satırı değil, hazır özeti okur — anında döner.
  3. Eski chunk’ları sıkıştırın. TimescaleDB eski chunk’ları native compression ile sıkıştırır; disk ve I/O dramatik düşer.
  4. Influx’a ancak ayrı bir metrik stack istiyorsanız yönelin. Adanmış bir TSDB kurmak gibi net bir gerekçe yoksa, ekstra bir sorgu dili ve ikinci bir sistem yükünü üstlenmeyin.

Sonuç: TimescaleDB hypertable + continuous aggregate + sıkıştırma — sizin senaryonuzda en düşük sürtünmeli kazanç. Influx’u yalnızca ayrı bir TSDB istiyorsanız düşünün. İki durumda da eski ham veriyi downsample edip retention ile düşün; süresiz ham tutmak hiçbir motoru kurtarmaz. “PostgreSQL her şeye yeter mi?” sorusunun zaman serisindeki cevabı: eklentisiyle çoğunlukla evet.

İlgili Yazılar

Paylaş:

Yorumlar

Yorum yapmak için GitHub hesabınızla giriş yapmanız yeterli. Yorumlar GitHub Discussions üzerinde saklanır.

Diğer Sorular

Tüm sorular

Sitede Ara

Yazı, proje ve sayfalarda arama yapmak için yazmaya başlayın.

Esc ile kapat Pagefind ile güçlendirildi