IIoT veri bütçesini boyutlandırma: örnekleme, ölü bant ve saklama

Dört satırda model

Endüstriyel veri için kapasite planlaması akıllı bir araç gerektirmez. Dört satırlık aritmetik ve dürüst varsayımlar yeterlidir:

1. Saniyedeki örnek = etiket sayısı ÷ örnekleme aralığı (saniye)
2. Saniyedeki bayt = saniyedeki örnek × örnek başına bayt × protokol ve meta veri ek yükü
3. Günlük veri = saniyedeki bayt × 86.400
4. Depolama = günlük veri × saklama günü × saklanan kopya sayısı ÷ sıkıştırma oranı

Her saniye örneklenen, her biri 24 bayt olan 1.000 etiketi, 1,5 kat ek yükle, iki kopya ve 2:1 sıkıştırmayla 30 gün saklayalım:

Bunu, varsayılan örnek olarak bu değerleri kullanan ve bir varsayımı değiştirdiğinizde sonucun nasıl değiştiğini gösteren IIoT veri bütçesi hesaplayıcıda yeniden üretebilirsiniz.

Baytlar nereden geliyor?

“Örnek başına bayt” değeri belirsizliğin çoğunu gizler. Ham bir değer 1 ile 8 bayt arasında yer tutar; ancak saklanan bir örnek ayrıca bir zaman damgası (yaygın olarak 8 bayt), bir kalite kodu ve etiketi tanımlayan bir yöntem taşır. MQTT üzerinden yayımlanan bir JSON mesajı, aynı örneğin ikili historian biçimindeki halinden kat kat büyük olabilir. 24 baytlık varsayılan bir ölçüm değil, planlama varsayımıdır: gerçek trafiğinizden birkaç dakikalık kayıt alın, boyutu örnek sayısına bölün ve o değeri kullanın.

Örnekleme ve değişim

Sabit hızlı örnekleme her etiketi her aralıkta kaydeder. Değişimde raporlama (report by exception) ise yalnızca değer bir ölü bandı aştığında örnek kaydeder; genellikle düz bir sinyalin de ara sıra bir nabız üretmesi için bir en uzun aralık tanımlanır. Tasarruf tamamen sinyallerin davranışına bağlıdır:

• Yavaş değişen bir sıcaklık veya büyük bir tanktaki seviye, sabit hızlı hacmin küçük bir kısmına inebilir.
• Gürültülü bir debi sinyali veya titreşim ölçümü neredeyse yararlanmaz; çünkü ölü bandı sürekli aşar.
• Ayrık durumlar (çalışıyor, durdu, alarm) doğası gereği değişim temellidir ve ucuzdur.

Tasarrufu tahmin etmeyin. Bir günlük gerçek veriyi ölü bant ayarınızdan geçirip geriye ne kaldığını sayın. Ölü bandı, tanı için gereken davranışı gizleyemeyecek kadar dar tutun ve azaltmadan önce ham veriyi kısa bir süre saklamayı düşünün.

Sıkıştırma ve saklama katmanları

Sıkıştırma oranları veriye ve motora bağlıdır: yinelenen veriler iyi sıkışır, gürültülü veriler sıkışmaz. Oranı bir örnek üzerinde ölçeceğiniz bir şey olarak ele alın. Saklama katmanlarını ayırmak da değerlidir: ham örnekler kısa süre, ardından toplulaştırılmış değerler (aralık başına ortalama, en küçük, en büyük) çok daha uzun süre. Zaman serisi sıkıştırma (İngilizce) ve historian saklama planlaması yazıları daha derine iner.

Her varsayım cevabı nasıl değiştirir?

Yukarıdaki örnekte her seferinde tek bir şeyi değiştirmek şunu verir:

Örnekleme hızı, etiket sayısı ve saklama süresi depolamayı doğrusal ölçekler; bu yüzden en ucuz tasarruf genellikle gereksinimi sorgulamaktır: bu etiketin gerçekten 30 gün boyunca saniye çözünürlüğüne ihtiyacı var mı?

Modelin dışında bıraktıkları

• İndeksler, çoğaltma, yedekler ve büyüme payı. Bir pay ekleyin ve önceden karar verin.
• Telafi trafiği. Bağlantı kesintisinden sonra bir saklayıp-ilet ağ geçidi tamponunu yeniden oynatır; ağ ve veri tabanı kararlı hızın çok üzerinde bir ani yük görür. Buna göre planlayın.
• Sorgu yükü. Panolar ve analitik veriyi yazdığı kadar okur da.
• Lisans ve altyapı maliyeti. Hesaplayıcı yalnızca hacmi tahmin eder, fiyatı değil.

Historian ile veri gölü arasında seçim yapıyorsanız, ödünleşimler Historian ve veri gölü yazısında (İngilizce) ele alınır.