Sensör CSV dosyasını okumak: analitikten önce aykırı değer, kayma ve düz çizgi

Grafikle değil, dosyayla başlayın

Bir trend grafiği ikna edicidir; tam da bu yüzden ikinci sırada gelmelidir. Herhangi bir şey çizmeden önce dosyanın kendisini kontrol edin. Kötü analitiğin çoğu, hiç incelenmemiş bir dosyayla başlar.

• Sütunlar ve birimler. Hangi sütun ölçümdür? Birimi nedir ve birim bir yerde yazılı mı? value gibi bir başlık hiçbir şey söylemez.
• Zaman damgası biçimi ve saat dilimi. Ofsetli veya UTC işaretli ISO 8601 mi, Unix zamanı mı (saniye mi, milisaniye mi?) yoksa saat dilimi olmayan yerel saat mi? Ofseti olmayan yerel saat, saatler değiştiğinde yılda iki kez belirsizleşir.
• Satır sayısı ve zaman aralığı. Satır sayısı, örnekleme aralığı ile zaman aralığının çarpımına uyuyor mu? Eksik varsa boşluk vardır.
• Makul aralık. En küçük ve en büyük değeri sensörün fiziksel olarak ölçebileceği aralıkla karşılaştırın.

Eksik, yinelenen ve düzensiz örnekler

Ardışık zaman damgaları arasındaki farkı hesaplayın ve yalnızca ortalamaya değil dağılıma bakın. Temiz bir saniyelik sinyalin aralığı neredeyse her yerde 1 sn’dir. Bunun yerine şunlarla karşılaşabilirsiniz:

• Aralığın dakikalara veya saatlere sıçradığı boşluklar: iletişim kesintisi veya durmuş bir kaydedici.
• Aralığın sıfır olduğu yinelenenler: yeniden bağlantıdan sonra tekrar oynatılan bir tampon.
• Geriye doğru adımlar dahil zaman sıçramaları: saat düzeltmesi veya yaz saati değişikliği.

Düzenli bir ızgara varsayan herhangi bir hesaplamadan önce her durumun nasıl ele alınacağına (doldur, enterpole et, eksik işaretle) karar verin.

Aykırı değerler: z-skoru ve sınırları

z-skoru, bir değerin ortalamadan kaç standart sapma uzakta olduğunu ölçer: z = (x − ortalama) ÷ standart sapma. Yaygın bir kural ±3’ün ötesindeki değerleri işaretler. Sensör verisi analizi aracında sigma eşiğini kendiniz belirler, süzülmüş tabloda her değerin z-skorunu ve durumunu görür ve sonucu dışa aktarırsınız.

Yöntemin bilinen bir zayıflığı vardır: ortalama ve standart sapma, bulmaya çalıştığınız aykırı değerlerden etkilenir ve büyük bir sıçrama standart sapmayı kendini gizleyecek kadar şişirebilir. Dayanıklı alternatifler medyanı ve çeyrekler açıklığını (IQR) kullanır (Q1 − 1,5 × IQR’nin altındaki veya Q3 + 1,5 × IQR’nin üstündeki değerleri işaretler). Sonuç önemliyse birden fazla yöntem kullanın.

Aykırı değer yalnızca veri hakkında bir ifadedir, proses hakkında değil. Bir basınç sıçraması arızalı bir transmitter de olabilir, gerçek bir su darbesi olayı da. Hangisi olduğuna karar vermeden önce komşu sinyallere ve bakım kaydına bakın.

Kayma: taban çizgisi yavaşça hareket ettiğinde

Kayma, tek tek değerlerin göstermediği yavaş ve sürekli bir değişimdir. Pencereleri karşılaştırdığınızda ortaya çıkar: ilk saatin ortalamasına karşı son saatin ortalaması veya uzun bir pencerede kayan ortalama. Tipik nedenler sensör yaşlanması, kirlenme, elektronik üzerindeki sıcaklık etkileri ve süresi geçmiş bir kalibrasyondur. Aynı büyüklüğün ikinci, bağımsız bir ölçümü varsa ikisi arasındaki farkı çizin: giderek açılan bir fark, ikisinden birindeki kaymanın en net işaretidir.

Düz çizgiler ve donmuş değerler

Değişmeyi bırakan bir sinyal, sıçrayan bir sinyal kadar şüphelidir. Gerçek proses değişkenleri uzun süre birebir aynı değeri nadiren verir; gürültünün normal olduğu yerde tekrarlanan bir değer dizisi çoğu zaman şu anlama gelir:

• iletişim bağlantısı koptu ve son değer tutuluyor;
• sensör arızalandı veya bir sınırda takılı kaldı;
• bir ölçekleme veya eşleme hatası sabit bir değer besliyor.

Bunu, aynı değerlerin ardışık dizilerinin uzunluğunu ölçerek veya kayan bir pencerede sıfıra yakın varyans arayarak tespit edin. Set değeri veya sayısal durum gibi tasarım gereği sabit sinyallere dikkat edin ve “fazla düz”ün ne demek olduğuna sinyal bazında karar verin.

Temizlemeden önce karar verin

• Silmeyin, işaretleyin. Satırları kaldırmak yerine bir kalite sütunu ekleyin; böylece karar gözden geçirilebilir.
• Ham dosyayı saklayın. Bir kopya üzerinde çalışın ve kullandığınız filtre parametrelerini yazın.
• Kuralı açık yazın. “3σ’nın ötesindeki her şeyi kaldır” bir sinyal için doğru, diğeri için yanlış olabilir.

Önce sentetik veriyle deneyin

Gerçek tesis verisi olmadan pratik yapmak isterseniz sensör verisi üretecinde gürültü ve eğilim içeren çok kanallı bir dosya oluşturun, analiz aracına yükleyin ve yukarıdaki sorunlardan hangilerini bulabildiğinize bakın. Bunun neden önemli olduğunu daha geniş görmek için analitikten önce sensör veri kalitesi ve üretim zaman serileri için veri kalitesi (İngilizce) yazılarını okuyun.