Datenaufbereitung

Datenaufbereitung Im Data Warehouse von MeteoSchweiz werden Messdaten für die Anwender aufbereitet und laufend systematisch überprüft. Messlücken werden gefüllt, zusätzliche Grössen berechnet und Korrekturen vorgenommen. Diese Qualitätsprüfung läuft in verschiedenen Schritten ab.

Im Data Warehouse (DWH) werden alle Messdaten zusammengeführt, um sie langfristig und in einheitlicher Form zu speichern. Sind die Daten einmal im DWH gespeichert, durchlaufen sie verschiedene Aufbereitungsprozesse. Je älter die Messdaten sind, desto mehr Berechnungen, Qualitätsprüfungen und Änderungen sind ausgeführt worden. Dabei durchläuft nicht jede Datenreihe den kompletten Aufbereitungsprozess, vielmehr hängt es von der Nutzung der Daten ab, welches genaue Bearbeitungsprogramm durchgeführt wird. Die wichtigsten Aufbereitungsschritte bestehen darin, zusätzliche Grössen zu berechnen, Messlücken zu füllen und Korrekturen vorzunehmen.

Berechnung

  • Zeitlich: Aus Werten, die alle zehn Minuten erfasst werden, können Stunden-, Tages-, Monats- oder Jahreswerte berechnet werden.
  • Räumlich: Für ein definiertes Gebiet werden aus darin liegenden Messstationen Werte einbezogen und ein Gebietswert berechnet.
  • Zusätzliche Grössen: Weitere Grössen wie Föhnindex, aktuelle Wettercodes, relative Luftfeuchtigkeit oder Luftdruck reduziert auf Meereshöhe werden berechnet.

Lücken füllen

  • Manuell: bestimmte Lücken können durch Kenntnis der Wettersituation von Hand gefüllt werden. Die ergänzten Werte bekommen eine Markierung, damit später nachvollziehbar bleibt, wie der Wert entstanden ist und später noch hinterfragt werden kann.
  • Automatisch: kürzere zeitliche Messlücken an einer Station werden mit einem Interpolationsverfahren automatisch gefüllt. Auch diese erhalten eine Markierung. Die zulässige Lückengrösse hängt von der Messgrösse ab. Beim Luftdruck etwa können längere Lücken automatisch geschlossen werden, anders als beim Niederschlag, da Luftdruck räumlich und zeitlich weniger variiert als Niederschlag.

Korrektur von falschen oder nicht plausiblen Messwerten

Die Messdaten werden im DWH rund 250 mathematisch definierten Tests unterzogen. Im Schnitt sind rund zwei Prozent der Werte entweder falsch oder zweifelhaft. Eindeutig falsche Werte werden automatisch aus der Datenreihe eliminiert und, falls möglich, von Hand korrigiert. Unwahrscheinliche Messwerte werden automatisch markiert und manuell nachgeprüft.

  • Liegt ein physikalisch unmöglicher Wert vor (etwa eine negative Niederschlagsmenge), handelt es sich eindeutig um einen Fehler.
  • Werden bestimmte klimatologische Grenzwerte überschritten (wenn zum Beispiel im Februar in Zürich eine Temperatur von 25 °C angegeben wird), liegt der Verdacht nahe, dass ein Messfehler vorliegt.
  • Zweifel sind auch angezeigt, wenn ein Parameter, zum Beispiel die Temperatur, über einen längeren Zeitraum konstant bleibt oder sich innert Kürze sprunghaft verändert. Allerdings sind solche Messungen nicht zwingend falsch: Etwa bei Nebel verändert sich die Temperatur nur minimal, wohingegen bei Föhn ein abrupter Wärmeeinbruch möglich ist.
  • Sind verschiedene Parameter nicht konsistent (etwa wenn eine Station Niederschlag und gleichzeitig Sonnenschein meldet), ist dies ein Hinweis auf einen Fehler und die Daten werden näher überprüft.

Langfristige Korrektur (Homogenisierung)

Für ausgesuchte und sehr bedeutende Messreihen wird Monate bis Jahre nach der Messung eine Homogenisierung durchgeführt. Hier werden aus den Messreihen systematische Messfehler und Datensprünge herausgerechnet und korrigiert. Diese können durch Stationsverschiebungen, Messgerätfehler oder Messgerätwechsel entstehen. Nach dieser Behandlung haben die Daten das höchste Qualitätsniveau erreicht.