Datenprüfung

Waschprogramm für Wetterdaten

Eine zähe Hochnebeldecke liegt über dem Flachland und die Wetterstation auf dem Zürichberg meldet 29 Millimeter Niederschlag? Da scheint etwas nicht zu stimmen. Um Fehler in den Messreihen zu vermeiden, werden die Daten bei MeteoSchweiz laufend systematisch überprüft und wenn nötig korrigiert.

An einer Handvoll Stationen werden die Messdaten noch auf historische Art gesammelt:
Beobachter halten mehrmals täglich das Wettergeschehen fest und messen je nach Station die Niederschlagsmengen und die Schneehöhe. Das Messnetz der MeteoSchweiz generiert damit laufend eine Fülle von Daten.

Die Daten dienen als Grundlage für weitere Berechnungen:
Aus den Niederschlagswerten etwa, die alle 10 Minuten erfasst werden, können Stunden-, Tages-, Monats- und Jahressummen gebildet werden. Daraus wiederum lässt sich für einen bestimmten Monat der Tag mit der grössten Niederschlagssumme ermitteln. Oder man kann berechnen, ob und wie stark die Niederschlagsmenge eines bestimmten Jahres von der Norm abweicht.

Für die Aggregate ist die Qualität der Ausgangsdaten entscheidend: Sind nicht genügend gültige Werte vorhanden, kann die Aggregierung nicht durchgeführt werden. Denn Messfehler - zum Beispiel aufgrund eines defekten Sensors oder eines Stromausfalls in der Station - pflanzen sich durch die Berechnungskette fort. Fehlen in der Messreihe zu viele Werte, sind die Aggregate nicht mehr aussagekräftig.

Um eine solche Fehlerfortpflanzung zu vermeiden, führt MeteoSchweiz eine systematische Datenprüfung und -bearbeitung durch. Von der Erfassung am Sensor bis zur Klimareihe werden die Daten mit komplexen Tests und Verfahren mehrfach bereinigt. Dabei stehen zwei Aufgaben im Zentrum:

• Zum einen gilt es, falsche Werte in den Messreihen aufzuspüren und zu eliminieren.
• Zum anderen müssen Messlücken identifiziert und durch Interpolation wettgemacht werden.

Fehler in den Datenreihen lassen sich mit Hilfe von sogenannten Plausibilitätstests ermitteln. Dabei werden Extremwerte, Variabilität (Veränderlichkeit) und Konsistenz der Messungen überprüft.

• Bei einem physikalisch unmöglichen Wert - einer negativen Niederschlagsmenge beispielsweise - handelt es sich ganz klar um einen Fehler.
• Werden bestimmte klimatologische Grenzwerte überschritten, liegt der Verdacht nahe, dass etwas nicht stimmt: Kann es im März in Zürich über 25 Grad warm sein?
• Zweifel sind auch dann angezeigt, wenn ein Parameter - zum Beispiel die Temperatur - über einen längeren Zeitraum konstant bleibt oder sich innert Kürze sprunghaft verändert. Die Messungen müssen in diesem Fall aber nicht zwingend falsch sein. Bei Nebel beispielweise verändert sich die Temperatur nur minimal, wohingegen bei Föhn ein abrupter Wärmeeinbruch möglich ist.
• Meldet eine Station Niederschlag bei vollem Sonnenschein, sind die Daten offensichtlich nicht konsistent. Ein Hinweis auf einen Fehler, aber noch kein Beweis. In diesem Fall ist eine nähere Überprüfung angezeigt.

Rund 250 mathematisch definierten Tests werden die Messdaten unterzogen, wobei 98 Prozent der Werte keinen dieser Tests verletzen. Die restlichen 2 Prozent sind entweder falsch (physikalisch unmöglich) oder zweifelhaft (zu grosse oder zu kleine Variabilität, Inkonsistenz). Eindeutig falsche Werte werden automatisch aus der Datenreihe eliminiert. An klimatologisch relevanten Stationen werden die Werte der Kategorie "Zweifelhaft" manuell kontrolliert und, wenn für falsch befunden, ersetzt.