Datenintegration

Im Data Warehouse von MeteoSchweiz werden verschiedenste Messdaten aus zahlreichen Quellen zusammengeführt, vereinheitlicht und zueinander kompatibel gemacht. Diese Integration schafft die Basis, um die Daten anschliessend aufbereiten, speichern und analysieren zu können.

Täglich werden im Data Warehouse von MeteoSchweiz über 100 Millionen Datensätze verarbeitet. Diese Messdaten stammen aus verschiedenen Quellen und liegen in verschiedenen Arten und Formaten vor. Aufgabe der Datenintegration ist es, die verschiedenen Messdaten zusammenzuführen und zu vereinheitlichen. Auf diese Weise können sie langfristig und in einheitlicher Form gespeichert werden und sind für die unterschiedlichsten Auswertungen verfügbar.

Datenquellen

MeteoSchweiz erhebt nur einen Teil der ankommenden Daten selbst. Mehr als 60 verschiedene Datenquellen beliefern das Data Warehouse. Zusätzlich zu den Messdaten der automatischen Bodenstationen von MeteoSchweiz (SwissMetNet) werden viele Punktmessdaten von kantonalen oder anderen öffentlichen Messnetzen empfangen.

Datenarten

Die Daten, die in das Data Warehouse einfliessen, werden auf unterschiedliche Arten gewonnen. Sie stammen von Punktmessungen am Boden, Messungen der Atmosphäre als dreidimensionale Profildaten, von Wetterbeobachtungen, weiter von Flugwettermeldungen, von räumlich gleichmässig verteilten (oder auch gegitterten) Messungen wie Radardaten und interpolierte Daten sowie von Vorhersagen an konkreten Punkten.

Datenformate

Die unterschiedlichen Datenarten bedingen verschiedene Formate. Punktdaten liegen meistens als decodierte ACSII-Bulletins vor, Gitterdaten als netCDF-Dateien. Im Data Warehouse können sehr viele weitere Formate importiert werden. Für zahlreiche Formate (unter anderem email, text, xls, csv und xml) gibt es anpassbare, beliebig erweiterbare Konvertierungsprozeduren. Damit erhält die Dateninfrastruktur eine grosse Flexibilität.