QA4Seas - Quality Assurance for Multi-model Seasonal Forecast Products

Projektanfang 01.07.2016
Projektende 30.09.2018
Themen Wetter
Region Welt
Status Abgeschlossene Projekte

Im Rahmen des Copernicus QA4Seas (Quality Assurance for Multi-model Seasonal Forecast Products, C3S_51 Lot3) Projekts der Europäischen Kommission wurde eine Strategie für die Evaluierung und Qualitätskontrolle (EQC) von saisonalen Multimodellvorhersagen des Copernicus Climate Change Service (C3S) entwickelt. Als Projektpartner war die MeteoSchweiz an verschiedenen Aufgaben des Projekts beteiligt, wobei die wissenschaftliche Analyse der durch C3S bereitgestellten saisonalen Vorhersagen im Zentrum stand.

QA4Seas (C3S 51 Lot3) in Kürze

Das Ziel des Copernicus Climate Change Service (C3S) der Europäischen Kommission ist sowohl die Anpassung an als auch die Vermeidung von Folgen des Klimawandels mittels Bereitstellung von verlässlichen Klimadaten und Informationen in Form einer  online verfügbaren Datenbank, dem Climate Data Store (CDS). Beobachtungen und Modellreanalysen von saisonalen Vorhersagen und Klimaprojektionen stellen Informationen über das vergangene, das gegenwärtige und das zukünftige Klima und den Klimawandel zur Verfügung. Die Verifikation und Qualitätskontrolle, die Informationen zur Qualität von allen Produkten liefern und sicherstellen, dass CDS Benutzer Zugang zu den von ihnen benötigten Daten haben, sind essentiell für den Erfolg von C3S. Antwortend auf die Bedürfnisse einer breiten Gruppe von Stakeholdern ist das Ziel des  QA4Seas (Quality Assurance for Multi-model Seasonal Forecast Products, C3S 51 Lot3) Projekts die Entwicklung einer Strategie für die Evaluierung und Qualitätskontrolle (EQC) von saisonalen Vorhersagen aus mehreren Modellen, die alle durch den CDS bereitgestellt werden. Hauptbestandteile des QA4Seas Projekts sind: a) eine Umfrage zur Abklärung der Bedürfnisse der CDS Nutzer, b) eine wissenschaftliche Untersuchung unterschiedlicher Qualitätsmerkmale der saisonalen Vorhersagen aus dem CDS, c) eine Analyse der wissenschaftlichen und technischen Lücken, d) die Entwicklung eines Prototypen des EQC Systems und e) die Entwicklung einer Lösung um Metadaten zur Vorhersage-/Produktherkunft bereitzustellen.

Beitrag von MeteoSchweiz – wissenschaftliche Analyse der saisonalen Vorhersagen

Die Vorhersagegüte saisonaler Vorhersagen ist limitiert und weist sowohl räumlich wie auch zeitlich (sowohl in Bezug auf den Vorhersagehorizont wie auch auf den Validierungszeitpunkt) und auch in Abhängigkeit von den betrachteten Variablen (z.B. Niederschlag oder Temperatur) und dem Vorhersagesystem eine starke Variabilität auf. Zudem wird die Güte von saisonalen Vorhersagen durch systematische Fehler weiter beeinträchtigt. Diese müssen korrigiert werden um nützliche Vorhersagen zu generieren. Im Rahmen dieser wissenschaftlichen Analyse wurden basierend auf einer ausführlichen Analyse von Re-Vorhersagen über den Zeitraum von 1993 bis 2014 der durch C3S zur Verfügung gestellten Vorhersagesysteme, nämlich die saisonalen Modelle des  Europäischen Zentrums für Mittelfristvorhersagen (EZMW), der Météo France und des UK Met Office, Empfehlungen entwickelt, wie solche Fehler korrigiert werden sollten. Saisonale Vorhersagen werden auf zwei unterschiedliche Arten kommuniziert. Die erste davon sind Ensemblevorhersagen, das heisst Wahrscheinlichkeitsvorhersagen von absoluten Werten (z.B. die Wahrscheinlichkeit, dass die Temperatur 18° C übersteigt). Die zweite beinhaltet multi-kategorische Wahrscheinlichkeitsvorhersagen, das heisst Vorhersagewahrscheinlichkeiten  relativ zu einer Referenzklimatologie (z.B. wärmer oder kälter als normal). Für letztere werden die aktuellen Vorhersagen mit einem Archiv von vergangenen Vorhersagen verglichen um die Wahrscheinlichkeiten für die verschiedenen Kategorien zu erhalten.

Bei den drei in QA4Seas betrachteten Variablen, Oberflächentemperatur, Meeresoberflächentemperatur und Niederschlag, führt Biaskorrektur zu einer deutlichen Verbesserung der Vorhersagegüte. Die Unterschiede zwischen den verschiedenen getesteten Biaskorrekturmethoden stellte sich als sehr klein heraus. Im Allgemeinen führte die Anwendung einfacher Korrekturansätze zu einer stärkeren Verbesserung der Vorhersagegüte als komplexere Methoden.  Dies lag wohl in erster Linie an der Kürze des Trainingszeitraums (1993-2014). Mit einer zusätzlichen Kombination der verschiedenen Modelle zu einem Multimodell, kann die Vorhersagegüte zwar nur leicht, aber in konsistenter Weise, weiter verbessert werden. In der linken Spalte der Abbildung wird  zuerst ein Beispiel einer saisonalen Multimodell Vorhersage für das El Niño Phänomen, welches sich durch positive Temperaturanomalien im tropischen Pazifik äussert, gezeigt. Darunter wird neben der Vorhersagegüte des saisonalen Modells des EZMW bevor jeglicher Nachbearbeitung sowie nach einer Biaskorrektur auch die Vorhersagegüte eine Multimodellkombination der drei Vorhersagemodelle, die im CDS verfügbar waren, gezeigt.

Resultierend aus dieser wissenschaftlichen Analyse, empfehlen wir Ensemblevorhersagen und multi-kategorische Wahrscheinlichkeitsvorhersagen unterschiedlich zu behandeln. Während für erstere eine Biaskorrektur zwingend ist, kann für letztere auf die Biaskorrektur verzichtet werden, da diese durch die Berechnung der Kategoriewahrscheinlichkeiten relativ zur Referenzklimatologie auf implizite Weise korrigiert werden. Des Weiteren erfordern die Unterschiede zwischen den zwei Vorhersageprodukten auch verschiedene Ansätze für die Multimodellkombination. Multi-kategorische Wahrscheinlichkeitsvorhersagen können direkt durch einer Berechnung des (gewichteten) Mittels der Vorhersagewahrscheinlichkeiten der einzelnen Modelle kombiniert werden. Multimodellensemble Vorhersagen hingegen können einerseits durch einfaches Zusammenwürfeln der Ensemblemitglieder der verschiedenen Modelle oder andererseits durch aufwändigere Methoden basierend auf Mischungsverteilungen konstruiert werden. Die Grafiken auf der rechten Seite der Abbildung zeigen die multi-kategorische Entsprechung des Beispiels, das im letzten Abschnitt für Ensemblevorhersagen eingeführt wurde.

Die Analysen, die im Rahmen von QA4Seas durchgeführt wurden, brachten die Qualität sowie Stärken und Schwächen der saisonalen Vorhersagemodelle und der darauf basierenden Multimodelle zum Vorschein.  MeteoSchweiz stellt basierend auf dem saisonalen Ensemble des EZMW multi-kategorische Wahrscheinlichkeitsvorhersagen der Temperatur für die West-, Nordost- und die Südschweiz öffentlich zur Verfügung. Die Resultate von QA4Seas bestätigen diese Praxis. Abgesehen vom Wechsel auf eine Multimodellvorhersage zur Berechnung der multi-kategorischen Wahrscheinlichkeiten, ist nicht zu erwarten, dass die saisonalen Vorhersagen durch komplizierte Ansätze nennenswert verbessert werden können.

Abbildungen der Vorhersagegüte verschiedener Vorhersageprodukte.
Illustration der Erzeugung von saisonalen Vorhersageprodukten. Erste Zeile: Beispiel einer Niño3.4 Multimodellvorhersage (EZMW, UK Met Office und Météo France) initialisiert im November 2013. Zweite Zeile: Vorhersagegüte der rohen Ensemblevorhersagen berechnet mittels probabilistischer Verifikationsmassen (CRPSS für kontinuierliche Ensemblevorhersagen und RPSS für multi-kategorische Wahrscheinlichkeitsvorhersagen). Dritte Zeile: Vorhersagegüte der rekalibrierten, d.h. biaskorrigierten, Ensemblevorhersagen. Die multi-kategorischen Wahrscheinlichkeitsvorhersagen sind auf implizite Weise schon rekalibriert. Vierte Zeile: Vorhersagegüte der Multimodellvorhersagen. Sowohl CRPSS wie auch RPSS sind positiv orientiert, d.h. grössere Werte widerspiegeln eine bessere Vorhersagegüte, wobei eine perfekte Vorhersage einen Wert von Eins hätte und Werte unter null die Folge von Vorhersagen sind, die eine schlechtere Vorhersagegüte aufweisen als die Referenzklimatologie.