Le attività si concentrano sul confronto, la selezione, l’ottimizzazione e la validazione di modelli di trasferimento radiativo veloce (RTTOV e sigma-FORUM) rispetto al modello line-by-line, a supporto dello sviluppo di metodologie di assimilazione dei dati per le future osservazioni satellitari nei sistemi di previsione numerica del tempo.
WP-1500.1 e WP-1500.2
L’obiettivo principale delle due attività era quello di consentire all’infrastruttura EMM di condurre studi di impatto ed eseguire simulazioni end-to-end di missioni spaziali esistenti e future dedicate al sondaggio remoto dell’atmosfera terrestre. L’obiettivo è stato perseguito attraverso due interventi: da un lato, sono state acquisite adeguate risorse di calcolo ad alte prestazioni. Dall’altro, sono stati installati, caratterizzati e potenziati alcuni moduli software open source rilevanti per costruire un set di strumenti adatti a svolgere gli studi e le simulazioni citati.
Hardware
L’hardware ora disponibile presso l’Area di Ricerca del CNR a Sesto Fiorentino (FI), centro di calcolo INO, include:
- Cluster per calcolo parallelo (448 core a 2,85 GHz, 2048 Gb di RAM)
- Server ottimizzato per l’elaborazione sequenziale (96 core a 3,6 GHz, 768 GB di RAM)
- Sistema di archiviazione da 450 TB, ridondato
- Rete interna del rack a 200 Gb/s, UPS
Inoltre, ai fini dello sviluppo e della sperimentazione, il CNR-IAC ha acquistato un server Dell R940 – NVME dotato di quattro processori Xeon Gold 6252N, ciascuno con 24 core, e 1 TB di RAM.
Software:
Il software open source disponibile, installato e caratterizzato, comprende diversi modelli di trasferimento radiativo, tra cui:
- Il modello accurato KLIMA sviluppato e gestito presso il CNR-IFAC (vedi Del Bianco, S.; Carli, B.; Gai, M.; Laurenza, L.M.; Cortesi, U. XCO2 recuperato da IASI utilizzando l’algoritmo KLIMA. Ann. Geophys., 56. https://doi.org/10.4401/ag-6331, 2014)
- Il modello di trasferimento radiativo veloce per TOV (RTTOV, https://nwp-saf.eumetsat.int/site/software/rttov/) con la sua variante iper-veloce che utilizza l’analisi delle componenti principali (PC-RTTOV).
- Il codice σ-IASI/F2N sviluppato presso le Università della Basilicata e di Bologna (https://zenodo.org/records/7019991)
- Il modello di trasferimento radiativo rapido (RRTM) http://rtweb.aer.com/rrtm_frame.html sviluppato dalla società AER negli Stati Uniti
- Lo schema di radiazione eCrad dell’ECMWF (https://confluence.ecmwf.int/display/ECRAD)
- Il CLAIM (Clouds and Atmosphere Inversion Module), il codice di inversione del progetto Far-Infra-Red Outgoing Radiation Understanding and Monitoring – End-to-End simulator (FORUM E2E) (https://amt.copernicus.org/articles/15/573/2022/) , basato sul Line-by-line Radiative Transfer Module (LBLRTM) (https://github.com/AER-RC/LBLRTM) e sul DIScrete Ordinate Radiative Transfer (DISORT) (http://www.rtatmocn.com/disort). La figura seguente mostra esempi di radianze simulate risolte spettralmente alla sommità dell’atmosfera (TOA), per atmosfere con cielo sereno e nuvoloso.
Inoltre, nell’ambito del progetto infrastrutturale, abbiamo anche sviluppato strumenti per il calcolo dei flussi spettrali
(integrazione angolare della radianza spettrale) e strumenti per le convoluzioni con la funzione di risposta spettrale degli strumenti.
Confronto tra modelli di trasferimento radiativo veloce
Gli strumenti di trasferimento radiativo installati presso il centro di calcolo del CNR-INO sono stati valutati sia dal punto di vista della precisione che della velocità. La precisione dei modelli è stata valutata confrontando le radianze spettrali o i flussi specifici per banda con calcoli analoghi effettuati utilizzando il modello KLIMA, lento ma accurato.
Le figure sopra riportate mostrano alcuni esempi dei risultati dei confronti incrociati tra RTTOV e KLIMA e tra σ-IASI/F2N e KLIMA, rispettivamente. I due codici sono stati analizzati anche dal punto di vista algoritmico. Le caratteristiche dei due codici sono riassunte nella tabella seguente.
| Caratteristica | RTTOV | σ-IASI/F2N |
| Sviluppo | Grande team di sviluppo e comunità. Già utilizzato in modelli meteorologici. | Piccola comunità e team di sviluppo, quasi interamente italiano. |
| Algoritmo (cielo sereno) | Completamente parametrico | Sviluppo in serie |
| Algoritmo (cielo nuvoloso) | Completamente parametrico | Modelli fisici Chu+Tang |
| Prodotto | Radianza strumentale | Radianza ad alta risoluzione e radianza strumentale dopo convoluzione con l’ISRF |
| Numero di gas variabili | A seconda dei predittori. Max 7 per la maggior parte degli strumenti. | Max 12 gas. |
| Accuratezza | Per FORUM: circa 100% dell’ARA | Per FORUM: circa 40% dell’ARA. |
| Inserimento in un modello climatologico o meteorologico | Semplice. | Solo come eseguibile esterno. |
| RT di singoli canali spettrali | SÌ | NO |
| Ottimizzazione numerica | Già eseguita | Ampio margine |
| Ulteriore ottimizzazione | Utilizzando la versione PC-RTTOV | Ampio margine |
La caratteristica più importante è la possibilità di eseguire il trasferimento radiativo su singoli canali, aspetto essenziale nell’assimilazione. Il codice RTTOV è in grado di farlo, poiché la convoluzione con l’ISRF è già integrata nella tabella dei coefficienti pre-registrati, mentre il σ-IASI/F2N richiede l’esecuzione di una convoluzione, per cui è necessario un intero intervallo di frequenze. L’RTTOV può essere ulteriormente ottimizzato utilizzando la versione PC-RTTOV di Matricardi (https://rmets.onlinelibrary.wiley.com/doi/10.1002/qj.680). Il PC-RTTOV è in grado di ricostruire uno spettro IASI completo (8461 canali spettrali) utilizzando solo un sottoinsieme di canali (chiamati scores) e un’operazione lineare. Nella figura sottostante riportiamo l’errore relativo alla ricostruzione spettrale completa utilizzando 50, 200 e 300 scores, rispetto al rumore di misura di IASI.
Il tempo di calcolo di PC-RTTOV utilizzando 200 scores è circa 1/10 di quello del trasferimento radiativo completo effettuato con RTTOV.
Flussi in uscita a onda lunga
Anche le radianze spettrali prodotte da KLIMA e σ-IASI/F2N sono state integrate angolarmente (con uno strumento di nuova concezione) per ottenere i flussi di energia in direzione discendente e ascendente in specifiche bande spettrali. I flussi ottenuti sono stati poi confrontati con quelli generati dai codici RRTM ed eCrad.
Ecco un esempio del confronto incrociato tra i flussi derivati da KLIMA e RRTM. Pur essendo più veloce di KLIMA di diversi ordini di grandezza, RRTM fornisce flussi totali a onda lunga con una precisione dell’ordine di 1-2 W/m2.
Confronto delle velocità di calcolo
La tabella seguente riassume i tempi di calcolo richiesti dai codici di trasferimento radiativo che calcolano le radianze risolte spettralmente (KLIMA, σ-IASI/F2N e RTTOV).
Codice RTM | Tempo trascorso | Tempo CPU |
| KLIMA | ~ 1200 ore | 43,2 * 105 s |
| SIGMA-IASI | 104 s | 45 s |
| RTTOV | 8,6 s | 7,6 s |
I codici RRTM ed eCrad calcolano solo i flussi integrati per banda e quelli totali e sono solitamente integrati in modelli globali che li richiamano miliardi di volte nel corso di una singola esecuzione del modello. Pertanto, sebbene siano meno precisi, questi codici sono di gran lunga più veloci sia di RTTOV che di σ-IASI/F2N.
Applicazioni e know-how
Utilizzando i modelli di trasferimento radiativo caratterizzati descritti in precedenza, siamo in grado di costruire la catena end-to-end (E2E) (dall’acquisizione dei dati ai prodotti geofisici di Livello 2) per la simulazione di missioni di telerilevamento passivo atmosferico. La simulazione E2E permette di caratterizzare la qualità del prodotto in funzione delle caratteristiche di misura, risultando quindi estremamente utile per definire i requisiti nelle fasi iniziali di una nuova missione.
Al contrario, date l’accuratezza, la precisione e le specifiche geometriche di una missione futura o già in corso, possiamo valutare le informazioni contenute nelle misurazioni e la possibilità di ricavare nuovi prodotti geofisici.
Metodi di Intelligenza Artificiale
A causa del grande volume di dati attesi dai sensori di prossima generazione, sono stati proposti nuovi approcci di machine learning (ML). Sebbene questi approcci debbano basarsi su modelli fisici durante la fase di addestramento, gli algoritmi stessi, tipicamente basati su architetture come le reti neurali, apprendono una relazione funzionale direttamente dai risultati generati in precedenza per problemi identici o simili. In linea di principio, i metodi di ML possono sostituire qualsiasi procedura basata sulla fisica completa. Tuttavia, nel campo del telerilevamento, la ricerca si è concentrata principalmente su tre aree di applicazione:
- Classificazione delle scene, come la distinzione tra condizioni di cielo sereno e nuvoloso, o la stima di indici relativi all’omogeneità della scena e alla nuvolosità.
- Il modello diretto, ovvero la previsione di uno spettro a partire da un dato stato atmosferico noto (trasferimento radiativo, RT).
- Il problema inverso, ovvero il recupero dello stato atmosferico dalle misurazioni (retrieval).
La classificazione delle scene è importante perché la presenza di nubi richiede l’uso di modelli di trasferimento radiativo che tengano conto della diffusione multipla. Gli strumenti moderni sono spesso integrati con sensori ausiliari per l’analisi del campo di vista, e alcuni strumenti sono progettati specificamente per il rilevamento e la caratterizzazione delle nubi. Una sfida importante per gli approcci di ML applicati al problema del RT è la maledizione della dimensionalità. Uno stato atmosferico può essere descritto da centinaia di parametri, mentre la radianza spettrale corrispondente può consistere di migliaia di canali. Nei modelli fisici, le correlazioni tra i canali spettrali sono intrinsecamente rappresentate. Al contrario, i modelli di ML devono apprendere queste correlazioni dal set di dati di addestramento, un compito impegnativo. Per il problema dell’inversione , la difficoltà principale risiede nella natura mal posta del problema stesso. I metodi di inversione di tipo fisico affrontano questo problema attraverso tecniche di regolarizzazione, come la riduzione della dimensionalità, utilizzando l’Analisi delle Componenti Principali (PCA), o vincolando le soluzioni verso una stima a priori climatologica. Gli approcci ML devono incorporare strategie simili, sia apprendendo una regolarizzazione appropriata dal set di dati di addestramento, sia proiettando sia gli stati atmosferici che le radianze in spazi a dimensionalità inferiore (spazi latenti) e apprendendo le relazioni tra queste rappresentazioni (ad esempio, approcci di gemelli latenti). Sebbene i metodi di ML offrano un’inferenza molto veloce una volta addestrati, la loro accuratezza di nell’inversione è ancora generalmente inferiore a quella raggiunta dagli approcci di tipo fisico. La ricerca in corso mira a migliorarne la precisione, rendendoli potenzialmente una valida alternativa a metodi più onerosi dal punto di vista computazionale.
WP-1500.3 – Assimilazione dati di future osservazioni nei modelli meteorologici
Finalità scientifica e infrastrutturale:
Nuove osservazioni, soprattutto in bande spettrali ancora poco esplorate, permettono di caratterizzare l’atmosfera in modo più accurato dal punto di vista fisico e di studiarne la dinamica e le interazioni all’interno di un sistema climatico complesso e in evoluzione. L’assimilazione di queste misure nei modelli meteorologici è fondamentale per ridurre le incertezze nelle condizioni iniziali che influenzano fortemente l’accuratezza delle previsioni. Questo è particolarmente rilevante in un contesto di crescente variabilità climatica, in cui gli eventi estremi risultano sempre più frequenti e difficili da prevedere.
Il modulo mette a disposizione procedure e metodologie avanzate tramite l’implementazione di un’infrastruttura di High-Performance Computing (HPC) finalizzata allo sfruttamento di nuove misure osservative, principalmente satellitari, all’interno di Modelli Numerici di Previsione meteorologica (NWP).
Inquadramento nella componente EMN:
Il modulo è parte della componente infrastrutturale, finalizzata allo sviluppo e all’implementazione di capacità di High-Performance Computing (HPC) a supporto della simulazione atmosferica per scopi meteo climatici. Si colloca nel dominio delle attività di integrazione tra osservazioni e modellistica numerica, con particolare riferimento all’assimilazione di dati satellitari di nuova generazione all’interno dei modelli di previsione numerica. Il modulo abilita la sperimentazione OSSE (Observing System Simulation Experiment) per le nuove piattaforme osservative e supporta lo sviluppo e l’ottimizzazione di metodologie di Data Assimilation (DA), per lo sfruttamento efficiente di grandi volumi di dati osservativi e la loro integrazione nei modelli. Fornisce capacità operative per la gestione, il processamento e l’analisi di dataset complessi, supportando cicli di simulazione ad alta risoluzione e la strutturazione di sistemi di previsioni più accurata. In questo contesto, il modulo integra anche tecniche avanzate di Intelligenza Artificiale (AI), finalizzate al miglioramento dei processi di assimilazione e alla riduzione dei costi computazionali.
Contributo del modulo all’infrastruttura EMN:
Il modulo supporta l’integrazione con le altre componenti di modellistica EMN, fornendo capacità avanzate di Data Assimilation in particolare per gli studi di impatto di future osservazioni, in particolare satellitari, nei modelli previsionali. Supporta inoltre l’applicazione di tecniche di Machine Learning e Artificial Intelligence (AI) per la modellistica meteo-climatica. Attraverso l’impiego di infrastrutture di High-Performance Computing, abilita simulazioni locali o globale, su molteplici scale spaziali e temporali. Rappresenta quindi un nodo strategico per l’integrazione tra osservazioni e modellistica avanzata, contribuendo al miglioramento delle dei sistemi di previsione meteorologica, con impatti rilevanti anche nella comprensione e la previsione dei cambiamenti ambientali.


WP-1500.4
Development and implementation of an ensemble data assimilation system for limited area models
