黃小猛 林巖鑾 熊巍 李佳皓 潘建成 周勇
摘要 數(shù)值預(yù)報(bào)是研究地球系統(tǒng)的重要工具,有助于加深科學(xué)家對(duì)大氣、海洋、氣候和環(huán)境等復(fù)雜系統(tǒng)之間相互作用和變化過(guò)程的理解,在防災(zāi)減災(zāi)、氣候變化和環(huán)境治理等方面發(fā)揮著不可或缺的作用。隨著模式復(fù)雜度和分辨率的提高,傳統(tǒng)數(shù)值模式在氣候變化研究和氣候預(yù)測(cè)方面取得了迅速的進(jìn)展,但也面臨一些挑戰(zhàn),需要得到數(shù)據(jù)同化、集合耦合、高性能計(jì)算和不確定性分析等多方面的支持。而近年來(lái),“AI+氣象”的交叉研究在氣象領(lǐng)域引起了廣泛關(guān)注。基于多種深度學(xué)習(xí)架構(gòu)的人工智能大模型,依托強(qiáng)大的計(jì)算資源和海量的數(shù)據(jù)進(jìn)行訓(xùn)練,能夠以新的科學(xué)范式進(jìn)行高效數(shù)值預(yù)報(bào)。氣象大模型不斷涌現(xiàn),一些科技公司如華為、英偉達(dá)、DeepMind、谷歌、微軟等,以及國(guó)內(nèi)外高校如清華大學(xué)、復(fù)旦大學(xué)、密歇根大學(xué)、萊斯大學(xué)等發(fā)布了多個(gè)涵蓋臨近預(yù)報(bào)、短時(shí)預(yù)報(bào)、中期預(yù)報(bào)和延伸期預(yù)報(bào)等不同領(lǐng)域的氣象大模型。這標(biāo)志著人工智能與氣象領(lǐng)域的交叉融合已經(jīng)達(dá)到新的高度。盡管氣象大模型在現(xiàn)階段取得了較大突破,但其發(fā)展仍然面臨弱可解釋性、泛化能力不足、極端事件預(yù)報(bào)強(qiáng)度偏低、智能預(yù)報(bào)結(jié)果過(guò)平滑、深度學(xué)習(xí)框架能力需要拓展等諸多挑戰(zhàn)。
關(guān)鍵詞數(shù)值預(yù)報(bào);地球系統(tǒng)模式;深度學(xué)習(xí);氣象大模型
作為國(guó)家防災(zāi)減災(zāi)的重要保障,數(shù)值預(yù)報(bào)技術(shù)正在迅速發(fā)展。一方面,傳統(tǒng)的物理天氣氣候模式正在快速發(fā)展,并逐步過(guò)渡到地球系統(tǒng)模式。另一方面,人工智能大模型在天氣預(yù)報(bào)領(lǐng)域取得了突飛猛進(jìn)的進(jìn)展,呈現(xiàn)出一種互相追趕的態(tài)勢(shì)。本文將總結(jié)國(guó)際和國(guó)內(nèi)在傳統(tǒng)數(shù)值預(yù)報(bào)模式和氣象大模型兩方面的最新進(jìn)展,并展望未來(lái)的發(fā)展。
1 地球系統(tǒng)模式
地球系統(tǒng)數(shù)值預(yù)報(bào)是當(dāng)今世界公認(rèn)最為重要的地球系統(tǒng)研究工具,是開(kāi)展防災(zāi)減災(zāi)、氣候變化和環(huán)境治理等科學(xué)研究不可缺少的手段。基于地球系統(tǒng)框架下的無(wú)縫隙多尺度天氣氣候一體化預(yù)報(bào)技術(shù)是數(shù)值預(yù)報(bào)的核心攻關(guān)任務(wù)(Brunet et al.,2015;Ruti et al.,2020;Ren et al.,2023)。地球系統(tǒng)模式由氣候系統(tǒng)模式發(fā)展而來(lái),是氣候系統(tǒng)模式在深度和廣度上的拓展。傳統(tǒng)的氣候系統(tǒng)模式主要包含大氣、陸面、海洋、冰凍圈(海冰和冰蓋)等分量模式,主要用于模擬和理解過(guò)去、現(xiàn)在和未來(lái)氣候背景下氣候系統(tǒng)各個(gè)圈層相互作用的物理規(guī)律,包括重大天氣和氣候?yàn)?zāi)害的預(yù)測(cè)和機(jī)理研究,全球能量和水分循環(huán)、海洋環(huán)流和海冰演變等(王斌等,2008;王會(huì)軍等,2014)。氣候系統(tǒng)模式構(gòu)成了地球系統(tǒng)模式的基本框架,后者在氣候系統(tǒng)模式基礎(chǔ)上擴(kuò)展了大氣化學(xué)、生物地球化學(xué)和人類活動(dòng)影響等過(guò)程以及以上過(guò)程之間的相互作用(Randall et al.,2019)。歐美發(fā)達(dá)國(guó)家已開(kāi)啟以地球系統(tǒng)模式為目標(biāo)的下一代數(shù)值模式研發(fā)。隨著科學(xué)技術(shù)的發(fā)展,對(duì)大氣、海洋、地質(zhì)和生態(tài)等各個(gè)分系統(tǒng)的研究不斷深入,越來(lái)越傾向于將地球系統(tǒng)作為一個(gè)有機(jī)整體進(jìn)行研究。
全球各模式中心的氣候系統(tǒng)模式和地球系統(tǒng)模式基本都參與了最近一次的CMIP6(Eyring et al.,2016)。參與CMIP6的模式有兩個(gè)特點(diǎn):一是大氣和海洋模式的分辨率明顯提高,大氣模式的最高水平分辨率達(dá)到了全球25 km,海洋模式達(dá)到10 km。二是更多的、更復(fù)雜的地球系統(tǒng)模式參與其中,考慮的過(guò)程更為復(fù)雜,以包含碳氮循環(huán)過(guò)程的地球系統(tǒng)模式為主,許多模式實(shí)現(xiàn)了大氣化學(xué)過(guò)程的雙向耦合,包含了與冰蓋和多年凍土的耦合作用。參與CMIP6的近60個(gè)模式中,命名為地球系統(tǒng)模式(Earth System Model,ESM)的模式超過(guò)40個(gè)。這些模式包含了氣溶膠、大氣化學(xué)、陸冰、陸面和海洋生化過(guò)程的一個(gè)或多個(gè)分量。
1.1 發(fā)展現(xiàn)狀
這里簡(jiǎn)要總結(jié)IPCC AR6 報(bào)告(IPCC,2021)之后全球天氣氣候及地球系統(tǒng)模式的發(fā)展現(xiàn)狀和趨勢(shì)。整體來(lái)看,傳統(tǒng)的天氣氣候模型正在快速發(fā)展,向包含海洋、海冰、生物地球化學(xué)和大氣化學(xué)過(guò)程在內(nèi)的地球系統(tǒng)模式邁進(jìn)(Zhou et al.,2020)。同時(shí),越來(lái)越多的應(yīng)用開(kāi)始采用地球系統(tǒng)模式進(jìn)行天氣、氣候及生態(tài)預(yù)測(cè)。在這個(gè)過(guò)程中,出現(xiàn)了以下幾個(gè)趨勢(shì):
1)模式的復(fù)雜度和包含的分量模式和過(guò)程越來(lái)越多
針對(duì)不同的社會(huì)和科學(xué)需求,地球系統(tǒng)模式包含的分量模式和過(guò)程越來(lái)越多,同時(shí)復(fù)雜度也在不斷增加(Bonan and Doney,2018)。具體包括冰蓋模型的開(kāi)發(fā)以促進(jìn)海平面變化的預(yù)測(cè),陸面生態(tài)的模擬(如糧食產(chǎn)量預(yù)測(cè)),大氣污染的預(yù)測(cè)、碳氮循環(huán),以及古氣候模擬(研究氣候敏感度、非線性和轉(zhuǎn)折點(diǎn)等氣候突變事件)。另外,水和食物安全、生態(tài)脆弱性、土地利用變化,以及野火、沙塵暴等重要的氣候事件的預(yù)測(cè)也需要模型不斷加入新的過(guò)程和分量來(lái)滿足和提高相關(guān)方面的能力。
2)天氣氣候一體化融合發(fā)展
目前數(shù)值模式發(fā)展的國(guó)際主流趨勢(shì)是通過(guò)構(gòu)建一體化模式實(shí)現(xiàn)無(wú)縫隙模擬預(yù)報(bào)功能,以同時(shí)滿足不同時(shí)間和空間尺度的天氣-氣候預(yù)報(bào)預(yù)測(cè)的需求,可適用于數(shù)值天氣預(yù)報(bào)、季節(jié)預(yù)報(bào)和氣候模擬,預(yù)報(bào)時(shí)間從幾天到幾百年不等。同一個(gè)模式可應(yīng)用于不同尺度的預(yù)測(cè),其中物理參數(shù)化采用尺度自適應(yīng)的方式,實(shí)現(xiàn)不同尺度適配的物理過(guò)程。未來(lái)5~10 a,涵蓋天氣和氣候的無(wú)縫隙預(yù)測(cè)有望得到蓬勃發(fā)展,這要求模式的研發(fā)打破天氣和氣候之間的壁壘。另外一個(gè)趨勢(shì)是利用ESM開(kāi)展天氣預(yù)報(bào)和氣候預(yù)測(cè)的計(jì)劃開(kāi)始進(jìn)入各大模式中心(Delworth et al.,2020)。目前,利用ESM開(kāi)展天氣預(yù)報(bào)仍處于研發(fā)階段。例如,歐洲中期天氣預(yù)報(bào)中心(European Centre for Medium-Range Weather Forecasts,ECMWF)計(jì)劃研制用于天氣預(yù)報(bào)的地球系統(tǒng)模式,考慮到陸面生態(tài)、大氣化學(xué)等過(guò)程和氣候模式的耦合。這要求所需的ESM須具備必要的復(fù)雜程度,以體現(xiàn)盡可能多的地球系統(tǒng)圈層之間的相互作用,同時(shí)在計(jì)算效率上保持可控性。
基于地球系統(tǒng)模式的預(yù)測(cè)系統(tǒng)研發(fā)包括多個(gè)方面,例如構(gòu)建相應(yīng)的數(shù)據(jù)同化系統(tǒng)以獲得對(duì)地球系統(tǒng)當(dāng)前狀態(tài)的最佳估計(jì);對(duì)地球系統(tǒng)的綜合觀測(cè),包括衛(wèi)星觀測(cè),這有助于對(duì)地球系統(tǒng)過(guò)程的認(rèn)識(shí)并改善其模擬性能。此外,在次季節(jié)-季節(jié)預(yù)報(bào)方面的相關(guān)研究也正在蓬勃發(fā)展,具體包括對(duì)平流層、土壤水分、植被、積雪、海冰和氣溶膠等模式分量的研發(fā),以不斷提高預(yù)報(bào)水平。
3)模式分辨率得以快速提高
地球系統(tǒng)模式的水平和垂直分辨率正在快速提高。除了全球整體分辨率的提升,采用變分辨率非結(jié)構(gòu)網(wǎng)格的方法使得區(qū)域高分辨率模擬成為可能。垂直方向分辨率的增加有助于中層大氣的模擬,包括對(duì)平流層極渦、準(zhǔn)兩年震蕩等現(xiàn)象的模擬(Wu et al.,2019)。同時(shí),提高邊界層垂直分辨率可以改善對(duì)邊界層水汽、溫度和云的模擬。高分辨率是中期天氣預(yù)報(bào)應(yīng)用的發(fā)展趨勢(shì),它將顯著提高模式對(duì)云和降水等過(guò)程的解析度,并減少對(duì)參數(shù)化方案的依賴。簡(jiǎn)化物理過(guò)程也能夠顯著減少模式的計(jì)算量,從而實(shí)現(xiàn)高分辨率和較低參數(shù)化程度的結(jié)合,這將成為未來(lái)中期預(yù)報(bào)領(lǐng)域的主要模式配置形式。
許多模式中心計(jì)劃開(kāi)展3~5 km甚至更高分辨率的全球大氣模式,海洋模式的分辨率也將達(dá)到中尺度渦或次中尺度渦的分辨率(1 km),例如歐盟的Destination Earth計(jì)劃(https://destination-earth.eu/)。DYAMOND計(jì)劃(Stevens et al.,2019)吸引了全球多個(gè)高分辨率大氣模式的參與。提高分辨率對(duì)傳統(tǒng)的物理參數(shù)化方案提出了挑戰(zhàn),例如,傳統(tǒng)的積云對(duì)流參數(shù)化方案通常適用于100 km以上的氣候模式,隨著分辨率的提高,這些方案的尺度自適應(yīng)問(wèn)題需要得到妥善的考慮(Li et al.,2022;Wang,2022)。
4)數(shù)值模式和人工智能相互結(jié)合和促進(jìn)
人工智能的快速發(fā)展給地球系統(tǒng)模式的發(fā)展提供了新的機(jī)會(huì),例如人工智能已經(jīng)在模式參數(shù)化研發(fā)(邊界層、對(duì)流、云;海洋里的垂直混合、中尺度渦和次中尺度渦參數(shù)化、海氣通量參數(shù)化、氣冰通量計(jì)算)、過(guò)程理解、參數(shù)估計(jì)、模式優(yōu)化、模式模擬后處理和誤差訂正、空氣質(zhì)量預(yù)測(cè)、可預(yù)報(bào)性研究等方面得到廣泛應(yīng)用(Rasp et al.,2018;Reichstein et al.,2019;Han et al.,2020;Mooers et al.,2021;Wang et al.,2022)。加州理工學(xué)院牽頭的CliMA計(jì)劃利用人工智能結(jié)合海量的觀測(cè)和高分辨率模擬數(shù)據(jù)建立新的氣候系統(tǒng)模式,已經(jīng)在多方面取得進(jìn)展(https://clima.caltech.edu)。
5)社會(huì)經(jīng)濟(jì)模型的發(fā)展和耦合
社會(huì)經(jīng)濟(jì)模型主要指綜合評(píng)估模型(IAM),主要描述人類社會(huì)活動(dòng)通過(guò)溫室氣體排放對(duì)地球系統(tǒng),特別是全球氣候變化的影響(Sokolov et al.,2018)。傳統(tǒng)上綜合評(píng)估模型更多的是一個(gè)經(jīng)濟(jì)模型和氣候政策模型。由于各種假定和參數(shù),綜合評(píng)估模型具有很大的不確定性,如何量化和減小其不確定性是一個(gè)重要的發(fā)展方向。另外,由于氣候和環(huán)境變化也會(huì)對(duì)社會(huì)經(jīng)濟(jì)活動(dòng)和人類福祉產(chǎn)生巨大影響,但這部分由于缺乏綜合評(píng)估模型和地球系統(tǒng)模式的耦合而無(wú)法進(jìn)行模擬。當(dāng)前的一個(gè)趨勢(shì)就是綜合評(píng)估模型和地球系統(tǒng)模式的有機(jī)耦合,但這存在大量的困難和挑戰(zhàn)(Yang et al.,2015)。其中一個(gè)原因是一個(gè)是物理模型,而另外一個(gè)是社會(huì)經(jīng)濟(jì)模型,之間要溝通耦合的變量不一樣。另外,這兩類模型的構(gòu)建形式差異巨大,包括計(jì)算機(jī)語(yǔ)言和框架,當(dāng)然最主要的還是我們對(duì)他們之間的緊密聯(lián)系和影響的認(rèn)識(shí)和量化都存在不足。當(dāng)前主要的還是綜合評(píng)估模型提供未來(lái)溫室氣體和污染物的排放預(yù)估,作為地球系統(tǒng)模式的輸入,因此是單向的一種聯(lián)系。未來(lái)要把地球系統(tǒng)模式預(yù)估的天氣氣候變化影響反饋給綜合評(píng)估模型,確定氣候變化對(duì)社會(huì)經(jīng)濟(jì)的影響,形成一個(gè)閉環(huán)(Calvin and Bond-Lamberty,2018)。
1.2 傳統(tǒng)數(shù)值模式展望
傳統(tǒng)數(shù)值模式在氣候變化研究和氣候預(yù)測(cè)方面發(fā)展迅速,并面臨一些挑戰(zhàn)。這些模式主要關(guān)注系統(tǒng)對(duì)外部強(qiáng)迫的響應(yīng)和長(zhǎng)期變化,與數(shù)值預(yù)報(bào)的重點(diǎn)有所不同。數(shù)值預(yù)報(bào)更專注于系統(tǒng)在給定初始狀態(tài)下的短期演變,因此需要考慮同化問(wèn)題,即將觀測(cè)數(shù)據(jù)與模型結(jié)果相結(jié)合以提高預(yù)測(cè)準(zhǔn)確性。在次季節(jié)-季節(jié)到年際和年代際預(yù)測(cè)中,需要考慮地球系統(tǒng)不同組分之間的相互作用和耦合同化。例如,次季節(jié)-季節(jié)預(yù)測(cè)需要考慮陸地表面和上層海洋的同化,而年際和年代際預(yù)測(cè)需要考慮海洋、海冰和大氣、陸地的耦合同化(Zhou et al.,2023)。
隨著模式復(fù)雜度和分辨率的提高,地球系統(tǒng)模式的發(fā)展面臨著新的挑戰(zhàn),需要得到數(shù)據(jù)同化、集合耦合、高性能計(jì)算和不確定性分析等多方面的支持,高效的并行計(jì)算技術(shù)、強(qiáng)大的在線分析系統(tǒng)和標(biāo)準(zhǔn)化分析評(píng)估軟件的不斷發(fā)展將為模式發(fā)展提供重要的技術(shù)支撐。
人工智能大模型在天氣預(yù)報(bào)領(lǐng)域已經(jīng)取得了顯著進(jìn)展,并在未來(lái)有望為氣候預(yù)測(cè)和氣候變化研究帶來(lái)新的思路和進(jìn)展。將數(shù)據(jù)驅(qū)動(dòng)的智能模型與物理模型有機(jī)結(jié)合,發(fā)揮各自的優(yōu)勢(shì),有助于推動(dòng)數(shù)值預(yù)報(bào)取得突破性進(jìn)展(Reichstein et al.,2019)。這是一個(gè)值得關(guān)注和探索的問(wèn)題,可以為氣候預(yù)測(cè)和氣候變化研究帶來(lái)更多的創(chuàng)新和進(jìn)步。
2 氣象大模型
近年來(lái),“AI+氣象”的交叉研究在氣象領(lǐng)域引起了廣泛關(guān)注。人工智能大模型基于多種深度學(xué)習(xí)架構(gòu),并依托強(qiáng)大的計(jì)算資源和海量的數(shù)據(jù)(Rasp et al.,2020)進(jìn)行訓(xùn)練,能夠以新的科學(xué)范式進(jìn)行獨(dú)立于傳統(tǒng)數(shù)值預(yù)報(bào)模式的氣象預(yù)測(cè)(Nguyen et al.,2023)。目前,基于深度學(xué)習(xí)的氣象大模型(Large Weather Model,LWM)取得了顯著進(jìn)步,例如FourCastNet(Pathak et al.,2022)、GraphCast(Lam et al.,2023)、NowcastNet(Zhang et al.,2023)、盤(pán)古天氣(Bi et al.,2023)、風(fēng)烏(Chen K et al.,2023)、伏羲(Chen L et al.,2023)等,在提高預(yù)報(bào)精度和加速預(yù)測(cè)推理過(guò)程等方面展現(xiàn)出顯著優(yōu)勢(shì)和巨大潛力。
2.1 發(fā)展現(xiàn)狀
1)臨近預(yù)報(bào)(NowcastNet)
2023年7月,清華大學(xué)軟件學(xué)院與國(guó)家氣象中心、國(guó)家氣象信息中心聯(lián)合提出了名為NowcastNet的極端降水臨近預(yù)報(bào)大模型。該模型的提出填補(bǔ)了氣象大模型在強(qiáng)降水、暴風(fēng)雨、暴雪、冰雹等極端降水天氣預(yù)報(bào)領(lǐng)域的不足(Ravuri et al.,2021)。NowcastNet能夠?qū)⒔邓R近預(yù)報(bào)的時(shí)效從現(xiàn)有的幾十分鐘延長(zhǎng)至3 h(Ashesh et al.,2022),空間分辨率為20 km,時(shí)間分辨率為10 min,為解決3 h內(nèi)降水臨近預(yù)報(bào)科學(xué)難題提供了新方法新工具。
NowcastNet在數(shù)據(jù)驅(qū)動(dòng)的基礎(chǔ)上引入了物理約束,通過(guò)神經(jīng)演變算子實(shí)現(xiàn)了降水物理過(guò)程的端到端建模。模型以中尺度演變網(wǎng)格預(yù)測(cè)結(jié)果為條件,通過(guò)概率生成模型對(duì)公里尺度降水過(guò)程進(jìn)行精細(xì)捕捉。NowcastNet采用近六年的觀測(cè)資料作為訓(xùn)練基礎(chǔ),探索了一種融合數(shù)據(jù)驅(qū)動(dòng)與物理驅(qū)動(dòng)的“科學(xué)學(xué)習(xí)”新范式。經(jīng)過(guò)62位氣象預(yù)報(bào)專家的檢驗(yàn)評(píng)估,NowcastNet在國(guó)際同類方法中處于領(lǐng)先地位,具有重要的學(xué)術(shù)意義和實(shí)際應(yīng)用價(jià)值。其相關(guān)研究成果已在《Nature》正式發(fā)表,并已在國(guó)家氣象中心短臨預(yù)報(bào)平臺(tái)(SWAN 3.0)部署上線。
2)短時(shí)預(yù)報(bào)(MetNet系列)
MetNet(Snderby et al.,2020)、MetNet-2(Espeholt et al.,2022)、MetNet-3(Andrychowicz et al.,2023)是谷歌分別于2020、2021、2023年相繼推出的深度學(xué)習(xí)天氣預(yù)報(bào)模型,是谷歌公司針對(duì)人工智能在氣象領(lǐng)域應(yīng)用的重要探索。
MetNet基于深度神經(jīng)網(wǎng)絡(luò)架構(gòu),通過(guò)學(xué)習(xí)大量氣象觀測(cè)數(shù)據(jù)來(lái)捕捉天氣系統(tǒng)的復(fù)雜演變過(guò)程(Agrawal et al.,2019;Ravuri et al.,2021)。MetNet能夠以1 km的空間分辨率和2 min的時(shí)間分辨率生成準(zhǔn)確的8 h降水預(yù)報(bào)。MetNet-2是MetNet的升級(jí)版,在MetNet的基礎(chǔ)上進(jìn)一步改進(jìn)和擴(kuò)展了模型的功能,采用了更大規(guī)模的數(shù)據(jù)集進(jìn)行訓(xùn)練(Ko et al.,2022),能夠以1 km的空間分辨率和2 min的時(shí)間分辨率進(jìn)行12 h的降水預(yù)測(cè),提高了模型的性能和準(zhǔn)確性,預(yù)報(bào)結(jié)果優(yōu)于集合數(shù)值天氣預(yù)報(bào)模型(High-Resolution Ensemble Forecast,HREF)。MetNet-3在前面的基礎(chǔ)上進(jìn)一步提高,可以從密集和稀疏的數(shù)據(jù)站點(diǎn)數(shù)據(jù)中學(xué)習(xí),提前24 h預(yù)測(cè)降水、風(fēng)、溫度和露點(diǎn)。因其強(qiáng)大的預(yù)報(bào)性能,目前已在google天氣等方面業(yè)務(wù)運(yùn)行。然而,MetNet系列作為深度學(xué)習(xí)與氣象領(lǐng)域融合應(yīng)用的一次嘗試,采用的是純數(shù)據(jù)驅(qū)動(dòng)的訓(xùn)練策略和推理方式,在物理約束和可解釋性方面仍然具有較大的探索空間。
3)中期預(yù)報(bào)(FourCastNet、盤(pán)古天氣)
2022年2月,英偉達(dá)聯(lián)合勞倫斯伯克利國(guó)家實(shí)驗(yàn)室、密歇根大學(xué)安娜堡分校、萊斯大學(xué)等機(jī)構(gòu)提出了一種名為FourCastNet的預(yù)測(cè)模型(Pathak et al.,2022),該模型基于自適應(yīng)傅立葉神經(jīng)網(wǎng)絡(luò)(Adaptive Fourier Neural Operators,AFNO)(Guibas et al.,2021)。FourCastNet能夠在2 s內(nèi)實(shí)現(xiàn)一周時(shí)間尺度的高分辨率(0.25°)天氣預(yù)報(bào),預(yù)報(bào)內(nèi)容包括溫度、濕度、大氣水蒸氣、降水和風(fēng)速等。值得關(guān)注的是,F(xiàn)ourCastNet的預(yù)報(bào)速度相比ECMWF的高分辨率綜合預(yù)報(bào)系統(tǒng)(Integrated Forecast Systems,IFS)提升了45 000倍。
FourCastNet結(jié)合了傅里葉神經(jīng)算子(Fourier Neural Operator,F(xiàn)NO)(Wen et al.,2022)在Navier-Stokes方程上的分辨率無(wú)關(guān)性表現(xiàn),將算子學(xué)習(xí)(Kovachki et al.,2021)從理論研究推向了大規(guī)模業(yè)務(wù)天氣預(yù)報(bào)應(yīng)用。該模型通過(guò)降低計(jì)算復(fù)雜度,使得在大尺度變量上的預(yù)測(cè)結(jié)果與歐洲中期天氣預(yù)報(bào)中心的IFS相當(dāng),在小尺度變量上則優(yōu)于IFS。FourCastNet采用了“預(yù)訓(xùn)練+微調(diào)”的范式,只需要少量參數(shù)就可以實(shí)現(xiàn)端到端的下游任務(wù)預(yù)報(bào)。
FourCastNet在AI天氣預(yù)報(bào)領(lǐng)域?qū)崿F(xiàn)了前所未有的準(zhǔn)確性,成為深度學(xué)習(xí)在氣象預(yù)測(cè)領(lǐng)域應(yīng)用的先驅(qū)代表,彌補(bǔ)了傳統(tǒng)數(shù)值天氣預(yù)報(bào)模式計(jì)算復(fù)雜和推理速度慢等不足之處。
2022年11月,華為云計(jì)算團(tuán)隊(duì)提出了一種名為盤(pán)古天氣大模型(Bi et al.,2023)的預(yù)測(cè)模型,它基于3D Earth-specific Transformer結(jié)構(gòu),能夠進(jìn)行預(yù)報(bào)時(shí)效為1 h到7 d的高精度(0.25°)天氣預(yù)報(bào)。該模型通過(guò)純數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)方法替代了傳統(tǒng)數(shù)值模式中的動(dòng)力核心和參數(shù)化方案,在預(yù)報(bào)精度上超過(guò)了傳統(tǒng)數(shù)值模式,并且計(jì)算速度提升了10 000倍。
盤(pán)古天氣大模型采用了3D Swin Transformer(Liu et al.,2021)作為骨干網(wǎng)絡(luò),以初始大氣狀態(tài)作為輸入,并輸出與初始狀態(tài)結(jié)構(gòu)相同的未來(lái)大氣狀態(tài),并支持極端天氣預(yù)報(bào)和成員集合預(yù)報(bào)等各種下游任務(wù)。同時(shí)使用層次化時(shí)域聚合策略來(lái)減少預(yù)報(bào)的迭代次數(shù),從而減少迭代誤差。2023年7月,盤(pán)古天氣大模型在《Nature》雜志上正式發(fā)表,標(biāo)志著氣象大模型在預(yù)報(bào)性能方面取得了重要突破,為未來(lái)的天氣預(yù)報(bào)研究和應(yīng)用提供了有益的參考。
4)延伸期預(yù)報(bào)(GraphCast、風(fēng)烏、伏羲、AI-GOMS)
2022年12月,DeepMind和谷歌研究團(tuán)隊(duì)聯(lián)合推出基于圖神經(jīng)網(wǎng)絡(luò)的自回歸天氣預(yù)報(bào)模型GraphCast(Lam et al.,2023),將原始經(jīng)緯度網(wǎng)格的輸入數(shù)據(jù)映射到多網(wǎng)格上的學(xué)習(xí)特征中(Keisler,2022)。它可以在空間分辨率為0.25°的經(jīng)緯度網(wǎng)格上,每隔6 h對(duì)5個(gè)地表變量和6個(gè)大氣變量進(jìn)行10 d的預(yù)報(bào),每個(gè)變量在37個(gè)垂直壓力水平上,大致相當(dāng)于赤道25 km×25 km的分辨率。
GraphCast可以在60 s內(nèi)預(yù)測(cè)未來(lái)10 d內(nèi)的天氣,而且準(zhǔn)確率很高,在252個(gè)變量中,有99.2%超過(guò)了現(xiàn)有最準(zhǔn)確的深度學(xué)習(xí)天氣預(yù)報(bào)模型;在2 760個(gè)變量中,有90%超過(guò)了歐洲中期天氣預(yù)報(bào)中心的高精度預(yù)報(bào)結(jié)果。GraphCast是首個(gè)能夠產(chǎn)生高保真度、預(yù)報(bào)時(shí)效為10 d的深度學(xué)習(xí)天氣預(yù)報(bào)模型,與業(yè)界領(lǐng)先的數(shù)值天氣預(yù)報(bào)模式相比,具有更高的預(yù)報(bào)精度和計(jì)算速度。2023年11月,GraphCast在權(quán)威科學(xué)期刊《Science》上發(fā)表,進(jìn)一步揭示了人工智能在氣象領(lǐng)域的應(yīng)用價(jià)值。
2023年4月,上海人工智能實(shí)驗(yàn)室聯(lián)合中國(guó)科學(xué)技術(shù)大學(xué)、上海交通大學(xué)、南京信息工程大學(xué)、中國(guó)科學(xué)院大氣物理研究所和上海市氣象局提出風(fēng)烏氣象預(yù)報(bào)大模型(Chen K et al.,2023),在30 s內(nèi)即可生成未來(lái)10 d全球高精度(0.25°)預(yù)報(bào)結(jié)果。
風(fēng)烏將大氣變量之間的相互影響看作是多任務(wù)學(xué)習(xí)問(wèn)題,采用多模態(tài)神經(jīng)網(wǎng)絡(luò)和多任務(wù)自動(dòng)均衡權(quán)重來(lái)解決多種大氣變量表征和相互影響的問(wèn)題。為了優(yōu)化多步預(yù)測(cè)結(jié)果,風(fēng)烏使用緩存回放策略,在訓(xùn)練階段通過(guò)收集和重用中間預(yù)測(cè)結(jié)果來(lái)計(jì)算多時(shí)間步的自回歸累積誤差。相比于GraphCast通過(guò)添加自回歸階段的方式,緩存回放策略節(jié)省計(jì)算成本和提升長(zhǎng)期自回歸訓(xùn)練效率。風(fēng)烏使用多模態(tài)、多任務(wù)方法和緩存回放策略來(lái)解決天氣預(yù)報(bào)問(wèn)題,首次將全球天氣預(yù)報(bào)的有效性提高到10.75 d,具有較高的業(yè)務(wù)應(yīng)用價(jià)值。
2023年6月,復(fù)旦大學(xué)人工智能創(chuàng)新與產(chǎn)業(yè)研究院聯(lián)合大氣與海洋科學(xué)系推出了45億參數(shù)量的伏羲氣象大模型(Chen L et al.,2023),進(jìn)行未來(lái)15 d的全球高精度(0.25°)預(yù)報(bào)。
伏羲基于U-Transformer(Li et al.,2023)結(jié)構(gòu),并通過(guò)構(gòu)建級(jí)聯(lián)模型,對(duì)多個(gè)模式進(jìn)行微調(diào),同時(shí)伏羲使用多時(shí)間步損失函數(shù)使得多個(gè)迭代時(shí)間步的誤差最小化,從而減少預(yù)測(cè)誤差的累積,提高長(zhǎng)期預(yù)測(cè)的性能。伏羲首次將深度學(xué)習(xí)天氣預(yù)報(bào)時(shí)效提升到15 d,在時(shí)間分辨率為6 h、空間分辨率為0.25°的10 d預(yù)報(bào)中表現(xiàn)優(yōu)于歐洲中期天氣預(yù)報(bào)中心的確定性預(yù)報(bào)(High-resolution Forecast,HRES),在15 d的預(yù)報(bào)中表現(xiàn)與歐洲中期天氣預(yù)報(bào)中心集合預(yù)報(bào)的集合平均(Ensemble Mean,EM)相當(dāng)。
2023年8月,清華大學(xué)地球系統(tǒng)科學(xué)系提出了一個(gè)人工智能驅(qū)動(dòng)的全球海洋建模系統(tǒng)AI-GOMS,在0.25°空間分辨率和1 d時(shí)間分辨率下對(duì)15個(gè)深度層的全球海洋基本變量進(jìn)行了30 d的最佳預(yù)測(cè),能夠用于準(zhǔn)確和高效的全球海洋日常預(yù)測(cè)。
AI-GOMS(Xiong et al.,2023)由一個(gè)基于傅立葉的編碼自回歸模型(Masked Autoencoder,MAE)結(jié)構(gòu)(He et al.,2022)的預(yù)訓(xùn)練模型和一個(gè)輕量的微調(diào)模型組成,使用人工智能方法實(shí)現(xiàn)端到端的替代模型,可以脫離數(shù)值模式獨(dú)立運(yùn)行。其中微調(diào)模型分為區(qū)域降尺度、(波浪)解碼和(生物化學(xué))耦合三種不同結(jié)構(gòu),適用于解決全球海洋模擬中的各種類型的科學(xué)任務(wù)。AI-GOMS解決了當(dāng)前的數(shù)值海洋建模非線性不穩(wěn)定性、計(jì)算量大、重用效率低、耦合成本高等問(wèn)題,是全球首個(gè)數(shù)據(jù)驅(qū)動(dòng)的全球海洋建模系統(tǒng)。
2.2 氣象大模型展望
現(xiàn)階段,氣象大模型取得了較大突破,但其發(fā)展仍然面臨較多挑戰(zhàn),尚有一系列核心問(wèn)題需要重點(diǎn)關(guān)注。
1)可解釋性問(wèn)題
氣象大模型的可解釋性是未來(lái)研究的重點(diǎn)。深度學(xué)習(xí)模型通常是“黑盒”模型,難以解釋其物理意義及決策過(guò)程,難以對(duì)預(yù)報(bào)結(jié)果提供氣象領(lǐng)域所需的可解釋依據(jù)。現(xiàn)階段,氣象大模型缺乏足夠的數(shù)學(xué)理論分析,針對(duì)可解釋性的神經(jīng)網(wǎng)絡(luò)架構(gòu)和相應(yīng)的數(shù)學(xué)分析工具仍然具有較大的探索空間。需要探索通過(guò)核方法等一系列數(shù)學(xué)方法,進(jìn)一步揭示氣象大模型神經(jīng)網(wǎng)絡(luò)求解偏微分方程組的誤差和訓(xùn)練動(dòng)力學(xué)。探索理論驅(qū)動(dòng)和數(shù)據(jù)驅(qū)動(dòng)融合的新科學(xué)范式,通過(guò)物理模式與深度學(xué)習(xí)的結(jié)合,在氣象大模型中引入物理約束,研究模型的可解釋性和物理原理,是未來(lái)氣象大模型發(fā)展需要重點(diǎn)關(guān)注的科學(xué)問(wèn)題。
2)泛化與遷移挑戰(zhàn)
訓(xùn)練完成的氣象大模型能夠以較低的成本實(shí)現(xiàn)遷移外推,例如FourCastNet模型比傳統(tǒng)數(shù)值預(yù)報(bào)系統(tǒng)IFS快45 000倍,計(jì)算能耗可降低近萬(wàn)倍。然而,大規(guī)模氣象大模型的訓(xùn)練過(guò)程需要龐大的計(jì)算資源,F(xiàn)ourCastNet模型需要使用海量的再分析資料ERA5驅(qū)動(dòng)訓(xùn)練,計(jì)算成本方面相較于傳統(tǒng)數(shù)值模式并無(wú)明顯優(yōu)勢(shì),氣象大模型的業(yè)務(wù)化應(yīng)用應(yīng)當(dāng)進(jìn)一步考慮泛化能力和遷移成本的問(wèn)題。普遍近似原理表明,神經(jīng)網(wǎng)絡(luò)具備準(zhǔn)確逼近任意非線性連續(xù)算子和非線性連續(xù)泛函的能力,因此,氣象大模型將朝著泛化能力更強(qiáng)的算子學(xué)習(xí)領(lǐng)域發(fā)展,在Banach空間對(duì)參數(shù)空間和解算子進(jìn)行逼近。
3)過(guò)平滑問(wèn)題
現(xiàn)階段,氣象大模型對(duì)極端事件的預(yù)測(cè)能力仍有待提高,以FourCastNet、盤(pán)古天氣等為代表的氣象大模型已經(jīng)在多種下游任務(wù)中實(shí)現(xiàn)了較好的預(yù)報(bào)效果,但普遍缺乏對(duì)極端降水事件的預(yù)報(bào)能力。氣象大模型雖然擅長(zhǎng)對(duì)非線性系統(tǒng)進(jìn)行建模,但統(tǒng)計(jì)模型存在固有的小樣本過(guò)平滑問(wèn)題,預(yù)報(bào)結(jié)果對(duì)數(shù)據(jù)的依賴較大,在極端事件的預(yù)測(cè)領(lǐng)域仍然存在較大不足。因此,從優(yōu)化訓(xùn)練數(shù)據(jù)集和改進(jìn)深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)等層面探索過(guò)平滑問(wèn)題的解決思路,通過(guò)數(shù)據(jù)增強(qiáng)、集成學(xué)習(xí)、超參數(shù)調(diào)優(yōu)等方法對(duì)氣象大模型進(jìn)行優(yōu)化,是填補(bǔ)氣象大模型極端事件預(yù)報(bào)空白的重要研究領(lǐng)域。
4)深度學(xué)習(xí)框架問(wèn)題
大氣和海洋模式通常是基于Fortran語(yǔ)言編寫(xiě)的,如給區(qū)域氣象預(yù)報(bào)提供支持的天氣預(yù)報(bào)模式(Weather Research and Forecasting Model,WRF)(Skamarock et al.,2008)、使用混合網(wǎng)格的海洋模式(Hybrid Coordinate Ocean Model,HYCOM)和被廣泛使用的地球系統(tǒng)模式(Community Earth System Model,CESM)(Hurrell et al.,2013)等。然而,這種科學(xué)計(jì)算越來(lái)越多地結(jié)合了深度學(xué)習(xí)的進(jìn)步和處理大量數(shù)據(jù)的能力(Innes et al.,2019),構(gòu)成氣象大模型底層的主流機(jī)器學(xué)習(xí)庫(kù),如Tensorflow和Pytorch以Python語(yǔ)言為基礎(chǔ)。因此,氣象大模型與傳統(tǒng)數(shù)值模式的融合需要解決Fortran語(yǔ)言和Python語(yǔ)言的雙向耦合問(wèn)題(Curcic,2019;Ott et al.,2020;Mu et al.,2023),同時(shí)也要保證神經(jīng)網(wǎng)絡(luò)架構(gòu)能夠在氣象預(yù)報(bào)過(guò)程中保持穩(wěn)定性。
現(xiàn)今的主流計(jì)算框架通常只考慮并優(yōu)化了一階導(dǎo)數(shù)的計(jì)算,然而,海洋大氣問(wèn)題常常需要計(jì)算高階導(dǎo)數(shù),例如涉及Navier-Stokes方程中的對(duì)流項(xiàng)等情況。現(xiàn)階段的深度學(xué)習(xí)框架為了獲得二階甚至更高階導(dǎo)數(shù),只能通過(guò)嵌套多次一階導(dǎo)數(shù)的計(jì)算方式來(lái)實(shí)現(xiàn),導(dǎo)致了計(jì)算資源和時(shí)間的顯著增加。如果在現(xiàn)有的自動(dòng)微分框架的基礎(chǔ)上實(shí)現(xiàn)類似于Hessian矩陣等方法的二階或高階導(dǎo)數(shù)計(jì)算,將大幅提高氣象大模型的計(jì)算效率,遠(yuǎn)超過(guò)嵌套實(shí)現(xiàn)多次自動(dòng)微分的方式。此外,自然界中的規(guī)律有時(shí)候也需要被建模成分?jǐn)?shù)階偏微分方程或者涉及微分-積分方程等形式,例如大氣輻射傳輸方程中存在包含積分項(xiàng)的方程。然而,現(xiàn)有的深度學(xué)習(xí)框架對(duì)于分?jǐn)?shù)階導(dǎo)數(shù)和積分的支持相對(duì)較低,限制了其在涉及這些問(wèn)題時(shí)的應(yīng)用。
5)與其他新興信息技術(shù)融合
現(xiàn)階段,氣象大模型的推廣應(yīng)用及與其他前沿信息技術(shù)的融合尚有待提升。推動(dòng)人工智能與云計(jì)算、分布式數(shù)據(jù)庫(kù)、數(shù)據(jù)挖掘等前沿信息技術(shù)的全面融合,綜合運(yùn)用各項(xiàng)信息技術(shù)提高氣象大模型的業(yè)務(wù)化水平,是推動(dòng)氣象大模型實(shí)際推廣應(yīng)用的重要基礎(chǔ)。同時(shí),推動(dòng)氣象大模型與數(shù)字孿生、量子計(jì)算等新興前沿技術(shù)的交叉融合,探索更廣泛的應(yīng)用領(lǐng)域,是進(jìn)一步拓展氣象大模型應(yīng)用空間的值得探索的研究方向。
6)人工智能驅(qū)動(dòng)的數(shù)值預(yù)報(bào)科研新范式
至今,數(shù)值預(yù)報(bào)科技仍沿著“從物理原理和基本公式出發(fā),進(jìn)行天氣氣候變化機(jī)理分析,選取并收集所需數(shù)據(jù),經(jīng)加工處理得出預(yù)報(bào)結(jié)果”的傳統(tǒng)路徑發(fā)展。人工智能驅(qū)動(dòng)的科學(xué)研究(AI for Science,AI4S)新范式的出現(xiàn)(王飛躍和繆青海,2023),為數(shù)值預(yù)報(bào)科技發(fā)展開(kāi)辟了新路徑,即:從自然環(huán)境和社會(huì)經(jīng)濟(jì)大數(shù)據(jù)出發(fā),經(jīng)人工智能算法處理得到預(yù)報(bào)結(jié)果,然后反向分析輸入輸出數(shù)據(jù)因果關(guān)系,尋找隱藏于數(shù)據(jù)背后的天氣氣候變化機(jī)理。
3 總結(jié)和討論
新興信息技術(shù)的快速發(fā)展一定程度上補(bǔ)充和顛覆了傳統(tǒng)數(shù)值模式的技術(shù)路線,使得地球系統(tǒng)模式的應(yīng)用場(chǎng)景不斷拓展。數(shù)值預(yù)報(bào)與人工智能的交叉融合是地球系統(tǒng)模式研究的前沿?zé)狳c(diǎn)和重要方向。氣象大模型能夠發(fā)揮海量數(shù)據(jù)優(yōu)勢(shì),通過(guò)挖掘數(shù)據(jù)中的潛在物理規(guī)律來(lái)建立預(yù)測(cè)模型輸入和輸出的映射關(guān)系,在預(yù)測(cè)準(zhǔn)確性、時(shí)效性和計(jì)算速度等方面已經(jīng)初步呈現(xiàn)出巨大潛力。在準(zhǔn)確性上,除極端天氣等個(gè)別領(lǐng)域外,氣象大模型的預(yù)報(bào)準(zhǔn)確性已經(jīng)媲美或超越了傳統(tǒng)數(shù)值模式,同時(shí),隨著人工智能大模型架構(gòu)的不斷改進(jìn)和訓(xùn)練策略的發(fā)展,其預(yù)報(bào)精度正穩(wěn)步提升;在時(shí)效性上,人工智能大模型憑借深度神經(jīng)網(wǎng)絡(luò)的強(qiáng)大泛化能力,在同分辨率條件下的預(yù)測(cè)能力遠(yuǎn)超傳統(tǒng)數(shù)值模式;在計(jì)算速度方面,人工智能大模型相比傳統(tǒng)數(shù)值模式極大提高了推理運(yùn)算速度,逐漸擺脫了傳統(tǒng)數(shù)值模式計(jì)算時(shí)間較長(zhǎng)的限制。人工智能大模型的快速涌現(xiàn)和業(yè)務(wù)化應(yīng)用具有劃時(shí)代的意義,一定程度上解決了傳統(tǒng)數(shù)值預(yù)報(bào)領(lǐng)域面臨的難題,標(biāo)志著“AI+預(yù)報(bào)”時(shí)代一次新的飛躍,為未來(lái)的地球系統(tǒng)預(yù)測(cè)范式提供了新思路。
數(shù)值預(yù)報(bào)的發(fā)展與計(jì)算技術(shù)、存儲(chǔ)技術(shù)、觀測(cè)技術(shù)等息息相關(guān),其應(yīng)用領(lǐng)域需要與多學(xué)科交叉融合。未來(lái),推動(dòng)數(shù)值預(yù)報(bào)與人工智能、量子計(jì)算、數(shù)字孿生等新興信息技術(shù)的進(jìn)一步融通,基于不同的學(xué)科需求和社會(huì)需要探索更為復(fù)雜精細(xì)的分量模式,在地球系統(tǒng)整體研究視角下推進(jìn)數(shù)值預(yù)報(bào)與多學(xué)科的交叉協(xié)同,是數(shù)值預(yù)報(bào)研究的重要科學(xué)問(wèn)題。
參考文獻(xiàn)(References)
Agrawal S,Barrington L,Bromberg C,et al.,2019.Machine learning for precipitation nowcasting from radar images[EB/OL].[2023-11-27].http://arxiv.org/abs/1912.12132.pdf.
Andrychowicz M,Espeholt L,Li D,et al.,2023.Deep learning for day forecasts from sparse observations[EB/OL].[2023-11-27].http://arxiv.org/abs/2306.06079.pdf.
Ashesh A,Chang C T,Chen B F,et al.,2022.Accurate and clear quantitative precipitation nowcasting based on a deep learning model with consecutive attention and rain-map discrimination[J].Artif Intell Earth Syst,1(3):e210005.doi:10.1175/AIES-D-21-0005.1.
Bi K F,Xie L X,Zhang H H,et al.,2023.Accurate medium-range global weather forecasting with 3D neural networks[J].Nature,619(7970):533-538.doi:10.1038/s41586-023-06185-3.
Bonan G B,Doney S C,2018.Climate,ecosystems,and planetary futures:the challenge to predict life in Earth system models[J].Science,359(6375):eaam8328.doi:10.1126/science.aam8328.
Brunet G,Jones S,Ruti P M,2015.Seamless prediction of the earth system:from minutes to months[M].Geneva,Switzerland:World Meteorological Organization:483.
Calvin K,Bond-Lamberty B,2018.Integrated human-earth system modeling:state of the science and future directions[J].Environ Res Lett,13(6):063006.doi:10.1088/1748-9326/aac642.
Chen K,Han T,Gong J C,et al.,2023.FengWu:pushing the skillful global medium-range weather forecast beyond 10 days lead[EB/OL].[2023-11-27].http://arxiv.org/abs/2304.02948.pdf.
Chen L,Zhong X H,Zhang F,et al.,2023.FuXi:a cascade machine learning forecasting system for 15-day global weather forecast[EB/OL].[2023-11-27].http://arxiv.org/abs/2306.12873.pdf.
Curcic M,2019.A parallel Fortran framework for neural networks and deep learning[J].SIGPLAN Fortran Forum,38(1):4-21.doi:10.1145/3323057.3323059.
Delworth T L,Cooke W F,Adcroft A,et al.,2020.SPEAR:the next generation GFDL modeling system for seasonal to multidecadal prediction and projection[J].J Adv Model Earth Syst,12(3):e2019MS001895.doi:10.1029/2019ms001895.
Espeholt L,Agrawal S,Snderby C,et al.,2022.Deep learning for twelve hour precipitation forecasts[J].Nat Commun,13(1):5145.doi:10.1038/s41467-022-32483-x.
Eyring V,Bony S,Meehl G A,et al.,2016.Overview of the Coupled Model Intercomparison Project Phase 6 (CMIP6) experimental design and organization[J].Geosci Model Dev,9(5):1937-1958.doi:10.5194/gmd-9-1937-2016.
Guibas J,Mardani M,Li Z Y,et al.,2021.Adaptive Fourier neural operators:efficient token mixers for transformers[EB/OL].[2023-11-27].http://arxiv.org/abs/2111.13587.pdf.
Han Y L,Zhang G J,Huang X M,et al.,2020.A moist physics parameterization based on deep learning[J].J Adv Model Earth Syst,12(9):e2020MS002076.doi:10.1029/2020ms002076.
He K M,Chen X L,Xie S N,et al.,2022.Masked autoencoders are scalable vision learners[C]//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).New Orleans,LA,USA,IEEE:15979-15988.doi:10.1109/CVPR52688.2022.01553.
Hurrell J W,Holland M M,Gent P R,et al.,2013.The community earth system model:a framework for collaborative research[J].Bull Amer Meteor Soc,94(9):1339-1360.doi:10.1175/bams-d-12-00121.1.
Innes M,Edelman A,F(xiàn)ischer K,et al.,2019.A differentiable programming system to bridge machine learning and scientific computing[EB/OL].[2023-11-27].http://arxiv.org/abs/1907.07587.pdf.
IPCC,2021.Climate change 2021:the physical science basis[R].Cambridge,United Kingdom and New York,NY,USA:Cambridge University Press:2087-2138.doi:10.1017/9781009157896.
Keisler R,2022.Forecasting global weather with graph neural networks[EB/OL].[2023-11-27].http://arxiv.org/abs/2202.07575.pdf.
Ko J,Lee K,Hwang H,et al.,2022.Effective training strategies for deep-learning-based precipitation nowcasting and estimation[J].Comput Geosci,161:105072.doi:10.1016/j.cageo.2022.105072.
Kovachki N,Li Z Y,Liu B,et al.,2021.Neural operator:learning maps between function spaces[EB/OL].[2023-11-27].http://arxiv.org/abs/2108.08481.pdf.
Lam R,Sanchez-Gonzalez A,Willson M,et al.,2023.Learning skillful medium-range global weather forecasting[J].Science:eadi2336.doi:10.1126/science.adi2336.
Li X H,Zhang Y,Peng X D,et al.,2022.Improved climate simulation by using a double-plume convection scheme in a global model[J].JGR Atmospheres,127(11):e2021JD036069.doi:10.1029/2021jd036069.
Li Y,Sun Y,Wang W W,et al.,2023.U-shaped transformer with frequency-band aware attention for speech enhancement[J].IEEE/ACM Trans Audio Speech Lang Process,31:1511-1521.doi:10.1109/TASLP.2023.3265839.
Liu Z,Lin Y,Cao Y,et al.,2021.Swin Transformer:hierarchical Vision Transformer using Shifted Windows[C/OL]//IEEE/CVF International Conference on Computer Vision (ICCV).Montreal,QC,Canada:IEEE:9992-10002.[2023-12-05].https://ieeexplore.ieee.org/document/9710580/.
Mu B,Chen L,Yuan S J,et al.,2023.A radiative transfer deep learning model coupled into WRF with a generic fortran torch adaptor[J].Front Earth Sci,11:1149566.doi:10.3389/feart.2023.1149566.
Mooers G,Pritchard M,Beucler T,et al.,2021.Assessing the potential of deep learning for emulating cloud superparameterization in climate models with real geography boundary conditions[J].J Adv Model Earth Syst,13(5):e2020MS002385.doi:10.1029/2020MS002385.
Nguyen T,Brandstetter J,Kapoor A,et al.,2023.ClimaX:a foundation model for weather and climate[EB/OL].[2023-11-27].http://arxiv.org/abs/2301.10343.pdf.
Ott J,Pritchard M,Best N,et al.,2020.A fortran-keras deep learning bridge for scientific computing[J].Sci Program,2020:8888811.doi:10.1155/2020/8888811.
Pathak J,Subramanian S,Harrington P,et al.,2022.FourCastNet:a global data-driven high-resolution weather model using adaptive fourier neural operators[EB/OL].[2023-11-27].http://arxiv.org/abs/2202.11214.pdf.
Randall D A,Bitz C M,Danabasoglu G,et al.,2019.100 years of earth system model development[J].Meteorol Monogr,59:12.1-12.66.doi:10.1175/amsmonographs-d-18-0018.1.
Rasp S,Dueben P D,Scher S,et al.,2020.WeatherBench:a benchmark data set for data-driven weather forecasting[J].J Adv Model Earth Syst,12(11):e2020MS002203.doi:10.1029/2020ms002203.
Rasp S,Pritchard M S,Gentine P,2018.Deep learning to represent subgrid processes in climate models[J].Proc Natl Acad Sci USA,115(39):9684-9689.doi:10.1073/pnas.1810286115.
Ravuri S,Lenc K,Willson M,et al.,2021.Skilful precipitation nowcasting using deep generative models of radar[J].Nature,597(7878):672-677.doi:10.1038/s41586-021-03854-z.
Reichstein M,Camps-Valls G,Stevens B,et al.,2019.Deep learning and process understanding for data-driven Earth system science[J].Nature,566(7743):195-204.doi:10.1038/s41586-019-0912-1.
Ren H L,Bao Q,Zhou C G,et al.,2023.Seamless prediction in China:a review[J].Adv Atmos Sci,40(8):1501-1520.doi:10.1007/s00376-023-2335-z.
Ruti P M,Tarasova O,Keller J H,et al.,2020.Advancing research for seamless earth system prediction[J].Bull Amer Meteor Soc,101(1):E23-E35.doi:10.1175/bams-d-17-0302.1.
Skamarock W C,Klemp J B,Dudhia J,et al.,2008.A description of the advanced research WRF version 3[J].NCAR technical note,475:113.doi:10.5065/D68S4MVH.
Sokolov A,Kicklighter D,Schlosser A,et al.,2018.Description and evaluation of the MIT Earth System Model (MESM)[J].J Adv Model Earth Syst,10(8):1759-1789.doi:10.1029/2018ms001277.
Snderby C K,Espeholt L,Heek J,et al.,2020.MetNet:a neural weather model for precipitation forecasting[EB/OL].[2023-11-27].http://arxiv.org/abs/2003.12140.pdf.
Stevens B,Satoh M,Auger L,et al.,2019.DYAMOND:the dynamics of the atmospheric general circulation modeled on non-hydrostatic domains[J].Prog Earth Planet Sci,6(1):61.doi:10.1186/s40645-019-0304-z.[LinkOut]
王斌,周天軍,俞永強(qiáng),等,2008.地球系統(tǒng)模式發(fā)展展望[J].氣象學(xué)報(bào),66(6):857-869. Wang B,Zhou T J,Yu Y Q,et al.,2008.A perspective on earth system model development[J].Acta Meteorol Sin,66(6):857-869.doi:10.3321/j.issn:0577-6619.2008.06.002.(in Chinese).
王會(huì)軍,朱江,浦一芬,2014.地球系統(tǒng)科學(xué)模擬有關(guān)重大問(wèn)題[J].中國(guó)科學(xué):物理學(xué) 力學(xué) 天文學(xué),44(10):1116-1126. Wang H J,Zhu J,Pu Y F,2014.The earth system simulation[J].Sci Sin Phys Mech Astron,44(10):1116-1126.doi:10.1360/SSPMA2014-00155.(in Chinese).
王飛躍,繆青海,2023.人工智能驅(qū)動(dòng)的科學(xué)研究新范式:從AI4S到智能科學(xué)[J].中國(guó)科學(xué)院院刊,38(4):536-540. Wang F Y,Miao Q H,2023.Novel paradigm for AI-driven scientific research:from AI4S to intelligent science[J].Bull Chin Acad Sci,38(4):536-540.doi:10.16418/j.issn.1000-3045.20230406002.(in Chinese).
Wang W,2022.Forecasting convection with a “scale-aware” tiedtke cumulus parameterization scheme at kilometer scales[J].Wea Forecasting,37(8):1491-1507.doi:10.1175/waf-d-21-0179.1.
Wang X,Han Y L,Xue W,et al.,2022.Stable climate simulations using a realistic general circulation model with neural network parameterizations for atmospheric moist physics and radiation processes[J].Geosci Model Dev,15(9):3923-3940.doi:10.5194/gmd-15-3923-2022.
Wen G G,Li Z Y,Azizzadenesheli K,et al.,2022.U-FNO:an enhanced Fourier neural operator-based deep-learning model for multiphase flow[J].Adv Water Resour,163:104180.doi:10.1016/j.advwatres.2022.104180.
Wu T W,Lu Y X,F(xiàn)ang Y J,et al.,2019.The Beijing Climate Center Climate System Model (BCC-CSM):the main progress from CMIP5 to CMIP6[J].Geosci Model Dev,12(4):1573-1600.doi:10.5194/gmd-12-1573-2019.
Xiong W,Xiang Y F,Wu H,et al.,2023.AI-GOMS:large AI-driven global ocean modeling system[EB/OL].[2023-11-27].http://arxiv.org/abs/2308.03152.pdf.
Yang S L,Dong W J,Chou J M,et al.,2015.A brief introduction to BNU-HESM1.0 and its earth surface temperature simulations[J].Adv Atmos Sci,32(12):1683-1688.doi:10.1007/s00376-015-5050-6.
Zhang Y C,Long M S,Chen K Y,et al.,2023.Skilful nowcasting of extreme precipitation with NowcastNet[J].Nature,619(7970):526-532.doi:10.1038/s41586-023-06184-4.
Zhou T J,Chen Z M,Zou L W,et al.,2020.Development of climate and earth system models in China:past achievements and new CMIP6 results[J].J Meteor Res,34(1):1-19.doi:10.1007/s13351-020-9164-0.
Zhou W,Li J X,Yan Z X,et al.,2023.Progress and future prospects of decadal prediction and data assimilation:a review[J].Atmos Ocean Sci Lett:100441.doi:10.1016/j.aosl.2023.100441.
·ARTICLE·
Research on international developments of AI large meteorological models in numerical forecasting
HUANG Xiaomeng1,LIN Yanluan1,XIONG Wei1,LI Jiahao1,PAN Jiancheng2,ZHOU Yong3
1Department of Earth System Science,Tsinghua University,Beijing 100084,China;
2School of Computer Science and Technology,Zhejiang University of Technology,Hangzhou 310023,China;
3Meteorological Development and Planning Institute,China Meteorological Administration,Beijing 100081,China
Abstract Earth System Models (ESM) are powerful tools for studying the earth system and play an indispensable role in conducting scientific research on disaster prevention and mitigation,climate change,and environmental governance.Traditional weather and climate models rapidly evolve towards ESM,including ocean,sea ice,biogeochemical,and atmospheric chemical processes.At the same time,an increasing number of applications are adopting ESM for weather,climate,and ecological prediction.The current international mainstream trend in developing numerical models is to achieve seamless simulation and prediction by constructing integrated models,simultaneously meeting the needs of weather-climate forecasts and predictions at varying temporal and spatial scales.With improved model complexity and resolution,traditional numerical weather models have rapidly progressed in climate change research and climate prediction.However,challenges remain regarding data assimilation,ensemble coupling,high-performance computing,and uncertainty analysis and evaluation.The combination of artificial intelligence (AI) and meteorology has recently attracted tremendous attention.Based on various deep learning architectures,deep learning models can be trained using powerful computing resources and massive data for weather forecasts in a new scientific paradigm independent of traditional numerical weather models.Some technology companies,such as Huawei,NVIDIA,DeepMind,Google,Microsoft,etc.,as well as domestic and international universities such as Tsinghua University,F(xiàn)udan University,the University of Michigan,Rice University,etc.,have released several Large Weather Models (LWMs) covering from nowcasting,short-term forecast to medium-term forecast,and even extended-period forecast.For instance,F(xiàn)ourCastNet,GraphCast,NowcastNet,Pangu Weather,F(xiàn)engwu,F(xiàn)uxi,etc.,show significant advantages and great potential in improving forecast accuracy and accelerating the forecast inference process.For accuracy,except in areas like extreme weather,LWMs have matched or even surpassed that of traditional numerical models.Moreover,with continuous development of deep learning methods,their forecasting precision is steadily increasing.For timeliness,LWMs,leveraging deep neural networks' powerful generalization capabilities,far exceed traditional numerical models' predictive abilities under the same resolution conditions.For computational speed,LWMs have significantly increased inference computation speed compared to traditional numerical models,gradually reduced the enormous computation times required by traditional numerical models.The emergence of LWMs signifies that the cross-fertilization between AI and meteorological fields has reached a new horizon.Although these LWMs have made significant breakthroughs at this stage,their development still faces many challenges,such as the interpretability problem,the generalization and migration challenge,and the over-smoothing problem.The advancement of numerical weather prediction is closely tied to developments in computational and data storage technology,as well as observational techniques.Its application requires interdisciplinary integration,combining insights from various scientific fields.A critical scientific challenge in this field is to foster a more profound integration of numerical weather prediction with emerging information technologies such as artificial intelligence,quantum computing,and digital twins.This challenge also involves tailoring complex and refined component models to meet diverse disciplinary demands and societal needs.Advancing numerical weather prediction within the broader context of earth system science requires a concerted effort to promote cross-disciplinary collaboration,addressing vital scientific questions at the intersection of multiple fields.
Keywords numerical forecasting;Earth System Models;deep learning;large weather models
doi:10.13878/j.cnki.dqkxxb.20231201001
(責(zé)任編輯:張福穎)