機器學習的原理及其在氣候預(yù)測中的潛在應(yīng)用

賀圣平,王會軍,李華,趙家臻

① 南京信息工程大學 氣象災(zāi)害教育部重點實驗室/氣象災(zāi)害預(yù)報預(yù)警與評估協(xié)同創(chuàng)新中心,江蘇 南京 210044;② 卑爾根大學 地球物理研究所,挪威 卑爾根 5020;③ 中國科學院 大氣物理研究所 竺可楨-南森國際研究中心,北京 100029;④ 中國科學院 氣候變化研究中心,北京 100029

*聯(lián)系人，E-mail:hshp@mail.iap.ac.cn

1956年,McCarthy et al.(1956)提出了人工智能的概念;三年之后,Samuel (1959)提出實現(xiàn)人工智能的方式——機器學習。隨后,人工智能經(jīng)歷了兩個騰飛的時代:即20世紀60到70年代和20世紀80年代。盡管如此,人工智能并未取得令人滿意的成就,先后于20世紀70年代末、90年代初經(jīng)歷了兩次“人工智能寒冬”。盡管人工智能的發(fā)展起伏跌宕,作為人工智能的一個分支和實現(xiàn)人工智能的一個途徑,機器學習(尤其是算法的更新)的發(fā)展卻從未間斷,逐漸發(fā)展成一門涉及概率論、統(tǒng)計學、逼近論等的交叉學科。近年來,隨著計算機硬件設(shè)施性能的顯著提升、研究數(shù)據(jù)的大量增長且存儲成本的大幅降低以及算法的明顯改進,機器學習尤其是深度學習再次進入大眾的視野并取得了一系列的成功。一些經(jīng)過大量數(shù)據(jù)訓練的機器模型能夠?qū)π聰?shù)據(jù)做出精準的預(yù)測,如自動駕駛、圖像識別、語音識別等都是機器學習的成功應(yīng)用(Huntingford et al.,2019)。

人類一直致力于理解并預(yù)測世界的變化,其中最成功的例子就是數(shù)值天氣預(yù)報,如今其對北半球500 hPa位勢高度場3～5 d的預(yù)報技巧已高達90%以上(Bauer et al.,2015)。然而,季節(jié)尺度上的氣候預(yù)測以及更長時間尺度的氣候預(yù)估,依然是巨大的挑戰(zhàn)(Hantson et al.,2016)。在深入理解氣候系統(tǒng)變化機制的驅(qū)動下,地球系統(tǒng)的觀測數(shù)據(jù)、再分析資料以及數(shù)值模擬數(shù)據(jù)在過去40 a里飛速增長。尤其是第五階段(CMIP5)和第六階段國際耦合模式比較計劃(CMIP6),為氣候變化、氣候預(yù)測和氣候預(yù)估研究提供了數(shù)千萬億字節(jié)量級的數(shù)據(jù)資源(Stockhause and Lautenschlager,2017)。如何從“大數(shù)據(jù)”中充分地提取有用的信息并獲取新的知識,對傳統(tǒng)分析方法構(gòu)成了新的挑戰(zhàn)。機器學習和人工智能則帶來了新的契機。機器學習可以從地球系統(tǒng)“大數(shù)據(jù)”中發(fā)現(xiàn)并提取新的相互關(guān)聯(lián)信號,比如某個關(guān)鍵區(qū)的海溫信息可以提高陸地某區(qū)域未來數(shù)月的氣候預(yù)測技巧;在此基礎(chǔ)上,人工智能實現(xiàn)為社會提供極端天氣和極端氣候事件的自動化預(yù)警(Huntingford et al.,2019)。

如今,機器學習逐漸與氣候預(yù)測和天氣預(yù)報相結(jié)合,相關(guān)領(lǐng)域涌現(xiàn)了一大批創(chuàng)新性的研究成果。Ham et al.(2019)利用深度神經(jīng)網(wǎng)絡(luò)對ENSO指數(shù)構(gòu)建了機器預(yù)測模型,結(jié)果顯示深度學習預(yù)測模型對ENSO提前7～21個月的預(yù)測技巧高于當前大部分動力氣候預(yù)測模型。淺層神經(jīng)網(wǎng)絡(luò)機器模型也可以較好地分辨中部型和東部型ENSO事件(Toms et al.,2020)。此外,機器學習也可以應(yīng)用到天氣預(yù)報業(yè)務(wù)中(門曉磊等,2019)。Weyn et al.(2019)利用卷積神經(jīng)網(wǎng)絡(luò)(深度學習)構(gòu)建了500 hPa位勢高度格點場的機器預(yù)報模型,其提前3 d的預(yù)報技巧明顯勝過動力正壓渦度模型,盡管其表現(xiàn)依然遜色于當前業(yè)務(wù)型的數(shù)值天氣預(yù)報系統(tǒng)。卷積神經(jīng)網(wǎng)絡(luò)機器模型也可預(yù)測天氣尺度的鋒面系統(tǒng)(Lagerquist et al.,2019)。深度學習模型還可以在不給定任何閾值的情況下,自動識別極端天氣事件(Liu et al.,2016)。此外,機器學習可以用來減小未來氣候預(yù)估的不確定性(匡志遠等,2020)。

隨著氣候變化及其負面影響的日益加劇(P?rtner et al.,2019),提高氣候預(yù)測的能力也變得愈加重要和急迫。然而,這對于當前的動力氣候預(yù)測模型依然是一個嚴峻的挑戰(zhàn)。機器學習,在高性能計算機、“大數(shù)據(jù)”和先進算法的支持下,為提高氣候預(yù)測的技巧提高了新的思路和契機。本文將圍繞梯度下降、神經(jīng)網(wǎng)絡(luò)的構(gòu)建以及深度學習的框架簡要介紹機器學習的基本原理;最后介紹深度學習應(yīng)用到東亞冬季氣溫預(yù)測的實例。

1 人工智能、機器學習與深度學習簡介

20世紀50年代,約翰·麥卡錫等發(fā)起了達特矛斯夏季人工智能研究計劃(McCarthy et al.,1956),探討自動計算機、神經(jīng)網(wǎng)絡(luò)等議題;“人工智能”的概念由此誕生。“人工智能”旨在賦予計算機“思考”的能力,是指實現(xiàn)計算機系統(tǒng)能夠執(zhí)行通常需要人類智力才能完成的任務(wù)的理論和開發(fā)。顯然,“人工智能”是一個涵蓋范圍比較廣的概念或者統(tǒng)稱。早期的“人工智能”主要是通過硬編碼實現(xiàn),即基于人類已有的知識體系,人工設(shè)計代碼程序,從而完成對人類具有挑戰(zhàn)的任務(wù)。例如,IBM設(shè)計的電腦棋手“深藍”,就是將國際象棋規(guī)則完全形式化后,再通過硬編碼描述給計算機;“深藍”于1997年5月11日打敗了國際象棋世界冠軍加里·卡斯帕羅夫。然而,隨著實際應(yīng)用要求的提高以及人類認知體系的局限性,硬編碼的“人工智能”的瓶頸開始凸顯:它并不能解決更為復(fù)雜的問題。為了彌補硬編碼對人類認知體系要求較高的弊端,科學家提出了一種新的構(gòu)建“人工智能”的思路,即實現(xiàn)計算機自動從大數(shù)據(jù)集中總結(jié)、歸納信息的特點,也就是機器學習。雖然機器學習依然需要通過編碼來實現(xiàn),但它有一個明顯區(qū)別于傳統(tǒng)硬編碼方式的特點:在執(zhí)行任務(wù)的初期,計算機并未給定解決該問題的具體規(guī)則(例如“深藍”已知的國際象棋規(guī)則),而是采用大量的數(shù)據(jù)、通過某種算法不斷地“訓練”計算機,同時使用某一種損失函數(shù)衡量計算機的學習效果、并通過優(yōu)化算法調(diào)整“訓練”的方向;通過反復(fù)的迭代計算,最終使得計算機具備解決問題的最優(yōu)方案或規(guī)則(即參數(shù),見第二節(jié))。這樣,“訓練”好的機器就可以投入到實際應(yīng)用,如人臉識別、語音識別系統(tǒng)等都是機器學習的成果。可見,算法是機器學習的核心,神經(jīng)網(wǎng)絡(luò)就是其中的經(jīng)典算法之一。而深度學習,就是利用層次更多(即深度的含義)神經(jīng)網(wǎng)絡(luò)實現(xiàn)機器學習。

2 機器學習的原理

機器學習可以分為監(jiān)督學習、無監(jiān)督學習和強化學習(Dougherty et al.,1995)。本文主要圍繞監(jiān)督學習展開討論。監(jiān)督學習的特點是,每一個“訓練數(shù)據(jù)”都有明確的輸出期望值(即“標簽數(shù)據(jù)”)。為了簡單明了地解釋機器的“學習”過程,以最簡單的線性回歸為例,展示如何不斷地“訓練”機器、最終獲取線性回歸方程參數(shù)(即斜率θ1和截距θ2)的過程。構(gòu)建一個線性函數(shù):y=2.5x+3.5+δ(x=1,2,3,…,20);其中δ表示符合隨機正態(tài)分布的噪音數(shù)據(jù),x與y之間的映射關(guān)系如圖1a的散點圖所示。從機器學習的角度,x稱為“訓練數(shù)據(jù)”,y即為“標簽數(shù)據(jù)”(表1)。

表1 “訓練數(shù)據(jù)”稱為x,“標簽數(shù)據(jù)”y以及噪音數(shù)據(jù)δ

(1)

其中:m表示數(shù)據(jù)集的個數(shù)。由于“訓練數(shù)據(jù)”x和“標簽數(shù)據(jù)”y都是已確定的數(shù)據(jù)集,不確定的僅僅是參數(shù)θ1和截距θ2;因此,損失函數(shù)實際上是關(guān)于θ1和θ2的函數(shù),記為f(θ1,θ2);為便于描述,將參數(shù)表述為向量的形式Θ(θ1,θ2)。換言之,“訓練”機器的最終目標就轉(zhuǎn)化為:調(diào)整參數(shù)Θ、使得f(Θ)的值達到最小。

Θ1=Θ0-α×f(Θ)|Θ0。

(2)

若Θ1不是f(Θ)達到最小值的參數(shù),則繼續(xù)沿著導函數(shù)的反方向調(diào)整參數(shù)、得到新的參數(shù)Θ2,即:

Θ2=Θ1-α×f(Θ)|Θ1。

(3)

因此,損失函數(shù)可表示為:

(4)

其中:m為每一個數(shù)據(jù)集的個數(shù),即20,常數(shù)1/2是為了后續(xù)求導函數(shù)的時候不再有多余的常量;損失函數(shù)的導函數(shù)則為:

。

(5)

首先,隨機給定計算機初始參數(shù)Θ0(20,-20),與“訓練數(shù)據(jù)”X和“標簽數(shù)據(jù)”Y(表1)一起代入公式(4)和公式(5),可以求出損失函數(shù)及其導數(shù):

f(20,-20)=17 934.65,

(2 264.65,160.25)。

同時,將機器的“學習”效率α設(shè)置為0.01,根據(jù)公式(2),機器將參數(shù)更新為:

(-2.646,-21.603)。

圖1 散點表示“訓練數(shù)據(jù)”x與“標簽數(shù)據(jù)”y的映射關(guān)系,紅線表示機器學習的線性擬合結(jié)果(a);機器學習迭代計算線性擬合參數(shù)的過程(b);機器學習中“梯度下降”的過程(c)Fig.1 (a) Scatters indicate the mapping relationship between the ‘train data’ x and ‘labeled data’ y,the red line indices the linear fitting by machine linear;(b) the updating of weights along the iteration;(c) the gradient descent of machine learning

當然,上述只是“訓練”機器的過程。機器學習的最終目標是:用“訓練”好的機器(即完成了參數(shù)的優(yōu)化)針對機器從未接觸過的新數(shù)據(jù)(通常稱為“測試數(shù)據(jù)”)展開預(yù)測。將在第三節(jié)和第四節(jié)中詳細闡述。

3 解析神經(jīng)網(wǎng)絡(luò)以及將其應(yīng)用于氣候預(yù)測的思路

線性回歸是氣候預(yù)測和氣候變化研究中常見的方法。當然,不需要通過機器學習,也可以快速地計算線性回歸函數(shù)。但是,在實際研究和應(yīng)用過程中,經(jīng)常面對的是大量的觀測和數(shù)值模擬數(shù)據(jù)。由于氣候系統(tǒng)的復(fù)雜性,數(shù)據(jù)之間可能存在某種非線性關(guān)系;上述基于線性關(guān)系構(gòu)建的機器學習模型將失去作用。這時,深度學習則能發(fā)揮巨大的優(yōu)勢;而深度學習則是以神經(jīng)網(wǎng)絡(luò)為框架,通常包括一層輸入層、若干隱藏層和一層輸出層。每一個神經(jīng)層都包含若干個神經(jīng)元(實際上代表的是包含某一個具體數(shù)據(jù)的節(jié)點)。輸入層負責接收“訓練數(shù)據(jù)”或者“測試數(shù)據(jù)”,輸出層負責導出“預(yù)測數(shù)據(jù)”。隱藏層的主要功能則是通過大量的參數(shù)、連接輸入層和輸出層。利用輸出層的“預(yù)測數(shù)據(jù)”和已知的“標簽數(shù)據(jù)”可以構(gòu)建損失函數(shù),再通過優(yōu)化器減小損失函數(shù)并調(diào)整參數(shù)。當損失函數(shù)達到最小值的時候,則鎖定參數(shù),即完成機器的“訓練”(見第2節(jié))。此處的關(guān)鍵問題是:輸入層、隱藏層和輸出層之間是通過何種方式實現(xiàn)神經(jīng)元之間的連接呢?答案是:矩陣的乘法。

為簡單起見,先構(gòu)建一個淺層的神經(jīng)網(wǎng)絡(luò):一層輸入層,包含一個神經(jīng)元節(jié)點;兩層隱藏層,分別包含4個和5個神經(jīng)元節(jié)點;一層輸出層,包含一個神經(jīng)元節(jié)點(圖2a)。我們將從矩陣乘法的角度,逐步解析神經(jīng)元之間的連接方式。

圖2 一個淺層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)(a);解析神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖(b)Fig.2 (a) A shallow neural network;(b) illustrating the architecture of neural network

1)輸入層到第一層隱藏層

2)第一層隱藏層到第二層隱藏層

3)第二層隱藏層到輸出層

輸出層只有一個預(yù)測值p1,因此只需構(gòu)建一個五行、一列的新參數(shù)矩陣μ即可實現(xiàn)第二層隱藏層與輸出層神經(jīng)元之間的連接(圖2b)。

完成構(gòu)建上述神經(jīng)網(wǎng)絡(luò)之后,可以將批量的“訓練數(shù)據(jù)”集(假設(shè)有n個樣本)輸入神經(jīng)網(wǎng)絡(luò),即可得到n個“預(yù)測數(shù)據(jù)”集;結(jié)合對應(yīng)的n個“標簽數(shù)據(jù)”,則可得到關(guān)于ω,θ和μ的損失函數(shù)f(ω,θ,μ)。然后,通過優(yōu)化器不斷減小損失函數(shù)同時更新參數(shù)ω,θ和μ(圖2b;可參見第四節(jié))。值得注意的是,為了探索隱藏層與其前、后層之間的非線性關(guān)系,神經(jīng)網(wǎng)絡(luò)會在隱藏層引入一個非線性的“激勵函數(shù)”;這也是神經(jīng)網(wǎng)絡(luò)算法相對線性模型更為優(yōu)越的原因(Specht,1991)。

圖3 神經(jīng)網(wǎng)絡(luò)擬合非線性函數(shù)以及采用不同“激勵函數(shù)”的效果(a;藍線表示真實函數(shù)的曲線;散點表示在真實函數(shù)基礎(chǔ)上疊加隨機噪音的數(shù)據(jù);黃色、紅色分別表示采用tanh、relu“激勵函數(shù)”的神經(jīng)網(wǎng)絡(luò)學習結(jié)果);(b),(c)分別表示tanh、relu “激勵函數(shù)”Fig.3 (a)Non-linear fitting by neural network with different activation functions;the blue curve indicates the ‘true’ curve of non-linear function;scatters indicate the non-linear function f(θ)=sin(3.5 cos(2.5θ)) overlapped by random noise;the yellow and red curves are results of machine learning with activation function of tanh and relu,respectively;(b) and (c) illustrate the activation function of tanh and relu,respectively

為了直觀展示神經(jīng)網(wǎng)絡(luò)的學習效果,首先構(gòu)建了一個非線性函數(shù)y’=sin(3.5×cos(2.5θ)),θ為-1到1之間的300個等間距數(shù)據(jù),即“訓練數(shù)據(jù)”集;y’與θ之間的函數(shù)曲線如圖(3a)藍線所示;在該非線性函數(shù)上疊加一定的隨機噪音,從而得到300個“標簽數(shù)據(jù)”y。θ與y之間的映射結(jié)果如圖3a散點所示。構(gòu)建一個神經(jīng)網(wǎng)絡(luò),包含一層輸入層、2層隱藏層(分別包含16個神經(jīng)元)和一層輸出層。將“訓練數(shù)據(jù)”θ輸入神經(jīng)網(wǎng)絡(luò),在隱藏層中使用雙曲正切(hyperbolic tangent function,tanh)激勵函數(shù)(圖3b);當機器經(jīng)歷6 000次迭代計算后,機器“學習”到的輸出值如圖3a黃線所示,此時損失函數(shù)的值為0.01。可見,神經(jīng)網(wǎng)絡(luò)機器學習對于解決非線性問題有較好的表現(xiàn)。當采用修正線性單元(Rectified linear unit,relu)“激勵函數(shù)”(圖3c)時,機器經(jīng)歷6 000次迭代之后的輸出值為圖3a的紅線,此時損失函數(shù)的值為0.052。

4 深度學習之卷積神經(jīng)網(wǎng)絡(luò)及其回報東亞冬季氣溫實例

卷積神經(jīng)網(wǎng)路(Convolutional Neural Network,CNN)是在普通神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上增加了一個或者多個卷積層(convolutional layer)和池化層(pooling layer;包括最大池化和平均池化等(Goodfellow et al.,2016)。卷積的過程是:首先隨機給定一個卷積核(convolutional kernel),也就是一個權(quán)重矩陣,其維數(shù)與被卷積的數(shù)據(jù)相同、但水平分辨率更小;卷積核按照自身分辨率的大小、以固定的步長從被卷積數(shù)據(jù)中提取數(shù)據(jù)子集,并與之對應(yīng)相乘、再求總和;直至完成對所有數(shù)據(jù)的檢索。為了考慮數(shù)據(jù)的非線性,卷積之后的數(shù)據(jù)會再經(jīng)過一個“激勵函數(shù)”,最終的輸出結(jié)果將進入池化層(參看圖4中的“第一步”)。

圖4 卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)Fig.4 The architecture of convolutional neural network

池化(以最大池化為例):是以規(guī)定的水平分辨率(比如2×2的格點)、按照規(guī)定的步長檢索卷積層的輸出數(shù)據(jù),每次檢索都輸出該格點范圍內(nèi)的最大值;直至完成對所有數(shù)據(jù)的檢索(參看圖4中的“第二步”)。需要指出的兩點是:

1)圖4中只使用了一個卷積核,因此卷積之后的數(shù)據(jù)依然是二維。實際上,可以采用多個不同的卷積核對數(shù)據(jù)進行卷積;每一個卷積核都按照以上過程對數(shù)據(jù)進行卷積。因此,當所有卷積核完成卷積過程后,輸出的數(shù)據(jù)水平分辨率明顯減小,同時也會增加一個維度(等于卷積核的數(shù)目)。

2)圖4中只有一個卷積層和一個池化層。實際應(yīng)用中,可以有多次重復(fù)上述卷積、池化過程;即池化之后的數(shù)據(jù)再經(jīng)歷卷積、池化。卷積核、卷積層和池化層的數(shù)目需要根據(jù)具體問題以及試驗效果進行調(diào)整。

將池化之后的數(shù)據(jù)轉(zhuǎn)換為一維數(shù)據(jù),再輸入到普通神經(jīng)網(wǎng)絡(luò)的輸入層,即可完成卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)建(參看圖4中的“第三步”)。

卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)在計算機視覺(如圖片分類識別)、自然語言處理等方面取得了巨大成功(Goodfellow et al.,2016;Huntingford et al.,2019)。氣候預(yù)測研究和應(yīng)用也經(jīng)常使用二維或三維數(shù)據(jù)。因此,從理論上講,卷積神經(jīng)網(wǎng)絡(luò)完全可以應(yīng)用到氣候預(yù)測領(lǐng)域中。另外,氣候系統(tǒng)觀測數(shù)據(jù)和數(shù)值模擬數(shù)據(jù)的大量豐富,為機器學習提供了充足的訓練數(shù)據(jù)。

為了嘗試將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到氣候預(yù)測,本文采用卷積神經(jīng)網(wǎng)絡(luò)方法,利用第五階段耦合模式比較計劃(CMIP5)的歷史模擬數(shù)據(jù),針對東亞冬季逐月的氣溫指數(shù)構(gòu)建了機器預(yù)測模型;然后利用歷史觀測數(shù)據(jù)輸入該訓練好的機器預(yù)測模型,對東亞冬季逐月氣溫的歷史觀測時間序列展開回報試驗。研究數(shù)據(jù)、建模方法和回報結(jié)果如下。

4.1 研究數(shù)據(jù)

21個氣候模式的歷史模擬數(shù)據(jù)取自CMIP5,時段為1861—2005年;變量包括表面氣溫T2m、海表溫度SST和0～300 m平均的海洋溫度T300(https://esgf-node.llnl.gov/projects/cmip5/)。動力氣候模式CanCM4i的歷史回報試驗結(jié)果取自:https://iridl.ldeo.columbia.edu/SOURCES/.Models/.NMME/。觀測數(shù)據(jù)包括:1)美國國家環(huán)境預(yù)測中心(NCEP)的全球海洋數(shù)據(jù)同化系統(tǒng)(GODAS)的海溫資料(https://psl.noaa.gov/data/gridded/data.godas.html;Behringer and Xue (2004)),時段為1982—2018年;2)歐洲中長期預(yù)報中心再分析資料(ERA5)中的表面氣溫T2m,時段為1982—2018年(C3S,2017)。為了節(jié)省機器的訓練時間,CMIP5和GODAS的SST和T300均插值為5°×5°的水平分辨率,范圍為60°S～60°N,0°～360°;即格點分辨率為24(緯向)×72(經(jīng)向)。

4.2 建模方法

1) 構(gòu)建機器“訓練數(shù)據(jù)”Train_data,“標簽數(shù)據(jù)”Labeled_data和“測試數(shù)據(jù)”Test_data(表2)

首先,將所有數(shù)據(jù)中的T2m、SST和T300均轉(zhuǎn)化為距平場(減去相應(yīng)數(shù)據(jù)時段的氣候態(tài)),CMIP5、GODAS和ERA5中的距平場分別記為CMIP_SSTA,CMIP_T300A,CMIP_T2mA,GODAS_SSTA,GODAS_T300A,ERA5_T2mA。計劃針對東亞冬季逐月(即12月、1月和2月)提前1個月展開預(yù)測,預(yù)報因子為前期連續(xù)3個月的SST和T300的距平場。

表2 機器模型及其相應(yīng)的“訓練數(shù)據(jù)”(Train_data)、“標簽數(shù)據(jù)”(Labeled_data)、“測試數(shù)據(jù)”(Test_data)和“預(yù)測值”(Prediction)

為了檢驗機器預(yù)測模型的預(yù)測效果,進一步計算了1982—2017年12月、1983—2018年1月以及1983—2018年2月東亞某區(qū)域(100°～140°E,10°～30°N,)ERA5_T2mA的區(qū)域平均值,分別記為ERA5_T2m_Dec、ERA5_T2m_Jan和ERA5_T2m_Feb。值得注意的是,為了盡可能獲得足夠大的訓練數(shù)據(jù)樣本,使用CMIP5歷史模擬試驗的全時段數(shù)據(jù),導致訓練數(shù)據(jù)與測試數(shù)據(jù)在時段上有一定的重疊。然而,考慮到CMIP5耦合模式模擬的氣候年際變率與觀測結(jié)果之間的相關(guān)系數(shù)非常弱,因此上述重疊不會對機器學習的預(yù)測效果產(chǎn)生明顯的影響。

2)卷積神經(jīng)網(wǎng)絡(luò)預(yù)測模型的結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)包含3個卷積層和2個最大池化層,最后一級卷積層與普通神經(jīng)網(wǎng)絡(luò)全連接;該普通神經(jīng)網(wǎng)絡(luò)包含一個隱藏層。第一個卷積層的卷積核大小為8×4的格點分辨率,第二和第三個卷積層的卷積核大小均為4×2的格點分辨率;最大池化層以2×2的格點分辨率從卷積層中檢索最大值。為了獲得更為客觀的預(yù)測結(jié)構(gòu),嘗試了兩個不同數(shù)目(即30和50)的卷積核和隱層神經(jīng)元,如C30H50表示擁有30個卷積核和50個隱層神經(jīng)元的卷積神經(jīng)網(wǎng)絡(luò);依次類推。同時,每個卷積神經(jīng)網(wǎng)絡(luò)都采用了10個不同是初始權(quán)重進行訓練,并展開相應(yīng)的回報試驗。

4.3 回報結(jié)果

圖5顯示了卷積神經(jīng)網(wǎng)絡(luò)機器模型提前一個月回報的東亞冬季12月、1月和2月的氣溫指數(shù),分別記為Pre_T2m_Dec、Pre_T2m_Jan、Pre_T2m_Feb。結(jié)果顯示,卷積神經(jīng)網(wǎng)絡(luò)集合平均的回報結(jié)果Pre_T2m_Dec、Pre_T2m_Jan、Pre_T2m_Feb與12月、1月、2月的觀測結(jié)果ERA5_T2m_Dec、ERA5_T2m_Jan、ERA5_T2m_Feb間的相關(guān)系數(shù)分別為0.77、0.82和0.70。同時,回報指數(shù)的幅度與觀測也比較接近。值得注意的是,不同數(shù)目的卷積核、不同數(shù)目的隱藏層神經(jīng)元的卷積神經(jīng)網(wǎng)絡(luò)預(yù)測結(jié)果差異并不大。但是,不同初始場(圖5陰影所示)之間的預(yù)測結(jié)果差異明顯。

圖5 采用卷積神經(jīng)網(wǎng)絡(luò),利用前期連續(xù)3個月的海表溫度異常、0～300 m的海洋熱含量異常(0°～360°,60°S～60°N)提前1個月預(yù)測的1982/83—2017/18年12月(a)、1月(b)、2月(c)東亞某區(qū)域(100°～140°E,10°～30°N)氣溫異常(紅色曲線表示觀測結(jié)果;其他曲線表示搭配不同數(shù)目的卷積核(C)和隱藏層(H)的卷積神經(jīng)網(wǎng)絡(luò)的集合平均預(yù)測結(jié)果,如C50H30表示卷積神經(jīng)網(wǎng)絡(luò)包含50個卷積核和30個隱藏層,以此類推;藍色曲線表示卷積神經(jīng)網(wǎng)絡(luò)中所有集合的平均預(yù)測結(jié)果、并疊加集合平均的誤差(±1 標準差))Fig.5 Ensemble-mean time series of (a)December 1982—2017,(b)January 1983—2018,(c)February 1983—2018 aera-averaged (10°—30°N,100°—140°E) T2m anomalies for one-month-lead hindcast using convolutional neural network(CNN) model(blue solid curves) as well as the corresponding observed time series (red curves).Other curves represent results of CNN model with different numbers of convolutional filters and hidden layers;for example,C50H30 indicates the CNN model with 50 convolutional filters and 30 hidden layers,and so on;shading indicates ±1 standard deviation of 40 ensemble members

神經(jīng)網(wǎng)絡(luò)的加深可以一定程度上提高機器的預(yù)測能力;例如,圖6a和6b中C50H50的回報效果略好于C50H30。但是,當神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)達到一定的深度時,通過控制初始場以尋求神經(jīng)網(wǎng)絡(luò)全局最優(yōu)參數(shù)變得尤為重要。例如,針對同樣的機器預(yù)測模型,采取不同的初始參數(shù)訓練機器(圖6:C50H50),得到的回報結(jié)果與觀測的相關(guān)系數(shù)在不同集合之間相差可達0.2左右。

圖6 計算數(shù)據(jù)與圖5相同,但顯示的是卷積神經(jīng)網(wǎng)絡(luò)中每一個集合的預(yù)測結(jié)果與觀測結(jié)果的相關(guān)系數(shù);紅色柱狀為集合平均的結(jié)果;水平虛線表示通過95%信度檢驗的臨界值;(a)、(b)、(c)分別表示12月、1月和2月的預(yù)測效果Fig.6 Dataset are the same as Fig.5,but for the correlation coefficients of each ensemble members with the observation in (a)December,(b)January,and (c)February;the red bar indicates the results of ensemble mean in each CNN model;the horizontal dashed line indicates the value at 95% confidence level

需要強調(diào)的是,深度學習模型的回報效果優(yōu)于氣候動力模型的回報結(jié)果。如圖7所示,深度學習模型提前一個月回報的東亞某區(qū)域(100°～140°E,10°～30°N)1月氣溫的40個集合回報試驗與觀測結(jié)果之間的相關(guān)系數(shù)為0.5～0.8,均通過95%的信度檢驗;同時也高于動力模式CanCM4i回報結(jié)果與觀測之間的相關(guān)系數(shù)(0.42)。另外,深度學習模型提前2～3個月回報的東亞某區(qū)域(100°～140°E,10°～30°N)1月氣溫技巧也普遍高于動力模式的回報效果。

值得注意的是,盡管上述例子表明機器學習可以應(yīng)用到短期氣候預(yù)測中。但并不意味著,給定機器任意的“大數(shù)據(jù)”就可以建立表現(xiàn)良好的氣候預(yù)測模型。為了建立預(yù)測技巧較高的機器學習氣候預(yù)測模型,需要充分了解“大數(shù)據(jù)”背后的氣候動力學。換而言之,氣候動力學指導建立機器學習模型,對于充分發(fā)揮機器學習在氣候預(yù)測中的潛力至關(guān)重要。例如,采用與圖5b同樣的機器學習思路、分別針對低緯度(100°～140°E,0°～20°N)和中緯度(100°～140°E,30°～50°N)1月的平均氣溫建立回報模型,集合平均的回報結(jié)果與觀測結(jié)果的相關(guān)系數(shù)分別為0.89和0.33(圖8)。其中的主要原因可能是,相對于中高緯度的氣候,低緯度的氣候受熱帶和副熱帶海溫的影響更加明顯(圖9)。本文機器學習預(yù)測模型中的預(yù)測因子主要是60 °S～60 °N的海表溫度異常和0～300 m的海洋熱含量異常。從氣候動力學的角度理解,本文的機器學習預(yù)測模型更適合中低緯度的氣候預(yù)測。如果要建立中高緯度氣候的機器學習預(yù)測模型,則需要更多地考慮中高緯度氣候系統(tǒng)的影響,如歐亞積雪、北極海冰、極渦等(賀圣平等,2016;He et al.,2020)。需要強調(diào)的是,盡管線性回歸分析表明東亞低緯度的氣溫異常與全球部分地區(qū)的海溫存在顯著的統(tǒng)計聯(lián)系,但是基于海溫構(gòu)建的線性回歸模型對東亞氣溫的回報結(jié)果遠遠不如機器學習的回報效果(圖略)。進一步表明機器學習在探索非線性過程方面的明顯優(yōu)勢。

5 總結(jié)與討論

在機器學習蓬勃發(fā)展之際,本文圍繞機器學習之監(jiān)督學習的基本原理、通過線性和非線性以及深度學習的機器學習例子,解析機器學習在氣候預(yù)測中的潛在應(yīng)用。

首先,通過介紹機器學習獲取線性擬合函數(shù)參數(shù)的簡單例子,解析了機器學習中“訓練數(shù)據(jù)”、“標簽數(shù)據(jù)”和“損失函數(shù)”的意義,展示了機器學習如何通過“梯度下降”算法減小損失函數(shù)并更新和優(yōu)化參數(shù)、并最終得到合理的線性擬合直線的過程(圖1)。

其次,從矩陣乘法的角度,解析了神經(jīng)網(wǎng)絡(luò)輸入層至隱藏層再到輸出層之間的搭建思路(圖2);并以非線性數(shù)據(jù)集為例子,展示了神經(jīng)網(wǎng)絡(luò)機器模型擬合非線性函數(shù)曲線的例子,同時也比較了采用不同“激勵函數(shù)”的神經(jīng)網(wǎng)絡(luò)的學習效果(圖3)。

圖7 卷積神經(jīng)網(wǎng)絡(luò)中每一個集合提前1個月、2個月和3個月回報的東亞某區(qū)域(100°～140°E,10°～30°N)1月氣溫與觀測結(jié)果間相關(guān)系數(shù)的盒須圖(紅點表示動力模式CanCM4i回報結(jié)果與觀測之間的相關(guān)系數(shù);水平虛線表示通過95%信度檢驗的臨界值)Fig.7 Boxplot for correlation coefficients of observation with each ensemble member’s hindcast with one month,two months,and three months in advance;red dot indicate the correlation between the observation and the hindcast by CanCM4i;the horizontal dashed line indicates the value at 95% confidence level

之后,解析了深度學習之卷積神經(jīng)網(wǎng)絡(luò)的基本框架,包括卷積核的作用、卷積層和池化層的工作過程,以及池化層如何連接到普通神經(jīng)網(wǎng)絡(luò)(圖4)。最后,介紹了如何通過CMIP5“大數(shù)據(jù)”、利用卷積神經(jīng)網(wǎng)絡(luò)搭建東亞冬季逐月氣溫的預(yù)測模型,并利用觀測數(shù)據(jù)展開回報試驗(圖5、圖6和圖7)。同時,討論了氣候動力學知識指導搭建機器學習預(yù)測模型的重要性(圖8和圖9)。

圖8 與圖5b類似,1983—2018年1月(100°～140°E,0°～20°N)(a)、(100°～140°E,30°～50°N)(b)區(qū)域平均氣溫異常的預(yù)測結(jié)果Fig.8 Same as Fig.5(b),but for the hindcast of area-averaged T2m anomalies in January 1983—2018 over (a)0°—20°N,100°—140°E and (b)30°—50°N,100°—140°E

圖9 1983—2018年1月(100°～140°E,0°～20°N)區(qū)域平均(a,b)及(100°～140°E,30°～50°N)區(qū)域平均(c,d)氣溫異常與前期3個月平均的(12月、11月和10月)海表溫度異常(a,c)、0～300m海洋熱含量異常(b,d)的相關(guān)系數(shù)(陰影),打點區(qū)域表示通過95%信度檢驗的值Fig.9 Correlation coefficients(shading) of area-averaged T2m anomalies over (0°—20°N,100°—140°E) in January 1983—2018 with the preceding three months’ mean (October,November,December) (a)sea surface temperature anomalies and (b)oceanic heat content anomalies from surface to 300m;regions with stippling indicate the values significant at 95% confidence level;(c) and (d) are the same as (a) and (b),respectively,but for the area-averaged T2m anomalies over (30°—50°N,100°—140°E) in January 1983—2018

需要指出的是,機器學習已經(jīng)是一門綜合性的學科,包含了眾多算法,如批量梯度下降法、隨機梯度下降法、小批量梯度下降法、線性回歸、邏輯回歸、決策樹、樸素貝葉斯、K臨近、學習向量化、支持向量機、隨機森林等。深度學習也只是機器學習的一個重要分支,其算法包括卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、生成對抗網(wǎng)絡(luò)和深度強化學習。本文只是簡要介紹了機器學習中的批量梯度下降算法、淺層神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò),旨在初步認識機器學習的原理和作用,為進一步深入了解機器學習提供一定的基礎(chǔ)知識。