基于卷積神經(jīng)網(wǎng)和SVM雷電監(jiān)測預(yù)警

王志斌，肖艷姣，王 玨，吳 濤

（1.中國氣象局武漢暴雨研究所，暴雨監(jiān)測預(yù)警湖北省重點實驗室，湖北武漢 430205；2.武漢中心氣象臺，湖北武漢 430074）

引言

雷電是世界上十大自然災(zāi)害之一，隨社會的進步其危害程度加大，每年都有因雷擊造成的人身傷亡和火災(zāi)事故發(fā)生。國內(nèi)外在雷暴的起電物理過程、電荷分布及與強對流天氣的關(guān)系、災(zāi)害評估等方面進行了較多研究［1-8］。雷電發(fā)生的理論也取一定的成果，但起電放電機制還非常不明確，因此雷電的臨近預(yù)報存在著相當(dāng)?shù)碾y度，但有些學(xué)者通過研究發(fā)現(xiàn)天氣雷達反射率因子的強度和雷電發(fā)生有一定聯(lián)系，單體中如能產(chǎn)生雷電，單體反射率因子強度大于40 dBZ，頂高必須高于7 km，如國外學(xué)者Brandon等認(rèn)為，用負(fù)10℃層高度位置的反射率因子其值大于35 dBZ作為預(yù)測初始雷電，其命中率幾乎可達100%，但綜合考慮FAR（虛警率）和CSI（成功指數(shù)），則用負(fù)10℃層高度處40 dBz反射率因子強度作為預(yù)測初次雷電發(fā)生的最佳預(yù)測因子更佳。國內(nèi)學(xué)者李南等［9］利用閃電及雷電與雷達回波也進行研究，發(fā)現(xiàn)閃電發(fā)生的數(shù)目和回波頂高有較好的關(guān)系。國內(nèi)外雷電的臨近預(yù)報技術(shù)采用資料主要是閃電定位系統(tǒng)、雷達回波等，近年來還加入了衛(wèi)星資料，利用數(shù)值預(yù)報產(chǎn)品做雷電的潛勢預(yù)報也非常流行。中國香港天文臺發(fā)展了名為ATLAS（AirportThunder?storm and Lightning Alerting System）的香港國際機場（HKIA）雷電臨近預(yù)報系統(tǒng)（Li et al，2008）［10］，主要由監(jiān)測與預(yù)報兩個模塊構(gòu)成。當(dāng)ATLAS監(jiān)測或預(yù)報到機場有云地（CG）閃電發(fā)生，會自動產(chǎn)生紅色和黃色警報。該系統(tǒng)把閃電定位信息系統(tǒng)監(jiān)測到的雷電群用橢圓擬合，利用多普勒天氣雷達TREC技術(shù)得到風(fēng)矢量進行雷電群的臨近外推，而預(yù)警結(jié)果則分別由權(quán)重集合WE（Weighted Ensemble）和時間延遲集合TLE（Time Lagged Ensemble）算法生成。在國內(nèi)雷電預(yù)警方面開發(fā)的雷電臨近預(yù)警系統(tǒng)LNWS（Lightning Nowcasting and Warning System）（呂偉濤等，2009）［11］，該系統(tǒng)能夠綜合利用雷達、衛(wèi)星、閃電監(jiān)測系統(tǒng)、地面電場儀和探空儀等資料，結(jié)合區(qū)域識別、跟蹤和外推算法與決策樹算法，自動生成雷電活動潛勢預(yù)報和雷電臨近預(yù)警；最近，Zhou K H［12-13］利用深度學(xué)習(xí)，命名了一個為LightningNet的網(wǎng)絡(luò)，結(jié)合多元資料對閃電進行預(yù)測。由于天氣雷達資料時空分辨率高，且對雷電的預(yù)警有幫助，因此把閃電定位資料和雷達資料是預(yù)警有效的手段之一。雷電生消和移動預(yù)報非常困難，天氣雷達可以有效的從三維反射率因子場中定位風(fēng)暴，且能夠較好地追蹤和識別風(fēng)暴生消和移動。由于雷電產(chǎn)生于風(fēng)暴中，所以本文是試圖把基于雷達三維拼圖和雷電的未來移動結(jié)合起來，從而達到對雷電的臨近預(yù)警。雷電監(jiān)測中主要依賴于閃電定位儀，但它容易受周圍電磁環(huán)境的影響，產(chǎn)生虛假的雷電信息，因此利用雷達資料可以對它進行必要的質(zhì)量控制。同時可以用三維的雷達資料結(jié)合常規(guī)的探空資料進行閃電的識別，更重要的是可以通過雷達三維拼圖的資料利用改進的變分光流方法進行外推預(yù)報。本文利用三維雷達資料結(jié)合探空資料，設(shè)計出多層的卷積神經(jīng)網(wǎng)絡(luò)，在網(wǎng)絡(luò)的尾端輸入探空信息，并在網(wǎng)絡(luò)的末端增加了SVM分類器，這樣可以適當(dāng)提高雷電的識別率。由于產(chǎn)生雷電正負(fù)樣本的不平衡，我們使用SMOTE方法進行樣本的擴充，使得雷電的正負(fù)樣本達到平衡，實驗表明，用三維雷達資料和探空資料，雷電的識別率為76.4%，利用外推的三維雷達資料進行閃電的預(yù)報0-30分鐘的準(zhǔn)確率達54.0%，對業(yè)務(wù)應(yīng)用有一定的實用性。

1 研究數(shù)據(jù)及處理方法

1.1 資料網(wǎng)格化和質(zhì)量控制

資料使用的是武漢2016-2017的有雷電過程的資料，對武漢雷達資料進行三維格點化處理，垂直方向21層，水平格距為0.01度，資料范圍以武漢雷達為中心距離100 km。

在形成三維格點場數(shù)據(jù)之前，需要使用模糊邏輯方法對各單部雷達的數(shù)據(jù)進行質(zhì)量控制，本文利用吳濤［14］的方法進行。在完成各單站雷達質(zhì)量后，采用了肖艷姣［15］三維拼圖方法完成坐標(biāo)格式的變換。對各單雷達數(shù)據(jù)質(zhì)量控制完成，個別雷達數(shù)據(jù)質(zhì)量仍有質(zhì)量問題存在，還需要利用了多點平滑對整場進行處理。通過上述各種方法計算出的格點風(fēng)場仍有奇異的地方，需要進一步修正。如某一格點在速度和方向上超過某些閥值，此值也給予修正，用周圍平均值進行替換。

對200 km范圍內(nèi)的三維雷達資料進行細(xì)分，以格距為5*5的方框為識別單位。根據(jù)識別單位標(biāo)記有/無閃電信息。并行了質(zhì)量控制，以閃電密度為衡量標(biāo)準(zhǔn)，剔除一些可能虛假的閃電信息，如有閃電而沒有回波，以及閃電密度達不到要求的格點都認(rèn)為沒有雷電發(fā)生。樣本里只保留了有組合反射率大于35 DBZ的標(biāo)記單位，對小于35 DBZ的樣本進行剔除。

1.2 雷電正樣本不足的處理

基于欠采樣的抽樣處理：在統(tǒng)計的總的樣例中，有雷電的5 888次，無雷電的有210 612次，比例1：35，顯然把這兩種資料同時放入CNN中進行學(xué)習(xí)是不合適的。因此每次把5 888正樣例進行放回抽樣，在210 612次反樣例中抽取同樣的5 888個樣例組成1：1的比例的樣例進行計算，其中反樣例每次抽取是不同批次的數(shù)據(jù)。

利用SMOTE方法進行樣例擴充：SMOTE是改進了的采用隨機過采樣進行計算的方法，SMOTE算法是分析少數(shù)類樣本特點，并根據(jù)其特點合成新樣本加到原數(shù)據(jù)集中，其方法，步驟為：

（1）選取有雷電樣本L，以距離為標(biāo)準(zhǔn)（這里才用歐氏距離）計算它到有其它有雷電樣例樣本集中的距離，獲得k近鄰。

（2）根據(jù)有無雷電的樣本比例確定采樣倍率N（這里為35），對于每個有雷電類樣本，從其k近鄰中隨機選擇若干個樣本，假設(shè)選擇的近鄰為X。

（3）對于每一個隨機選出的近鄰Xi，按照如下的公式進行計算構(gòu)建新的樣本。雷電新樣本=L+rand（0，1）*|L?X|，Rand（0，1）為產(chǎn)生的0到1之間的隨機數(shù)，樣本取完否，否：轉(zhuǎn)A步，是：則完成所有樣本選取。

2 模型及方法

2.1 改進的變分光流方法

把常用HS和LK兩種方法結(jié)合［16］，給出的光流的能量函數(shù)如式（1）：

其中Δ2u，Δ2v為下面高階的拉普拉斯算子。

2.2 支持向量機介紹

雷電預(yù)測的有/無是一個二分類問題，利用SVM［17］可以有效地處理這些問題。它最初于20世紀(jì)90年代由Vapnik提出，在氣象等領(lǐng)域獲得了廣泛的應(yīng)用。在我們設(shè)計的卷積神經(jīng)網(wǎng)絡(luò)的第2個全連接層共有500個特征向量，利用這些特征向量再使用SVM進行分類。它是利用非線性映射將輸入特征映射到高維特征空間，在高維特征空間中構(gòu)造線性分類，最后求解對偶問題實現(xiàn)決策函數(shù)。

SVM算法為：

設(shè)集合T={（x1，y1），…，（xn，yn）}∈（X，Y），n為訓(xùn)練個數(shù)，其中xi∈X=Rn，yi∈Y∈{1，-1}，i=1，2，…，n

（1）選擇核函數(shù)K和懲罰參數(shù)C，構(gòu)造勢能函數(shù)，并求解。

（2）選擇α*的一個分量并據(jù)此計算

2.3 卷積神經(jīng)網(wǎng)絡(luò)設(shè)計

圖1 CNN+SVM網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 CNN+SVM network structure

網(wǎng)絡(luò)［18-22］由3個卷積層，兩個池化層，2個全連接層，并在第一個全連接層加入了合并層，尾端加入了支持向量機分類器組成。支持向量機用于CNN產(chǎn)生的特征向量以及探空數(shù)據(jù)的學(xué)習(xí)，最后產(chǎn)生2分類問題，在網(wǎng)絡(luò)結(jié)構(gòu)中利用全連接層的輸出信息作為SVM的輸入，整個卷積網(wǎng)絡(luò)和SVM一起進行訓(xùn)練。

雷達數(shù)據(jù)輸入由5*5水平格點及21高度層組成，探空數(shù)據(jù)由加密資料組成。包含高度，溫度，風(fēng)向，風(fēng)速，露點溫度等信息。

3 實驗及結(jié)果分析

實驗平臺為1臺高性能服務(wù)器，有2個CPU共8核，共有16個CPU數(shù)，GPU英偉達（NVIDIA）Ge?Force RTX 2080Ti一塊，操作系統(tǒng)采用Centos 7.4。其上部署有Tensorflow和sklearn軟件。

3.1 欠采樣實驗

我們利用5 888個正樣例，把反樣例分為35份，每份都和正樣例數(shù)據(jù)相等，分別訓(xùn)練由CNN組成的網(wǎng)絡(luò)和由CNN及SVM組成的混合網(wǎng)絡(luò)。得到每個批次網(wǎng)絡(luò)訓(xùn)練的最佳值見表1和圖2。比較兩者網(wǎng)絡(luò)的準(zhǔn)確率（預(yù)報正確的樣例/總樣例數(shù)和3.3的POD含義相同），發(fā)現(xiàn)混合網(wǎng)略比CNN好，CNN網(wǎng)絡(luò)準(zhǔn)確率平均值為73.8%，CNN+SVM均值為74.7%，高出近1個百分點，CNN網(wǎng)絡(luò)準(zhǔn)確率在71.4%-74.64%之間變化，CNN+SVM網(wǎng)絡(luò)72.30-76.44%之間變化，說明樣本基本上是獨立同分布的。抽取其中第16個批次的CNN計算結(jié)果進行分析，學(xué)習(xí)率為0.000 5，損失函數(shù)采用交叉墑，每次學(xué)習(xí)為200個樣例，其中學(xué)習(xí)樣例和測試樣例的比為5：1，隨著樣本的不斷增加，準(zhǔn)確率不斷上升，準(zhǔn)確率從64.5%到74.5%之間變化，見圖3，在網(wǎng)絡(luò)訓(xùn)練過程中有5和21兩個批次準(zhǔn)確率有5%的波動，其它批次很穩(wěn)定。

圖2 CNN和CNN+SVM批次準(zhǔn)確率Fig.2 Batch accuracy of CNN and CNN+SVM

圖3 CNN第16批次準(zhǔn)確率Fig.3 Accuracy of CNN 16th batch

表1 CNN和CNN+SVM批次準(zhǔn)確率Table 1 Batch accuracy of CNN and CNN+SVM

3.2 SMOTE方法實驗

我們把5 888個正樣例用，使用合成少數(shù)類過采樣技術(shù)SMOTE（Synthetic Minority Over?sampling Tech?nique），把正樣例擴充到210 612個，使其與反樣例相等。同樣和欠采樣一樣分兩種情況訓(xùn)練，同樣采用學(xué)習(xí)率為0.000 5，損失函數(shù)采用交叉墑，每次學(xué)習(xí)為6 000個樣例，其中學(xué)習(xí)樣例和測試樣例的比為5：1，共需要35個批次學(xué)習(xí)完成，CNN準(zhǔn)確率從71.0%到76.6%之間變化，平均準(zhǔn)確在73.5%，CNN+SVM準(zhǔn)確率在70.2%-80.2%之間變化，平均在76.4%，SVM+CNN的平均準(zhǔn)確率比CNN高3%，說明利用CNN并加入SVM的結(jié)果比CNN效果好。結(jié)果見圖4。

圖4 CNN和CNN+SVM學(xué)習(xí)批次準(zhǔn)確率Fig.4 Accuracy of learning batch of CNN and cnn+svm

對比欠采樣和SMOTE方法，總體SMOTE比欠采樣略好，以SMOTE方法中的CNN+SVM最好，但兩者才別不大，說明SMOTE方法對基于雷達反射率因子及探空資料是可用。

3.3 預(yù)報個例實驗

利用雷達三維拼圖資料，采用改進的光流方法和半拉格朗日方法對三維拼圖資料進行外推預(yù)報，在此基礎(chǔ)上進行水平方向5*5的單元格劃分，垂直方向21層，同時加入探空資料輸入到網(wǎng)絡(luò)中，使用SMOTE方法訓(xùn)練好的參數(shù)進行計算，用一個例進行了預(yù)報，2018年5月18日午后江漢平原至鄂東北先后經(jīng)歷了一次強雷電天氣過程見圖5，雷電為有組織性的線狀風(fēng)暴產(chǎn)生，分布范圍廣，正負(fù)地閃均有出現(xiàn)，密度大。評分方法采用氣象上常用3種評價指標(biāo)進行評估，時間范圍為北京10～12時，分別是擊中率、虛警率、臨界成功指數(shù)，分別用POD，F(xiàn)AR，CSI代表，評估結(jié)果見表2。并和中國氣象科學(xué)研究院開發(fā)的雷電臨近預(yù)警系統(tǒng)（CAMS_LNWS）［14］進行了比較，其中POD在2個時段都比CAMS_LNWS高，F(xiàn)AR也比CAMS_LNWS低，CSI相當(dāng)，結(jié)果見表3。

圖5 2018年5月18日06-12時湖北中東部雷電分及雷達布圖（左為雷電，右為雷達加雷電預(yù)報）Fig.5 Lightning and radar layout in central and Eastern Hubei from 06：00 to 12：00 on May 18，2018（Lightning on the left，radar and lightning forecast on the right）

表2 0-30和30-60 min預(yù)報指標(biāo)Table 2 0-30 and 30-60 minute forecast

表3 CAMS_LNWS系統(tǒng)0-30和30-60 min預(yù)報指標(biāo)Table 3 CAMS_LNWS system 0-30 and 30-60 minute forecast

由評估結(jié)果可知，雷電預(yù)報0-30 minPOD、CSI比30-60 min準(zhǔn)確率高，其中0-30 min的擊中率達到54%，和CAMS_LNWS系統(tǒng)比較都有一定程度的提高，具有較好的適應(yīng)性。但和實況監(jiān)測比預(yù)報有較大的下降，并隨時間延遲變化更大。

4 結(jié)語

通過設(shè)計CNN網(wǎng)絡(luò)，并在尾端加入SVM分類器，可以適當(dāng)提高分類效果，同時設(shè)計了2種樣本提取方法，用SMOTE方法能有效緩解了樣本不平衡問題。

（1）使用SMOTE方法略好于欠采樣方法，但兩者才別不大，說明樣本選取的是獨立同分布的。

（2）CNN+SVM準(zhǔn)確率在平均在76.4%，0-30分鐘擊中率0.54，成功指數(shù)為0.21；30-60分鐘擊中率0.35，成功指數(shù)為0.17，和傳統(tǒng)方法進行比較有一定提高，可以進行業(yè)務(wù)應(yīng)用。

（3）隨預(yù)報時間的延長，POD和CSI都有顯著下降，這和反射率因子外推不能反映系統(tǒng)演變有較大關(guān)系，為此我們將進一步優(yōu)化網(wǎng)絡(luò)設(shè)計，運用深度學(xué)習(xí)進行反射率因子預(yù)報。