基于特征提取和集成學習的雷電預測能力提升

陳靖宇，湯德佑，伍光勝，胡鵬

（1.華南理工大學，廣東 廣州510006；2.廣州市突發事件預警信息發布中心，廣東 廣州511430）

1 引言

雷電是一種伴隨著劇烈的放電過程的強對流天氣現象，一直以來都嚴重威脅著公共安全和人民生命財產安全[1]，雷電災害已被聯合國列為“最嚴重的十種自然災害之一”。伴隨著電子產品的廣泛應用，社會對雷電災害的監測和預防的需求也逐漸增大[2]。

雷電最典型的例子就是雷暴云層產生的對地閃電，目前利用大氣電場數據進行雷電預警的方法多以預警閾值[3-5]和預測方程的方法[6-7]為主。主要的方法是針對電場的快速抖動和閃電發生的0—1對應關系，對電場數據進行分解并從中提取預測因子，根據經驗數據分析得出閾值點或建立多元回歸的預測方程。這些方法準確率較高，但在針對不同地區、不同季節需要人工進行閾值、權重等參數調整。且由于雷電的生成機理復雜，具有一定的非線性特征，定量分析預測因子的過程十分繁瑣且不具備泛用性，應用性較局限。

為了解決非線性問題并建立具有適應性和容錯性的模型，也有人嘗試采用機器學習的方法進行氣象特征對事件的映射從而預警雷電：呂偉濤等[8]集成了決策樹和區域識別的方法，建立了雷電臨近預測系統。周明薇等[9]采用了支持向量機對NCEP資料建立了雷電潛勢預警模型，應用相關系數大于0.3的特征，并與其他分類模型進行了比較。陳勇偉等[10]提取了對流參數作為神經網絡的輸入因子，預測了雷電活動的潛勢。田浩等[11]運用BP神經網絡，提取以30分鐘為時間片的大氣電場特征，預警未來的雷電發生事件。

目前運用在雷電預警的機器學習方法大多采用單一分類器，而使用集成學習的方法較少?；谏鲜龇治?，本文提出基于大氣電場數據和閃電定位數據，通過挖掘提取有關特征和集成基分類器的方法提高預測模型的精度，為雷電預警提供可參考的新方法。

2 資 料

廣東省屬于熱帶和亞熱帶季風氣候，處于雷電高發區，雷電發生頻率位于全國第二位[12]，研究廣東地區的雷電預警有重要意義。本文利用來自廣州市氣象局的2019年和2020年廣州市黃埔區的大氣電場儀資料和全閃雷電監測系統提供的組網地閃資料，提取其中有顯著雷電發生的數據。大氣電場儀的地理分布如圖1所示。

大氣電場儀是通過導體在電場中產生感應來測量電場強度，當電場儀探知大氣中電場發生變化時，可反演雷暴云中的電場變化，從而對雷電的發生進行預警。大氣電場數據提供了探測范圍內基于時間序列的大氣電場強度，單位為kV/m。如圖1所示，在廣州市黃埔區共有5臺大氣電場儀同時進行觀測試驗，圖中的5個圓為大氣電場的探測范圍，半徑均為15 km，它們的中心是大氣電場儀布置的位置。

圖1 大氣電場儀站點分布圖

地閃資料來源于閃電定位儀獲取的組網全閃資料，探測范圍覆蓋全廣東省，它是一種自動化雷電監測設備，能夠有效捕捉云層放電產生的電磁波，從而形成易于分析的地閃資料。地閃資料具有精準度高、探測范圍廣等特點，提供了包含閃電發生時間、雷擊的經緯度位置等閃電信息。在本文中，地閃資料一方面反映當前的雷電特征，另一方面也反映未來是否有雷電事件作為標簽，使得特征和標簽之間的緊密型更強。

考慮到雷電云層的移動速度，統計一個以30分鐘為時間片內大氣電場儀接收的大氣電場數據和其探測范圍內的地閃數據為一個樣本。本文采集了2019年的樣本數量共14723條，并以7:3的比例隨機劃分出訓練集和驗證集，再采集2020年的部分樣本作為測試集進行對模型的評價。

3 方 法

大氣電場儀在一段時間內得到的電場時間序列包含了電場波形變化特征，本文的試驗中先進行特征分析與挖掘，得到能夠映射雷電發生事件的預測因子，再進行建模。本文采用集成學習的方法對雷電預警進行試驗研究。集成是一種把多個學習器組合起來，捕獲數據中線性和非線性關系的方法，能更有效地描述特征和雷電之間的關系，能夠降低模型的方差或偏差，使得模型更加穩定，并在一定程度上降低過擬合。

3.1 特征提取

3.1.1 預測量分析

本文的試驗利用閃電定位數據中的地閃資料來確定雷電過程。首先確定以30分鐘為一個時間片，接著采集一個時間片內的數據特征作為預測因子，預測量則是在緊接著的下一個時間片中，以大氣電場儀為中心，15 km為半徑的圓內的閃電事件，預測因子和預測量的關系是特征值到事件的映射。將預測量作為模型的輸入標簽，發生閃電事件，預測量標簽為1；不發生閃電事件，預測量標簽為0。

3.1.2 預測因子分析

為了準確預測雷電的發生，國內外研究人員提出了許多基于大氣電場和閃電定位數據的參數因子[10,13]，本文對兩種數據進行預處理提取有關特征，并根據大氣電場的性質重新進行特征的分析與篩選。

大氣電場儀提供的數據根據樣本的設置是切分在大小為30分鐘的時間片中，內容為大氣電場強度值的時間序列。若將時間片內所有電場強度值作為特征輸入到模型，會造成信息冗余，因此從每個時間片中提取最大值、最小值、方差、反轉次數等能夠反映時間序列的聚合特征。為了更有效地分析波動現象的曲線，對大氣電場序列進行一階差分處理，一階差分是指在序列中用連續相鄰的兩項做差，達到近似導數的效果，從而減輕了數據間不規律的波動，使曲線更加平穩，它更多的提供包含其趨勢性、窗口差異性、自相關性的復合特征。

對提取的特征進行了相關性分析，用于分析這些預測因子與作為預測量的下一時間片內閃電事件的相關性，計算預測因子X與預測量Y的協方差和標準差，運用下式計算出皮爾森相關性系數，其系數值在-1.0～1.0之間：

經過對每個預測因子和預測量對應的相關性計算后，結果表明電場探測量、電場全距、極性反轉、電場值差分全距、電場值差分最大值、電場值差分絕對值均值、接近閃電這7個預測因子的相關性系數達到0.3以上，可認為是與閃電事件有相關性，因而選取這7個預測因子作為模型的輸入特征。預測因子的分析結果見表1。

表1 預測因子及其相關性分析

3.1.3 歸一化處理

預測因子的量級、單位不統一，若直接采用原始數據，可能會在模型的迭代過程中導致梯度消失或梯度爆炸，從而嚴重影響模型的性能。為了防止預測因子之間的量級差異過大，需要對預測因子進行歸一化處理，將數據特征值映射到范圍為[0，1]的區間內，使得模型能夠對不同預測因子進行加權運算。歸一化表達式如下：

3.2 神經網絡

神經網絡是集成學習中的同質模型較常用的分類器，并且也是在雷電及相關領域較常用的模型之一[14-16]。本文中采用的神經網絡是BP神經網絡(Back Propagation Neuron Net Wok)。BP神經網絡結構上與傳統神經網絡一樣，包括輸入層、隱含層和輸出層，每層的神經元都與下一層的神經元完全相連(圖2)。

圖2 BP神經網絡結構

BP神經網絡的特點是信號正向傳播，誤差反向傳播，它通過誤差反饋不斷地調整網絡的權值和閾值，使得輸出結果的誤差逐漸降低，從而逼近期望輸出。BP神經網絡的訓練過程主要分兩步。

步驟一：正向傳播。從輸入層導入訓練樣本，計算各層的輸入和輸出：

式(3)和式(4)分別是輸入層到隱含層、隱含層到輸出層的傳播關系，其中X是輸入層樣本，H是隱含層的值，Y是輸出層的值，其下標分別是該層對應的神經元編號；W是神經元之間的連接權值，B是神經元的閾值。

步驟二：逆向反饋。計算在輸出層得到的數據與訓練樣本之間的誤差，反向傳播到輸入層和隱含層，通過梯度下降的方式修正連接權值和閾值：

式(5)是計算每個神經元的誤差，S是訓練樣本，Y是輸出層的值；式(6)和式(7)是對連接權值和閾值的修正，λ表示學習速率。

3.3 集成方法

Bagging和Boosting是兩種集成學習應用在同質弱分類器常用的方法，將弱分類器融合形成精確度更高、魯棒性更好的強分類器。

3.3.1 Bagging

Bagging也可稱為“套袋法”，通過并行訓練多個基分類器，使用投票的方式統計它們的預測結果，從而有效提高模型整體的準確率。具體的流程為：(1)有放回地隨機抽取n個樣本，重復k次，得到k個訓練集；(2)每個訓練集訓練一個基分類器，共得到k個模型；(3)上述的k個模型擁有相同的權值比重，采用投票法得到分類器結果。

3.3.2 Adaboost

Boosting與可并行的Bagging不同，它是通過串行訓練弱分類器，再進行集成。其中Adaboost是最具代表性的Boosting方法，它能夠自適應弱分類器的訓練誤差率，通過把每個弱分類器的學習經驗傳遞到下一個弱分類器。具體的流程為：(1)初始化所有樣本的權重都相同；(2)利用樣本訓練基分類器，計算訓練誤差率；(3)根據訓練誤差率調整樣本的權重分布，被誤分的樣本權重增大，分類正確的樣本權重降低；(4)迭代(2)、(3)過程k次，基分類器的權重隨著迭代次數增加而增大，最后將k個基分類器按權重組合得到強分類器。

4 試 驗

4.1 驗證方法

由于本文中的模型是一個二分類模型，因此可采用混淆矩陣(confusion matrix)及其相關指標來幫助評價模型并進行對比。混淆矩陣中，列為真實值的正負標簽，行為預測值的正負標簽，矩陣中的值是用于統計分類模型的歸類正負的數量（表2）。

表2 混淆矩陣

基于混淆矩陣，可得出精確率、召回率和F1值三個指標。

精確率(Precision)，即正確預測為真值占所有預測為真值的比例，是針對預測結果，同時也可用于得到更易于解釋的誤報率(FPR)。公式如下：

召回率(Recall)，即正確預測為真值占所有真實為真值的比例，是針對原始樣本，同時也可用于得到更易于解釋的漏報率(FNR)。公式如下：

F1值是精確率和召喚率的調和平均值，公式如下：

4.2 試驗結果與分析

4.2.1 特征提取對比試驗

本文利用特征分析后重新選擇的特征與田浩等[11]采用的大氣電場6項特征進行對比試驗，通過訓練相同的樣本和采用BP神經網絡作為模型，并以2020年的部分樣本作為測試，圖3的柱狀圖是兩種不同特征采樣在誤報率、漏報率和F1值上的結果。

從圖3可看出，6項特征的誤報率和漏報率較高，不適用于本文試驗中的數據。在經過重新采集特征后，BP神經網絡模型的誤報率降低了16.83%，漏報率降低了15.19%，證明了經過特征分析后選取的預測因子更適合廣州地區的電場與地閃資料進行雷電預警。

4.2.2 集成學習對比試驗

在經過特征的分析與篩選的前提下，本文的試驗采用BP神經網絡作為基分類器，與其用Bagging和Adaboost集成后的強分類器作對比，通過利用同樣的訓練樣本訓練模型，測試驗證樣本計算評價指標。圖4是在訓練樣本、驗證樣本和其他條件與4.2.1節相同的情況下，BP神經網絡和分別與Baggging、Adaboost集成模型指標上的結果，同樣展示其誤報率、漏報率和F1值。

從圖4中可看出，BP神經網絡集成后，其模型的準確率有所提升。其中Bagging的方法提升幅度相對較小，Adaboost的方法提升幅度相對較大。在上述所有集成方法和單一弱分類器的對比中，平均的誤報率降低了11.46%，平均的漏報率降低了4.73%。

圖4 BP神經網絡與使用集成模型后的對比

綜合考慮上述模型中預警雷電的誤報率和漏報率，BP神經網絡的Adaboost集成模型的F1值最高，其值為73.89%，比集成前提高了9.25%，對應的誤報率降低了12.19%，漏報率降低了5.19%。

從數據中可分析得出，使用集成方法后對比原始的基分類器在預測準確率上有較好的提升，這是得益于集成模型能有效捕獲到數據的線性和非線性關系，從而學習到雷電事件發生的規律，并集合多個基分類器修正預測結果，使模型擁有更好的容錯性。但同時也可見模型的漏報率降低幅度較小，可能的原因是數據的來源只有大氣電場資料和閃電定位資料，缺乏其他能影響雷電天氣變化的氣象特征，從而限制了集成模型的提升。

5 結論與討論

(1)大氣電場資料和地閃數據與大氣電場儀探測范圍內的雷電事件有一定的相關性，通過挖掘其中的特征能更有效地提取預測因子，結合規定好以30分鐘為單位的時間片作為預測量，能直接應用于常用的BP神經網絡模型中。經過特征分析和選擇后的預測因子在廣州市黃埔地區的電場和地閃資料上表現得更好，試驗結果比當前研究采取的6項特征誤報率降低了16.83%，漏報率降低了15.19%。

(2)采取了在雷電預警常用的基分類模型BP神經網絡，分別利用Bagging和Adaboost的方法分別集成的強分類模型進行訓練與預測，通過相關指標來評價它們的結果。結果表明利用集成學習后預測性能都有所提升，其中以Adaboost方法最顯著，其最高的F1值能達到73.89%，對應的誤報率降低了12.19%，漏報率降低了5.19%。

本文提出的集成方法通過試驗證明了集成模型在雷電預警中的有效性和可靠性，并為不同的基分類器的集成提供了指導方向。但本文的方法是以廣州市黃埔區的大氣電場資料和地閃資料為對象進行分析與探討，在實際的應用中需要收集足夠多的樣本，并根據地區差異調整模型參數進行驗證。