面向衛星云圖及深度學習的臺風等級分類

鄒國良，侯倩，鄭宗生，黃冬梅，劉兆榮

(上海海洋大學 信息學院，上海 201306)

0 引言

我國沿海地區是世界上受臺風侵襲較多的區域，特別是臺風引起的風暴潮對海上船舶、海洋工程產業造成極大損失。據統計，風暴潮災害所造成的經濟損失占海洋災害的90%以上。臺風影響人類生命及財產安全的程度都與其強度密切相關，因此對其強度的研究一直是海洋氣象界關注的熱點之一[1]。在臺風爆發期間，氣候及海洋環境異常惡劣很難直接獲取臺風數據。隨著衛星遙感技術水平的提高，氣象衛星云圖能夠更加準確、穩定地全天候實時監測天氣變化[2]，成為觀測和預報臺風的主要手段，其在臺風的產生、發展等研究中已經取得一系列的成果[3]。根據衛星云圖分析，臺風大多是由熱帶輻合區(intertropical convergence zone，ITCZ)云帶中的擾動云團引起，不同強度的臺風在衛星云圖上表現為不同特征的螺旋云系。熱帶擾動和不同強度的臺風在云圖上有明顯的差異，其中密蔽云區的大小與臺風的強度有關[4]。目前針對臺風強度的研究方法主要有主觀經驗法[5]、數值模擬分析法[6]。主觀經驗法需通過專業知識對臺風強度評估，例如目前最成熟的Dvorak分析法利用衛星云圖中的云系結構特征及特定的參數通過經驗規則和約束條件來估計強度，但其需要專業知識對臺風特征提取并且無法得到臺風內核的結構信息。數值模擬分析法通過綜合考慮不同初始場、邊界條件等大氣環境中先驗物理量來優化成熟的臺風預報模型。目前穩定的臺風過程風速預報誤差可達到3.9 m/s[7]，但數值模擬分析法需要綜合考慮不同初始場、邊界條件的影響，文獻[6]中王慧利用中尺度ARW-WRF模式提出臺風漩渦動力初始化和大尺度譜逼近相結合的方案改進對臺風強度的模擬，但初始條件的不確定性導致數值模擬存在一定誤差。

近年來，國內外諸多學者在海洋氣象領域中通過機器學習算法實現衛星云圖的分類識別。機器學習算法可從大量的衛星云圖中自動、快速、有效地提取隱含特征，例如，韓丁等建立支持向量機(support vector machine，SVM)模型實現氣象云圖的分類，與BP (back propagation)網絡模型的分類結果對比準確率達到82.4%[8]；針對衛星云圖易受噪聲干擾，田文哲等優化參數構造自適應模糊支持向量機(adaptive fuzzy support vector machine，AFSVM)使準確率達到88.2%[9]；Liu等運用多種神經網絡方法實現云類識別，通過對比實驗構造自組織映射神經網絡(self organizing maps，SOM) 模型將氣象云圖分類錯誤率降低了7.74%[10]。但是，通過機器學習利用衛星云圖來識別臺風等級的特征研究較少，主要原因是傳統的機器學習算法需要顯式提取特征進行分類，但衛星云圖中與臺風強度相關的特征復雜提取困難。

深度學習作為一種強泛化能力的分類識別方法，克服了傳統方法中需要先驗知識進行顯式提取特征的不足。其作為機器學習算法中一個新的技術[11]，在計算機視覺領域掀起了一股研究熱潮，Google、Facebook、Microsoft、IBM、Yahoo、Twitter和Adobe等紛紛成立研究機構將深度學習納入實際項目進行研發，如Microsoft基于深度學習的視覺系統；Google在2016年3月基于深度學習技術的Alphago在人機對弈中擊敗人類。目前，深度學習在模式識別、智能視頻、機器視覺等研究領域取得了一系列成果[12-15]。卷積神經網絡作為深度學習應用成功的模型之一，在遙感水體提取[16]和低空攝影測量DEM自動修補[17]中得到進一步的研究和應用。這些方面的成功應用進一步證明了卷積神經網絡可通過模擬人腦進行分析和學習，能夠隱式提取圖像中深層抽象的復雜特征。

因此，本文針對臺風形成中復雜的大氣因素導致的衛星云圖特征提取復雜、識別率低等問題展開研究。通過引入深度學習的方法，在傳統卷積神經網絡(convolutional neural network，CNN)的基礎上，采用多尺度卷積核的循環卷積策略，同時引入信息熵、Dropout置零率優化網絡參數，構建了適用于臺風等級識別的Typhoon-CNNs模型；利用獲取的“Himawari1-8”衛星4 800景云圖進行實驗并與傳統模型進行對比得到預期效果，為相關部門提供準確、便捷的輔助決策方法。

1 傳統卷積神經網絡

傳統卷積神經網絡是由卷積層和采樣層交替組成網絡拓撲結構。卷積神經網絡采用反向傳播神經元誤差敏感項δl的方法實現網絡權值的更新，特征提取過程可以表示為得分函數S(xi,w,b)。對第i個樣本(xi,yi)分類誤差的交叉熵損失函數定義為：

Li=-lnesyi+ln∑esi

(1)

樣本(xi,yi)經過網絡后的輸出為f(x)，則對應該樣本的損失值為：

Li(f(x),y)=-lnf(x)y

(2)

深度為l層的卷積神經網絡輸出層的誤差敏感項是：

(3)

式中：al表示第l層的輸入。

最后運用卷積神經網絡的δ反向傳播規則[18]對每個神經元的權值更新，使得模型整體誤差函數不斷降低。

卷積層是利用本層的卷積核與輸入圖像進行卷積，再經過神經元激活函數輸出本層的特征圖，實現對輸入圖像隱式的特征提取。卷積過程定義如下公式：

(4)

注：Input代表輸入圖像；kx表示模型卷積層的卷積核；*代表卷積運算；bx代表偏置；cx表示卷積層；f是激活函數。圖1 卷積過程示意圖

采樣層是對當前輸入的特征圖做下采樣降低圖像的分辨率，減少運算量，從而提高網絡收斂速度。采樣過程定義為：

(5)

圖2 采樣過程示意圖

2 Typhoon-CNNs網絡模型

傳統的卷積神經網絡是卷積層和采樣層交替排列構成網絡拓撲結構。當輸入特征不明顯的時候，采用池化層在降低維度的同時會丟失部分圖像信息，導致網絡學習能力下降。不同于手寫字體庫數據集(MNIST)特征明顯，本文構建的衛星云圖數據集，由于臺風形成中復雜的大氣因素使得云圖螺旋半徑內特征不明顯，因此傳統卷積神經網絡(CNN)并不適用于臺風云圖特征提取。

為了更好提取螺旋云系的特征，本文在傳統卷積神經網絡的基礎上采用循環卷積增強模型特征提取能力；引入信息熵、Dropout置零率優化網絡參數穩定模型識別率，增加網絡的魯棒性(具體實驗見第3小節)提出了適用于臺風云圖等級分類的深度學習模型Typhoon-CNNs，如圖3所示。Typhoon-CNNs包括3個卷積層、1個采樣層和2個全連接層，通過權值共享和網絡結構重組對6層神經網絡進行特征學習，同時使得整個網絡可以通過反向傳播算法得以很好訓練并用于分類。本次實驗把臺風等級分為4個等級，因此最后一層輸出4個單元代表所分的類別。

圖3 Typhoon-CNNs全模型

3 Typhoon-CNNs模型參數優化及驗證

本文所有對比實驗均是基于ubunt16.10 CPU intel core i5-6 500M 3.2 GHz，內存為4 GB，使用的深度學習框架為開源的keras[19]。

3.1 實驗數據

1977年到2014年日本相繼發射“Himawari1-8”衛星。尤其“Himawari-8”地球同步氣象衛星有16個波段通道，空間分辨率最高可達到500 m。實驗數據采用日本國立情報學研究所(National Institute of Informatics，NII)提供的西北太平洋1978—2016年“Himawari1-8”衛星觀測到的高時間分辨率衛星云圖資料及對應的臺風強度信息。數據集包含近1 000多個臺風過程，為了獲取全天候的數據，實驗采用了紅外云圖作為數據樣本，依據臺風等級標準(表1)制定4類臺風等級標簽。

表1 臺風等級標準

本文將采集到的紅外云圖首先采用中值濾波器去除云圖斑塊中的噪聲，有效保留圖像中的邊緣信息；其次采用最近鄰插值縮放，將云圖轉化為24×24×1的格式作為網絡的輸入；最后根據(表1)制定數據集標簽。數據集統一采用4類標簽標記：0代表熱帶低氣壓、1代表臺風、2代表強臺風、3代表超強臺風。最終構建了4 000訓練樣本、800測試樣本的數據集，熱帶低氣壓、臺風、強臺風、超強臺風訓練集各1 000個、測試集各200個，部分衛星云圖樣本如圖4所示。

圖4 部分氣象衛星云圖樣本

3.2 模型檢驗指標

模型的精確度通過正確率檢驗，假設在n個樣本中第i個樣本的真實類標簽為yi，預測類標簽為oi，則模型分類的正確率為：

(6)

預測得到的類標簽與真正的標簽集越吻合，模型分類的正確率越大。

3.3 訓練Typhoon-CNNs模型

卷積神經網絡中softmax層輸出各類對應的概率，概率大的類別即視為輸出的等級。為了抑制softmax輸出層各類出現相近的概率，使得信息不能得到充分訓練，本文引入信息熵在反向傳播中優化誤差敏感項δl。設等概率分布

v={p1=1/n,p2=1/n…pn=1/n}

(7)

當v發生微小變化Δvi時定義為

u=vi+Δvi, ∑Δvi=0

(8)

將H(u)的二階泰勒展開為

(9)

所以H(u)表示為

(10)

通過式(10)發現：在等概的基礎上如果概率分布發生細微變化時，信息熵的靈敏度也會隨之變動。因此本文將信息熵疊加到前文所述δl上，形成適用于臺風等級分類的δT來優化Typhoon-CNN模型中卷積核和Dropout參數。

1)優化選擇卷積濾波器參數。由于單張臺風云圖受到頻譜、分辨率等因素的影響導致反映的特征量有限，采用循環卷積層代替采樣層能更好地提取臺風云圖的螺旋云帶特征。卷積核作為卷積層中最具特性的部分影響著整個網絡的性能，其大小影響著關聯像素的特征提取，過小則不能充分提取關聯像素且提取效率低，而過大會增加冗余從而丟失局部信息[20]。因為臺風的關聯相似性很高[21]，所以網絡模型選擇合適的卷積核大小至關重要。針對臺風關聯相似性高難以分類的問題，本文第一組實驗采用不同大小的卷積核對同張云圖特征提取，由于采樣層像素需要整除且輸入的圖片像素為24×24，所以前兩層卷積層分別采用32個1×1、3×3、5×5、7×7的卷積濾波器，最后一層卷積層采用2×2的卷積濾波器，對網絡進行訓練。

對模型進行400次迭代訓練后，實驗結果如圖5所示。

圖5 不同大小的卷積核訓練結果

從圖5可以看出，在現有樣本的基礎上。卷積核大小為1×1的時候網絡交叉熵損失值只能達到0.555 7；3×3的卷積核收斂的速度最慢，迭代次數達到350次才使網絡達到穩定；7×7的卷積核在迭代310次的時候達到收斂且穩定，網絡結構損失值最后穩定在0.018 9±0.01的范圍內；5×5的卷積核在迭代320次時網絡結構穩定并達到系統最佳的損失值0.009 4，從而確定了5×5的卷積核為最佳濾波器尺度。

2)優化Dropout置零率。將第一組實驗的模型應用在測試集上進行第二組實驗，得到的結果如表2所示。

表2 不同大小的卷積核模型測試結果

對比表2發現網絡模型產生過擬合。為了有效防止過擬合，本文在Typhoon-CNNs模型的全連接層引用Dropout策略，隨機凍結部分神經元，使網絡的權值更新不再依賴于隱含節點的固定關系，從而削弱過擬合問題。如圖3虛線框所示。將不同的Dropout置零率引入模型全連接層得到結果如圖6所示。

圖6 隨機凍結不同比例的神經元

由圖6可以看出Dropout方法隨機凍結部分的神經元并不一定會使模型的泛化能力增強。在Dropout置零率分別取20%、80%、90%的時候正確率在下降，并且在Dropout為20%時系統的正確率最低為91.00±0.1%。對比圖6中的數據，網絡最終結構選用Dropout置零率為60%來優化模型，使模型的識別率達到92.50±0.2%。

3.4 模型結果對比分析

通過卷積核和Dropout參數在臺風數據集中的對比實驗得到最佳參數并應用到Typhoon-CNNs模型中。選取測試集對模型驗證進行第三組實驗，具體結果見表3。

表3 樣本混淆矩陣

從表3可以看出臺風和超強臺風2個等級的預測正確率達到99%，而熱帶低氣壓的預測正確率為80%。分析原因，在臺風形成的過程中熱帶低氣壓沒有特定形狀的云團特征和完整的結構(圖4(a))，因此分類正確率較低，模型把10景熱帶低氣壓云圖錯分類為臺風，8景分為強臺風，2景分為超強臺風；當形成臺風后具有明顯的眼區和螺旋云帶特征(圖4(b)、圖4(c)、圖4(d))便于模型識別。為了表達深度學習模型所提取的特征敏感區可以作為臺風預報的重要依據，將第一組實驗中模型的第一層特征做可視化實驗，結果如圖7所示。

圖7 不同卷積核的特征提取效果

對比圖7發現，5×5的卷積核能夠獲得完整圖像的特征，相對1×1和3×3的卷積核效率更高。5×5的卷積核對臺風眼、云墻、螺旋云帶(即黃色區域)特征提取明顯，但是7×7的卷積核會增加臺風相似冗余從而丟失局部特征。對比原圖的渦旋云區發現，模型對于黃色區域更加敏感，而對臺風邊緣的纖維狀云并不敏感，因此增加模型對黃色區域的特征提取有益于模型的分類。這與目前諸多學者通過定位臺風眼、分割密蔽云區和提取螺旋云帶特征來預報臺風一致，這也證明了通過深度學習及衛星云圖對臺風等級分類的可行性。

在測試集上對傳統分類方法和Typhoon-CNNs進行對比實驗，具體結果見表4。

表4 精度評價

對比表4發現針對現有的測試集樣本，相比于淺層模型結構SVM和BP，深度卷積神經網絡能高效地學習到云圖中深層非線性特征，提高模型的識別精度。相比于CNN模型，本文模型對臺風等級分類的效果明顯，精度提高了14.84%。分別對CNN和Typhoon-CNNs模型的隱藏層可視化結果如圖8所示。

圖8 模型特征可視化

對比圖8中黃色區域發現CNN丟失了云圖的局部特征，從而導致分類能力降低。分析原因，CNN采樣層的使用，使得模型丟失了臺風云圖中臺風眼、密蔽云區和螺旋云帶的特征而更多地提取臺風邊緣的纖維狀云特征，使得模型的分類能力降低。本文的模型能很好地提取黃色區域特征，這也證明Typhoon-CNNs對CNN的改善。

綜上所述，與傳統方法相比，本文提出的模型在臺風分類效果明顯。因此具有深度學習架構的Typhoon-CNNs對于衛星云圖的特征更能精確表達，證明Typhoon-CNNs的有效性。

4 結束語

衛星云圖是監測臺風的有效手段之一，衛星云圖蘊涵了豐富的天氣演變信息，深度學習避免了顯式的特征提取，直接處理圖片將特征提取功能融合進多層感知器。本文提出的適應衛星云圖等級分類的Typhoon-CNNs模型，主要結論如下：

①Typhoon-CNNs將特征提取過程中卷積核參數和分類器參數整合到模型中。針對不同時刻引起的特征變化使分類器很難保持穩定的識別率，網絡引入信息熵穩定識別率；采用循環卷積優化選擇濾波器參數增強模型的表征力。針對模型存在的過擬合問題，提出優化調節Dropout置零率，使模型的正確率從91.16%提高到92.5%，有效防止過擬合。

②利用準確率評價指標對Typhoon-CNNs和傳統模型評價。實驗結果表明在現有的樣本基礎上，Typhoon-CNNs平均正確率達到92.5%，優于傳統分類方法，為后續的臺風強度等級分類奠定基礎。

③基于衛星云圖及深度學習的臺風等級研究目前還處在初期，還有幾個方面需要做進一步研究，如對衛星云圖分割預處理、采用變尺寸卷積核增強模型特征提取能力、考慮臺風時間序列因素對分類的影響。