卷積神經網絡地基云圖識別的特征可視化方法

王 敏， 王 康， 莊志豪， 周樹道， 劉展華

（1.南京信息工程大學電子與信息工程學院，南京210044；2.國防科技大學氣象海洋學院，南京211101；3.解放軍96941部隊，北京100085）

0 引 言

云是與水循環有關的重要氣象現象之一，它通過與太陽和地面輻射的相互作用，在區域和全球范圍內影響大氣能量平衡［1-2］。地基云觀測主要觀測地基云的云量、云狀和云底高度3種要素，根據上述3種要素將云分為3族、10屬、29類［3］。

一些云自動觀測和分類設備，已經實現了利用可見光、紅外波段獲取全天空云圖的工程化目的，在自動識別過程中，采用如下流程：先進行云圖預處理，對不同云進行特征提取，利用分類器進行云識別分類，這種方法提取特征的有效性會影響識別分類的效果［4-7］，如何準確提取出不同類別云的有效特征是很多學者重點研究的內容。不同云的特征提取依賴于人工經驗，分類器也是單獨設置的環節，這種地基云圖的自動識別實則是一種“淺層學習”，一般只有2層學習網絡，導致適用的地基云類別范圍有限。

卷積神經網絡（Convolution Neural Network，CNN）對于不同類別的特征不需要人工選取，僅需設置適當的網絡參數，就能達到自動學習的目的，取得較高的識別率，在圖像識別分類領域的應用非常廣泛，且能應用于不同類型的目標物［8］。CNN在圖像分類方面取得了顯著的效果，目前仍少見用于評價云分類的效率和準確性報道。由于CNN是自動學習圖像的內在特征，無須人工參與選取，對自動提取的特征屬性及效果研究也較少。這種自動學習的性能使得模型對黑箱網絡的學習過程不夠理解，影響對網絡模型的有效訓練。基于CNN，提出一種適用于地基云圖識別分類時的網絡提取特征可視化方法，形象地展現不同卷積層提取的有效特征的屬性和特點，以利于對CNN識別地基云圖識別準確率的提高。

1 地基云圖識別網絡及過程

地基云圖CNN識別流程如圖1所示。首先建立CNN系統CloudA［9］，利用云圖樣本庫的部分訓練集云圖樣本［10］對初始化后的CNN系統進行訓練學習，得到訓練完的CNN系統，利用云圖樣本庫的另一部分測試集云圖樣本對訓練完的CNN系統進行測試，得到識別結果。

圖1 地基云圖卷積神經網絡識別流程

CloudA包含4個卷積層（Conv1～Conv4）、4個池化層（Pool1～Pool4）以及3個全連接層（Fc5～Fc7），如圖2所示。地基可見光云圖像作為輸入進入網絡后，第1層是一個內核為5×5的卷積層，輸出通道為32。第2層卷積核為5×5，輸出通道為64，第3、4個卷積層中卷積核均為3×3，輸出通道均為128，所有的卷積層都配有ReLU［10］。根據卷積數學運算需要，1、2層邊緣填充為2，3、4層的邊緣填充為1，同時在每一個卷積層后都有最大池化層。3層是完全連接的神經層，每層神經元個數依次為1024、512、5。根據經驗，對于小規模數據集，選用支持向量機（Support Vector Machine，SVM）分類器更適合訓練網絡。網絡參數設置為：優化器選用Adam（Adaptive Moment Estimation）［11］，學習率為0.000 8，批處理大小64，100個epoch停止訓練，訓練正則化選用權重衰減，其中L2正則化的系數為0.000 1，前兩個全連接層的正則化通過隨機失活進行，其中隨機失活比例默認為0.5。網絡詳細配置見表1。

表1 網絡CloudA詳細配置表

圖2 CloudA網絡結構圖

2 卷積神經網絡可視化

2.1 CNN可視化工具

CNN的第1個特點是它的多層計算網絡。這些網絡包括數十層和數百萬個參數，編寫代碼十分復雜和困難。包括Tensorflow、Theano和Torch在內的現代深度學習框架都提供了高級應用程序接口（Application Programming Interface，API）來降低這些難度。使用這些API，開發者可以編寫一個抽象程序來生成一個支持各種學習算法、分布式計算和不同設備類型的底層數據流圖，這無疑簡化了CNN的搭建。開發人員仍然必須閱讀代碼并手動構建模型的流程圖，以理解其復雜的結構；與傳統完全連接的神經網絡相比，CNN不需要領域專家設計特征提取器，而是讓模型學習樣本特征，它們學習特殊功能的能力卻很難理解和診斷，可以說CNN類似于一個黑箱學習機器。對于神經網絡來說，缺乏對模型如何工作的理解常常使模型優化變得困難。對于各種模型，模型參數直接可視化可為訓練提供一個很好的理解過程，用戶可對算法的行為有一個大致的了解。還可以幫助識別明顯的錯誤，驗證假設的正確性。雖有不同類型的數據和算法，但可視化都可以直接提供對模型的解釋，提高模型的透明度，并幫助打開這些所謂的“黑匣子”［12］。實踐者和研究人員還可以使用可視化來監控學習的參數和輸出指標，以幫助他們培訓和優化模型。

本文利用TensorBoard對CNN結構進行可視化輸出，同時對CNN的訓練過程實現實時可視化監測，TensorBoard顯示CNN結構樣例如圖3所示。

圖3 TensorBoard顯示CNN結構可視圖

2.2 地基云圖特征可視化

CNN的層結構較多，從幾層到十幾層甚至更多。一般將其分為淺層和深層，其中淺層獲得前級卷積層傳遞的特征圖信息，深層獲得的是后級卷積層卷積得到的特征圖信息。即淺層的卷積核關注圖像細節紋理等特征，而深層的卷積核則關注更加抽象的語義語境信息等特征。同時，在CNN中感受野（Receptive Field）可以捕獲整個空間布局信息，它通常利用網絡的全連接層的輸出作為特征來實現。

基于地基可見光云圖分類面臨的問題主要有：較之一般圖像邊緣紋理更加復雜，難尋規律；大量的類間變化，結構形態多樣性導致幾何結構更加豐富；圖像視覺呈現易受光照等因素影響。而CNN在捕捉紋理、布局特征上優勢明顯，深度卷積特征可能是用于云圖分類更好的選擇。為將CNN捕獲的云圖特征直觀地展現出來，本文使用了特征圖可視化方法。

通過可視化手段可將CNN的各卷積層上學習到的特征輸出形成圖片，如圖4所示。

圖4 從不同卷積層可視化多個特征圖

第1列為2張不同的云圖像，后面各緊跟4張不同卷積層中不同卷積核所對應的特征圖，如conv1-9可解釋為第1個卷積層中的第9個卷積核所對應的特征圖。通過比較各圖，可以得出以下特點。

（1）對同一圖像，深層、淺層卷積獲得的信息不同。從外觀上看，第1張圖產生的4張特征圖各不相同，在conv1-9這樣的淺層中，云體中的紋理、明暗信息基本被保留，但是在conv4-3這樣的深層中，云體中的明暗信息已經被略去，但云體和背景的劃分界限更加清晰（綠色和藍色對比更強），邊緣輪廓更加突出；

（2）對同一卷積層，獲取的信息因輸入圖像不同而不同。conv1-9和conv1-27因為輸入圖像不一樣而產生對應的特征圖，同一卷積層對不同類別的云圖像的特征表現差異較大。

以上特點意味著不同層的特征映射往往對同一幅圖像有不同的表征，不同的卷積核確實被訓練來描述不同的模式，說明卷積核的提取特征可以用來區分不同類別的云圖像。由此，可以印證CNN對圖像識別時淺層、深層分別關注不同信息的理論，CNN用來對地基可見光云圖像分類是適合的、可行的。

3 實驗結果分析

采用Singapore Whole sky IMaging CATegories Database（SWIMCAT）［13］地基云圖數據集進行實驗驗證。將該數據集中所有類別按照9：1的比例設置為訓練集和測試集，隨機選取訓練集樣本進行網絡訓練，最后采用測試集樣本進行識別測試。將本文利用CloudA CNN進行地基云識別的方法與傳統的人工選取特征識別云的局部二值模式（Local Binary Patterns，LBP）、Heinle feature［14］、Texton-based method［15］方法進行比較，識別的結果見表2，其中LBP方法中（P，R）=（16，2）。

表2 方法平均準確率比較

如表2所示，所提CNN算法在樣本庫上的表現明顯優于Heinle feature和LBP算法，CNN相對于二者表現出了很大的優勢，甚至比提出的Texton-based的方法表現出了近4%的優勢，這表明了在云特征表示方面，基于CNN的特性與傳統手工制作的特性相比有著明顯優勢。同時，通過可視化手段將CNN各卷積層上學習到的特征直觀的展示出來，有助于理解CNN的學習過程，提高CNN的識別準確率和應用范圍。

4 結 語

地基云圖由于種類多、變化快、相似、易與天空背景融合等特點，使得傳統人工提取特征的模式識別方法對地基云圖進行分類時，準確性和穩定性還有很大的提升空間。本文提出一種CNN進行地基可見光云分類時云圖特征可視化方法，從可視化云圖特征驗證了CNN進行地基云圖識別的可行性和適用性，實驗結果進一步驗證了CNN進行地基云圖識別的有效性。該網絡的成功應用，有助于對其他類型的圖像識別如自然場景識別等較為復雜的識別分類技術有借鑒參考意義。