基于多通道和卷積神經網絡的極光分類

陳昌紅，劉 彬，張 浩

(南京郵電大學 通信與信息工程學院 圖像處理與圖像通信江蘇省重點實驗室，江蘇 南京 210003)

0 引 言

極光是一種出現于星球的高磁緯地區上空，絢麗多彩的發光現象。極光不僅是個光學現象，而且是個無線電現象，可以用雷達進行探測研究，它還會輻射出某些無線電波。極光不僅是科學研究的重要課題，還直接應用到無線電通信、長電纜通信，以及長的管道和電力傳送線等許多實用工程項目中。地球極光的研究已有幾十年的歷史，極光圖像類別研究有著演進過程。Hu等在2009年根據在北極采集的全天空極光圖像數據將日側極光劃分為帷幔冕狀、極光亮斑、弧狀和輻射冕狀4種類型；楊秋菊等[1]在2017年將極光類型劃分為弧狀、帷幔冕狀、輻射冕狀和熱點狀4類。文中采用的是弧狀、帷幔冕狀、輻射冕狀和熱點狀4類的分類方式。

Fu等[2]在2009年運用形態學分析方法將極光背景區域和紋理區域分離進行分類；Wang等[3]在2010年基于局部二值模式表征極光圖像特征進行分類；韓冰等[4]在2013年采用顯著性編碼方法對極光圖像進行分類；楊曦等[5]在2013年通過分層小波將極光全局特征和局部特征進行結合對極光圖像進行分類。總結上述分類方法，采用的是利用分類器對傳統特征提取的極光圖像信息進行分類。傳統特征提取針對某一特定的特征對極光圖像進行信息提取，要么提取極光全局特征，要么提取極光局部特征，有時同時提取局部特征和全局特征，但都會或多或少地丟失圖像原來的信息，造成極光圖像分類結果不夠理想。近年來，機器學習、深度學習等快速發展。韓冰等[6]在2017年便采用基于改進的主成分分析網絡的機器學習進行極光圖像分類，初步將機器學習運用到極光研究中，在極光圖像二分類和三分類方面取得了一定的成果，但是僅僅利用了圖像結構的整體信息沒有考慮到圖像結構內部的局部信息，導致極光圖像4分類準確率不夠好。

近年來，卷積神經網絡[7-11](convolutional neural network，CNN)在圖像處理、計算機視覺、文本處理、語音處理等領域得到了廣泛應用。卷積神經網絡是一種前饋神經網絡，它的人工神經元可以響應一部分覆蓋范圍內的周圍單元，模擬人類大腦皮層中局部敏感和方向選擇神經元功能。

基于上述討論，文中旨在融合傳統特征與深度學習[12-13]技術，提取極光圖像全方位特征實現極光圖像普適高效分類，提出一種基于多通道融合和卷積神經網絡的極光圖像分類方法。利用多通道融合技術將極光原圖、LBP[14]特征圖、光流圖進行融合，得到處理后的融合圖像。融合圖像不僅包含極光所有原始信息，還包含有效紋理分類特征，還具有極光圖像可擴展的光流運動特征。然后，采用預訓練的CNN對多通道融合后的特征圖進行自動特征學習，提取融合圖像中全面有效的分類信息；最后采用基于SVM[15]分類，判定待測樣本圖像的極光類別。

1 極光圖像特征提取及分類

極光圖像分類，根據在極光圖像信息中所反映的不同特征，將不同類別的極光圖像區分開來。極光特征的選擇對于極光圖像分類至關重要。常用的圖像特征有顏色特征、紋理特征、形狀特征、空間關系特征、全局特征、局部特征等等。文中重在極光圖像特征的選擇與融合。選擇有極光圖像代表性的特征加以融合，利用深度學習技術對融合特征信息自動提取不為人眼察覺的更有效信息。多種有針對性特征融合更具有代表性，利于極光圖像高分類準確率。

算法流程如圖1所示。

圖1 算法流程

整個模型可以由多特征融合模塊和CNN特征提取器以及SVM分類器三部分組成。首先，將樣本圖像送入多特征融合模塊，經過原圖、LBP特征、光流特征的多通道融合得到融合圖像。然后，將融合圖像送入CNN模型的輸入層，經過多次卷積和降采樣操作，得到若干幅特征圖像。再將特征圖像拉伸為一列向量，依舊保留與特征向量全連接的輸出層，用于CNN特征提取器的訓練。最后，利用特征提取器將提取到的特征向量送入SVM分類器，分類器進行相關的運算后，輸出最終分類的結果。

1.1 多通道融合特征提取

多通道特征融合特征提取基于人工設定提取指定的樣本特征(體現極光圖像特點)，將不同的有代表性的突出極光圖像的提取特征圖放入圖像的多個通道，融合后的圖像具有圖像多方位多角度的特征，充分體現圖像有效可靠的信息。

文中采用三通道融合特征，包含極光原圖、極光LBP特征圖、極光HS光流圖。用上述三種特征圖合成三通道RGB圖像作為融合后特征圖。極光原圖沒有被任何手段進行處理，保留有完整極光圖像信息，將極光原始圖像作為第一通道特征圖像；LBP(局部二值模式)是一種非參數化圖像局部空間結構及紋理描述算子，具有旋轉不變性的優點，將極光LBP圖像作為第二通道特征圖像；光流是圖像亮度模式的表觀運動，表達了圖像的變化，包含圖像的運動信息，HS光流圖像表征極光圖像前后變化幅度，提高分類準確性，HS光流圖像作為第三通道特征圖像。

(1)極光原圖具有極光所有細節信息及整體信息，對其進行任何的特征提取都會或多或少丟失某些細節信息。極光原圖是多通道特征中必不可少的一項，為接下來的CNN自動特征學習提取提供最原始數據。由于拍攝設備、極地周邊環境和極光活動強度的影響，中國北極黃河站所拍攝的極光原始數據存在各種各樣的問題，不能夠直接使用。文中的極光原圖一律為相關專家針對極光原始數據的特點，對原始數據進行有效的減暗電流、去除邊緣噪聲和裁剪、灰度圖像拉伸、圖像旋轉四個預處理步驟后的圖像。

(2)極光LBP通道特征。LBP是由Ojala等提出的一種紋理特征描述算子，用于描述圖像中每個像素值和其近鄰點像素值之間的關系。初始LBP的缺陷在于固定的3×3紋理單元結構不能夠表示大空間尺寸的紋理特征，Ojala等又對LBP做了改進和完善。鄰域的選擇不再是以前固定的3×3方格結構，而是采用更加靈活的圓形結構。圓形鄰域由R和P定義，圓心為中心像素，R是圓周半徑，P是均勻分布在圓周上的鄰域像素個數。假如鄰域點沒有落在像素中心，可以使用雙線性內插求出鄰域點的灰度值。

中心像素LBP值的計算公式如下：

(1)

不同P、R對應的圓形鄰域如圖2所示。

圖2 不同P、R對應的圓形鄰域

在式1中，i取值為0～P-1，gi是第i個鄰域像素的灰度大小，gc是中心像素的灰度大小。按照式1的計算，選定P和R后，對應的LBP模式共有2P種。對極光圖像中的每個像素求LBP特征值，用LBP特征值替代原始的像素值，得到該極光圖像的LBP特征圖。將該LBP特征圖放入多通道融合圖像的一個通道，作為通道特征。

(3)光流通道。光流是圖像亮度模式的表觀運動，表達了圖像的變化，包含圖像豐富的運動信息。HS光流法基于物體移動的光學特征的兩個假設，運動物體的灰度在很短的時間間隔內保持不變，給定鄰域的速度向量場變化是緩慢的。每類極光圖像是從每類極光運動序列中抽取出來的，在同類的極光圖像用光流特征可以表示每類圖像的一個運動及變化信息，增加了極光圖像分類的容錯性，提高了極光圖像的分類準確率。將同類別極光圖像放在一起，進行前后兩幅圖像HS光流特征提取，并將得到的光流信息生成灰度圖像作為極光HS特征圖，作為多通道融合的另一個通道特征圖。

多通道特征圖如圖3所示。

經過上述三通道融合后的圖像，兼備極光原圖所有完整信息、極光圖像代表性紋理特征LBP和可伸縮的極光圖像運動特征光流特征。融合圖像含有豐富的特征信息，為預訓練的卷積神經網絡提供可靠有效的輸入。

圖3 多通道特征圖

1.2 預訓練卷積神經網絡特征提取

CNN是一種包含卷積層的深度神經網絡，其模型是受腦神經科學研究的啟發，模仿視皮層中的簡單細胞和復雜細胞處理視覺信息的過程。深度學習CNN對極光樣本圖像進行逐層特征變化，將樣本在原空間的特征表示變換到新的特征空間，自動學習到層次化的更具代表性的特征。CNN是一個前饋式神經網絡，能從一個二維圖像中提取特征，并采用反向傳播算法來優化網絡中的參數。預訓練卷積神經網絡是借助在其他數據庫的基礎上訓練好的卷積神經網絡模型初始化極光圖像卷積神經網絡，既能解決極光數據庫數據量過小的問題，又可以加快極光卷積神經網絡的訓練速度。

CNN特征提取器包括輸入層、卷積層、池化層、全連接層和Softmax層。輸入層，直接將多通道融合后的圖像輸入至預訓練CNN模型的輸入層中，不用再對融合圖像進行其他處理。卷積層，卷積的主要功能是特征抽取，利用若干個卷積核對上一層圖像進行卷積操作，從而得到多個特征圖像。卷積層的計算公式為：

(2)

其中，l為所在層數；k為卷積核；M為輸入層的感受野；B為偏置項；f為激活函數。

卷積層能降低網絡的空間分辨率，消除偏移和圖像扭曲，實現位移不變性。特征圖像個數不因降采樣操作發生任何變化，但圖像的尺寸會根據降采樣窗口和步長發生相應變化。池化層，采用最大池化(max-pooling)操作進行下采樣。下采樣并不改變特征圖的數目，只是將特征圖變小，降低特征維度，加速結構訓練和特征提取。如果采樣窗口的大小是m×m，經過一次池化后，特征圖大小變為原來特征圖的1/m×1/m。池化的計算公式為：

(3)

全連接層：池化層的輸出是二維數組，將其特征圖對應的二維數組轉換為一維數組，將每層所有的特征圖轉化的一維數組串聯成一個一維數組作為全連接層的輸入。全連接層的計算公式為：

Hw,b(x)=θ(wTx+b)

(4)

其中，Hw,b(x)表示神經元的輸出值；x表示神經元的輸入特征向量；w表示權值向量；b表示偏置；θ表示激活函數。

Softmax層：一種分類器，當輸入給定樣本后，每一個神經元輸出一個取值在0到1之間的數值，該數值代表輸入樣本屬于此類別概率，選取輸出值最大的神經元對應的類別作為此樣本的分類結果。文中將Softmax輸出神經元數目設置為4，對應四類極光。

針對目前極光數據庫標定量有限的情況，采用預訓練CNN進行研究。通過在大的圖像分類數據集上訓練好模型，把卷積神經網絡前面那些層的參數固定，初始化極光圖像分類的卷積神經網絡，修改模型最后一到兩層的參數設置符合極光圖像分類，實現整個網絡參數的極光圖像分類化同化。既利于加快訓練速度，又解決了極光圖像數據庫標定量小的問題。

1.3 基于SVM的極光圖像特征分類

文中分類器選用SVM分類器，在用分類器前對特征數據進行重要的歸一化、PCA降維[16]操作。其中，特征數據歸一化是至關重要的，對于最后的分類結果有質的作用。而PCA降維也十分重要，對于運算量和運行時間的優化是非常有必要的。

1.3.1 歸一化

在進行SVM分類之前，對數據進行歸一化操作。將訓練集和測試集整合為一個數據集，統一歸一化時樣本的每一維度的最大值和最小值是從訓練集和測試集中尋找，然后將樣本數據映射到[0，1]的值域范圍內。歸一化對計算和建模都是必要的，便于數據處理，還能保證程序運行時收斂加快。

1.3.2 PCA降維

在CNN模型極光圖像特征提取過程中，隨著卷積層次的累加，特征維數會越來越大，導致“維數災難”，造成時間和空間的浪費。為了解決這個問題，使用PCA對得到的CNN特征進行降維處理。

設X表示原始特征向量，則可根據式5對其進行PCA變換，得到降維后的特征向量Y=[y1,y2,…,yn]。

Y=CX

(5)

2 實驗結果與分析

2.1 極光圖像數據庫

文中的極光原圖一律為相關專家針對極光原始數據的特點，對原始數據進行有效的減暗電流、去除邊緣噪聲和裁剪、灰度圖像拉伸、圖像旋轉四個預處理步驟后的圖像。文中所用的極光圖像數據來自于中國極地研究中心的研究人員手動標記的北極黃河站2003-2004年越冬觀測19天數據。因為極光的四種分類機制是結合極光三個波段的特點定義的，因此他們在標記時同時參考了三個波段的圖像，其中包含3 934幅弧狀極光圖像，1 786幅帷幔狀極光圖像，1 497幅輻射狀極光圖像和784幅熱點狀極光圖像。

2.2 極光圖像四分類實驗

本節進行極光圖像四分類普適分類實驗，對實驗數據進行4類極光圖像(弧狀、放射狀、帷幔狀、熱點狀)分類。從上面提到的8 001幅數據庫中按照訓練集測試集4∶1比例進行實驗。為了驗證多通道融合及CNN在極光圖像分類上的有效性，對基于極光原圖+CNN、極光LBP圖+CNN、極光原圖LBP圖光流圖三通道融合+CNN的極光圖像識別算法進行了比較。實驗中預訓練CNN采用的是imagenet-vgg-f訓練模型。為減少實驗的隨機性，實驗重復10次，每一輪的數據劃分都不一樣，計算平均分類準確率作為評估準則：

分類正確率=正確分類數/所有圖像數

(6)

實驗結果如表1所示。

表1 不同算法的識別性能比較

表中給出了原圖+CNN+SVM、LBP+CNN+SVM和多通道(三通道：原圖、LBP、光流+CNN+SVM在相同條件下的平均分類正確率對比情況。可以看出，文中的多通道融合由于融合了多種有效表征極光圖像特征對其分類有很大的促進作用。原圖雖包含圖像原始信息，但由于缺少運動信息，因而分類效果有所影響。LBP特征圖提取極光圖像的紋理特征，缺少運動特征及其他原圖所攜帶信息，分類效果有所影響。結果表明多通道融合特征有效提升了分類準確率。

2.3 分類效果對比實驗

將文中方法與一些其他的分類方法(WLD(韋伯描述符)、LBP)進行比較，結果如圖4所示。

圖4 文中算法與其他算法的比較

對極光圖像進行自動分類的關鍵在于有效保證極光圖像信息，根本思想是模仿人的感官去區分不同極光類別的差異。WLD是一種紋理描述算子，由心理學韋伯定律發展而來，是一種局部描述符，因此會丟失極光圖像全局等信息。LBP也是一種紋理特征，會丟失極光圖像運動變化等特征。從圖4中可以看出，文中算法由于融合了原圖信息、有代表性的傳統特征LBP信息和光流信息以及卷積神經網絡的自動學習特征，相比其他算法在分類準確率上有所提高。對比弧狀、輻射冕狀、帷幔冕狀和熱點狀4類極光的結構形態，熱點狀極光復雜多變，不利于分類識別，而弧狀極光由于具有明顯的弧形特征最具識別性。實驗結果也顯示，三種分類方法都呈現出弧狀極光分類正確率最高，熱點狀極光分類準確率最低，輻射冕狀極光和帷幔冕狀極光分類正確率介于弧狀極光跟熱點狀極光分類正確率之間。

3 結束語

利用多通道融合特征和預訓練卷積神經網絡對極光圖像進行分類。首先通過多通道融合原圖、LBP特征圖、HS光流特征圖構建多通道融合特征圖，通過預訓練卷積神經網絡進行自動特征學習，利用支持向量機進行最終分類。實驗結果表明，該方法具有良好的分類性能，解決了熱點狀極光容易混淆分類的難題。通過已標定好的極光數據庫進行訓練測試，是有監督的極光圖像分類研究。由于極光研究采集了大量樣本數據，都是為標定的數據，人工標定費時費力費錢。因此今后的工作將針對無監督數據進行模型訓練測試分類，以求將大量未標定數據應用到研究中。