基于特征融合的極限學習機圖像分類方法

蔣 強，陳 凱，王德元

(1.沈陽理工大學，遼寧 沈陽 110000；2.沈陽飛馳電氣設備有限公司，遼寧 沈陽 110000)

1 引言

隨著我國自主建設、獨立運行的衛星導航系統北斗衛星導航系統(BeiDou Navigation Satellite System)的日趨完善，填補了我國在衛星導航系統領域的空白。北斗衛星導航系統由三大部分組成，包括空間星座(空間段)、地面控制(地面段)和用戶終端(用戶段)[1]。北斗衛星導航系統可以為用戶提供全天候、高精度的定位、導航及授時等方面的應用，截至目前，我國已成功發射48顆衛星，計劃在2020年底全面完成北斗衛星導航系統的建設，形成全球無源服務能力，達到世界一流水平[2-3]。

隨著北斗衛星導航系統的不斷完善，系統在森林防火、軍事戰略、交通管理、農業漁業、公共安全、減災救災、氣象探測、通信和電力等眾多領域得到應用，并呈現出更為廣泛應用的趨勢[4-7]。遙感圖像的場景分類作為這些應用的基礎，對北斗衛星導航系統的進一步應用有著至關重要的作用，遙感圖像的分類已成為熱門的研究主題。遙感圖像主要有以下特點：

1)遙感圖像分辨率逐漸增高，圖像數據維度越來越高，對計算機內存及處理能力要求不斷提高，處理時間長；

2)圖像受天氣、光照、角度等外界因素影響比較大，增加了分類難度。

針對遙感圖像的特點，本文提出一種結合圖像融合和極限學習機(Extreme Learning Machine，ELM)的遙感圖像分類方法。針對遙感圖像光照等外部條件復雜的問題，通過融合遙感圖像的SIFT特征和CNN網絡特征，提高了遙感圖像的特征層次，更充分的利用了遙感圖像的信息，提取特征的魯棒性和判別性較好，從而有效提高了遙感圖像的分類準確率。通過引入信息熵改進的PCA對融合后的圖像特征進行降維，提升了降維效率，減少了特征維度提高了特征質量從而提升了遙感圖像的分類速度。

2 遙感圖象識別的基本框架

結合圖像融合和極限學習機的遙感圖像識別混合深度模型結構圖如圖1示。本方法分別對輸入的圖像提取SIFT局部特征及CNN整體特征，特征提取完成后經過由圖像信息熵改進的PCA降維后輸入ELM分類器中最終完成遙感圖像的分類任務。

圖1 結合圖像融合和極限學習機的遙感圖像識別流程圖

2.1 特征提取

2.1.1 SIFT圖像特征

SIFT(Scale Invariant Feature Transformation)，即尺度不變特征變換，是最為優秀的目標匹配與識別算法之一。尺度的概念為表達人視網膜成像過程中目標的遠近程度，尺度越大，看到的圖像范圍越大，但是細節越模糊；尺度越小，看到的范圍越小，但細節比較豐富。SIFT算法可以找出尺度變換過程中的穩定點(特征點)，這些特征點都含有三個信息，即位置、方向、尺度，這樣便保證了圖像在翻轉、平移和縮放時可以保持很好的魯棒性，對光照、陰影和噪聲等的穩定性也極高。SIFT算法流程圖如圖2所示。

圖2 SIFT算法流程圖

SIFT算法最重要的步驟為構建高斯差分金字塔(Difference of Gaussian，DOG)。1994年，Tony Lindeberg證明高斯核是唯一可以產生多尺度空間的核[8]，圖像尺度可定義為原始圖像與一個可變尺度的高斯函數卷積運算，即

L(x，y，σ)=G(x，y，σ)*I(x，y)

(1)

其中，G(x，y，σ)為高斯函數。

首先需要建立高斯金字塔，分為兩步：

1)對圖像做高斯平滑

2)對圖像做將采樣

設高斯圖像金字塔共o組、s層，則有

σ(s)=σ02o+s/S

(2)

其中σ為尺度空間坐標，s為sub-level層坐標，σ0為初始尺度，S為每組層數。DoG金字塔過程如圖3所示。

圖3 DoG金字塔創建過程

圖像的關鍵點由DoG空間的局部極值點組成，該極值點為圖像離散極值點，根據Taylor展開式可以對尺度空間DoG函數進行曲線擬合

(3)

求解得

(4)

(5)

取值小于0.04的極值點均拋棄。

最后通過計算關鍵點周圍像素梯度的幅值和方向確定關鍵點基準方向，從而保持翻轉穩定性，其中，梯度幅值表示為

m(x，y)=

(6)

方向為

(7)

這樣確定的每個關鍵點都含有位置尺度方向三個信息，保證了提取的局部特征的穩定性。

2.1.2 CNN提取圖像全局特征

卷積神經網絡(Convolutional Neural Networks，CNN)自從Yann Lecun等在1998年提出以來，迅速在圖像領域取得了廣泛的應用。其本質是一個多層感知機[9]，CNN特點主要是其局部連接和權值共享模式，當輸入數據為圖像時CNN能夠自動完成特征提取，提取后的局部特征輸入第一層全連接層組成全局特征，進而實現圖像的分類。CNN已成功應用于圖像處理的各個任務，因此CNN被認為是圖像識別領域的主導算法。CNN雖然能夠很方便的提取到特征，但其全連接層在分類時，占據了大量的計算時間與參數量，所以，近些年CNN被認為是優秀的全局特征提取結構，而在分類時，會刪除全連接層，選用其它分類器。例如，2012年Niuxx等人提出的CNN-SVM模型[10]，結合了卷積神經網絡特征提取和支持向量機分類器的優點，在圖像分類試驗中得到了較低的分類錯誤率。

2.2 特征融合及優化

圖像的特征融合技術已成為當今圖像研究的熱門領域，圖像融合是一種將來自同一場景的許多圖像的不同信息融合在一起的方法，這些圖像取自各種傳感器或不同的特征范圍。融合圖像保留了輸入圖像的各種補充和冗余信息，這些信息對于人類的視覺感知和圖像處理任務非常有用。為了達到這些目的，融合結果應滿足以下要求：

(a)融合圖像應保留輸入圖像中最互補和重要的信息；

(b)融合技術不應生成任何可能轉移方向的合成信息；

(c)必須避免出現不完善的狀態，例如噪聲等[11]。

綜上所述，圖像融合將保留來自輸入圖像的互補信息和冗余信息，確保獲取更全面的圖像特征。

CNN提取的圖像全局特征和和圖像SIFT局部特征融合后，特征維度必然增大，為了減少后續分類過程的計算量，需要對特征進行PCA降維。在PCA降維過程中，需要計算特征之間的協方差矩陣，內存消耗很大且耗時。為了達到預期的效果，需要改進PCA以盡可能地壓縮特征數據并減少特征維度，減少降維過程中的內存占用和運行時間，引入圖像信息熵來滿足這些要求。特征的信息熵值越大，原始數據中包含的信息量越大，它屬于應保留的特征。如果特征的信息熵較低，則包含的數據信息越少[12]，應刪除或不保留該特征。圖4為改進PCA降維的效果圖。

圖4 改進PCA降維效果

改進的PCA降維有效降低了數據維度及分類時間，提高了網絡在高維數據分類時的實時性表現。

2.3 ELM分類器

在提出的系統中，使用基于ELM的分類器。

圖5 ELM結構

ELM是一個淺層網絡，結構如圖5所示，ELM具有許多優點，例如學習速度快，易于收斂以及隨機性較低[13]。因為ELM可以隨機初始化輸入權重和偏差，所以ELM的訓練只需確定輸出權重及確定隱層神經元個數，其中，隱層神經元個數對分類性能有比較大的影響。本文用ELM代替全連接層，有效減少計算量及參數量。為了驗證本文所使用的ELM分類器的優勢，將ELM分類器從診斷準確率、訓練時間和診斷時間三個層面分別與Softmax分類器和SVM進行對比，實驗結果如表1所示。

表1 分類器性能比較

從表1可以看出，ELM平均準確率高達97.13%，高于Softmax分類器的93.71%以及SVM分類器的94.23%。此外，由于ELM訓練時只需隨機生成連接權重和偏置，極大的減少了訓練過程中的參數量與計算量，避免了繁復的迭代過程，因此訓練時間遠低于其它兩種分類器，同時，分類時間也只有7.32ms，基本達到實時識別的應用要求。

3 實驗平臺及數據集

搭建的測試平臺使用的操作系統為Windows 10，深度學習框架為TensorFlow，開發軟件為Python3.0x，主要硬件配置：處理器為E5-2660V2@2.6GHz；內存為16GB；；GPU為GTX1080TIi 11G。

AID Dataset是一個遙感影像數據集，其包含30個類別的場景圖像，其中每個類別有約220～420張，整體共計10000張，其中每張像素大小約為600*600。該數據集由華中科技大學和武漢大學于2017年發布。

圖6 AID Dataset數據集中的遙感圖像

4 實驗及結果分析

4.1 灰度處理與濾波

在本文中，需要分別用深度網絡和SIFT方法提取深層和淺層特征，首先需要對Dataset數據集圖像進行灰度和濾波處理，這樣可以顯著減少圖像噪聲并將三維彩色圖像轉化為二維灰色圖像。

圖7 圖像預處理

4.2 輸入網絡，統計時間及識別準確度

上文已經驗證改進的PCA降維可以提高分類實時性能，為了驗證本文方法中降維對遙感圖像分類準確率的影響，設定了本算法和與VGG-16算法分類準確率的兩組對比實驗。

圖8 特征降至不同維度分類準確率

由圖8可得，經過特征融合加入SIFT特征后，豐富了圖像特征層次，有效提高了遙感圖像分類的準確率，當將特征維度降至400維時遙感圖像分類準確率最高。

上文中提到隱層神經元數目對ELM分類效果有著至關重要的作用。為驗證隱藏節點數目對分類效果的影響，分別設置隱藏節點數目從2000增加到14000，結果如圖9所示。

圖9 不同隱藏節點數目下分類準確率對比

從實驗結果可以看到，隨著隱藏層節點數目增加，遙感圖像分類的準確率會提高，但訓練時間也會同時增加。綜合考慮準確率和時間，本文選取隱藏層節點數量為10000。利用特征融合的分類準確率明顯高于CNN特征下的分類準確率，平均高出兩個百分點。

5 結論

綜上所述，通過融合遙感圖像的SIFT特征和CNN網絡特征，針對遙感圖像光照等外部條件復雜的問題，提高了遙感圖像的特征層次，更充分的利用了遙感圖像的信息，提取特征的魯棒性和判別性較好，從而有效提高了遙感圖像的分類準確率。通過引入信息熵改進的PCA對融合后的圖像特征進行降維，減少了特征維度提高了特征質量從而提升了遙感圖像的分類速度。