基于多特征融合的遙感圖像場景分類

王倩，寧芊，楊曉敏，陳炳才，雷印杰

（1.四川大學電子信息學院，成都610065；2.新疆師范大學物理與電子工程學院，烏魯木齊830054）

0 引言

隨著硬件技術的快速發展，遙感圖像（RSI）的分辨率越來越高。不僅推進了遙感技術的發展，同時也催生出一系列基于遙感圖像的算法研究，其中場景分類占有重要的地位，旨在自動完成RSI 的分類。RSI 分類在環境保護，地質調查和測量，土地利用和土地覆蓋的確定[1]，礦產勘探等社會規劃中有重要作用。對于RSI分類，特征提取是重要的過程。

近年來，大量關于RSI 特征提取的方法被提出?，F有的RSI 特征提取研究方法主要分為人工特征提取方法和自動特征學習方法。人工特征提取方法包括傳統的角點特征提取方法和邊緣特征提取方法。早期，角點特征提取是特征提取的主要方式，例如加速段測試特征（FAST）[2-3]，定向的FAST 特征和旋轉的二元魯棒獨立初等特征（BRIEF）結合（ORB）[2]，尺度不變特征變換（SIFT）[4]等。邊緣特征提取的算法廣泛用于像素級分類，例如羅伯特算子（Roberts operators[5]）和Prewitt算子[5]。方向梯度直方圖特征（HOG）[6]和光柵操作單元（ROPS）[7]等是基于直方圖統計進行局部特征提取，但是在大多數實驗中，對語義的表達較差。人工特征提取方法對研究人員的經驗要求很高，并且全局特征的生成對研究人員和設備的要求更高，耗時更多。相比之下，自動提取特征的方法更簡便。

大多數自動提取特征的方法，尤其是基于深度學習的方法，對圖像描述的能力很強。卷積神經網絡AlexNet 最早是由Alex Krizhevsk[8]等提出，相比于初期大大提升了圖像分類效果，由于卷積層比較少，所以對圖像深層特征提取也不是很充分。隨著卷積神經網絡的發展，提出更多深層的網絡模型，因為基于深層卷積神經網絡特征提取的便利性和更好的分類結果，所以神經網絡廣泛應用于各個領域的識別。Wan 等人[9]提出一種合并局部特征的方式，再通過信道編碼形成全局特征，但是局部特征不是很明顯的特征，對圖像的描述能力相比從卷積神經網絡中提取的特征更差。Liu等人[1]提出將從CaffeNet 和VGG-VD 的卷積層提取的特征融合成深度描述符，再通過Fisher 編碼的方式形成全局特征，但是編碼過程中不像自學習模型出來的特征囊括更多有用的特征，導致得到的分類效果沒有很明顯的提升；Cheng 等人[10]研究了基于CNN 方法的卷積特征包（BoCF）的新語義描述，以增加場景分類的效果，使用的是深層的預訓練單模型（GoogleNet、VGGNet）卷積層特征，但是單模型提取的特征比較有限，所以最后的分類效果也不是很理想。

為了解決單模型卷積層特征的不足以及避免處理卷積層特征導致的繁瑣過程，本文先從預訓練模型VGGNet-16 和ResNet-50 全連接層中提取特征，然后根據PCA 變換與特征融合的先后順序，提出兩種策略用于簡化特征處理過程以得到較好的分類效果。策略一是分別將兩個CNN 預訓練模型提取的特征由PCA變換處理，得到有效的特征投影，再進行特征融合，最后使用隨機森林進行分類；策略二先融合兩個CNN 預訓練模型中提取的特征，再進行PCA 變換得到有效特征投影，最后輸入到隨機森林分類器中進行訓練分類。經過實驗驗證，兩種策略在UCM 和AID 兩個數據集上均有較好的表現，分類正確率有明顯提升。此外，本文在進行分類時采用的隨機森林分類器可以減少模型的訓練時間，加快訓練過程。

1 原理及方法

1.1 原理描述

（1）PCA 變換

線性降維算法被廣泛應用于識別領域，其中重要的代表是PCA[11]。顧名思義，該算法主要實現主成分選擇的功能，也是在不損失特征質量的前提下壓縮訓練過程的主要技術。在現在的研究中，Wang 等人[12]提出了一種基于線性PCA 的方法（LPCANet[12]），通過合成由LPCANet 獲得的空間信息來縮短源數據集和目標數據集之間的空間距離，引入PCA 就是用于特征描述符的區分和尺寸減小。所以PCA 是通過線性變換將原始特征映射為每個維度的一組線性獨立表示。

PCA 數學模型如下：

X=x1,x2,…,xm是樣本集，其中X 是m 維數據集。在新空間中超平面上的xi投影是WTxi。為了使所有采樣點的投影盡可能分開，應盡量增加采樣點的方差。其中XXT可以由（1）得到：

特征矩陣 XXT被分解，得到類似于λ1≥λ2≥…≥λk序列的特征值，對應于前i 個特征向量W=(W1,W2,…,Wi)是所需要的i 個主成分。

（2）隨機森林

現如今，針對分類問題，提出了很多算法來解決。在目前的獨立分類器中，隨機森林[13]和SVM 都被廣泛使用。與SVM 相比，盡管對于不平衡分類的性能更差，但它在平衡誤差方面更好。特別是在訓練速度，擬合能力和計算成本方面，隨機森林更強大。隨機森林分類器由多顆分類回歸樹（CART）組成，對于每個樹分類器，訓練數據集從訓練數據集中自動反向采樣。隨機森林將每個樹分類器的結果合在一起，形成森林分類器。最后的分類結果是所有的樹分類器分類結果的平均值。

隨機森林的數學模型主要是CART。在CART 中，區域R 中每個類的頻率可以由N 個樣本表示。在區域m 中的第k 類訓練頻率可以表示為：

其中I 定義為：

對于隨機森林，最佳分割點由類的分割純度決定。

對于純計算，有三種方法，Gini 不純度，熵（entropy）和錯誤率（error）。公式定義如下：

1.2 方法描述

通過對現存卷積神經網絡進行研究，每一種卷積神經網絡都具有很好的分類效果，雖然VGGNet-16 比大部分卷積神經網絡模型參數更多，但是他只含有一個損失函數，所以相對于同期的別的模型，可拓展性更強，而ResNet-50 則是一個具有可拓展性的輕量型網絡模型，所以本文選擇VGGNet-16 和ResNet-50 兩種預訓練神經網絡模型作為特征提取器，提取的特征分別記FeatureV=[v1,v2,…,vk]和FeatureR=[r1,r2,…,rm]，將從兩個神經網絡得到的特征進行融合就得到了融合的特征，如公式（7）所示。在此過程中可以獲取到單模型不具有的特征來形成更加全面的、新的全局特征，從而提高分類的性能。

融合結果如公式（8）所示：

經過對PCA 的研究，發現PCA 在特征處理上有很多優勢，不僅可以保持數據集的主要特征，而且還能降低特征維度，提高效率。由隨機森林原理可知，其具有很強的數據穩定性，以及降低訓練過擬合等特點，是很優秀的分類器。因此，基于上述考慮得出了如圖1 所示方法，此方法首先從VGGNet-16 和ResNet-50 兩種預訓練神經網絡模型中提取全局特征，隨后根據PCA變換、特征融合的不同順序，得到相應的融合特征，隨后輸入到隨機森林中進行模型的訓練及驗證。

圖1 本文方法

特征提取是本文算法的一個先導過程，數據集被輸入到VGGNet-16 和ResNet-50 兩種預訓練模型中提取全局特征。全局特征指的是提取的特征和實際圖片之間的聯系，非常適合用于圖像分類。在實驗中，預訓練模型僅用作特征提取器。使用CNN 預訓練模型作為特征提取器時，由于卷積和池化計算的特性，小部分的圖像偏移不會影響最后的特征結果，具有強大的擬合能力，能捕獲圖像中的所有描述，所以提取結果對分類結果幾乎沒有影響。從VGGNet-16 和ResNet-50兩個預訓練模型中提取的向量都為1×1000。

圖1（a）展示了策略一的特征融合過程，將特征提取步驟中提取的特征先分別對每一個樣本進行PCA特征變換，每一個樣本都運用相同的PCA 模型以保證每一個樣本的維度都相同，PCA 映射出來的特征為每一個樣本比較重要的特征部分；接著對每一個樣本進行特征融合拼接，得到一個復合特征，PCA 比率設置為95%，對應維度為229；最后將得到的向量輸入到隨機森林分類器中，進行訓練，并得到分類結果。

策略二的特征融合過程如圖1（b）所示，把特征提取過程中提取的每個特征先進行特征融合，得到一個總的復合特征，每個樣本的特征融合結果都為1í2000得向量，再對每一個樣本進行PCA 有效特征投影，PCA比率設置為95%，對應維度為194；再將得到的最終結果輸入到隨機森林中進行訓練并得到分類結果。

2 模型訓練與結果分析

2.1 數據集

在本文中，實驗分別基于兩個公共RSI 數據集上研究。第一個數據集是UC Merced Land Use[4]數據集（UCM），摘自美國地質調查局國家地圖城市地區圖像集中的大型圖像，包括全國各個城鎮地區。第二個數據集是通過Google 地球圖像的樣本圖像收集的新的大型公共數據集航空圖像數據集（AID），由Xia[14]等人于2017 年提出。UCM 數據集包含21 個類。每個類包括100 張圖像，大小為256×256 像素，具有不同的空間結構，顏色分布，區域覆蓋和對象覆蓋。AID 數據集整個數據集有10000 張圖像，分為30 個類，每個類包含200-420 張圖像不等，像素大小也是256×256。

在兩個數據集中，每個類中80%的圖像用作訓練數據集，其余圖像用作測試集。在實驗中，全局特征描述符是從兩個VGGNet-16 和ResNet-50 預訓練CNN模型中提取出來以后形成的。兩種CNN 模型都是在ImageNet 數據集上訓練過的。獲得的全局特征描述符的最終維數為1×1000，經過特征處理以后，輸入到隨機森林分類器中訓練和分類。實驗論證了PCA 對CNN特征的影響，并且展示了所提出的兩種策略在兩種數據集上的分類效果以及對訓練效率影響。

2.2 軟硬件環境

本文提取特征所使用的預訓練網絡模型為VGGNet-16 和ResNet-50，輸入圖片像素都調整為224×224×3，每批次輸入一類圖片，輸出的特征向量為1×1000，PCA 模型參數比例設置為95%；訓練由隨機森林分類器完成，每個隨機森林的決策樹擇優范圍設置為100-1000，步長設置為50，最大特征數設置為“sqrt”，結點劃分標準設置為“gini”，葉子節點含有的最少樣本設置為20，其他參數設置為默認參數。

實驗的硬件環境為Intel i7-6700 3.4GHz 的CPU、16G 內存和單塊NVIDIA GeForce GTX1070 Ti 顯存6GB 的顯卡，操作系統為Ubuntu16.04 的Linux 操作系統，特征提取框架為Caffe 框架。

2.3 實驗結果分析

圖2 描述了UCM 數據集上所提兩種策略分類的混淆矩陣。測試集和訓練集的比例為1:4，最終得到了策略一（如圖2（a）所示）和策略二（如圖2（b）所示）的混淆矩陣。如混淆矩陣所示，第i 行和第j 列中的數字代表著將第i 類識別為第j 類的概率。

在圖2 中，兩種類型的方法的平均分類準確度分別為85.72%和88.10%。這兩種方法能比較精確識別出諸如“飛機”，“農業”，“棒球場”，“叢林”，“森林”，“高爾夫球場”，“海港”，“立交橋”，“網球場”，“河流”等類別（90%的分類準確度）。從這些類別的RSI 中提取的特征比較好識別，與別的類別的特征存在較大差異，這有助于正確分類。有些類獲得較差的分類效果，原因可歸結為這些類別的高維特征太相似，區分困難，例如“密集住宅”和“中等住宅”，其中包括大量的建筑元素，因此存在混淆。

圖2 UCM數據集混淆矩陣

各類別分別為：1.飛機；2.海灘；3.農業；4.棒球場5.建筑物；6.灌木叢；7.密集居住區；8.森林；9.公路；10.高爾夫球場；11.海港；12.十字路口；13.中等密集住宅區；14.拖車住房公園區；15.立交橋；16.停車場；17.網球場；18.河流；19.飛機跑道；20.稀疏住宅區；21.儲存槽區

在圖3 中，兩個混淆矩陣分別代表策略一（如圖3.a 所示）和策略二（如圖3.b 所示）。測試集的比例是訓練集的25%?；煜仃囍袛底值暮x與圖2 相同。策略一和策略二的所有類別的總體準確度分別為81.3%和84.48%。兩種策略在一些類別上都能準確識別（94%的分類準確度），例如“密集住宅”，“沙漠”，“農田”，“森林”，“山”，“港口”，“火車站”，“體育場”，“儲罐”，“高架橋”。由于上述類中存在良好識別對象或更明顯的特征，它們的分類性能非常好。此外，“大橋”，“市中心”，“旅游區”，“學校”和“廣場”的識別精度不佳，其原因與UCM 數據集相同。從兩組混淆矩陣中，策略二的效果比策略一更好是因為策略一的維度比策略二的維度更冗余，這將影響隨機森林分類器最后的決策。

圖3 AID數據集混淆矩陣

各類別分別為：1.飛機場；2.凸斑地；3.棒球場；4.海灘；5.大橋；6.市中心區域；7.教堂；8.商業區；9.密集居住區；10.沙漠；11.農場；12.森林；13.工業區；14.牧地；15.中等密集住宅區；16.山區；17.公園；18.停車場；19 游樂場；20.池塘；21.港口；22.火車站；23.旅游區；24.河流；25.學校；26.稀疏住宅區；27.廣場；28.運動場；29.儲存槽區；30.高架橋

圖4 展示了兩種策略在兩個數據集上的平均準確度。隨機森林里面的分類樹數量分別包括100,200,300,400 個分類樹。圖4（a）所示是在UCM 數據集上實驗的結果。對于策略一和策略二，在分類樹數超過200后策略二更好。隨著分類樹數量增加，分類精度也在提高，對比于單個的VGGNet-16 和ResNet-50 特征用于訓練分類，策略一的準確度分別提高了大約11.2%和21.5%；策略二提高了大約12.3%和20.6%。

圖4 基于UCM和AID數據集的分類結果

圖4 （b）是實驗在AID 數據集上的結果。從圖可得，對比單個的VGGNet-16 和ResNet-50 特征用于訓練分類，這兩種策略的分類效果都有所提升。隨著隨機森林中分類樹的數量增加，分類準確度也會發生變化，當分類樹數等于300 時，策略一和策略二的分類效果都達到最佳，這與UCM 數據集的效果略有差異，原因可歸結為UCM 數據集類別的訓練集數量少于AID數據集類別的訓練集數量。

表1 列出了UCM 數據集的一些最新方法和本文方法的分類準確度，這些現有方法詳見文獻[1,4,15,16]。與現有方法的比較表明，策略二比文獻[1,4,15,16]中的最佳結果提高了1.69%，策略一與現有方法的精準度相當。

表1 UCM 數據集與現有方法結果對比

表2 列出了AID 數據集的一些最新方法和本文方法的分類準確度，這些現有方法在文獻[14]中詳述。與現有方法的比較表明，本文的策略分別都有部分提高。由于特征融合和PCA 轉換相結合的優越性，本文的方法對兩個數據集都有較好的分類效果。

表2 AID 數據集與現有方法結果對比

表3 中比較了在不同分類器上，訓練模型花費的時間。如表所示，使用UCM 數據集，VGGNet-16 和ResNet-50 結合Softmax 分類器的訓練的時間分別需要4376s 和2437s。但是，使用策略一和策略二結合隨機森林分類器分別只需要26.68s 和24.81s，縮短了一百多倍。此外，VGGNet-16 和ResNet-50 結合Softmax 分類器分類準確率分別為78.3%和82.4%，策略一和策略二結合隨機森林的分類準確率分別為85.72%和88.10%，結果均高于VGGNet-16 和ResNet-50。從表中可得到，PCA 轉換也有助于縮短訓練過程，提高訓練效率。

表3 UCM 數據集不同分類器訓練時間與精度對比

從圖2 和圖3 中可以發現，將ResNet-50 和VGGNet-16 的特征應用于兩種策略的融合改進方法中，比單個CNN 模型的特征效果更好。從圖4 可以看出，在兩種數據集上，策略二比策略一的分類準確度都高了3%左右；從表1 和表2 也可得出，兩種策略都有較好的分類效果。

綜上，本文提出的策略在分類效果和訓練效率上都具有較好的效果。而策略二相對于策略一來說，雖然在模型訓練時間上差別不是很大，但是在主要特征保留上，策略二更好，其特征對于圖像的描述能力更強，使得總體的分類效果更好。

3 結語

本文先從預訓練模型VGGNet-16 和ResNet-50全連接層中提取特征，然后根據PCA 變換與特征融合的結合先后順序，以提升特征的描述力。策略一是先對單個預訓練模型中提取的特征使用PCA 變換，得到有效的特征映射后，再進行特征融合；策略二先融合從兩種預訓練模型提取的特征以后，再進行PCA 變換，以得到有效特征投影。根據實驗證明，與單個預訓練模型提取的特征相比，所提出的特征融合的兩種策略在UCM 數據集和AID 數據集上都有較好的效果。PCA 變換加上特征融合可以提高分類精度的性能，兩種策略都可以較好地提高訓練效率。