基于多尺度特征融合的土地利用分類算法

張 軍，解 鵬，張 敏，閆文杰，石陸魁+

(1.河北工業大學 人工智能與數據科學學院，天津 300401；2.河北省科學技術廳 河北省大數據計算重點實驗室，天津 300401)

0 引 言

近年來，大量高空間分辨率遙感圖像被應用于土地利用調查。然而，高分圖像地物組成豐富多樣，空間格局復雜多變，現有分類方法仍無法滿足土地利用調查精確性要求。土地利用分類成為一個極具挑戰性的課題。相對于傳統的基于底層[1,2]、中層[3-5]特征方法，卷積神經網絡(convolutional neural networks，CNNs)所提取的高層語義特征更具表達性，在土地利用分類中有突出表現[6,7]。大多數研究成果[8-10]采用CNNs全連接(FC)層的輸出作為圖像的最終表達。然而，Liu等[11]和Yue-Hei Ng等[12]證明了不同卷積層之間存在大量的互補信息。因此融合多層特征圖譜對于提高分類精度具有重要意義。然而直接連接多個卷積層特征，不僅會導致卷積神經網絡的參數規模過大，融合方法也缺乏靈活性[13]。

為克服上述問題，本文在遷移學習思想的基礎上提出了一種基于多尺度特征融合的土地利用分類算法，簡稱為TL-MFF(transfer learning and multi-scale feature fusion)。多尺度特征融合部分采取多尺度池化方式提取每幅圖像不同卷積層的不同尺度特征，并對提取的特征進行自適應融合，進而獲得更準確的特征表示。遷移部分首先利用預訓練網絡提取的深度特征對多尺度特征融合部分和全連接層進行預訓練，最后對整個模型進行微調，從而得到最終完整的CNNs。本文在UCMerced_LandUse(UCM)和WHU-RS19(WHU19)兩個公開的遙感數據集上進行了實驗，驗證了本文提出的算法的精度優于現有較好的算法的精度。

1 基于多尺度特征融合的模型

1.1 模型結構

由于計算資源和遙感場景小樣本數據的限制，大型卷積神經網絡的訓練過程容易導致過擬合。一種簡單可行的解決方法是利用基于ImageNet[14]的預訓練CNNs提取圖像特征進行場景分類。在ImageNet上預訓練的CNNs模型具有較強的泛化能力，且光學遙感圖像與通用光學圖像具有很強的低層相似性，所以在ImageNet數據集上訓練的CNNs對于UCM和WHU19數據集的分類具有重要的意義。在圖像識別領域，已有包括AlexNet[15]、CaffeNet[16]、GoogleNet[17]和VGGNet[18]在內的一些成功的CNNs架構。所有這些在ImageNet[14]上訓練的CNNs模型都可以下載并經常作為遷移學習[19]使用。為適應遙感數據集，本文在遷移效果較好的AlexNet基礎上進行改進，在第五層卷積層后添加第六層卷積層，conv6層卷積核大小設為3×3，步長為1×1，隱藏單元為256。對conv1和conv6進行多尺度特征自適應融合，將融合后的特征表達輸入到全連接層中。出于對分類精度和計算時間的考慮，將全連接層設置為三層FC1、FC2、FC3，每層的隱藏單元分別為1024、512和C，其中C為數據集的類別數。其它參數設置、激活函數與優化器的選取等均與AlexNet保持一致。完整的TL-MFF模型如圖1所示。

圖1 TL-MFF模型

1.2 多尺度特征融合

由于傳感器的高度變化使得場景包含的地物對象尺度變化明顯(圖2)，嚴重限制了分類精度的進一步提升。金字塔池化[20](SPP)在提取多尺度特征時能保留局部空間塊的空間位置信息，并且對物體形變具有魯棒性[20]。金字塔池化的結構如圖3所示。將卷積層輸出任意大小的特征(n維)輸入到金字塔池化，分別用多個不同分辨率的池化層池化后連接起來，生成固定大小的特征向量(圖3中生成的特征向量大小為14×n)。本文采用多層金字塔池化結構對多個卷積層特征進行多尺度信息提取，在充分利用不同卷積層有效信息的基礎上，保留了局部不同尺度空間塊的空間信息。既針對性地解決了場景圖像地物尺度不一的問題，又對多個卷積層高維特征進行了有效降維，大大減小了網絡參數規模。

圖2 飛機和儲罐場景中物體的尺度變化

圖3 金字塔池化結構

多尺度特征融合部分的方法如圖4所示，這里省略其它卷積層與全連接層。對卷積層conv1和conv6進行融合，先將這兩層輸出的特征向量進行金字塔池化，將輸出的一維特征分別用SF1和SF2表示，然后兩個特征分別乘以λ1和λ2，再將它們連接起來構成最終的特征融合向量輸入到全連接層FC。融合系數λ1和λ2可以看作兩個去除偏置的神經元的權重，SF1和SF2作為輸入，經過正向傳播和反向傳播不斷更新λ1和λ2，使融合系數可從數據中自動學習得到，系數調節變得更加靈活，對卷積神經網絡的適應性更強。

圖4 多尺度特征融合結構

1.3 TL-MFF模型訓練步驟

訓練TL-MFF模型分為兩個步驟：預訓練和調整。

步驟1 預訓練。固定預訓練AlexNet模型前五層卷積層權重，輸入高分遙感圖像對多尺度特征融合部分和全連接部分進行充分的預訓練，保存權重。

步驟2 調整。對訓練集做數據增強(增強方法是將原圖像分別旋轉90度，180度，270度，將訓練集擴大至原來的4倍)，加載步驟1中保存的權重，將增強后的訓練集輸入到網絡中，利用隨機梯度下降法對整個網絡進行微調，得到最終完整的TL-MFF卷積神經網絡。

2 實驗和分析

為了測試TL-MFF模型的土地利用分類性能，本文采用UCM數據集和WHU19數據集分別測試該算法，同時和較好的土地利用分類算法MS-CLBP[5]，MS-CLBP-FV[5]，SICNN[6]，GBRCN[7]，CaffeNet+FV[8]等進行比較。

2.1 場景分類實驗設置

UCM是從大型航空正射影像中人工采集的，包含21個不同的土地類別，每類由100張大小為256×256像素的圖片組成，每一張圖片的空間分辨率為1英尺。WHU19數據集來源于Google Earth，它是一種全新的公開數據集，由950張大小為600×600像素的圖片組成，均勻分布在19個場景類中。圖5和圖6為UCM與WHU19的一些示例圖像。對于UCM數據，每類數據隨機選取80%作為訓練樣本，其余作為測試樣本；對于WHU19數據集，每類選取60%作為訓練樣本，其余作為測試樣本。考慮到AlexNet對輸入圖像的預定義尺寸要求，本文使用雙三次插值法將所有圖片的像素大小縮小為227×227。

圖5 UCM數據集

圖6 WHU19數據集

在實驗中，兩層金字塔池化層的池化網格均設置為1×1、2×2、3×3，λ1和λ6分別初始化為0.5和1。訓練與微調過程中，學習率設為0.001，Dropout率設為0.5，優化器選擇隨機梯度下降法，訓練批次UCM數據集設為70，WHU19數據集設為95，訓練迭代次數為300，微調次數為300。實驗所用的硬件是兩個型號為NVIDIA Tesla P40的GPU，處理器型號為Intel Xeon E5-2680 v4 (2.4 GHz)，軟件環境為Ubuntu Server 16.04.1 LTS 64位操作系統、Tensorflow框架。

實驗包括兩個部分：特征融合實驗；TL-MFF與現有方法對比實驗。

2.2 特征融合實驗

為了驗證融合系數λ1和λ2的有效性，本文做了有無融合系數的對比實驗，對比實驗使用UCM數據集，特征融合層為conv1與conv6，其它參數保持不變。在無融合系數的實驗中，將conv1與conv6生成的多尺度特征SF1與SF6直接連接起來。在有融合系數的實驗中，SF1和SF6分別乘上自適應系數λ1和λ6。實驗發現，如果沒有融合系數，訓練精度僅為12.80%，測試精度為17.38%，幾乎無法進行分類，原因在于SF1特征數值分布范圍大，SF6特征數值分布范圍小，將兩個直接連接，過大或者過小的特征值會影響分類效果。有融合系數的實驗，訓練精度與測試精度分別為99.81%和96.67%。實驗結果表明，自適應融合系數可以消除不同卷積層特征的分布差異，能使其更好的融合分類，提高分類精度。

為了驗證多層特征融合的優勢以及最優的融合方式，本文做了c6、c1_c6、c2_c6、c3_c6、c4_c6及c5_c6的實驗，每種方法實驗5次，取平均值作為最終結果，見表1。其中“c*”為第*卷積層的多尺度特征，“_”表示連接(例如，c6代表單層多尺度池化，c1_c6代表第一層卷積的多尺度特征與第六層卷積的多尺度特征融合方法)。從表1中可以看出，單層的多尺度池化c6的精度低于多層特征融合的方法，在多層特征融合的方法中(c1_c6、c2_c6、c3_c6、c4_c6 和c5_c6)，各方法精度差距較小，考慮到連接后特征維度的大小，TL-MFF模型中的特征融合方式使用c1_c6。多層特征融合方法相對于單層多尺度池化方法的優勢也可從圖7的混淆矩陣看出，圖7(a)為單層多尺度池化方法，圖7(b)為c1_c6多層特征融合方法。在圖7(a)中建筑、密集型住宅和儲罐的分類誤差較大，在圖7(b)中這些場景分類效果得到明顯提升。圖8為 c1_c6 實驗(即TL-MFF實驗)的訓練過程。從圖8中可以看出，在調整過程中迭代200次后訓練精度和測試精度達到收斂。

2.3 TL-MFF與現有方法對比實驗

為進一步測試所提方法的有效性，與已有方法進行比較，這些方法在UCM數據和WHU19數據集上的平均精度見表2。從表2中可以看出，在UCM數據集上，TL-MFF方法的準確率(96.67%)高于MS-CLBP[5]、MS-CLBP-FV[5]、SICNN[6]，GBRCN[7]、CaffeNet+FV[8]這些方法；對于WHU19數據集，TL-MFF方法比MS-CLBP[5]、MS-CLBP-FV[5]、CaffeNet+FV[8]獲得了更高的準確率(95.47%)。

表1 不同卷積層的融合結果

圖7 UCM數據集混淆矩陣

圖8 TL-MFF訓練過程

方法UCM精度WHU19精度MS-CLBP[5]90.6%±1.493.4%±1.1MS-CLBP-FV[5]93.0%±1.294.32%±1.2GBRCN[7]94.53-SICNN[6]96.00-CaffeNet+FV[8]95.71±0.6993.68±0.93TL-MFF96.6795.47

3 結束語

為了提取更準確、更全面的特征描述以及減小過擬合風險，本文提出了一種基于多尺度特征融合的土地利用分類算法。多層多尺度特征融合充分利用了單個卷積層不同尺度的特征信息以及不同卷積層之間的互補信息。在兩個公開數據集上，通過實驗驗證了自適應融合系數能使不同卷積層的特征更好的融合分類，并且驗證了多層特征融合提取的特征描述比單層提取的特征描述更準確，實驗結果表明本文方法的精度優于現有較好的土地利用分類方法的精度。

然而，本文方法仍有不足之處，例如，對UCM數據集內密集型住宅和中等密集型住宅的分類不太理想，原因在于這兩個場景類別僅僅是結構密度存在微小差距，類間距極小，未來工作將通過減小深度特征類內距離，增大類間距離來進一步提高土地利用分類算法的性能。