顧及局部特性的CNN在遙感影像分類的應用

楊嘉樹，梅天燦，仲思東

YANG Jiashu,MEI Tiancan,ZHONG Sidong

武漢大學 電子信息學院，武漢 430072

School of Electronic Information,Wuhan University,Wuhan 430072,China

1　引言

遙感是一種對地實施觀測和資源管理的有效手段。遙感影像分類，在土地規劃、災害救災以及變換檢測等應用中發揮著關鍵作用。由于高分辨率影像中普遍存在的“異物同譜”和“同物異譜”現象[1]，現有高分辨率影像分類技術不能有效滿足實際應用需求，高分辨率遙感影像分類方法研究仍然是一個開放性的問題。

影像分類性能在很大程度上取決于影像數據特性的表示方式。結合影像光譜和空間信息的特征表示方法在高分影像分類中得到廣泛應用，如LEWA（Lengthwidth Extraction Algorithm）[2]、PSI（Pixel Shape Index）[3]等算子通過描述影像的形狀特征，改善了分類性能。Yuan等[4]利用局部光譜特征統計圖、SIFT（Scale-Invariant Feature Transform）[5]、HOG（Histogram of Oriented Gradient）[6]算子等描述影像的空間信息用于影像分類。為進一步提高特征的魯棒性，人們通過對底層特征進行編組處理得到中層特征（Mid-level feature）。BoVW（Bag of Visual Words）[7]是一種廣泛應用的中層特征描述子：首先使用SIFT等算法提取影像特征的描述算子，生成視覺“詞典”，然后統計視覺“單詞”的數目得到特征，結合boosting等方法進行分類。從滿足實際應用需求的角度看，這些特征的適用范圍以及描述高層語義特征的能力都有待提高。近年來，深度學習的方法在圖像識別和語言處理等方面展示了優異的性能[8]。卷積神經網絡（Convolution Neural Network，CNN）是一種常見的深度學習結構。卷積神經網絡模擬人腦視覺分層機理，通過學習的方法得到數據特征，省去了設計特征的困難。此外，卷積神經網絡提取的特征，相對于傳統人工設計特征，有平移和旋轉不變性，在圖像分類和目標識別等領域的表現更優。卷積神經網絡正在被應用于計算機視覺的眾多領域。

卷積神經網絡是一種數據驅動的模型，需要大量的數據作為支撐。由于遙感影像數據特性的限制，直接采用現有卷積神經網絡模型表示遙感影像數據特性存在以下問題：（1）基于卷積神經網絡的特征學習方法需要大量訓練樣本。如果訓練樣本不足，學習得到的特征不能有效描述數據特性。遙感影像數據分類一般難于獲取足夠的訓練樣本[9]。（2）現有基于卷積神經網絡的影像分類方法需要首先確定目標在影像中可能出現的位置，然后在該位置開一個窗口，最終根據窗口內的數據確定目標的類別。遙感影像分類需確定每個像素的類別，因此要以每個像素為中心開窗獲取的數據確定像素的類別。這種處理使得計算效率很低，窗口大小選擇不合適也會顯著降低分類性能。因此，直接采用現有卷積神經網絡模型進行遙感影像分類不能有效提高分類性能。

針對直接使用卷積神經網絡進行遙感影像分類存在的問題，本文的主要工作：（1）利用影像分割獲取的區域信息確定用于卷積神經網絡的子窗口影像，提高了卷積神經網絡對遙感影像分類的效率；（2）采用支撐向量機（Support Vector Machine，SVM）在卷積神經網絡分類結果的基礎上進行再分類，進一步提高分類精度。

2　影像分類

圖1　分類框架流程圖

本文提出的遙感影像分類方法流程如圖1所示。本文實現高分辨率遙感影像分類時，首先對影像使用Mean Shift[10]進行過分割，根據分割結果確定輸入卷積神經網絡的影像塊，使用卷積神經網絡對影像塊進行分類，分類結果作為該區域的分類結果，在所有區域上使用同樣操作得到初始分類結果。在此基礎上，針對卷積神經網絡分類的結果，使用支撐向量機進一步改善分類性能。

2.1　卷積神經網絡分類框架

卷積神經網絡應用于特征學習和分類的框架如圖2所示。卷積神經網絡包含多個用于提取特征的卷積層（convolution layer）、池化層（pooling layer）和全連接層（fully connected layer）。卷積層對輸入圖像或特征圖進行卷積，其輸出表示為(hk)ij=f((Wk?x)ij+bk)，其中k=1,2,…,K為卷積核的索引，也是輸出特征圖的索引，x為第k個卷積核的輸入，Wk和bk分別為第k個卷積核的權重和偏置值，(hk)ij為第k個特征圖在(i,j)位置的響應值，“?”表示二維卷積運算，f(·)為卷積層的激活函數。卷積層的輸出特征圖為卷積核在輸入上的響應。池化層通常對卷積層輸出中的子區域使用最大池化或平均池化進行下采樣。池化操作一方面可增加特征的魯棒性，另一方面減少了卷積神經網絡的參數。全連接層使用yk=∑Wklxl+bk計算輸出，其中xl為輸入，yk為全連接層的第k個輸出，Wkl和bk為全連接層的權重和偏置值。全連接層的存在使得卷積神經網絡的輸入尺寸固定。Softmax層可視為全連接層的一種，輸出為數據類別概率的歸一化分布。對于多分類而言，常取歸一化概率最大的標簽作為分類結果。

圖2　卷積神經網絡結構示意圖

卷積神經網絡中存在全連接層，全連接層節點的固定導致卷積神經網絡的輸入為固定尺寸。卷積神經網絡應用于圖像識別時，需將輸入圖像縮放為固定大小，如AlexNet[11]輸入大小為224×224。遙感影像分類需要確定影像中每個像素的類別。如圖2所示，卷積神經網絡用于遙感影像分類時，也需以當前像素點為中心開子窗口，將該子窗口影像數據縮放至卷積神經網絡的輸入尺寸后，輸入網絡，從而確定當前像素的類別。這種基于分塊影像分類的方法是平移不變的，即像素的類別與其周圍的像素有關，與其所處的位置無關。對于寬1 300像素，高1 300像素的圖像，當窗口滑動步長為3，以長寬均為64像素取影像塊，影像塊數目超過105。以單塊影像通過卷積神經網絡的時間為15 ms計，用CNN對影像分類總時間超過25 min，直接應用該種方法時間消耗巨大。

2.2　基于區域信息的卷積神經網絡分類窗口數據采集方法

針對影像采樣窗口過多導致效率低這一問題，本文提出一種基于影像數據局部特性的窗口數據采樣方法。該方法可以顯著減少采樣窗口的數量，從而提高分類效率。

本文后續進行描述時，將影像分割后的像素集合稱為區域，將放縮到卷積神經網絡的輸入尺寸的影像稱為窗口采樣影像。

影像分割是指將影像數據中有不同意義的區域或部分等分割開來，這些分割出來的區域彼此互不重疊且滿足一定的區域一致性。影像分類是將影像數據按照其反映的特征分成預定義的類別并為每個類別賦予類別標記方法。影像分割后的區域在光譜信息上有一定的相似性，同時也有紋理、大小或上下文之間的一致性。通常假設每個區域中的全部像素都是屬于一個類別的，實際上這種假設很難成立，因此在實際應用中常采用過分割方式確保區域內的像素具有相同的類別。由于過分割區域內像素具有相同類別，在利用卷積神經網絡分類給出區域內一個像素的類別，就可得到屬于該區域的所有像素類別。

Mean Shift作為一種統計聚類方法，在圖像分割中得到廣泛應用。Mean Shift分割得到的區域使得區域內像素具有相同的屬性，從而使得區域內像素具有相同類別。直接將Mean Shift過分割后的區域外接矩形的影像數據作為卷積神經網絡的輸入存在兩個問題：一方面，遙感影像中不同地物大小各異導致Mean Shift分割后的區域大小不同，直接將區域縮放至同樣大小會損失影像反映包含的信息，造成錯分；另一方面，Mean Shift分割的區域可能為任意形狀，縮放后進行分類可能引入過多其他地物類別信息，造成錯分，如分割后出現環形區域等。這些問題的出現會降低分類精度。為克服以上問題，當過分割后區域面積較大，即分割的區域總像素數大于某一閾值時，選取區域中固定大小的影像塊作為窗口采樣影像輸入卷積神經網絡進行分類。當區域面積過小時，以當前區域形心為中心選取固定大小的影像塊作為采樣數據輸入卷積神經網絡進行分類。當區域面積過小時，通過取一個固定窗口數據可以保證輸入卷積神經網絡的數據包含足夠的信息用于分類。本文采用下述策略確定采樣窗口。

記Mean Shift分割后其中的第i區域像素數目為Pi，其外接矩形總像素數為Ri。第i個區域的窗口采樣影像大小為M×M（像素×像素）的窗口影像數據，記為Ci；每個區域至少包含的像素數為Np。Ci中第i區域的像素在窗口總像素比為w，設定最小比為w=0.5。和圖3為分類樣本選擇過程的示例。

圖3　分類時卷積神經網絡選擇樣本流程和示例

（1）若Pi≤Np，則以區域中心像素為中心的M×M窗口影像作為卷積神經網絡輸入，輸出作為該區域的分類結果。

（2）若Pi＞Np，取 M×M 窗口并以外接矩形左上角的坐標為窗口左上點坐標。若w＞wo，取得該窗口影像為窗口采樣影像；否則，向下或向右滑動M×M窗口，直至w＞wo。若遍歷區域后窗口采樣影像中均不滿足w＞wo，則取w最大的M×M窗口的影像數據作為窗口采樣影像，輸入卷積神經網絡。將輸出作為區域的分類結果。

基于Mean Shift分割區域獲取卷積神經網絡分類窗口的過程如圖3所示。分割后采樣窗口紅色線為Mean Shift分割結果，淡藍色框為每個區域對應的采樣窗口，黃色矩形框對應區域的外接矩形。區域1面積較大，包含像素多，w＞wo，采樣影像窗口左上角坐標與區域左上角坐標重合。區域2中Pi＞Np，遍歷區域內所有像素后w＜wo，因此采樣窗口選擇在w最大的影像塊處。區域3中Pi＜Np，以區域3形心為中心固定大小的窗口作為采樣窗口。將窗口影像縮放至卷積神經網絡的輸入尺寸進行分類，得到分類結果。

2.3　基于SVM的后續分類

高分遙感影像不同地物的高度相似性使得基于卷積神經網絡的分類結果仍然存在部分錯分現象。通過對錯分現象的分析，發現光譜信息差別很大的地物被卷積神經網絡誤分為一類，如道路和屋頂的光譜信息差別較大，卷積神經網絡卻不能區分這兩類物體。這種現象出現的原因可能是光譜信息差別較大的兩類物體經卷積神經網絡逐層抽象后，在新的特征空間沒有可區分性。為克服這一問題，基于錯分物體光譜特性差別較大這一事實，本文采用支撐向量機直接利用光譜信息對卷積神經網絡易于錯分的地物類別進行進一步分類。支撐向量機[12]是一種有堅實理論基礎的小樣本學習方法。它采用結構風險最小化準則，在最小化樣本點誤差的同時，縮小模型預測誤差的上界，提高了模型的泛化能力。因此本文在卷積神經網絡分類的基礎上，使用支持向量機結合光譜特征進行再分類，以進一步提高分類精度。

3　實驗與分析

3.1　實驗數據與卷積神經網絡訓練

本文選取的影像數據覆蓋部分江蘇泰州區域，共5幅影像。每幅影像為1 300×1 300像素，RGB三通道圖像，分辨率0.2 m，如圖4（a）所示；圖4（b）為對應影像的類別圖；實驗中卷積神經網絡分類類別為農田、草地、樹木、水體、荒地、道路、灰色屋頂、珊瑚色屋頂、藍色屋頂9種，注釋如圖4（c）。

為驗證方法有效性，本文設計了3個實驗：（1）不同影像分割方法的卷積神經網絡類結果；（2）本文層次分類結果；（3）本文與常用方法對比。目前研究者一般從視覺效果和定量指標來評價影像分類質量。從視覺效果來說，好的分類結果能保持邊緣特性且具有好的區域一致性；定量指標常用混淆矩陣、分類精確度等。本文3組實驗使用混淆矩陣作為精度評定的定量指標。混淆矩陣中，用戶精度表示被正確標記為A類的像素個數與分類器將整個影像的像素點分為A類的像素個數的總和的比值。生產者精度表示被正確標記為A類的像素個數與A類真實參考數目的比值。生產者精度和用戶精度分別對應漏分誤差和錯分誤差。

卷積神經網絡中訓練參數，需要大量數據參與訓練。如本文使用的AlexNet[11]包含60多萬參數，原始訓練集有超過107張圖像。遙感影像分類時收集如此大量的數據不現實。訓練數據不足導致卷積神經網絡模型無法生成數據的準確描述。遷移學習[13]（transfer learning）旨在將對原始數據集的理解遷移到目標數據集。尤其當目標數據集數據量不足時，將源數據集上訓練的分類器修改后應用到目標數據集中，可有效提高模型描述目標數據特性的能力。

ImageNet[14]中圖像主體明確，如 tabby cat、tiger cat等。單片遙感影像通常覆蓋范圍廣，地物信息豐富，僅對單片影像給出一個類別意義不大，本文處理遙感影像數據時先對影像分塊。分塊后按照一定策略確定分塊影像類別：（1）以一定像素大小的窗口在遙感影像與其標簽圖（ground truth）上滑動，得到分塊影像集S1和對應類別集合L1。（2）設類別標簽為1,2,…,K共K種類別，統計每小塊影像中每類的像素個數nk，記采樣窗口總像素為N。若對于k∈{1,2,…,K}，存在nk＞0.5N ，則該小塊影像的類別標簽為k，若不存在符合條件的nk，則將該小塊影像舍棄，得到數據集D1。（3）為增強模型的旋轉不變性，再以2M×2M的窗口在影像和對應ground truth上滑動，得到分塊影像集S′和對應類別集合 L′。將 S′旋轉 θ∈{30,60,90,120,150,180}后，取中心M×M窗口影像，得到小塊影像集S2和對應類別集合L2。在S2中同樣按步驟2得到數據集D2。將D=D1?D2，L=L1?L2作為訓練時的樣本集和對應標簽。

圖4　實驗影像數據及訓練、參考樣本

基于卷積網絡的遷移特性，本文以AlexNet模型為基礎結構，將softmax層輸出由1 000修改為9。預訓練模型為 Evan Shelhamer使用 caffe[15]，在 ImageNet[14]數據集上訓練得到的模型（top-1準確率57.3%，top-5準確率80.2%）。使用隨機梯度下降方法進行fine-tuning，反映本文數據特性。在確定訓練樣本窗口時，若窗口過大，丟棄的窗口數過多導致訓練樣本不足。若窗口過小，卷積神經網絡進行訓練時無法有效學習不同地物特征情況。綜上所述，本文通過交叉驗證的方式，選取M=64獲取窗口數據。獲得窗口影像后將其放大至AlexNet輸入大小即224×224進行訓練。總訓練樣本數目約為48 000個，測試樣本約為5 000個，測試精度為96.1%。

訓練樣本采集流程如圖5所示。

圖5　訓練樣本采集流程

3.2　實驗結果與分析

實驗1不同采樣窗口影像的分類結果對比

實驗1對比在訓練影像上滑動取窗口影像，SLIC（Simple Linear Iterative Clustering）[16]分割超像素分類，Mean Shift分割后分類選取基元在卷積神經網絡下的結果。第一種方法中窗口大小64×64，步長3×3，將窗口影像放大至224×224后輸入卷積神經網絡，分類結果作為3×3小窗結果。第二種方法將超像素塊初始大小設為64×64，超像素聚類結束后，取每個超像素的外接矩形的影像得到窗口影像。得到窗口影像后，將窗口影像放縮至224×224后輸入卷積神經網絡，分類結果作為該超像素區域的分類結果。實驗結果如圖6所示。

從圖6的結果可以看出，第一種方法邊緣模糊。Mean Shift結果邊緣清晰，目視效果最好。表1給出了這兩個方法的精度對比。因在真實類別圖中未標記藍色屋頂和荒地類別，故這兩列數據為0。從目視效果上看，SLIC方法分類結果粗糙度很大，影像的邊緣信息基本消失，效果最差，因而沒有給出混淆矩陣。從表1中發現，第一種方法與第三種總體精度接近，相差不大。從時間上看，對于本文影像而言，滑窗方法計算超過106個窗口，遠大于Mean Shift需要計算的窗口數（約103個）。本文選用Mean Shift過分割得到區域信息比較合理。

在測試影像上應用卷積神經網絡進行分類。測試影像1及其對應結果如圖7和表2所示。其中圖7（b）真實類別圖中的灰色部分為道路陰影，其余地物類型注釋與圖4（c）中相同。表2中數字為分類結果中像素的統計數目。

在圖7結果中看到，黑色框中所示卷積神經網絡在道路和灰色屋頂之中存在明顯錯分。在表2中也發現，大量道路被錯分為灰色屋頂。此外，樹木和草地之間也存在明顯錯分，其余分類基本準確。

實驗2卷積神經網絡與SVM結合遙感影像分類

圖6　訓練數據中不同采樣窗口影像的卷積神經網絡分類結果

表1　滑動窗口法分類和本文選擇基元分類實驗精度對比%

圖7　測試影像1分類結果圖

表2　測試影像1使用本文基元分類的分類結果混淆矩陣　像素

表3　測試影像1在本文方法下的分類結果精度%

針對卷積神經網絡初始分類中的易錯分類別，引入支撐向量機進行分類。圖4（a）一些道路在房屋周圍，從兩種方法的混淆矩陣和目視分類結果中也可發現：（1）房屋周圍的道路有很明顯的錯分。（2）一些樹木被分類為草地，存在異常。（3）陰影主要集中在道路中。分析混淆矩陣的結果，并結合影像數據發現：房屋和道路在構造采樣窗口影像時候在地物信息上有一定的相似性，因而不好區分。樹木和草地在道路兩旁同時出現，導致卷積神經網絡無法對兩類有效區分。因此，在影像數據使用SVM進一步提高精度，混合類別為道路-房屋-陰影、道路-樹木-草地。實驗中混合類別中每類隨機選取1 000像素點，作為SVM的訓練樣本。分類結果如圖7（d）所示，精度表如表3所示。

對比圖7（c）和圖7（d）結果發現，基于卷積神經網絡分類結果基礎上構建的混合類別中，僅使用光譜信息作為分類特征，即可分類道路和屋頂。但陰影和灰色屋頂中存在大量錯分，說明使用光譜特征無法對灰色屋頂和陰影部分有效區分。影像中黑框部分所示，發現陰影區域與灰色屋頂部分特性相似，不易區分，未來考慮使用其他方法進行再分類。

實驗3本文方法與其他方法實驗結果對比

為比較本文方法與常用分類方法的性能，使用常用方法與本文分類方法進行對比：基于光譜信息的SVM和基于光譜和dense SIFT的SVM。分類結果如圖8所示，精度對比如圖9所示。

圖8　常用方法分類結果

從圖9的分類結果看，第二種對比方法水體的生產者精度比本文方法的精度高，但是用戶精度比較低。生產者精度和用戶精度分別對應漏分誤差和錯分誤差，即在水體的分類結果中，對比算法的高生產者精度是以大量錯分為基礎的，這顯然會影響其他類別的分類效果。本文的方法克服了上述問題。

圖9　本文方法與其他方法用戶精度和生產者精度對比

圖10　測試影像二中本文方法和其他兩種方法對比

圖11　測試影像二中本文方法與其他方法生產者精度和用戶精度對比結果

本文另一遙感影像數據分類結果如圖10所示。本文方法和其他方法對比如圖11所示，圖11中表格數據對應生產者精度和用戶精度。從生產者精度和用戶精度上看，本文方法優于其他兩種方法，整體精度約有10%的提升。

4　結束語

本文將卷積神經網絡應用于遙感影像分類，在過分割的基礎上確定了采樣窗口影像，結合卷積神經網絡實現了高分辨率遙感影像分類，并使用層次分類進一步提高了最終分類精度。實驗結果表明，本文方法可提高卷積神經網絡在高分辨率遙感影像中分類的效率。相比于傳統人工設計的特征表示方法，基于卷積神經網絡學習得到的特征具有更好的可區分性。下一步研究工作是結合卷積神經網絡和影像中的結構信息得到更好的數據特性描述，提高高分辨率遙感影像分類精度。

參考文獻：

[1]Xu Linlin，Li Jonathan.Bayesian classification of hyperspectral imagery based on probabilistic sparse representation and markov random field[J].Geoscience and Remote Sensing Letters，2014，11（4）：823-827.

[2]Shackelford A K，Davis C H.A hierarchical fuzzy classification approach for high-resolution multispectral data over urban areas[J].IEEE Transactions on Geoscience and Remote Sensing，2003，41（9）：1920-1932.

[3]Zhang L，Huang X，Huang B，et al.A pixel shape index coupled with spectral information for classification of high spatial resolution remotely sensed imagery[J].IEEE Transactions on Geoscience and Remote Sensing，2006，44（10）.

[4]Yuan J，Wang D L，Li R.Remote sensing image segmentation by combining spectral and texture features[J].IEEE Transactions on Geoscience and Remote Sensing，2014，52（1）：16-24.

[5]Lowe D G.Object recognition from local scale-invariant features[C]//Proceedings of the 7th IEEE International Conference on Computer Vision，1999：1150-1157.

[6]Dalal N，Triggs B.Histograms of oriented gradients for human detection[C]//Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition（CVPR’05），2005：886-893.

[7]Xu S，Fang T，Li D，et al.Object classification of aerial images with bag-of-visual words[J].Geoscience and Remote Sensing Letters，2010，7（2）：366-370.

[8]LeCun Y，Bengio Y，Hinton G.Deep learning[J].Nature，2015，521：436-444.

[9]Dos Santos J A，Gosselin P H，Philipp-Foliguet S，et al.Interactive multiscale classification of high-resolution remote sensing images[J].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing，2013，6（4）：2020-2034.

[10]Comaniciu D，Meer P.Mean shift：A robust approach toward feature space analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24（5）：603-619.

[11]Krizhevsky A，Sutskever I，Hinton G E.Imagenet classification with deep convolutional neural networks[C]//Advances in Neural Information Processing Systems，2012：1097-1105.

[12]Bouman C，Liu B.Multiple resolution segmentation of textured images[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1991，13（2）：99-113.

[13]Pan S J，Yang Q.A survey on transfer learning[J].IEEE Transactions on Knowledge and Data Engineering，2010，22（10）：1345-1359.

[14]Deng J，Dong W，Socher R，et al.ImageNet：A largescale hierarchical image database[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition，2009：248-255.

[15]Jia Y，Shelhamer E，Donahue J，et al.Caffe：Convolutional architecture for fast feature embedding[C]//Proceedings of the 22nd ACM International Conference on Multimedia，2014：675-678.

[16]Achanta R，Shaji A，Smith K，et al.SLIC superpixels compared to state-of-the-art superpixel methods[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34（11）：2274-2282.