基于分塊特征點密度的多特征融合遙感圖像場景分類

蔣亞平，李會敏

?

基于分塊特征點密度的多特征融合遙感圖像場景分類

蔣亞平，李會敏

摘 要：隨著遙感等對地觀測技術的發展，遙感圖像分辨率越來越高。相比于中低分辨率遙感圖像，高分辨率遙感圖像能夠提供更詳細的地面信息，但各種地物空間結構分布較復雜。針對高分辨率遙感圖像中的不同目標，各種特征有效性不盡相同、彼此存在互補現象，提出了一種分層多特征融合的場景分類方法。該方法首先對圖像進行預分類，粗分為特征點分布均勻與不均勻兩大類；然后，對分布均勻類別提取顏色直方圖特征和Gabor紋理特征，對分布不均勻類別提取ScSPM（基于稀疏編碼的空間金字塔匹配）特征；最后分別訓練支持向量機分類器對測試圖像進行分類。在一個2100幅圖像構成的大型遙感圖像數據庫上的實驗結果表明，提出的算法比僅用單一特征分類方法的最高精度提高了10%；與其他融合方法相比，提出的方法取得了最高分類精度，達到了90.1%；算法時間復雜度也大為降低。

關鍵詞：高分辨率遙感圖像；顏色直方圖；紋理特征；ScSPM；多特征融合

0 引言

近年來，高分辨率對地觀測技術得到了迅猛發展，已經在土地調查、城市規劃和軍事等諸多領域發揮了重要的作用。相比于中低分辨率遙感圖像，高分辨率遙感圖像能夠提供詳細的地面信息，但各種地物空間結構分布較復雜［1］。隨著遙感圖像分辨率的提高，空間地物幾何信息、紋理信息等更加明顯，但同時也帶來了同類地物的光譜差異性增強，不同地物的光譜異質性降低等問題。因此，雖然高分遙感影像提供了更為精細的地表刻畫，但自動化信息提取任務的難度大大增加。在遙感圖像技術中，無論是專業信息提取、運動變化預測還是遙感數據庫的建立都離不開分類，如何研制出新的適合于遙感圖像分類的方法來提高分類精度是急需解決的問題。傳統的遙感圖像目視解譯方法不僅要求豐富的專業經驗和充足的野外實地調查資料，而且由于這種識別方法是建立在特定的先驗知識基礎上，因此識別難度較大，效率較低［2］。根據圖像描述方式的不同，當前圖像分類方法大致可以分為：基于全局特征的描述方法和基于局部特征的的描述方法。常見的全局特征包括：顏色直方圖［3］、LBP（Local binary pattern）、Gabor紋理特征［4］等。由于全局特征的對象通常是整幅圖像，因而不能較好地描述圖像中的局部目標，因此對飛機、網球場等特征點分布較稀疏的類別圖像分類精度較低?；诰植刻卣鞯膱D像描述方法，由于可以在同一類別千變萬化的圖像中尋找不變的特征，因而受到廣大研究者青睞。

2004年，Csurka等學者［5］首次將詞包模型用于圖像場景分類，并提出了圖像場景分類的視覺詞包模型算法。Lazebnik等人［6］在視覺詞包模型中加入空間金字塔匹配核，提出空間金字塔核的詞包模型。Yang等［7］提出稀疏編碼方法，大大提高了識別精度。文獻［8］使用硬分配編碼取代稀疏編碼，使用監督字典學習算法對Bof特征進行壓縮以彌補編碼方法所帶來的不足。Bolovinou等人［9］提出了基于有序空間結構關系的視覺單詞，在特征表達中加入了上下文信息。

由于遙感圖像地物信息極其豐富，但各種地物空間分布較復雜，同類目標呈現較大光譜異質性，基于像元的分類技術容易造成較多的錯分、漏分現象，從而導致分類精度較低。對于圖像中的不同目標、各種特征有效性不盡相同，彼此存在互補的現象［10］，多特征融合能改善這種情況。因此，合理、高效地利用遙感數據，融合圖像低層特征，將人工智能及知識發現等技術運用于遙感圖像分類中，已成為新的研究熱點。本文提出了一種分層多特征融合方法。該方法首先對圖像分類挑選重要特征，分別計算每類基于分塊特征點的密度對圖像進行預分類，粗分為特征點分布均勻與不均勻兩大類；然后，對分布均勻類別提取顏色直方圖特征和Gabor紋理特征，對分布不均勻類別提取ScSPM特征；最后采用支持向量機分類器對測試圖像進行分類。在一個2100幅圖像構成的大型公共測試數據集上的實驗結果表明，本文方法比僅用單一特征分類方法的最高精度提高了10%；與其他融合方法相比，本文方法取得了最高分類精度，達到了90.1%；算法時間復雜度也大為降低。

1 基于分塊特征點密度的圖像預分類

關于遙感圖像場景分類技術的研究目前已經出現了很多方法。在早期，遙感圖像場景分類主要采用基于低級特征的方法，由于低級特征的局限性導致分類準確率較低，已不再是場景分類的研究熱點；近年來主要采用基于視覺詞匯的方法，且該方法由于其有效地描述了場景圖像語義，并具有較高的分類正確率，正日益成為研究的熱點。Lazebnik等人［6］在視覺詞包模型中加入空間金字塔匹配核，提出空間金字塔核的詞包模型，為后來的研究提供了基礎。Bolovinou等人［9］提出了基于有序空間結構關系的視覺單詞，在內容表達中加入了上下文信息，但是這種方法計算量較大，不適用于大規模場景圖像分類。Zheng等人［13］基于顏色相關圖的思想，提出空間相關圖概念并將其應用于視覺詞包特征表達，該方法雖然提升了場景分類的性能，但相關圖的特征表達方式增加了存儲和計算的需求量。

由于高分辨率遙感圖像覆蓋的場景范圍比較廣泛，包含的背景內容較復雜，地物目標分布變化多樣，使得對于圖像場景內容的描述和分類變得較為困難。對于圖像中的不同目標、各種特征有效性不盡相同，若僅用單一特征對所有類別圖像進行分類則會導致分類精度較低，因此充分利用遙感圖像的特點對不同類別圖像提取合適的特征很重要。我們可以看到，對農田和灌木叢類圖像提取SIFT［14］特征，這兩類圖像的特征點在整幅圖像上分布較均勻；并且從這兩類彩色圖像上可以看出顏色和紋理信息較明顯，如圖1所示：

圖1 農田、灌木叢、飛機和海濱類圖像特征點分布情況

如果對這類圖像提取局部特征，則會丟失較多的圖像信息；對飛機和海濱類圖像提取SIFT特征，這兩類圖像特征點在整幅圖像上分布較稀疏，其中飛機類圖像特征點僅分布在飛機局部形狀上，海濱類圖像特征點僅分布在海水與沙灘的分界線上；與此同時從這兩類彩色圖像上我們看到飛機的局部模型較為明顯、海岸線與海水以及沙灘的分界線較明顯，因此對這類圖像提取局部特征較好，如果對這類圖像提取全局特征，則會增加一些不必要的干擾特征，降低分類精度。因此不同類別圖像的特征點分布情況不一致，有些類別圖像的顯著特征點較均勻的分布在整幅圖像上；還有一些則分布在局部、單個目標上，特征點在整幅圖像上分布較稀疏。針對遙感圖像的這種特點，我們可以先將圖像進行預分類，分為特征點分布均勻與不均勻兩大類。該算法具體過程如下：

（1）提取訓練集中各圖像的局部不變SIFT特征描述子，利用矢量量化方法對局部特征點集進行聚類［15］，每個聚類中心表示一個視覺單詞，所有聚類中心形成視覺單詞碼本（codebook）；

（2）將各個圖像的局部特征分配給視覺單詞庫中與其距離最近的視覺單詞，然后統計各個視覺單詞對應的詞頻，形成圖像的視覺詞袋特征表示；

（3）統計每一類場景所有圖像的視覺詞袋特征中各個視覺單詞的詞頻的相加總和，并將各個視覺單詞的詞頻進行排序，由于不同目標所提取特征不一樣，這些特征有些對分類有用，有些對分類沒有效果，因此選擇每類圖像的重要特征對于圖像預分類具有很重要的意義。本文方法是從每類場景圖像的視覺詞袋特征表示中取出詞頻較大的前N個視覺單詞。將各類別中詞頻較大的前N個視覺單詞進行合并，并統計各個視覺單詞的詞頻的相加總和，即得到類場景的總體視覺詞袋表示。然后統計各類別中每幅圖像含有與該總體詞袋表示中視覺單詞對應的特征即為重要特征。

（4）統計每類場景中每幅圖像重要特征的個數，并計算每幅圖像在3*3的圖像塊上每個分塊中特征點密度分布情況，若每個分塊區域密度分布情況接近，則將該幅圖像判定為分布均勻，反之則為分布不均勻。

經過上述處理，將圖像庫中的圖像分為兩大類：特征點分布均勻與不均勻，然后分別提取不同特征進行細分類。接下來先介紹特征提取。

2 特征提取

圖像特征提取作為圖像表示的第一步，對圖像的語義表示以及最終的圖像分類結果至關重要，基于上節中討論的分布均勻類別圖像特征點分布在整幅圖像上以及分布不均勻類別圖像特征點分布在局部圖像上的特點，我們提出對分布均勻類別圖像提取全局特征，對分布不均勻類別圖像提取局部特征。

2.1 顏色直方圖

圖像的顏色特征是一種全局特征，對圖像本身的尺寸、方向、視角的依賴性較小［16］，并且在遙感圖像的分布均勻類別（例如農田、森林、活動房等）圖像中分布較明顯。顏色直方圖描述的是不同色彩在整幅圖像中所占的比例。本文基于HSL（Hue，Saturation，Lightness）色彩空間提取顏色直方圖特征，相比于RGB色彩空間，前者更符合人眼的視覺感知特性。具體提取方法如下：

對于圖像的每一個像素，首先將其H、S、L分量分別量化為8等份，這樣HSL直方圖就有512個間隔（bin），然后統計所有像素的直方圖，最后采用L1范式對其進行歸一化，以消除圖像不同幅面大小的影響。

2.2 Gabor紋理特征

紋理是遙感圖像的一種重要空間信息，隨著分辨率的提高，地物的內部結構越來越清晰，這在遙感圖像中表現為地物的紋理結構越來越明顯。相對于光譜信息，紋理特征能反映目標地物內像元有規則的空間變化。鑒于Gabor濾波器具有較強的紋理描述能力，本文利用Gabor濾波器提取紋理特征，提取方法如下：

2.3 基于稀疏編碼的空間金字塔匹配模型

BOF［17］模型是比較經典的局部特征提取方法，它采用硬指派方法對局部描述子進行編碼［18］，缺點是忽略了局部特征的空間位置排列信息。由于遙感圖像地物信息極其豐富，視覺詞包模型在編碼過程中只能將特征描述子分配給最鄰近的一個視覺詞，這樣容易丟失遙感圖像的重要信息，因此本文采用基于稀疏編碼的空間金子塔匹配模型特征來保留遙感圖像更多的局部信息。

稀疏編碼［19］是目前比較流行的基于表現屬性的圖像表示方法。該方法是基于過完備字典來選擇少量原子信號對原始信號進行重建，過完備字典作為所有信號的表示基礎，能盡可能的包含更多、更全面的信息。本文提取方法如下：

從密集的網格圖像（dense sampling）中提取SIFT描述符，利用稀疏編碼方法對SIFT特征進行編碼。編碼后采用預先選好的匯集函數［20］計算圖像特征，與空間金字塔匹配模型相似，通過對圖像進行多尺度劃分，最后進行串接即可得到圖像的向量表示。

3 融合多特征的圖像分類算法

由于遙感圖像中同一類別圖像的顯著特征有些既表現在紋理上也表現在顏色直方圖特征上，如果僅用單一特征則無法很好地表達圖像語義內容，因此進行多特征融合是有效提高分類性能的關鍵。圖1中農田類圖像的紋理特征較明顯，同時顏色直方圖特征也較均勻。如果僅采用單一特征對所有類別進行分類很容易造成一類場景圖像的顯著特征丟失，從而降低分類精度。因此本文中對于分布均勻類別圖像采用顏色直方圖特征和紋理特征串接后的特征。

本文針對遙感圖像中復雜目標的特點，首先對分布均勻的類別圖像提取顏色直方圖特征和紋理特征并采用（2）式串接，再進行歸一化，以消除不同特征對圖像的影響；對分布不均勻的類別圖像提取局部特征即采用基于稀疏編碼的空間金字塔匹配模型表示圖像。具體多特征融合算法步驟如下：

（1）訓練過程：首先對訓練樣本圖像提取SIFT特征，并且對該特征計算基于分塊特征點的密度對圖像進行預分類，粗分為特征點分布均勻與不均勻兩大類。對分布均勻類別圖像提取顏色直方圖特征和Gabor紋理特征，并將這兩種特征采用（2）式進行串接，對分布不均勻的類別圖像提取局部特征ScSPM特征，然后分別采用支持向量機進行訓練，得到兩個分類器，分別記為分布均勻分類器和分布不均勻分類器。

（2）測試過程：對測試樣本圖像提取SIFT特征并計算基于分塊特征點的密度判斷該圖像各分塊特征點是否分布均勻，如果分布均勻則對該待測圖像提取顏色直方圖特征和Gabor紋理特征，并將這兩種特征進行串接，最后采用分布均勻分類器進行分類；如果分布不均勻則對該待測圖像提取局部特征ScSPM特征并采用分布不均勻分類器進行分類。

本文訓練、測試過程具體流程分別如圖2、圖3所示：

圖2 訓練過程流程圖

圖3 測試過程流程圖

4 實驗結果及分析

本文算法實現的硬件配置為i5處理器、64位操作系統；算法實現編程環境為Matlab2010b和Visual C++6.0。

4.1 實驗數據

本文采用的數據集是國際上公共的大型遙感圖像分類測試數據集［21］，它涵蓋自然與人工場景共21種類別，每種類別圖像數目為100，圖像的平均尺寸大小為256*256像素，這些圖像從United States Geological Survey（美國地質勘探局）網站下載，其中包括的場景有：農田、飛機、棒球場、海濱、建筑物、叢林、密集住宅區、森林、高速公路、高爾夫球場、港口、十字路口、中密度住宅區、活動房、天橋、停車場、河流、跑道、稀疏住宅區、儲油罐、網球場。這些圖像反映了每類場景圖像的不同情景，并具有良好的代表性。在下面實驗中，若無特別說明，從每類中隨機提取80幅圖像作為訓練樣本，剩下的20幅圖像作為測試樣本。

4.2 單一特征分類結果

從每類中隨機提取80幅圖像作為訓練樣本，利用支持向量機進行訓練，剩余20幅作為測試樣本。各個特征信息如下：Color顏色直方圖特征向量維數為512；Gabor紋理特征向量維數為60維；ScSPM特征向量維數為21504維。

分類結果如圖4所示：

圖4 本文方法與單一特征對于各類別的分類精度

從圖4中我們可以看出，顏色直方圖特征在建筑物、高爾夫球場、河流分類問題中的分類正確率較其他類別高，這是由于這些類別圖像的顏色特征在整幅圖像中分布較明顯；在十字路口和立交橋分類問題上表現很差。Gabor特征在農田、中密度住宅區分類問題中的分類精度較其他類別高，這是由于這些類別圖像中紋理較清晰；在建筑物、停車場、河流分類問題上表現很差。ScSPM特征在飛機、海濱、跑道等分類問題中表現最好，這是由于這類圖像具有絕對空間排列，其中對于海濱類圖像中，盡管有一些特殊方向上的海岸線不好辨別，但是可以通過同一圖像區域的沙灘或者浪花來分辨圖像類別，對于跑道類圖像也是如此；對于建筑物、高爾夫球場分類問題表現略差。

雖然每一種特征都具有其表現較好的幾種類別，但是總體平均分類精度并不高，因此不能滿足實際中對分類精度的要求。

4.3 本文多特征融合結果

本文多特征融合算法的分類結果如圖5所示：

圖5 本文方法與單一特征的總體平均分類精度性能對比

從圖5中可以看出本文方法除了飛機、森林、高爾夫球場、十字路口、停車場和跑道類別圖像外，其他類別圖像的分類精度均高于使用單一特征進行分類時的最大分類精度，這充分說明了對于圖像中的不同目標、各種特征有效性不盡相同，彼此間存在互補性。本文方法對于海濱和港口類分類性能較單特征方法具有明顯的改善，達到了100%，而對于建筑物、高爾夫球場、儲油罐、網球場等類別的分類精度較低，是因為這些類別圖像的空間結構分布較復雜、圖像類內間分布差異較大。

單一特征與本文方法的5次平均分類精度性能對比曲線圖，從圖中可以看出，本文方法的總體平均分類精度最高，達到90.1%。良好的分類精度證明了本文算法更具有魯棒性。

本文方法與幾種常見融合方法的分類精度對比，如表1所示：

表1 本文方法與各種多特征融合方法分類精度對比

從表1中可以看出本文方法顯著優于完全一致法和多數投票法，且比加權綜合法高2%，說明了本文方法是一種較有效的多特征融合方法。

4.4 時間性能

ScSPM稀疏特征提取和分類是目前各種特征表示中最好的方法之一，但時間復雜度較高，本文通過分層分類的策略不僅提高了分類精度，而且降低了整體分類的時間復雜度。單特征ScSPM與本文方法中對分布不均勻的類別提取ScSPM特征和預測分類的時間性能比較結果如表2所示：

表2 單特征ScSPM與本文方法的時間對比

從表2可以看出，本文方法的時間性能較原始ScSPM方法好，隨著圖像數據集的類別數降低，本文方法的時間復雜度也降低。

5 總結

本文采用基于支持向量機多特征融合對遙感圖像進行分類，提出了一種分層多特征融合的方法，該方法利用圖像中分塊特征點密度是否均勻對圖像進行預分類，充分發揮各種特征在不同類別樣本中的分類優勢，從總體上提高了分類精度，并提高了算法效率。與目前流行的幾種單一特征方法和幾種常見的融合方法進行比較，在一個大型的遙感圖像公共測試集上進行了對比實驗，證明了本文方法的優越性。由于對分布不均勻的類別提取ScSPM特征的維數超過20000維，算法時間復雜度較高。如何進一步降低稀疏編碼方法的計算復雜度是今后需要改進的方向之一。

參考文獻

［1］ 秦昆，陳一祥，甘順子，等. 高分辨率遙感影像空間結構特征建模方法綜 ［J］. 中國圖象圖形學報，2013，18（9）: 1055 -1064.

［2］ 張錦水，何春陽，潘耀忠，等. 基于SVM的多源信息復合的高空間分辨率遙感數據分類研究 ［J］. 遙感學報，2006，10（1）:49-57.

［3］ Swain MJ，Ballard DH. Color indexing ［J］. International Journal of Computer Vision， 1991，7（1）:11-32.

［4］ Lee TS. Image representation using 2D gabor wavelets ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence，1996，18（10）:1-13.

［5］ Csurka G，Dance CR，Fan L，et al. Visual categorization with bags of keypoints ［C］ // Proceedings of Workshop on Statistical Learning in Computer Vision. Prague，Czech Republic:Springer，2004:1-22.

［6］ Lazebnik S，Schmid C，Ponce J. Beyond bags of features:Spatial pyramid matching for recognizing natural scene categories ［C］ // Computer Vision and Pattern Recognition. New York，USA:IEEE Computer society，2006:2169-2178.

［7］ Yang JC，Yu K，Gong YH，et al. Linear spatial pyram id matchingusing sparse coding for image classification ［C］ // Proceedingsof the 22nd International Conference on Computer Vision and Pattern Recognition.M iami，USA: IEEE Computer Society，2009:1794-1801.

［8］ Ji RR，Yao HX，Liu W. Task-dependent visual-codebook compression ［J］. IEEE Transactions on Image Processing，2012，21（4）:2282-2293.

［9］ Bolovinou A，Pratikakis I，Perantonis S. Bag of spatio-visual words for context inference in scene classification ［J］. Pattern Recognition，2013，46（3）:1039-1053.

［10］ 張春霞，張講社. 選擇性集成學習算法綜述 ［J］. 計算機學報，2011，34（8）:1399-1410.

［11］ 彭正林，毛先成，劉文毅，等. 基于多分類器組合的遙感影像分類方法研究 ［J］. 國土資源遙感，2011，89（2）:19-25.

［12］ 楊藝，韓崇昭，韓德強. 利用特征子空間評價與多分類器融合的高光譜圖像分類 ［J］. 西安交通大學學報，2010，44（8）:20-24.

［13］ Zheng Y，Lu H，Jin C，et al. Incorporating spatial correlogram into bag-of-features model for scene categorization ［C］ // Proceedings of the 9th Asian Conference on Computer Vision. Xi an，China:Springer，2010:333-342.

［14］ Lowe DG. Distinctive image features from scale-invariant key-points ［J］. International Journal of Computer Vision，2004，60（2）:91-110.

［15］ MacQueen JB. Some methods for classification and analysis of multivariate observations ［C］ // Proceedings of 5-th Berkeley Symposium on Mathematical Statistics and Probability. Berkeley:University of California Press，1967:281-297.

［16］ 陸麗珍，劉仁義，劉南. 一種融合顏色和紋理特征的遙感圖像檢索方法 ［J］. 中國圖象圖形學報，2004，9（3）:328 -332.

［17］ Sivic J，Zisserman A. Video google:A Text Retrieval Approach to Object Matching in Videos ［C］ // Proceedings of IEEE International Conference on Computer Vision. Nice，France:IEEE Computer Society，2003:1470-1477.

［18］ 梁曄，于劍，劉宏哲. 基于BoF模型的圖像表示方法研究［J］. 計算機科學，2014，41（2）: 36-44.

［19］ Gemert JCV，Geusebroek JM，Veenman CJ，et al. Kernel codebooks for scene categorization ［C］ // Proceedings of European Conference on Computer Vision. Marseille，Fran -ce: Springer，2008:696-709.

［20］ Jarrett K，Kavukcuoglu K，Ranzato M，et al. What is the Best Multi-stage Architecture for Object Rcognition ［C］ // Computer Vision. IEEE 12th International Conference on Computer Vision，2009:2146-2153.

［21］ Yang Y，Shawn N. Spatial pyram id co-occurrence for image classification ［C］ // Computer Vision. TEEE International Conference on Computer Vision，2011:1465-1472.

Remote Sensing Image Classification Based on Fusion of M ultip le Features w ith Block Feature Point Density Analysis

Jiang Yaping， Li Huimin
（College of Computer and Information， Hohai University， Nanjing 210098， China）

Abstract:With the development of remote sensing and the related techniques， the resolution of these images is largely improved. Compared with moderate or low resolution images， high-resolution images can provide more detailed ground information. However，a variety of terrain has complex spatial distribution. The different objectives of high-resolution images have a variety of features. The effectiveness of these features is not the same， and some of them are complementary. Considering the above characteristics， a new method is proposed to classify remote sensing images based on the hierarchical fusion of multi-feature. Firstly， these images are pre-classified into two categories in terms of whether feature points are uniform or non-uniform distributed. Then， the color histogram and Gabor texture feature are extracted from the uniform distributed categories， and the ScSPM（linear spatial pyramid matching using sparse coding） feature is obtained from the non-uniform distributed categories. Finally， the classification is performed by the two different support vector machine classifiers. The experimental results on a large remote sensing image database with 2100 images show that the overall classification accuracy is boosted by 10% in comparison w ith the highest accuracy of single feature. Compared w ith other methods of multiple features fusion， the proposed method has achieved the highest classification accuracy which has reached 90.1%， and the time complexity of the algorithm is also greatly reduced.

Key words:Remote Sensing Image； Color Histogram； Gabor Texture Feature； ScSPM； Multi-feature Fusion

中圖分類號：TP311

文獻標志碼：A

文章編號：1007-757X（2016）05-0001-05

基金項目：國家自然科學基金（61170200）

作者簡介：蔣亞平（1990-），女，河海大學計算機與信息學院，碩士研究生，研究方向：圖像處理，南京，211100李會敏（1990-），女，河海大學計算機與信息學院，碩士研究生，研究方向：圖像處理，南京，211100

收稿日期:（2016.04.12）