基于場景語義的遙感圖像目標識別

劉寧波++孫艷麗+王杰

摘 要： 高分辨率遙感圖像的信息解譯的通常思路是從特定類型目標的檢測與識別分析入手，最終實現圖像場景的認知理解。給出一種利用CSIFT特征的遙感圖像視覺特征表示方法和基于PLSA的遙感圖像場景語義識別方法，并利用10類典型遙感圖像場景進行實驗，充分驗證了該方法的有效性。

關鍵詞： 高分辨率遙感圖像； 場景語義識別； 視覺特征表示； 概率潛在語義分析

中圖分類號： TN751?34 文獻標識碼： A 文章編號： 1004?373X（2017）11?0043?03

Remote sensing image target recognition based on scene semanteme

LIU Ningbo1， SUN Yanli2， WANG Jie2

（1. Research Institute of Information Fusion， Naval Aeronautical and Astronautical University， Yantai 264001， China；

2. Department of Basic Experiment， Naval Aeronautical and Astronautical University， Yantai 264001， China）

Abstract： The typical thought of information interpretation for high?resolution remote sensing image proceeds from the detection and recognition analysis of the specific targets to understand the image scene. A remote sensing image visual feature representation method based on CSIFT feature and a remote sensing image scene semantic recognition method based on probabilistic latent semantic analysis （PLSA） are given. Effectiveness of the proposed methods was verified in the experiment with ten typical remote sensing image scenes.

Keywords： high?resolution remote sensing image； scene semantic recognition； visual feature representation； PLSA

0 引 言

高分辨率遙感圖像的信息解譯是近年來的研究熱點，從特定類型目標的檢測與識別分析入手，最終實現圖像場景的認知理解[1]是廣泛采用的研究范式，乃至形成一種思維定勢，即只有完整地檢測與識別場景中的各種目標才能進行場景的認知理解。然而，在軍事偵察中經常需要從高分辨率遙感圖像中快速識別出諸如港口、機場、油庫等有明確語義的局部圖像場景，這些局部場景往往對應一個復雜的目標群，由很多不同類型的剛性子目標按照一定的空間拓撲關系構成。如果采用常規的方法，首先檢測復雜目標群的子目標，然后利用其空間拓撲關系進行推理以確定復雜目標群語義屬性，其處理效率將是非常低的。而且對子目標的分析主要是利用其隱含的啟發式特征在像素層進行，這種完全像素層的處理與圖像的語義理解之間存在難以逾越的鴻溝[2]。建立一種能夠快速識別遙感圖像中復雜局部場景的語義認知方法，進而指導該場景中特定目標的檢測與識別具有非常重要的意義。本文首先概述圖像場景語義識別的有關概念與方法，然后給出遙感圖像的視覺特征表示和基于PLSA的遙感圖像場景語義識別方法，最后利用10類典型遙感圖像場景進行實驗驗證。

1 圖像場景語義識別的概念與方法

圖像中層語義建模主要有以下三類方法：

（1） 構建語義對象法[3]，通過檢測或識別出圖像中的語義對象來描述整幅場景。

（2） 文獻[4]提出的場景Gist模型，該模型避開了對單個目標或區域的分割，利用一種低維的空域包絡描述場景的結構，其中自然度、開放度、粗糙度、展開度和崎嶇度這五種感官屬性分別對應于空域包絡空間中的一維，每一維均對應于場景中的某一個有意義的空間屬性，作為場景語義劃分的依據。

（3） 建立圖像的局部語義概念[5]，首先在圖像中自動地檢測出感興趣點，并采用局部描述子描述這些點，隨后建立局部描述子到某種局部語義概念的映射，再利用圖像中局部語義概念的分布實現圖像場景的識別。本文針對遙感圖像的場景識別主要采取此方法。

2 遙感圖像的視覺特征包表達

為了實現遙感圖像場景的準確識別，無論采取低層特征建模法還是中層語義建模法，都必須從遙感圖像中提取有鑒別力的特征。如區域特征、分塊特征、局部不變特征等。由于不同的特征反映不同的類別信息，對特定的類別各有其優勢，而在很多情形下，分析圖像內容也需要結合不同的特征，所以集成多種特征對提高圖像場景識別的性能是有益的。詞袋模型（Bag of Words，BOW）[6]是文本處理領域最常使用的文本簡化描述模型，該模型不考慮語法與詞序，將文本表達成無序的單詞組合。在文本分類應用中，BOW模型常和SVM分類器、樸素貝葉斯分類器結合，獲得了非常好的分類效果。該模型應用于計算機視覺領域后被推廣為特征包（Bag of Features， BOF）方法[5，7]，其基本原理是通過矢量量化各種局部視覺特征，生成視覺詞語或詞匯表來描述圖像或圖像集。

對于一幅待識別遙感圖像（或區域），采用與訓練圖像相同的方法提取其CSIFT特征[8]，根據最近鄰規則，確定各個CSIFT的視覺詞匯類別，統計待分類遙感圖像（或區域）中各視覺詞匯出現的頻率，即得到待識別遙感圖像的視覺特征包表達。遙感圖像的視覺特征包表達避開了場景中目標分割和檢測的過程，將場景的識別問題轉化為對視覺詞匯分布的學習問題，從而為跨越圖像低層特征表示與高層語義之間的“語義鴻溝”搭建了橋梁。

3 基于PLSA的圖像場景語義識別

盡管視覺詞匯的出現頻率可以作為區分不同場景的一項重要依據，但是在復雜的遙感圖像場景中，由于相同的目標實體可能出現在不同的場景類別中，由此導致視覺詞匯與場景語義之間出現多義性和相似性問題。在訓練樣本不充分的情況下，采用將場景類別與提取的特征向量直接相關聯的識別方式，無法逼近實際的場景語義，導致場景識別的準確性下降。本文的思路是將概率潛在語義分析（PLSA）模型[9]應用到典型的訓練圖像中，提取圖像中的潛在語義，根據潛在語義的概率分布完成待識別圖像的場景類型判斷。

算法流程具體如下：

（1） 提取所有圖像的特征。從每類訓練圖像集中隨機選取部分圖像，提取這些圖像的CSIFT特征向量，用K?均值聚類算法生成個視覺詞匯。把各視覺詞匯與每一幅訓練圖像的特征向量進行相似性度量，得到維的“圖像?詞匯”共現頻率矩陣其中表示視覺詞匯在圖像中出現的頻率。

（2） 利用EM算法求得PLSA模型的近似最大似然解，獲取圖像中潛在語義出現時視覺詞匯的分布規律。

（3） 提取測試圖像的特征向量，分別與步驟（1）中得到的個視覺詞匯進行相似性度量，得到測試圖像的“圖像?詞匯”共現頻率矩陣將和測試圖像的共現頻率矩陣作為PLSA模型的輸入，保持不變，得到測試圖像的潛在語義分布，構成測試圖像的維語義向量。

（4） 對測試圖像的潛在語義向量應用KNN分類器，完成圖像的場景識別。

4 實驗結果與分析

從Google Earth上截取來自10類不同場景的圖像切片共計1 794幅，對圖像分辨率和大小不做限定，場景類型是由切片中的主體目標確定的。從10類圖像中分別隨機選取50幅作為訓練圖像，其余作為測試圖像。

為了驗證本文算法的性能，首先分析采取不同特征提取方法對識別結果的影響，再進一步比較直接采用基于CSIFT特征的BOF表達進行最近鄰分類和引入PLSA模型的識別效果，最后比較不同視覺詞匯數和不同潛在語義主題數條件下的識別效果。

4.1 采用不同低層特征提取方法的比較

本文設計的視覺詞匯生成方法是CSIFT特征，而最常用的SIFT特征主要針對灰度圖像，提取該特征時首先將彩色圖像轉換為灰度圖像。密集網格采樣間隔為8×8，視覺詞匯數量為600個，潛在語義主題數為20。圖1給出了采用不同低層特征描述方法得到的實驗結果。

從圖1中來看，利用CSIFT特征作為低層特征整體優于常規的基于灰度的SIFT特征，僅對于“oil?fuel depot”場景基于灰度的SIFT特征識別性能略優。這主要是因為這類場景中處于主體地位的目標是一些圓筒狀的儲油罐，其形狀特征是最有效的鑒別特征，而不同地區的油庫在色調上的差異較大，因此，對于該類型的場景，CSIFT的優勢并不明顯。就10類目標的平均識別率而言，CSIFT為90.2%，SIFT為79.67%，前者明顯占優。

4.2 引入PLSA對識別結果的改善

本文算法是在遙感圖像BOF表達的基礎上引入PLSA模型訓練KNN分類器而實現的，記為PLSA+BOF?KNN，而實際上得到遙感圖像的BOF表達也可以直接訓練KNN分類器進行場景識別，記為BOF?KNN。仍然設置密集網格采樣間隔為8×8，視覺詞匯數量為600個。識別結果以分類混淆矩陣的形式分別給出，如圖2所示，直接應用BOF進行識別，部分場景之間由于共享了大量視覺詞匯，由此導致識別結果存在較大歧義，而引入PLSA后，可有效消除這種“一詞多義”的現象，提高場景識別性能。

4.3 不同視覺詞匯數量對識別結果的影響

前面的實驗中，視覺詞匯的數量均設置為600，下面僅調整視覺詞匯數量，密集網格采樣間隔和潛在語義主題數均不變，比較最終的平均識別率。結果如圖3所示，視覺詞匯數量在500～900之間取值時，總體性能相對較好，較少的視覺詞匯數量會導致有鑒別力的潛在語義主題缺失，過多的視覺詞匯中大量冗余信息增大了部分潛在語義主題的模糊性，因而導致總體性能的下降。

4.4 不同潛在語義主題數目對識別結果的影響

實驗中待識別場景類型數目為10，視覺詞匯提取方法不變，固定視覺詞匯的數量為600，潛在語義主題數目在8～50之間變化，比較其平均識別率，結果如圖4所示。

當潛在語義主題數為20時的平均識別率最高，過多或過少的潛在語義主題數都會導致識別率的下降。盡管最優視覺詞匯數和潛在語義主題數在理論上是存在的，但在實際應用中要準確求解卻是十分困難的，目前主要是通過大量實驗來確定一個經驗值。

為進一步驗證場景語義識別方法的可行性，沿用前述實驗中訓練得到的識別模型對朝鮮平壤地區的一幅遙感影像進行交互式標注。考慮到該識別模型僅對10類典型的場景進行了有針對性的訓練，因此在交互式選擇時，盡量選取能夠人工判定為前述10類場景的區域。識別結果如圖5所示，可以看出對不同類型的場景都有較好的識別效果。

5 總 結

圖像場景的語義識別是高分辨率遙感圖像解譯的重要內容，本文在梳理圖像場景語義識別有關概念與方法的基礎上，給出一種利用CSIFT特征的遙感圖像視覺特征表示方法和基于PLSA的遙感圖像場景語義識別方法，并利用10類典型遙感圖像場景進行實驗，充分驗證了該方法的有效性。訓練得到的識別模型還可進一步應用于對大幅遙感圖像進行交互式標注。

參考文獻

[1] 高雋，謝昭.圖像理解理論與方法[M].北京：科學出版社，2009.

[2] GROSKY W I， ZHAO R. Negotiating the semantic gap：from feature maps to semantic landscapes [C]// Proceedings of the 28th Conference on Current Trends in Theory and Practice of Informatics Piestany： Theory and Practice of Informatics. London： Springer， 2001： 33?52.

[3] BARNARD K， FORSYTH D. Learning the semantics of words and pictures [C]// Proceeding of 2001 IEEE International Conference on Computer Vision. Vancouver： IEEE， 2001： 408?415.

[4] OLIVA A， TORRALBA A. Building the gist of a scene： the role of global image features in recognition [J]. Progress in brain research， 2006， 155（2）： 23?26.

[5] LI F F， PERONA P. A Bayesian hierarchical model for learning natural scene categories [C]// Proceedings of 2013 IEEE Confe?rence on Computer Vision and Pattern Recognition. San Diego： IEEE， 2005： 524?531.

[6] LAZEBNIK S， SCHMID C， PONCE J. Beyond bags of features： spatial pyramid matching for recognizing natural scene categories [C]// Proceedings 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. [S.l.]： IEEE， 2006： 2169?2178.

[7] XU Sheng， FANG Tao， LI Deren， et al. Object classification of aerial images with bag?of?visual words [J]. IEEE geoscience and remote sensing letters， 2010， 7（2）： 366?370.

[8] LOWE D G. Distinctive image features from scale?invariant keypoints [J]. International journal of computer vision， 2004， 60（2）： 91?110.

[9] HOFMANN T. Unsupervised learning by probabilistic latent semantic analysis [J]. Machine learning， 2001， 42（1/2）： 177?196.