一種參數化影像多目標檢索的相似度評估模型

曾 志，周永福，杜震洪，劉仁義

(1.惠州學院計算機科學系，惠州 516007;2.河源職業技術學院電子與信息工程學院，河源 517000;3.浙江大學地理信息科學研究所，杭州 310028)

0 引言

近年來，我國遙感技術在空－天－地一體化應用領域取得了長足的進步，然而在信息提取與目標識別領域，通過有限的專家進行目視解譯遠不能滿足對海量數據的及時識別和處理，同時也難以對信息提取與目標識別的精度做出準確的定量分析，致使遙感技術的應用受到一定的限制。為更好地實現影像查詢的高效率與匹配的高精度，目前已經提出了一系列相似度評估模型，有通過語義處理的場景匹配模型［1］，也有關注各匹配目標固有特征的相似度匹配模型［2－3］。有關分析表明，傳統的圖像目標識別與信息提取精度的計算方法相對單一［4］，缺乏對目標識別與信息提取過程的考慮。而面向對象的遙感圖像處理方法則是一種融合了圖像的光譜特征、幾何信息和結構信息等的綜合處理方法;這種方法使用對象作為處理的最小單元，通過提取對象的多維特征，建立對象與對象和對象與圖像之間的空間拓撲與邏輯關系，并從局部和全局2個層面對圖像目標進行分析乃至信息提取，是目前研究人員較普遍應用的影像處理方法［5－7］。

考慮到像元級的影像處理方法缺乏對圖像的空間特征和對象的拓撲關系的考量，尤其是忽視了高分辨率遙感影像中豐富的地物與空間信息(如地物的光譜值、形狀、紋理、層次和專題屬性乃至地物間的空間拓撲關系等)，給圖像處理的定量分析帶來了一定的困難。鑒于此，本文假定在圖像預處理均已完成、且每景影像按一定的描述方式已組織入庫的情況下，采用當前較為普遍的面向對象的圖像處理方法，依據用戶偏好(即關注點的不同)，針對影像固有的特征，探討一種參數化影像多目標信息檢索的，既考慮影像目標全局的空間關系、又顧及影像目標局部特征的相似度評估模型，為定量解決影像提取精度而進行多目標提取提供依據。

1 參數化影像多目標檢索的相似度評估模型

當前，面向海量影像庫的多目標提取方法普遍采用基于對象的方法，其最終提取精度評估方法大多以查全率與查準率指標來衡量。由于對象方法在目標提取時相似度計算的側重點不同，尤其是多目標提取不但與目標固有的多維特征有關，而且還與目標間的空間拓撲關系相關，因此在相似度評估時，既要考慮影像目標全局的空間關系，又要顧及影像目標的局部特征。

1.1 影像多目標檢索的過程設計

多目標檢索是圖像基于內容檢索的擴充，它是建立在多個目標對象與空間關系表達基礎之上的應用。一般地，用戶對圖像內容的檢索有樣例檢索和草圖檢索2種形式，這種以圖找圖、按相似度排列的關鍵是以計算影像多維特征的相似度值作為衡量影像目標匹配的標準。面對影像目標的顏色、形狀、紋理及目標間的拓撲關系等多維特征，依據特征模型組織導入影像庫，生成影像元數據及矢量特征庫等信息;再與檢索樣本的查詢矢量特征進行相似度計算與匹配，得到相關影像結果集。檢索步驟如下:

1)對影像進行分類，利用Roberts算子進行邊緣檢測，獲得面向對象矢量圖;

2)利用矢量圖對原影像進行切割;

3)求出相對左下角各對象的質心坐標;

4)依次自底向上從左向右掃描矢量圖，對多邊形進行標注;

5)采用質心半徑法對目標形狀進行描述;

6)分別計算目標對象的顏色、形狀、紋理和空間拓撲等特征值;

7)根據用戶偏好，設定各特征權重系數;

8)計算相似度距離，獲得影像結果集。

1.2 影像矢量特征描述符

為更好地快速實現多目標提取，通常采用的方法是在影像入庫時就創建影像特征矢量庫，因此特征描述符就顯得非常關鍵。對于基于內容的影像提取，多目標檢索大多與目標對象固有的特征(包括地物的顏色、形狀、紋理以及空間關系等)相關。

特征表達模型是用于提供信息表達和操作手段的形式結構，是數據模型的一部分［8］;因為數據模型還包括諸如經緯度坐標、分辨率、衛星類型等元數據信息。文獻［9］采用動態圖像專家組－7(MPEG7)基于內容的圖像層次化描述模式的層次分析法(analytic hierarchy process，AHP)描述影像的多維特征，可以用4元組描述，由影像標識(IMage-ID、元數據MetaData、對象集Objs以及對象間的空間關系Rspace組成。用形式化方法表示為

式中:MeatData=(Location，Scal，IMageID);Objs={obj1，obj2，…，objn)，其中obji=(objID，objName，…，Fobj)，2≤i≤n，Fobj=(objID，V，EA，MA)，EA為對象提取算法描述，MA為對象匹配算法描述，V=

對1景圖像中的多目標檢索，首先要從整體上考慮目標間空間結構。對多目標空間關系的描述在二維圖像中本質上為面對象，而連接各目標對象的質心可以形成空間多邊形。實際上，基于對象級的內容檢索，形狀是區別對象最基本的特征。為簡便起見，空間關系仍采用單個目標對象形狀特征的描述方法。當前，形狀特征的描述有參數法和幾何法2類，本文采用幾何法［10］描述形狀特征(如圖1中的質心半徑表達模型所示)。則有

式中:k=? 360°/θ」;0≤i≤k－1;lkθ為遞時針旋轉θ角邊界與軸的長度。

圖1 多邊形重采樣質心半徑表達模型Fig.1 M odel of radii－center for polygon re－sampling

為了保證該方法形狀的尺度不變性，在計算從質心到每個頂點的歐氏距離時，需要把這些值歸一化。這里考慮在2個特征向量間所有可能的變換，也就是2個形狀相互間所有可能的旋轉角度θ，使距離與旋轉角度θ和起始點位置均無關。即

1.3 影像多目標提取評估模型

相似度距離的計算是目標匹配的必要手段。由于各特征值在目標匹配中的重要性不同，為更好地體現用戶關注點的不同，在模型中可以設置各維特征權重系數，用以計算每景圖像的整體相似度。查詢草圖與影像庫中各影像目標特征距離D的評估模型為

式中:i為特征維數;pi為特征Fi的權重系數(在此表示用戶偏好的程度);Fi∈V(V同上一節定義);為對應查詢目標的特征值;D為草圖與影像庫中各影像間2個特征向量間的距離。

需要指出的是，由于在創建矢量特征庫的過程中，其對應的元數據信息已經標注了影像的分辨率和經緯度等信息，因此在基于對象的圖像處理過程中針對多維特征值的計算，均盡量采用歸一化處理，以便使本文提出的評估模型不受分辨率的影響，最終保證相似度匹配的通用性。

現選取影像的HSV顏色空間計算變換，對影像中的每一個對象進行像元掃描(假定像元總數為n)，將各像元的顏色分量R，G，B值轉換為H，S，V值，并計算各分量的顏色均值ˉμ和顏色均方差σ，即

式中:Ii(x，y)為對象內像元點(x，y)的第i個顏色分量;pw和ph分別為影像圖幅的寬度和高度值。

需要指出的是，針對分割后目標產生的多邊形，對象間的空間形狀相似度可通過對象質心半徑特征、幾何形狀和多邊形的方向性來確定。幾何形狀參數通常采用多邊形的周長/面積比計算［11］，即

式中:C為多邊形的周長;S為多邊形的面積。

首先，形狀參數在一定程度上反映了區域的緊湊性，無量綱，對尺度和旋轉變化不敏感，它沒有一個固定的取值范圍，數值越大，形狀一般越不緊湊規整;其次，多邊形的方向性也很重要，依據質心半徑描述符選取半徑最長的邊作為坐標的X軸，保證匹配半徑數目方向一致;以所有質心半徑距離的直方圖作為相似度計算的參數，檢索目標與影像中目標的相似度特征(計算方法可參考文獻［12］)。

影像紋理特征值的計算通常采用坐標(x，y)位置的灰度值p(x，y)計算濾波的能量值，該坐標點的能量值Ek，l(x，y)的計算公式為

為使能量信息中每個目標的能量值不受圖像實際尺寸的影響，必須對Ek，l(x，y)進行歸一化處理。目標對象(假定為n像元×n像元)的能量均值ˉμ和均方差σ分別為

其中，紋理特征計算的參數選擇可參照文獻［13］所述方法。對于多個目標在圖像中的空間特征值的計算，仍可以采用空間相似度計算

針對上述各類特征，可以按照用戶的偏好設置不同的權重參數，對多維特征向量求和，以構成多目標信息提取與識別的總體相似度指標。這種方式靈活性較大，但因參數設置不同，得到的匹配結果差異較大。為避免該問題，應對檢索的影像進行多次確認與反饋。從整體角度來看，多目標提取首先以目標間的空間關系相似為主線提取影像;然后針對1景圖像中各個目標的具體形狀、顏色、紋理等特征進行匹配。這樣就避免了算法在參數設定上的隨意性，提高了匹配的穩定性。

2 多目標檢索精度的評估方法

基于多目標檢索算法的精度評價方法與序列的相似性評價方法有所不同。由于檢索的特殊性與復雜性，評估的依據是相似度評估模型的各維量化的特征值，并依據用戶的偏好設置權重系數。因此，從檢索效率的角度出發，針對各特征值給定不同容差，定量化計算出檢索的歸一化查全率Pnorm和歸一化查準率Rnorm，并用查全率與查準率來衡量目標檢索的精度［14］。具體計算方法為

式中:N為影像庫中影像總數;R為提取的影像數;i為提取影像的位置;ranki為提取影像的實際排行。

3 實驗與分析

為了驗證本文相似度評估模型的適用性，以某市轄區100景已經做過幾何糾正和輻射校正且加工為6級產品的高分遙感圖像和包含2個類別1～4個目標對象的模擬場景作為測試數據集。為保證模擬場景具有代表性，假定在基于內容的目標檢索過程中，描述影像內容的多維特征矢量庫通過導入影像庫生成影像元數據及特征庫等信息構建已經完成，且已保存。在此基礎上，實驗從單個目標檢索開始，逐步增加對象個數，并針對用戶偏好進行特征權重系數的調整;最終通過各特征的相似度計算實現影像的匹配，進而對檢索的影像按相似度完成排序。

多目標查詢時，本文采用了以圖找圖的方法。實驗采用C++語言和Matlab實現草圖檢索和界面生成。用戶可以從影像庫中選取入庫時已提取的目標對象構建查詢目標的空間關系，通過對檢索目標在給定分辨率下的選擇與定位，形成具有目標形狀、紋理與空間關系的檢索草圖(圖2)。

圖2 試驗系統檢索草圖生成界面Fig.2 User interface of testing system for retrieval draft

針對畫板生成的檢索草圖，4個目標對象的空間關系基本確定，且每一檢索目標的形狀、顏色和紋理特征為已知。現依據整體到局部原則，分別計算出各目標對象的多維特征值;然后依據用戶偏好，設定各特征的權重系數(表1)。

表1 參數化權重系數示例Tab.1 Sample of parameterized weighting coefficients

如圖3所示，依據不同容差匹配條件，將系統檢索結果按相似度距離進行排序，以每頁20景影像的布局顯示其縮略圖。

圖3 部分檢索結果示例Fig.3 Partial sample results of image retrieval

從實驗結果可以看出，本實驗所涉及的多目標檢索是針對影像庫中不同場景進行的，各目標的分類、分割等預處理操作均已完成。關于查詢精度的評價，一般通過查全率和查準率進行衡量。需要說明的是，由于本實驗的目標影像數量、類別與目標個數均較小，即使N很大，但經過N!/(N－R)!的約簡運算，實際上采用式(11)和(12)進行歸一化查全率和歸一化查準率的計算，其效率仍能得到保證。查全率和查準率之間存在著相反的相互依賴關系，即如果提高輸出的查全率，就會降低其查準率，反之亦然。然而，隨著查找目標的增多，目標本身及目標間空間關系的復雜度也相應增加，導致查全率與查準率呈下降趨勢。此外，增加相似度容差值，會使可提取的影像數量也相應增加，同時特征向量距離D也會相應減少，查全率與查準率則會略微增加。圖4表明，隨著查找目標數的增加，系統的平均查全/查準率總體呈現一定的下降趨勢，查全率在50%左右，查準率在30%左右。

圖4 同一影像查找不同目標數的平均查全(準)率Fig.4 Average recall(precision)for searching different number of targets in an image

圖5表明，在查找目標數一定的前提下，相似度容差在增加1% ～10%時，查全率與查準率略顯增加。經比較可知，圖5中的查全(準)率總體符合圖4中查全(準)率的均值情況。

圖5 同一影像不同容差查找不同目標數的歸一化查全(準)率Fig.5 Normal recall(precision)with different allowance for different number of targets in an image

4 結論

1)本文從高分辨率遙感影像對象級內容檢索的角度，在影像多目標檢索過程的指引下，從影像本身固有的形狀、紋理、顏色和空間特征著手，探討了基于對象的影像內容多維特征描述方法。

2)從多目標檢索的角度提出了一種相似度評估模型，并通過試驗從查全(準)率2個定量指標驗證了該模型的可行性與有效性。

3)考慮到影像之間在分辨率與地物類別復雜度、數據量等的不同，在查找目標所耗費的時間上有較大的差異，性能評價會有一定缺陷，有待進一步地探討。

此外，為不斷提高影像目標檢索的效率與準確度，多維特征的提取與相似度測度計算仍將是進一步研究的重點。

［1］ 宋騰義，汪 閩.多要素空間場景相似性匹配模型及應用［J］.中國圖象圖形學報，2012，17(10):1274－1282.Song T Y，Wang M.Multi－ feature based spatial scene matching model and its application［J］.Journal of Image and Graphics，2012，17(10):1274－1282.

［2］ 呂金建，文貢堅，李德仁，等.一種新的基于空間關系的特征匹配方法［J］.測繪學報，2008，37(3):367－373，379.Lv JJ，Wen G J，LiDR，etal.A newmethod based on spatial relations for feature matching［J］.Acta Geodaetica et Cartographica Sinica，2008，37(3):367－373，379.

［3］ 孫 顯，王宏琦，楊志峰.基于形狀統計模型的多類目標自動識別方法［J］.電子與信息學報，2009，31(11):2626－2631.Sun X，Wang H Q，Yang Z F.Automaticmulti－categorical objects recognition using shape statisticalmodels［J］.Journal of Electronics ＆ Information Technology，2009，31(11):2626－2631.

［4］ 李蘇梅，韓國強.感興趣區域的確定及相似度計算方法［J］.湖南工業大學學報，2008，22(4):48－52.Li SM，Han G Q.Methods on ROI confirmed and similarity computation［J］.Journal of Hunan University of Technology，2008，22(4):48－52.

［5］ Walter V.Object－ based classification of remote sensing data for change detection［J］.ISPRS Journal of Photogrammetry and Remote Sensing，2004，58(3/4):225－238.

［6］ Drǎgut L，Blaschke T.Automated classification of landform elements using object－ based image analysis［J］.Geomorphology，2006，81(3/4):330－344.

［7］ 薄樹奎，韓新超，丁 琳.面向對象影像分類中分割參數的選擇［J］.武漢大學學報:信息科學版，2009，34(5):514－517.Bo SK，Han X C，Ding L.Automatic selection of segmentation parameters for object oriented image classification［J］.Geomatics and Information Science ofWuhan University，2009，34(5):514－517.

［8］ Zhi Z，Du Z H，Liu R Y.An object－ level feature representation model for themulti－ target retrieval of remote sensing images［J］.Journal of Computing Science and Engineering，2014，8(2):65－77.

［9］ Manjunath B S，Philippe S，Thomas S.Introduction to MPEG－7:Multimedia Content Description Interface［M］.Wiley ＆ Sons，2002.

［10］ Tan K L，Ooi B C，Thiang L F.Indexing shapes in image databases using the centroid－ radiimodel［J］.Data ＆ Knowledge Engineering，2000，32(3):271－289.

［11］ Foley H.AMultiple Criteria Based Approach to Performing Conflation in Geographical Information Systems［D］.New Orleans:Tulane University，1997.

［12］ Kindratenko V V.On using functions to describe the shape［J］.Journal of Mathematical Imaging and Vision，2003，18(3):225－245.

［13］ Grigeorescu SE，Petkov N，Kruizinga P.Comparison of texture features based on Gabor filters［J］.IEEE Transactions on Image Processing，2002，11(10):1160－1167.

［14］ Salton G，McGillM J.Introduction to Modern Information Retrieval［M］.New York:McGraw－ Hill，1983.