基于上下文敏感的貝葉斯網絡及方向關系的遙感圖像檢索

胡玉璽， 李軼鯤， 楊萍

(1.中煤地西安地圖制印有限公司,西安 710054； 2.蘭州交通大學測繪與地理信息學院,蘭州 730070；3.甘肅省地理國情監測工程實驗室,蘭州 730070)

基于上下文敏感的貝葉斯網絡及方向關系的遙感圖像檢索

胡玉璽1,2,3， 李軼鯤2,3， 楊萍2,3

(1.中煤地西安地圖制印有限公司,西安 710054； 2.蘭州交通大學測繪與地理信息學院,蘭州 730070；3.甘肅省地理國情監測工程實驗室,蘭州 730070)

如何在遙感圖像數據庫中快速、準確地找出目標圖像，是檢索系統的核心所在。基于對上下文語境敏感的貝葉斯網絡(content-sensitive Bayesian network,CSBN)，建立了含有方向關系的檢索模型，并根據城市區域的特點，提出了適合城市區域檢索的方法。首先，通過貝葉斯網絡對圖像進行檢索； 然后，依據圖像的平均高頻信號強度(average high frequency signal strength,AHFSS)對候選圖像進行篩選； 最后，得到含有城市區域這一高級語義特征的最終檢索結果。為了確定圖像內部的方向關系，采用東北、西北、東南和西南4個區域的方向描述圖像的8種方向關系，有效降低了算法的時間復雜度。實驗結果表明，該方法可有效地描述圖像的場景語義，并具有較高的查準率和檢索效率，可滿足用戶的需求。

圖像檢索； 上下文敏感的貝葉斯網絡(CSBN)； 方向關系； 平均高頻信號強度(AHFSS)； 雙重語義檢索

0 引言

由于圖像空間分辨率的不斷提高，遙感圖像海量數據管理、訪問及應用的難度變得越來越大，因此，如何在大型數據庫中進行高效的圖像檢索成為研究的難點[1-2]。基于內容的圖像檢索，是指用戶提交樣本圖像，借助色調、紋理和形狀等低層特征，在數據庫中檢索出具有相同或相似內容圖像的過程[3]； 但由于人類與計算機對圖像的理解方式存在差異，造成了人類視覺對圖像理解的“語義相似”和機器視覺理解的“特征相似”之間存在著難以逾越的“語義鴻溝”(semantic gap)[4]。經驗表明，采用早期的基于內容的圖像檢索(content based image retrieval,CBIR)系統，通過提取圖像的全局特征進行檢索時，對于有顯著目標存在的圖像來說，由于全局特征無法準確描述圖像內容，會對檢索精度造成影響。為解決這一問題，有學者提出了基于區域的圖像檢索(region based image retrieval,RBIR)，使圖像檢索技術得到了空前的發展[5]。近年來在圖像檢索中，貝葉斯網絡常被用來進行語義挖掘。Datcu等[6]建立了一個5層結構的貝葉斯學習模型，進行圖像的視覺特征到高層語義特征的挖掘。林明澤等[7]借助圖像類與語義概念之間多對多的關系，建立代碼和語義概念之間鏈接的模型，采用簡單貝葉斯網絡(simple Bayesian network,SBN)推斷圖像的語義信息，該方法的查全率較高、但查準率偏低。Li等[8-9]則認為簡單的貝葉斯網絡不足以描述復雜的圖像信息，建立了基于對上下文語境敏感的貝葉斯網絡(content-sensitive Bayesian network,CSBN)，其最主要的特征是通過綜合相鄰區域的特征推斷圖像的語義特征，有效地提高了圖像檢索的查準率。但在這些檢索方法中，缺少對圖像方向關系的描述，無法詳細地描述圖像的場景語義。本文在對CSBN進行研究的基礎上，針對城市區域的特點，提出了以平均高頻信號強度(average high frequency signal strength,AHFSS)作為城市區域語義特征的衡量方法，并利用區域間的方向關系描述圖像的場景語義，以有效地彌補“語義鴻溝”，更加深入地描述圖像所包含的語義信息。

1 基于貝葉斯網絡的圖像檢索

1.1 CSBN語義推斷

1.1.1 數學模型

為了進行語義推斷，圖像It與語義概念SCk的相關程度通過CSBN由后驗概率P(SCk|It)來測度。CSBN如圖1所示。

圖1 對上下文敏感的貝葉斯網絡(CSBN)

CSBN的后驗概率計算公式為

(1)

其中

(2)

(3)

(4)

部的鄰接區域，則有

(5)

式(5)可以防止計算P(SCk|It)時偏向那些有著更多鄰接區域的區域。

(6)

1.1.2 編碼共生矩陣

為了使P(SCk|It)的計算更加簡單，定義編碼對重要度，并生成編碼共生矩陣。編碼對(u，v)和語義SCk之間的關聯程度通過編碼對重要度函數CPIk()反映，故可通過SCk的先驗概率確定編碼對(u,v)的重要度，其計算方法為

(7)

式中u,v分別為碼本中的編碼，并構成編碼共生矩陣Mk。

根據Mk并假設先驗概率P(SCk)服從一致分布，式(6)可化簡為

1.1.3 語義得分函數

(9)

根據區域語義得分函數，圖像語義得分函數SIk()可定義為

(10)

圖像語義得分函數SIk()用于測度圖像It與語義概念SCk的相關程度。如果SCk(It)大于預定義的閾值，那么圖像It就被認為至少包含語義概念SCk。根據式(8)和(10)可以證明

P(SCk|It)∝SIk(It)。

(11)

值得注意的是，這個結論是式(2)的特殊形式。因此圖像語義得分函數與CSBN是一致的。

1.2 基于方向關系的語義推斷

在前文描述的CSBN模型中，沒有包含圖像的方向關系，不利于詳細描述圖像的語義信息； 而在基于貝葉斯網絡的檢索系統中，對圖像編碼時可以依據區域在圖像中所處的位置記錄下每一個編碼區域所在的位置。因此，借助柵格圖像的方向關系，可以描述出圖像詳細的語義。本文根據編碼所在的位置，描述圖像中地物類型的方向關系。

在柵格圖像中，傳統的方向被描述為9種方向(圖像分為9塊，居中的為中，四鄰接的4塊為東、南、西、北，剩余的4塊為東南、西南、東北和西北)，對方向關系的描述較為精細，但應用到檢索系統中，時間復雜度會較高。考慮到檢索系統的檢索效率，結合人們在觀看圖像時對上北下南、左西右東的方向認知習慣，本文將圖像分為西北、東北、西南和東南4個區域，并用這4個區域的方向描述圖像的8種方向關系。用這種方法描述圖像的方向關系雖不及傳統描述方法準確，但在檢索過程中時間復雜度會降低，且可滿足用戶對圖像內容的認知和檢索需求。

雙重語義檢索，即檢索具有2種語義的圖像。在CSBN圖像檢索中，可使用2組樣本圖像分別進行檢索，然后取2次檢索結果的交集作為最終的檢索結果。在考慮到圖像的方向關系時，當系統判定編碼屬于檢索目標時，先計算編碼所處的區域位置，若滿足檢索語義中的方向關系，則作為結果圖像，否則舍去。也可以使用1組樣本進行檢索，使編碼對包含2種語義信息。

使用2組樣本圖像檢索的數學描述如下：

(12)

為了保證檢索系統的查全率，通常將上述閾值設置為0。

1.3 AHFSS計算

對城市區域內的地物光譜信息進行統計分析后發現，在城市區域集中出現的建筑物邊緣及陰影、水泥屋頂等地物都是高頻信號較強的地物，故城市區域的圖像在頻率域內呈現高頻信號強的特點。高通濾波具有保留圖像高頻信息、消除圖像低頻成份的作用。故先對圖像進行高通濾波處理，然后計算圖像的AHFSS，作為城市區域檢索排序時的一個特征向量。通過實驗研究，本文采用理想型高通濾波器，濾波器的截止頻率為5。整個圖像的變換(DFT)和(IDFT)反變換過程為

f(x,y)→DFT→F(u,v)→F(u,v)H(u,v)→G(u,v)→IDFT→g(x,y),

(13)

式中：f(x,y)為原始圖像；F(u,v)為圖像的傅里葉變換；H(u,v)為濾波器變換函數；g(x,y)為變換后圖像。

在對圖像進行高通濾波處理之后，為了確定圖像中高頻信息的含量，定義g(x,y)的平均值為AHFSS，其計算方法為

(14)

式中M和N分別為圖像的行數和列數。

2 檢索實驗結果及分析

2.1 城市區域檢索實驗

本文實驗中用到的數據庫由多光譜衛星圖像分割而成，每景圖像大小為256像元×256像元，共20 000景，涵蓋了積雪(1 150)、農田(752)、城市(7 473)、水體(4 692)、森林(5 715)、云(605)、裸土(1 816)和巖石(2 214)等8種地物類型。括號中的數字表示與相應的語義概念相關聯的圖像數量，其中，1景圖像可能對應多個語義概念。數據庫中所用到的圖像為IKONOS或WorldView2圖像，每景圖像分別覆蓋65 536 m2或262 144 m2的地物，1景圖像最多對應4種語義信息、最少對應1種語義信息。

在特征提取時，把圖像分割成32像元×32像元的子圖像，以圖像的顏色直方圖作為底層特征向量，并對圖像進行編碼(共300個碼)。

本文采用局部的AHFSS值衡量圖像的城市語義，按照提出的4方向關系，取每一景圖像中4個方向區域中AHFSS最大值作為圖像的AHFSS值，其目的是為了有效避免圖像中其他地物對城市區域的影響。倘若圖像由單一地物構成，則選用全局的AHFSS值來衡量圖像； 但如果圖像由多種地物構成，則不宜使用整景圖像的AHFSS值來衡量圖像。由于其他地物的存在，會使圖像中城市區域圖像的AHFSS值降低； 而選擇4個方向區域中AHFSS最大值來衡量圖像，則可有效避免這個問題。

本文分2組實驗與文獻[7]提出的SBN和CSBN在城市區域檢索中的效果進行對比。實驗中以圖像檢索的查準率、查全率和F1測度值衡量檢索系統。由于查準率和查全率之間存在著復雜的關系，且單獨使用查準率或查全率無法準確描述圖像，為了綜合考慮2方面的情況，有的學者在查準率和查全率的基礎上提出了F1測度值，其計算方法為

F1=2ηrηp/(ηr+ηp),

(15)

式中：ηr為查全率；ηp為查準率。

2.1.1 實驗一

選取圖像庫中的1組城市區域圖像(共25景)作為訓練樣本進行檢索實驗，分別比較SBN,CSBN和以AHFSS做篩選后的檢索結果。選取的閾值為10，保留AHFSS大于閾值的圖像作為檢索結果，實驗結果見表1。

表1 貝葉斯網絡城市區域檢索結果比較

2.1.2 實驗二

選取圖像庫中的單景圖像作為訓練樣本進行檢索實驗，共檢索5次，取查準率和查全率的平均值作為實驗結果(表2)。

表2 單一訓練樣本貝葉斯城市區域檢索結果比較

2.2 檢索結果分析

2.2.1 SBN和CSBN

從實驗結果可以看出，在碼本為300碼時(表1)，CSBN檢索查準率較高，而SBN查全率較高。使用相同的訓練樣本進行檢索，相較于SBN檢索方法，CSBN檢索方法檢索出的圖像減少了7 304景，查準率提高了14.67%，查全率降低了31.92%，F1測度值降低了0.71%。這主要是因為基于編碼的檢索具有更高的準確性，而基于單個編碼的檢索具有更高的查全率。同時，由于在實驗數據庫中，城市區域的圖像大約占37.36%，如果檢索中返回數據庫中的全部圖像，檢索的查準率也會有37.36%。各類型圖像分布的不均勻也會對檢索結果造成一定的影響，本文中暫未考慮這一影響。

2.2.2 SBN+AHFSS和CSBN+AHFSS

從表1可以看出，選用一組訓練樣本進行檢索實驗，相較于SBN檢索方法，SBN+AHFSS檢索方法檢索出的圖像總數減少了3 851景，查準率提高了10.72%，查全率降低了8.83%，F1測度值升高了6.14%。相較于CSBN檢索方法，CSBN+AHFSS檢索方法檢索出的圖像總數減少了1 005景，查準率提高了6.51%，查全率降低了2.67%，F1測度值升高了1.67%。這是由于城市區域圖像的AHFSS值相對較高，使用AHFSS結合閾值進行圖像篩選能顯著降低初次檢索中的檢索錯誤，有效提高了檢索系統的查準率。

從表2可以看出，相較于SBN檢索方法，SBN+AHFSS檢索方法使查準率提高了6.49%，查全率降低了1.81%，F1測度值降低了0.05%。相較于CSBN檢索方法，CSBN+AHFSS檢索方法檢索出的圖像總數使查準率提高了3.28%，查全率降低了0.27%，F1測度值降低了0.26%。這是由于在這些單景圖像檢索實驗中，由于檢索查準率原本就很高，故對檢索結果影響不是很明顯，但也使查準率有了相應的提高。由于圖像檢索的查準率和查全率之間具有互逆性，本文增加了檢索的限制條件，故降低了查全率，使查準率變高。

2.3 雙重語義檢索實驗

雙重語義檢索結果較大程度地受到所使用的數據庫和選取的訓練樣本的影響。本文使用查準率較高的CSBN進行實驗，檢索一邊是城市、另一邊是水體的圖像。采用單一圖像組成的訓練樣本進行檢索實驗，檢索結果(前10景)如圖2所示。

(a)查詢圖像 (b)第1景(c)第2景(d)第3景(e)第4景(f)第5景(g)第6景(h)第7景(i)第8景(j)第9景(k)第10景

圖2雙重語義檢索結果(前10景)

Fig.2Resultsofdouble-semanticretrieval(top10cences)

從圖2可以看出，檢索出的前10景圖像均與檢索語義相符合。由于檢索結果圖像中城市區域范圍較大(尤其在1,2,3和10這4景圖像中)，按照本文定義的方向關系，城市區域占了全部的方位，故檢索精度還有待提高。

3 結論

本文根據城市區域集中出現邊緣、建筑物陰影和水泥屋頂等高頻信號較強地物的特點，提出了一種基于上下文敏感的貝葉斯網絡(CSBN)進行圖像檢索，并結合平均高頻信號強度(AHFSS)對初次檢索結果進行篩選的遙感圖像數據庫城市區域檢索方法。同時，針對已有的CSBN檢索模型中缺失方向關系的不足，提出圖像簡單的方向關系模型。通過實驗得出如下結論：

1)簡單貝葉斯網絡(SBN)系統具有較高的查全率，CSBN系統具有較高的查準率。這主要是由于CSBN比SBN系統有更多的限制條件，故查準率較高。

2)編碼區域在圖像中所在的位置可以利用方向關系模型很明確地計算出來，故利用區域間的方向關系可有效描述圖像的語義信息。

3)利用AHFSS可以提高貝葉斯檢索系統的查準率。

然而，本文方法也存在一定的不足之處，在圖像篩選階段，閾值只由經驗判斷得出； 而在整個圖像數據庫中，各類地物分布不均，這會對檢索結果造成一定的影響，文中暫未考慮這一點。在今后進一步的工作中，將著重研究如何根據圖像自動生成閾值。

[1] Zhang B.Intelligent remote sensing satellite system[J].Journal of Remote Sensing,2011,15(3):415-431.

[2] Li Y K.Semantic-Sensitive Remote Sensing Imagery Retrieval[M].Beijing:China Environmental Science Press,2014:1-7.

[3] Wang M,Song T Y.Remote sensing image retrieval by scene semantic matching[J].IEEE Transactions on Geoscience and Remote Sensing,2013,51(5):2874-2886.

[4] Datta R,Joshi D,Li J,et al.Image retrieval:Ideas,influences,and trends of the new age[J].ACM Computing Surveys,2008,40(2):Article No.5.

[5] Belloulata K,Belallouche L,Belalia A,et al.Region based image retrieval using shape-adaptive DCT[C]//Proceedings of 2014 IEEE China Summit and International Conference on Signal and Information Processing(ChinaSIP),Xi’an,China:IEEE,2014:470-474.

[6] Datcu M,Seidel K.Human-centered concepts for exploration and understanding of earth observation images[J].IEEE Transactions on Geoscience and Remote Sensing,2005,43(3):601-609.

[7] 林明澤,李軼鯤,安新磊,等.簡單貝葉斯網絡的遙感圖像檢索[J].云南民族大學學報(自然科學版),2010,19(1):67-70. Lin M Z,Li Y K,An X L,et al.Remote sensing image retrieval based on the simple Bayesian network[J].Journal of Yunnan University of Nationalities(Natural Sciences Edition),2010,19(1):67-70.

[8] Li Y K,Bretschneider T R.Semantic-sensitive satellite image retrieval[J].IEEE Transactions on Geoscience and Remote Sensing,2007,45(4):853-860.

[9] Li Y K,Yang S W,Liu T,et al.Comparative assessment of semantic-sensitive satellite image retrieval:Simple and context-sensitive Bayesian networks[J].International Journal of Geographical Information Science,2012,26(2):247-263.

[10]李軼鯤,閆浩文,孫建國.分步式衛星圖像檢索[J].測繪科學,2009,34(6):53-55. Li Y K,Yan H W,Sun J G.Stepwise satellite image retrieval[J].Science of Surveying and Mapping,2009,34(6):53-55.

(責任編輯：劉心季)

Retrievingofremotesensingimagesbasedoncontent-sensitiveBayesiannetworksanddirectionrelations

HU Yuxi1,2,3， LI Yikun2,3， YANG Ping2,3

(1.Xi’anMappingandPrintingCompanyofARSC，Xi’an710054，China； 2.FacultyofGeomatics，LanzhouJiaotongUniversity，Lanzhou730070，China； 3.GansuProvincialEngineeringLaboratoryforNationalGeographicStateMonitoring，Lanzhou730070，China)

Retrieving the required remote sensing images effectively and accurately is the kernel of a remote sensing retrieval system. In this paper, the authors proposed a direction based retrieval model based on context-sensitive Bayesian network(CSBN). In addition, an approach was also proposed that is suitable to retrieving urban area images according to the characteristics of urban areas. Initially, the proposed approach retrieved the candidate images based on CSBN. Then, the proposed approach obtained the final retrieval result containing the high level semantic concept “urban area” according to the average high frequency signal strength(AHFSS)of the candidate images. In order to make sure the direction relationships inside the image, the authors used the four directions of northeast, northwest, southeast and southwest to describe eight kinds of directions, which effectively reduced the time complexity of the algorithm. The experimental results show that the proposed approach can effectively describe the semantic concepts of the stored remote sensing images, and thus has higher retrieval precision and efficiency than the original context-sensitive Bayesian network based approach, thus proving that the proposed approach can meet the users’ requirements.

image retrieval； context-sensitive Bayesian network(CSBN)； direction relations； average high frequency signal strength(AHFSS)； double-semantic retrieval

10.6046/gtzyyg.2017.03.10

胡玉璽,李軼鯤,楊萍.基于上下文敏感的貝葉斯網絡及方向關系的遙感圖像檢索[J].國土資源遙感,2017,29(3)：70-76.(Hu Y X,Li Y K,Yang P.Retrieving of remote sensing images based on content-sensitive Bayesian networks and direction relations[J].Remote Sensing for Land and Resources,2017,29(3)：70-76.)

2016-02-01；

2016-03-27

國家自然科學基金地區基金項目“面向空間方向關系查詢的多模型復合方法研究”(編號： 41561090)、甘肅省財政廳基本科研業務費項目“群組目標空間方向關系計算模型研究”(編號： 214146)、甘肅省高等學校基本科研業務費項目“基于空間關系敏感的高分辨率衛星圖像檢索技術研究”(編號： 213049)和中國博士后科學基金資助項目“基于高分辨率遙感影像的滑坡自動提取方法研究”(編號： 2014M552558XB)共同資助。

胡玉璽(1990-),男,碩士研究生,主要從事遙感圖像檢索技術研究。Email： 598021029@qq.com。

李軼鯤(1978-),男,博士,副教授，主要從事遙感圖像檢索技術研究。Email： liyikun2003@hotmail.com。

TP 751.1

： A

： 1001-070X(2017)03-0070-07