基于內(nèi)容的遙感圖像數(shù)據(jù)庫城市區(qū)域檢索

胡玉璽， 李軼鯤， 楊樹文， 楊萍， 雍萬鈴

(1.蘭州交通大學(xué)測繪與地理信息學(xué)院，蘭州　730070； 2.甘肅省地理國情監(jiān)測工程實驗室，蘭州　730070)

?

基于內(nèi)容的遙感圖像數(shù)據(jù)庫城市區(qū)域檢索

胡玉璽1,2， 李軼鯤1,2， 楊樹文1,2， 楊萍1,2， 雍萬鈴1,2

(1.蘭州交通大學(xué)測繪與地理信息學(xué)院，蘭州730070； 2.甘肅省地理國情監(jiān)測工程實驗室，蘭州730070)

摘要：對于大型遙感圖像數(shù)據(jù)庫，如何快速準(zhǔn)確地檢索到需要的圖像數(shù)據(jù)，是一個關(guān)鍵問題。該文在以綜合區(qū)域匹配算法為圖像相似度度量標(biāo)準(zhǔn)的前提下，提出了根據(jù)平均高頻信號強(qiáng)度降序為排序標(biāo)準(zhǔn)的遙感圖像數(shù)據(jù)庫城市區(qū)域檢索方法。首先，用綜合區(qū)域匹配算法對圖像進(jìn)行相似度度量； 然后，依據(jù)這些圖像的平均高頻信號強(qiáng)度，按降序?qū)@些圖像進(jìn)行重新排序從而得到含有城市區(qū)域這一高級語義特征的最終檢索結(jié)果。實驗表明： 該方法將檢索查準(zhǔn)率提高了27%，而且檢索效率高，可以滿足用戶需求。

關(guān)鍵詞：圖像檢索； 城市區(qū)域； 圖像內(nèi)容； 相似度度量

0引言

隨著影像空間分辨率的不斷提高，海量遙感影像管理、訪問及應(yīng)用的難度變得越來越大，由此，圖像檢索技術(shù)已成為國內(nèi)外研究的熱點[1-3]。其中，基于內(nèi)容的圖像檢索技術(shù)(content based image retrieval，CBIR)，以其高效性和符合人類認(rèn)知習(xí)慣的優(yōu)勢，得到了眾多學(xué)者的重視。高分辨率遙感圖像中的城市信息提取和變化監(jiān)測已成為研究熱點，用戶急需一種專門的方法來檢索他們感興趣的城市區(qū)域圖像。本文提出的方法能夠在很多領(lǐng)域得到廣泛的應(yīng)用，如國土資源調(diào)查、城市發(fā)展監(jiān)測、環(huán)境監(jiān)控等，特別是在城市監(jiān)控領(lǐng)域，本文提出的方法能快速準(zhǔn)確地檢索到所需的圖像。

CBIR系統(tǒng)一般采用3種檢索方式，即直方圖檢索、顏色布局檢索和基于區(qū)域的檢索。直方圖檢索算法是通過圖像的顏色貢獻(xiàn)率或者彩色直方圖進(jìn)行檢索，其缺點是會丟失目標(biāo)地物的位置、形狀及紋理等信息； 顏色布局檢索算法雖然克服了直方圖檢索算法的不足，但以一組局部屬性作為特征來描述圖像，最終仍會對變形、移動及旋轉(zhuǎn)等變化很敏感，會影響檢索效果[4]； 基于區(qū)域的檢索算法采取分割圖像的方法，用區(qū)域特征來描述圖像的局部特征，試圖彌補(bǔ)顏色布局算法的不足，其最理想的分割結(jié)果是圖像的每一個區(qū)域都只包含一種對象，但在實際應(yīng)用過程中，往往由于不能準(zhǔn)確地分割圖像，從而對檢索結(jié)果造成影響[5]。

基于上述問題，Wang等[4]提出了綜合區(qū)域匹配算法(integrated region matching，IRM)，該算法具有旋轉(zhuǎn)和平移不變性，允許1對多個區(qū)域的匹配，對不準(zhǔn)確分割具有魯棒性。基于此，本文提出了以綜合區(qū)域匹配算法為相似度衡量標(biāo)準(zhǔn)，根據(jù)平均高頻信號強(qiáng)度(average high frequency signal strength，AHFSS)降序為排序條件的遙感圖像城市區(qū)域檢索方法。實驗表明，圖像檢索精度較綜合區(qū)域匹配法的檢索精度有明顯提高，基本滿足用戶需要。

1基于內(nèi)容的圖像檢索算法

CBIR是指用戶提交樣本圖像，依據(jù)其顏色、紋理及形狀等低層特征，在數(shù)據(jù)庫中檢索出具有相同或相似內(nèi)容圖像的過程[6-7]。與傳統(tǒng)的利用文本標(biāo)注的檢索方式相比，CBIR具有對圖像內(nèi)容描述準(zhǔn)確和客觀性強(qiáng)等優(yōu)點，同時又可以自動地提取圖像的顏色、紋理和形狀等特征，并快速有效地從圖像數(shù)據(jù)庫中自動查找與查詢圖像有著類似顏色、紋理及形狀等信息的圖像。CBIR克服了傳統(tǒng)檢索方式依靠手工輸入文字信息，不能充分描述圖像顏色紋理等特征的局限性[8]。隨著城市化進(jìn)程，城市建筑群的規(guī)模和密度在急劇增大，給城市遙感影像的檢索增加了困難，由此，本文基于CBIR，針對城市區(qū)域的圖像檢索，提出了改進(jìn)的檢索算法，其流程如圖1所示。算法主要包括特征提取和圖像分割、綜合區(qū)域匹配算法及平均高頻信號強(qiáng)度計算與排序。

圖1　城市區(qū)域圖像檢索系統(tǒng)流程圖

1.1特征提取和圖像分割

1.2綜合區(qū)域匹配算法

綜合區(qū)域匹配算法通過綜合地計算圖像中所有區(qū)域的相似度來確定圖像的整體相似度，其原理如圖2所示。

圖2　綜合區(qū)域匹配原理圖

在圖2中，圓代表圖像的區(qū)域，如果2個圓是連接的，則表明2個區(qū)域通過直線所代表的權(quán)重匹配到一起； 如果2個圓沒有連接，則表明2個區(qū)域是在同一幅圖像中或者它們之間的匹配權(quán)重為0。

該算法優(yōu)勢在于對圖像可能存在的錯誤分割具有很強(qiáng)的魯棒性。從數(shù)學(xué)角度來看，圖像的相似度可以通過計算在高維空間(特征空間)中2個點集之間的距離來確定。有很多種方法可以計算高維空間中點的距離，例如歐氏距離。然而，它并不適合計算2個點集之間的距離。定義特征空間中2個點集之間距離的最大的困難在于： 如何讓定義的整體相似度最大程度地和人類對2幅圖像相似度的主觀感覺相接近。綜合區(qū)域匹配算法綜合地考慮了圖像中的所有區(qū)域，允許1個區(qū)域與多個區(qū)域進(jìn)行匹配，減少了由于圖像不準(zhǔn)確分割而產(chǎn)生的誤差。

綜合區(qū)域匹配算法具體描述[4]如下：

(1)

定義綜合區(qū)域匹配的距離，即2幅圖像之間的距離為

(2)

(3)

(4)

式中：m為圖像1的區(qū)域數(shù)；n為圖像2的區(qū)域數(shù)。

1.3平均高頻信號強(qiáng)度的計算

光譜信息是遙感圖像信息的中重要組成部分。與其他地物類型相比，城市區(qū)域大多由人工地物構(gòu)成。通過對城市區(qū)域內(nèi)的地物光譜信息進(jìn)行統(tǒng)計分析發(fā)現(xiàn)，它們具有更多的高頻成分。由于高通濾波具有保留圖像高頻信息和消除圖像低頻成分的作用故本文先對圖像進(jìn)行高通濾波處理，然后計算圖像的平均高頻信號強(qiáng)度，作為城市區(qū)域檢索排序時的一個特征向量。通過實驗研究，本文采用理想高通濾波器，濾波器的截斷頻率為10。

為了計算圖像的平均高頻信號強(qiáng)度，首先將圖像f(x,y)轉(zhuǎn)換成一系列不同頻率的二維正弦波傅里葉圖像； 然后，在頻率域內(nèi)對傅里葉圖像進(jìn)行濾波處理，目的是修改圖像傅里葉變換的結(jié)果，從而減少低頻成分； 最后，把頻率域的傅里葉圖像變換為空間域圖像g(x,y)[11]。整個圖像的變換過程由

f(x,y)→DFT→F(u,v)→F(u,v)H(u,v)→G(u,v)→IDFT→g(x,y)

(6)

表示，式中：F(u,v)為圖像的傅里葉變換；H(u,v)為濾波器變換函數(shù)；DFT為離散傅里葉變換；IDFT為離散傅里葉逆變換。

高通濾波處理之后，為了確定圖像中所含有的高頻信息的含量，定義變換后圖像g(x,y)像元值的平均值為平均高頻信號強(qiáng)度AHFSS，其值由

(7)

計算得出，式中P和Q分別表示圖像行數(shù)和列數(shù)。

在大多數(shù)遙感圖像中，與其他地物類型進(jìn)行比較，例如水體，城市區(qū)域含有較多快速變化的分量(即高頻信號)，所以城市區(qū)域相應(yīng)的AHFSS值是比較高的。在數(shù)據(jù)庫中分別抽取建筑物、水體及植被的典型圖像各1幅，計算不同截斷頻率下圖像的AHFSS值(表1)。

表1　建筑物、植被及水體AHFSS值比較表

由表1可以看出，在同一截斷頻率下，城市區(qū)域的AHFSS明顯高于植被和水體的AHFSS； 同時截斷頻率在[5，20]范圍內(nèi)，同一圖像的AHFSS相對穩(wěn)定，其值沒有產(chǎn)生太大的變化，說明截斷頻率值的選取不會對實驗結(jié)果產(chǎn)生太大的影響。

2結(jié)果與分析

2.1實驗設(shè)計

一個完整的CBIR系統(tǒng)，一般包括圖像預(yù)處理、特征提取、建立數(shù)據(jù)庫、用戶接口、相似度度量和結(jié)果獲取等模塊[12]。檢索城市區(qū)域，應(yīng)加強(qiáng)檢索圖像中所含有的城市區(qū)域的語義信息，減弱無關(guān)語義信息對檢索的影響，故本文在圖像的重新排序過程中，增加了以平均高頻信號強(qiáng)度為排序條件的步驟。

在本文實驗過程中，所用到的圖像數(shù)據(jù)庫是通過對多光譜衛(wèi)星圖像進(jìn)行不重疊的分割構(gòu)成的，圖像大小為300像元×300像元，共計10 000幅，涵蓋了農(nóng)田、水壩、巖石、城市、森林及海域等多種地物類型。在特征提取時，把圖像分割成30像元×30像元的子圖像，以圖像的顏色直方圖作為底層特征向量，利用K均值聚類算法依據(jù)顏色特征向量對圖像進(jìn)行聚類，并將聚類結(jié)果作為特征數(shù)據(jù)存入特征數(shù)據(jù)庫。在檢索過程中，用戶提交檢索圖像，系統(tǒng)會自動地對圖像進(jìn)行相應(yīng)的處理，獲得圖像的特征數(shù)據(jù)。然后，按照IRM算法的匹配原則，計算出相應(yīng)的IRM距離，并根據(jù)IRM距離，獲取第一次檢索結(jié)果。檢索出的結(jié)果圖像不僅與檢索圖像有相似的顏色信息，且具有相似的區(qū)域信息。最后，系統(tǒng)對檢索出的前100幅圖像，根據(jù)圖像的平均高頻信號強(qiáng)度，重新降序排序，從而得到最終的檢索結(jié)果。

2.2實驗與分析

2.2.1實驗

為了驗證依據(jù)平均高頻信號強(qiáng)度降序為排序標(biāo)準(zhǔn)對城市區(qū)域檢索精度是否有所提高，在數(shù)據(jù)庫中抽取了一幅具有人工建筑物、水體和植被的圖像作為查詢圖像(圖3)，通過查詢接口進(jìn)行查詢。查詢圖像含有較少的城市信息，而水體和植被的干擾很明顯。選取這樣的圖像作為查詢圖像，是因為用IRM距離查詢時，其查準(zhǔn)率不理想，但是在使用平均高頻信號強(qiáng)度排序后，檢索查準(zhǔn)率明顯提升。同時，在實際應(yīng)用中，使用本方法可以讓用戶在沒有合適的查詢圖像的情況下得到滿意的檢索結(jié)果。最后，系統(tǒng)檢索的圖像見圖4和圖5。

圖3　查詢圖像

圖4　IRM距離查詢相似度排序結(jié)果

圖5　平均高頻信號強(qiáng)度查詢相似度排序結(jié)果

在本文中IRM距離查詢是基于圖像區(qū)域的顏色直方圖，所以檢索出來的圖像和查詢圖像在光譜特征上比較相似。但是，因為只考慮了光譜特征，IRM往往會檢索出與查詢圖像在光譜上相似，但語義上無關(guān)的圖像。為了解決這一問題，考慮到城市地塊的邊緣和建筑物的陰影等高頻信號較強(qiáng)，可用平均高頻信號強(qiáng)度來對IRM的檢索結(jié)果按降序重新排序，把平均高頻信號強(qiáng)度高的圖像排在前面，如此，雖然會導(dǎo)致排在前面的圖像與查詢圖像的光譜特征相似性下降，卻提高了被檢索到的圖像與“城市區(qū)域”這一語義概念的相似度。本文用到的查詢圖像，包含3種語義信息： 建筑、植被和水體。在城市區(qū)域檢索過程中，植被和水體屬于干擾因素，而建筑屬于需要的語義。如果單純地使用只有建筑物的圖像做查詢圖像，無法體現(xiàn)出其他語義的干擾作用。由于篇幅限制，只在檢索結(jié)果中列出了平均高頻信號強(qiáng)度最高的10幅圖像，并沒有完整地列出所有的檢索結(jié)果。綜合區(qū)域匹配算法檢索到的圖像，由于平均高頻信號強(qiáng)度較低(即與城市語義的相似度較低)，故排序相對靠后，并未在文中列出。

在檢索結(jié)果中可以發(fā)現(xiàn)，IRM距離排序結(jié)果中，圖4(d)和(i)屬于森林，與檢索目標(biāo)不符合，而其余圖像中更多地夾雜了水體和植被，勉強(qiáng)符合檢索目標(biāo)。而通過平均高頻信號強(qiáng)度排序之后，10幅圖像均屬于城市區(qū)域，在圖5(i)中，雖然含有了大量的植被信息，但仍有人工建筑的存在，符合檢索目標(biāo)。通過圖像內(nèi)容來看，排序越靠前的圖像，越含有更多的人工建筑物，城市特征越明顯，這可以為相關(guān)反饋選取樣本提供幫助。

實驗表明，通過含有少量城市信息的圖像，檢索出含有大量城市信息的圖像，把少量的城市信息擴(kuò)大化，提高了圖像所含有的城市語義的利用率，減少了由于檢索圖像語義不明確所造成的檢索錯誤。

2.2.2結(jié)果分析

本文選取10幅查詢圖像進(jìn)行圖像檢索，對綜合區(qū)域匹配算法的檢索結(jié)果和平均高頻信號強(qiáng)度逆序排序的檢索結(jié)果做比較，取檢索結(jié)果中前20幅圖的準(zhǔn)確度作為標(biāo)準(zhǔn)，綜合區(qū)域匹配算法的查準(zhǔn)率為70%，平均高頻信號強(qiáng)度反饋的查準(zhǔn)率為97%，也就是說，查準(zhǔn)率提高了27%。由此可見，平均高頻信號強(qiáng)度反饋法對城市圖像檢索的查準(zhǔn)率顯著提高。

3結(jié)論

本文根據(jù)城市區(qū)域集中出現(xiàn)邊緣、建筑物陰影及水泥屋頂?shù)雀哳l信號較強(qiáng)的地物這一特點，提出了一種以綜合區(qū)域匹配算法為圖像相似度測量標(biāo)準(zhǔn)，以平均高頻信號強(qiáng)度為排序標(biāo)準(zhǔn)的遙感圖像數(shù)據(jù)庫城市區(qū)域檢索方法。得出如下結(jié)論：

1)以平均高頻信號強(qiáng)度作為排序標(biāo)準(zhǔn)將綜合區(qū)域匹配算法的城市區(qū)域檢索查準(zhǔn)率提高了27%，證明高頻信號強(qiáng)度可以較好地反映“城市區(qū)域”這一語義概念。

2)綜合區(qū)域匹配算法僅依據(jù)圖像區(qū)域的顏色特征信息來檢索城市區(qū)域遙感圖像是不夠的，檢索結(jié)果無法完全滿足用戶的需求。針對這一問題，本文提出的方法充分利用圖像的頻率域信息來提高檢索查準(zhǔn)率，取得了一定的效果。

3)本文方法存在局限性，以高頻信號強(qiáng)度為排序標(biāo)準(zhǔn)的方法雖然提高了城市區(qū)域檢索的查準(zhǔn)率，但在一定程度上降低了檢索到的圖像與查詢圖像在顏色特征方面的相似度。這一問題還需進(jìn)一步研究。

參考文獻(xiàn)(References)：

[1]Zhang B.Intelligent remote sensing satellite system[J].Journal of Remote Sensing,2011,15(3):415-431.

[2]Li Y K.Semantic-Sensitive Remote Sensing Imagery Retrieval[M].Beijing:China Environmental Press,2014:1-7.

[3]Li Y K,Yang S W,Liu T,et al.Comparative assessment of semantic-sensitive satellite image retrieval:Simple and context-sensitive Bayesian networks[J].International Journal of Geographical Information Science,2012,26(2):247-263.

[4]Wang J,Li J,Wiederhold G.SIMPLIcity:Semantics-sensitive integrated matching for picture libraries[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2001,23(9):947-963.

[5]Tian Y M,Wu Z L,Meng L N.A region-interactive retrieval model based on IRM algorithm[C]//Proceedings of the 2005 5th International Conference on Information Communications and Signal Processing.Bangkok:IEEE,2005:692-695.

[6]Zakariya S M,Ali R,Ahmad N.Combining visual features of an image at different precision value of unsupervised content based image retrieval[C]//Proceedings of 2010 IEEE International Conference on Computational Intelligence and Computing Research(ICCIC).Coimbatore:IEEE,2010:1-4.

[7]Wang M,Song T.Remote sensing image retrieval by scene semantic matching[J].IEEE Transactions on Geoscience and Remote Sensing,2013,51(5):2874-2886.

[8]Zhuang D W,Wang S J.Content-based image retrieval based on integrating region segmentation and relevance feedback[C]//Proceedings of 2010 International Conference on Multimedia Technology(ICMT).Ningbo:IEEE,2010:1-3.

[9]李軼鯤,閆浩文,孫建國.分步式衛(wèi)星圖像檢索[J].測繪科學(xué),2009,34(6):53-55.

Li Y K,Yan H W,Sun J G.Stepwise satellite image retrieval[J].Science of Surveying and Mapping,2009,34(6):53-55.

[10]夏定元,付翩,劉麗端.一種綜合區(qū)域匹配的圖像檢索改進(jìn)算法[J].計算機(jī)工程與應(yīng)用,2012,48(26):197-200.

Xia D Y,Fu P,Liu L D.Improved image retrieval algorithm for integrated region matching[J].Computer Engineering and Applications,2012,48(26):197-200.

[11]郭媛,毛琦,陳小天,等.干涉條紋快速加窗傅里葉濾波方法的研究[J].光學(xué)學(xué)報,2014,34(6):151-155.

Guo Y,Mao Q,Chen X T,et al.Study of a fast windowed Fourier filtering method for interference fringes[J].Acta Optica Sinica,2014,34(6):151-155.

[12]李杰.基于內(nèi)容的圖像檢索方法研究[D].合肥:中國科學(xué)技術(shù)大學(xué),2008.

Li J.Research on Content Based Image Retrieval[D].Hefei:University of Science and Technology of China,2008.

(責(zé)任編輯： 邢宇)

Content-based urban area image retrieval in remote sensing image database

HU Yuxi1,2, LI Yikun1,2, YANG Shuwen1,2, YANG Ping1,2, YONG Wanling1,2

(1. Faculty of Geomatics, Lanzhou Jiaotong University, Lanzhou 730070, China; 2. Gansu Provincial EngineeringLaboratoryforNationalGeographicStateMonitoring,Lanzhou730070,China)

Abstract:How to retrieve the image data quickly and accurately from large remote sensing image database is a critical problem. Using integrated region matching (IRM) algorithm as image similarity measurement standard, this paper proposes a retrieval approach to retrieve urban area images from remote sensing image database according to Average High Frequency Signal Strength (AHFSS) values of the stored images, which are used to sort the retrieved images in descending order. The proposed approach firstly utilizes IRM algorithm to measure the similarity measurement of the stored images. Then, the proposed approach resorts the retrieved images in descending order according to AHFSS values of the stored images to obtain the final retrieval result containing high level semantic feature “urban areas”. Experimental results show that the proposed approach increases the retrieval precision by 27% and has reasonable retrieval efficiency to meet users’ requirements.

Keywords:image retrieval; urban area; image content; similarity measurement

doi:10.6046/gtzyyg.2016.03.11

收稿日期：2015-04-17；

修訂日期：2015-05-21

基金項目：甘肅省高等學(xué)校基本科研業(yè)務(wù)費項目“基于空間關(guān)系敏感的高分辨率衛(wèi)星圖像檢索技術(shù)研究”(編號： 213049)、中國博士后科學(xué)基金項目“基于高分辨率遙感影像的滑坡自動提取方法研究”(編號： 2014M552558XB)及甘肅省科技計劃項目“基于GIS和RS的城市土地利用動態(tài)演化與模擬研究”(編號： 148RJZA028)共同資助。

中圖法分類號：TP 751.1

文獻(xiàn)標(biāo)志碼：A

文章編號：1001-070X(2016)03-0067-06

第一作者簡介：胡玉璽(1990-)，男，碩士研究生，研究方向為遙感圖像檢索。Email: 598021029@qq.com。

引用格式： 胡玉璽，李軼鯤，楊樹文,等.基于內(nèi)容的遙感圖像數(shù)據(jù)庫城市區(qū)域檢索[J].國土資源遙感,2016,28(3):67-72.(Hu Y X,Li Y K,Yang S W,et al.Content-based urban area image retrieval in remote sensing image database[J].Remote Sensing for Land and Resources,2016,28(3):67-72.)