基于內容的圖像檢索相關反饋算法的改進

摘 要:基于內容的圖像檢索研究(Content-based Image Retrieval， CBIR)的目的是實現自動地#65380;智能地檢索圖像，研究的對象是使查詢者可以方便#65380;快速#65380;準確地從圖像數據庫中查找特定圖像的方法和技術#65377;本文在改進傳統的相關反饋算法基礎上，引入可更新的特征庫，可以將用戶反饋的信息逐步嵌入到這個可更新特征庫中#65377;實"，"Introduction":1，"Columns":"算法分析與研究"，"Volume":1，"Content":"

摘 要:基于內容的圖像檢索研究(Content-based Image Retrieval， CBIR)的目的是實現自動地#65380;智能地檢索圖像，研究的對象是使查詢者可以方便#65380;快速#65380;準確地從圖像數據庫中查找特定圖像的方法和技術#65377;本文在改進傳統的相關反饋算法基礎上，引入可更新的特征庫，可以將用戶反饋的信息逐步嵌入到這個可更新特征庫中#65377;實驗結果證實了本文改進算法的有效性#65377;

關鍵詞:圖像檢索;紋理;特征提取;相似性度量;相關反饋

中圖分類號:TP393文獻標識碼:A

1 前 言

基于內容的圖像檢索(CBIR)技術是由計算機自動提取包含圖像內容的可視化特征:顏色#65380;紋理#65380;形狀#65380;輪廓#65380;對象的位置和相互關系等，對數據庫中的圖像和查詢樣本圖像在特征空間進行相似匹配，檢索出與樣本相似的圖像#65377;與傳統標注文本數據庫檢索的拓展相比，CBIR在檢索精度#65380;表達方法#65380;檢索速度等方面有著無可比擬的優越性#65377;

對CBIR技術的研究重點大多放在視覺特征的提取，包括顏色#65380;紋理#65380;形狀#65380;輪廓等#65377;近年來研究者又引入了更多領域的知識:從知識表示的角度運用人工智能領域的推理及神經網絡技術來提取特征和分類圖像;構造面向對象的CBIR系統;開發面向網絡的CBIR系統;并行CBIR技術也被提上議程#65377;CBIR技術已經成為融合了模式識別#65380;人工智能#65380;圖像處理等多個知識領域的研究熱點，能夠并已經開始應用于WWW上的圖像檢索#65380;圖像過濾#65380;數字圖書館#65380;視頻內容檢索#65380;預防犯罪(指紋識別)#65380;軍事#65380;知識產權(商標)#65380;建筑與工程設計#65380;文化遺產#65380;醫療診斷#65380;地理信息系統和遙感等多個領域#65377;

國內外眾多的專家學者對基于內容的圖像檢索技術進行了大量研究，并且取得了不少成果#65377;如在利用顏色特征進行檢索方面，Swain提出了直方圖相交法^[1];Stricker^[2]提出了累加直方圖法等#65377;在利用紋理特征進行圖像檢索方面，Tamura特征法則是Tamura等人通過對6個與人的視覺感受相關的紋理特征的研究^[3]，采用粗糙度#65380;對比度#65380;方向性作為紋理特征;Gabor和小波模型法則是對圖像進行多分辨率濾波，提取比付氏法更豐富的紋理特征#65377;Gabor濾波函數是完備的非正交函數集，B.S.Manjunath和W.Y.Ma^[4]先消除系列Gabor濾波器的元余度(相關性)，然后又設計了一種自適應濾波器選擇方法，大大降低了計算量，最后以Gabor小波變換系數的均值和方差作為紋理特征進行圖像檢索#65377;在利用形狀特征進行檢索方面，A.K.Jain^[5]利用Canny邊界檢測算子找出圖像的邊界，再統計邊界的方向直方圖，以此作為形狀特征結合顏色直方圖對400幅商標圖像庫進行檢索，取得了很好的效果#65377;在相關反饋基礎技術圖像檢索方面，Rui等提出的修改特征向量和特征分量權重的方法^[6]#65377;

本文主要對已有的相關反饋算法進行了改進#65377;改進算法在修改特征向量和特征分量權重的同時，通過拉近和推遠正負反饋圖像的特征，將用戶對系統的反饋信息更新到特征庫中，使以后的檢索請求可以充分利用此信息，實驗測試證實了該算法的高效性#65377;

計算技術與自動化2007年6月第26卷第2期李慶先:基于內容的圖像檢索相關反饋算法的改進2 基本反饋算法

傳統的相關反饋檢索過程如下:首先由用戶向系統提出查詢請求系統根據查詢實例的特征在特征索引庫中查找與之相似的特征向量，從而返回給用戶這些特征向量所對應的圖像#65377;然后，用戶對系統檢索到的圖像與查詢圖像之間的相似度做出評價比如簡單地評價為相似或不相似或標注出檢索到的圖像與查詢實例的相似程度#65377;將此信息反饋給系統，系統對查詢實例的特征和特征分量在相似度度量中的權重進行修改然后再做特征匹配進而返回更接近于用戶查詢意圖的圖像#65377;經過這樣一次次的反饋，系統逐漸返回給用戶所期望的結果#65377;式(1)是系統根據用戶反饋信息對查詢實例的特征所做的更新#65377;

式中QT表示更新后的查詢特征向量，X是由所有檢索回圖像的特征向量組成的矩陣，N是系統檢索回的圖像個數，πΑ是用戶對每幅圖像的標注權重組成的向量#65377;

式(2)表示系統根據用戶反饋信息對各個特征分量的匹配權重所做的更新#65377;

式中，W為權值矩陣;C是X的加權方差陣;K是特征向量的維數，當N

通過以上對特征向量的修改可以使該向量逐漸逼近要檢索圖像類的特征向量中心#65377;而對于特征分量權重的修改相當于對原特征空間做一次次的空間變換，將原特征空間中比較分散的同一類特征向量映射到新空間的超橢球體內#65377;

3 相關反饋算法的改進

基本反饋算法對特征分量權重所做的修改，雖然相當于特征空間的一種非線性變換，但并沒有改變特征庫中的特征向量，因此在下一次查詢請求中無法利用這次查詢的結果#65377;為克服此問題本文對反饋算法的第一個改進是:在修改目標特征向量的同時將相似的反饋圖像的特征向量向目標特征向量移動，位移量由一個收縮因子c來控制，如式(4)所示#65377;

式中，PK#65380;PK+1表示相似圖像在更新前后的特征向量，QK+1表示已更新的查詢向量，通過式(4)使相似圖像的特征向量更加集中#65377;

在實際檢索系統中，為減少用戶操作的復雜程度，用戶的反饋標注往往選用較簡單的方式，即對每一個檢索到的圖像只標注正確或錯誤，因此式(1)中πn的取值為1或0，所以，在對目標特征向量修改時，只有正確的圖像發揮作用#65377;

針對此問題，本文的另一個改進是:將那些負反饋圖像的特征向量沿著遠離目標特征向量的方向推移#65377;與正反饋圖像類似，選用一個擴散因子來控制推移的距離，如式(5)所示#65377;

式中NK#65380;NK+1表示更新前后負反饋圖像的特征向量#65377;圖1給出了這種拉近和推遠的修改過程#65377;

在圖1中正反饋向量P將向目標向量Q移動，具體移動距離由收縮因子決定;負反饋向量N1將向遠離目標向量Q方向移動，具體移動距離由擴張因子決定#65377;可以預見，當對N1進行外推移動之后，原本在檢索范圍之外的正例樣本P4將有很大機會在下次檢索中進入檢索范圍#65377;實驗證明，這種修改在提高檢索準確率的同時明顯減少了系統的反饋次數#65377;

4 實驗仿真

根據上述對紋理圖像檢索技術的研究，設計實現了一個實驗系統，采用Gabor紋理特征和Tamura紋理特征共同組成檢索用特征向量，完成基于紋理特征的圖像檢索#65377;

在對特征庫進行修改時，為防止正反饋圖像的特征收縮于一個極小的范圍，而不利于下一個用戶的反饋修改，系統作如下限制:當正反饋圖像的個數在反饋過程中不發生改變時，系統不再對正反饋圖像特征進行收縮修改，而只對負反饋圖像特征進行擴散修改#65377;目的是為了保證在隨后反饋中，那些尚未進入檢索范圍的相似圖像特征有進入此范圍的可能#65377;而在基本反饋算法中，如果出現上面情況，系統的權重矩陣往往無法更新，從而導致系統反饋停滯不前#65377;

關于修改特征庫的變化趨勢，可以從以下兩種極限情況分析#65377;如果低層特征與人的視覺感知是完全一致的，那么，修改特征庫仍將保持原始特征庫的構成#65377;如果低層特征與人的視覺感知很不一致，那么，修改特征庫中的特征將按照用戶反饋的信息來分布，低層特征最終將被拋棄，從而使語義相似的圖像特征在特征空間中聚集在一起#65377;而在實際情況下，由于低層特征一般能夠部分反映語義層內容，所以修改特征庫將會成為上述兩種情況的中間產物:構建在低層特征基礎之上的語義特征庫#65377;

如果能將以上修改信息保存下來，無疑將會提高系統在以后檢索中的性能#65377;但是，當修改了圖像特征庫之后，庫中圖像的特征向量已經與最初的圖像特征不同了#65377;修改后的特征向量不再是簡單的低層特征，而是一個綜合了低層特征與語義層特征的新的圖像特征描述#65377;因此在下一次檢索請求中，由于檢索實例的特征向量仍然只是由計算機直接計算的低層特征，所以很可能無法在此修改后的特征庫中找到本應與之匹配的特征向量，從而在系統的第一次返回圖像中沒有相關圖像，這就使得后面的反饋機制難以實現#65377;為了解決此問題，本文建立兩個特征索引庫，即一個原始特征庫和一個動態更新特征庫#65377;這兩個庫最初是相同的，系統對特征庫所做的修改僅限于動態更新特征庫#65377;由于這兩個特征庫最初是同一個庫，所以它們之間存在精確的一一對應關系#65377;在這種機制下，系統在用戶提出檢索請求之后的第一次檢索計算時使用原始特征庫，然后將得到的特征向量映射到修改特征庫中，從而在以后的反饋檢索中使用修改特征庫，比較有效地解決了上面的問題#65377;

為了驗證本文所述算法的有效性，我們在實驗系統的基礎上設計了兩大類實驗，分別驗證一次檢索的有效性和用戶反饋的有效性:①一次檢索的查準率(Precision)和查全率(Recall)試驗;②用戶反饋試驗#65377;實驗將分別在Brodatz紋理庫和uni-bonn紋理庫上進行#65377;在檢索精度上，主要是通過其查準率和查全率來進行判斷的#65377;在本文中圖像的查準率為由該圖像檢索返回的15幅圖中與所查詢圖像有相同紋理的圖像的比例，而判斷是否具有相同紋理則是按照圖像是否來源于同一個大圖像，即圖像的名稱中“-”前的部分是否相同#65377;

實驗結果表明圖像D74-14的圖像查準率11/15=73.3%，用灰度共生矩陣的方法檢索為0/15=0%，用Gabor-Euclid的方法檢索為8/15=53.3%;圖像D27-2的圖像查準率為9/15=60%，用灰度共生矩陣的方法檢索為1/15=6.67%，用Gabor-Euclid的方法檢索為8/15=53.3%，可見本文的方法要明顯優于灰度共生矩陣的方法#65377;另外，我們還對兩種紋理圖像測試集做了對比實驗，如圖2#65377;

可以看到，Uni-Bonn紋理對應的總平均查準率比Brodatz紋理的要高#65377;這主要是因為Uni-Bonn測試集中的紋理主要是均勻分布的隨機性紋理，各個子圖之間有較大的相似性，而Brodatz紋理中含有許多結構性紋理和非均勻分布的紋理，4x4分割后的子紋理之間相似度相對較小#65377;

在查全率的實驗中，對圖像庫中的每一個圖像，分別尋找與之最相似的前10，15，20，25和30幅圖中包含有與其切割自同一個紋理類別(大圖)的圖像的個數n，則每一個圖像的查全率為n/15#65377;最后定義測試集中所有圖像的總平均查全率為圖像庫中所有圖像的查全率的平均值#65377;通過將圖像庫中的每個圖像作為測試圖像進行圖像檢索，用我們的方法獲得了如圖3所示的2個紋理測試集的總平均查全率隨最大檢索匹配數取值而變化的曲線#65377;可以看到，如前所述Uni-Bonn紋理對應的總平均查全率依然比Brodatz紋理的要高#65377;

為了更精確地研究此算法的性能，并與基本反饋算法做比較，本文選用Brodatz紋理集的非均勻紋理類別D39來進行測試，采用分割自D39的16幅子圖的平均查準率來衡量其性能#65377;

圖4是對基本反饋算法和改進的反饋算法做的測試結果圖，檢索返回圖像數為15個#65377;由圖4可以看出，基本反饋算法在5次反饋后只能達到接近40%的查準率，而改進的反饋算法，在4次反饋后可以達到60%的查準率，由此可以看出改進的反饋算法要優于基本的反饋算法#65377;由于測試集特意選擇非均勻紋理類別和我們判別檢回圖像是否相似的方法，所以，反饋很難檢回切割自同一紋理類別的所有子圖#65377;

5結論

通過對由Brodatz紋理和Uni-bonn紋理組成的實驗圖像庫檢索，利用本文的方法與其他常用的方法進行了比較，實驗證明本文提出的方法不僅比其他方法檢索得更精確而且可以通過用戶反饋進行多次檢索，達到圖像低層信息和用戶視覺信息相結合的目的#65377;但本文提出的圖像檢索方法只是使用了圖像的紋理特征，要使此檢索方法能夠應用到更多的圖像檢索領域中，還需要把更多的圖像特征，如顏色#65380;形狀等特征結合進來#65377;

注：本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文。