圖像搜索引擎檢索模式分析與研究

焦 蕾，殷鋒社

（陜西工業職業技術學院 陜西 咸陽 712000）

圖像搜索引擎檢索模式分析與研究

焦 蕾，殷鋒社

（陜西工業職業技術學院 陜西 咸陽 712000）

文中研究如何從HTML文檔中提取圖片相關信息，保證高效和準確的實現圖片檢索。在對圖像搜索引擎檢索模式分析的基礎上，提出了若干關鍵技術，設計并實現了一個基于文本的Web圖片搜索引擎，給出了系統的總體結構圖，并對獲取網頁、提取信息、圖片抓取、建立索引和提供查詢進行了詳細的描述，分析了圖像搜索引擎的檢索模式。

圖片檢索；搜索引擎；關鍵技術； 總體結構圖

圖像搜索引擎的檢索模式[1]就是它的檢索方式，根據這些檢索方式來確定不同的檢索策略。圖像檢索模式的核心問題是降像特征的抽取和降像檢索。前面的降像搜索引擎的案例代表了兩種不同的檢索模式：基于文本的檢索模式和基于內容的檢索模式，此外還有基于兩者結合的綜合特征的檢索模式。下面就對圖像搜索引擎檢索模式進行分析，并探討不同的應用狀況。

1 基于文本的檢索模式

圖像檢索自二十世紀70年代以來就成為信息檢索中一個非常活躍的研究領域。基于文本的圖像檢索模式最先應用于圖像檢索中。

1.1 圖像特征抽取

原始圖像特征的數量可能很大，或者說是處于一個高維空間中，通過映射（或變換）的方法可以用低維空間來表示圖像，這即為圖像的特征抽取。要想快速和方便地檢索到圖像，就要對圖像數據庫中的圖像進行特征抽取，并建立相應的索引，以方便用戶的檢索。

基于文本的圖像檢索[2]是對圖像的名稱、編號、內容描述、圖像大小、圖像所在文件的大小、圖像來源、作者、建立圖像的時間、存儲地點等關鍵性的信息采用自動標引或進行人工注釋，并進行圖像的特征抽取，建立圖像索引數據庫，然后按全文數據庫管理，采用全文數據庫檢索方法。

1.2 圖像檢索

現在基于網絡的圖像搜索引擎大都采用這種基于文本的檢索模式。網絡上的圖像文件通常以GIF，JPG，PNG等作為擴展名的。提到的網絡圖像搜索引擎 （Google，Corbis）通過IMGSRC和HREF兩個HTML標簽檢測是否存在可以顯示的圖像文件。因為凡是在超文本中可以直接顯示的圖像，通常都是用這兩種標簽導向這個圖像文件的。IMGSRC表示“顯示下面的圖像文件”，而 HREF標簽則表示“下面是一個鏈接”，搜索引擎通過檢查文件擴展名來確定鏈路所鏈接的是否是圖像文件。如果文件后綴是GIF，JPG或者PNG，那么它就是一個可顯示的圖像。但是依據文件擴展名和超文本標識符檢到的圖像，不是圖像本身具體的內容。如Google抽取圖像的題名、圖像大小、圖像內容的描述語言、圖像所在文件的大小、圖像來源、作者、建立圖像的時間、存儲地點等信息，專門針對這些圖像信息建立索引。Corbis通過人工對圖像信息標注。

基于文本的檢索模式采用的是全文數據庫的檢索方法。檢索方式[3]分為關鍵詞檢索和分類檢索。

關鍵詞檢索有簡單檢索和高級檢索兩種。

Google用關鍵詞檢索圖像，延續了文本檢索的方法。可以使用布爾邏輯檢索、限制檢索，可以通過關鍵詞的組配和高級檢索中提供對圖像大小、格式、顏色等的限制的檢索。

每個網頁都有一個標題，標題有時能概括該網頁的內容，該網頁則又是有圖像的網頁，那么就可以利用標題來檢索。

還有通過人工輔助將圖像按照圖像所在的文件名、路徑名、圖像內容描述等加以標注，然后搜索引擎通過讀取文件名、文件名使用的路徑，或者是跟在IMGSRC標簽后的ALT標簽，來逐步導向要搜索的圖像。或者是先由搜索器自動搜索網絡上的圖像，再由專業人員對搜索器自動搜索到的圖像進行人工鑒別和分類，利用用戶的相關反饋的方法將更新的信息不斷地加入到數據庫中。

基于文本的圖像搜索引擎的檢索模式分為兩部分[4]：首先搜索引擎對圖像語義特征的提取，放入語義庫中。圖像往往帶有標題和文字說明，這些信息也可作為檢索圖像的線索，圖像的文字解說包括的內容更豐富一些，可供檢索之用。在超文本文件中的IMG標識中設立ALT選擇符的本來目的是用文字告知只顯示網頁文字內容的用戶在某個位置原來應該有什么圖像。但是正是這些標識符為圖像檢索提供了途徑。其次用戶提交查詢關鍵詞，搜索引擎對關鍵詞進行語義特征提取。對用戶提交的關鍵詞和圖像中抽取的關鍵詞進行特征匹配，根據相關度排序，得到檢索結果，用戶的相關反饋將更新的信息不斷的加入到數據庫中。基于文本的圖像搜索引擎的檢索就是將圖像檢索轉化成文本檢索。圖1表示出了基于文本檢索模式的基本框圖。

圖1 文本檢索模式的基本框圖Fig.1 Text retrieval model of the basic block diagram

但是，這種基于文本的檢索是借助傳統的文本信息檢索技術來實現多媒體檢索的，它存在著局限性：1）要對所有的圖像進行關鍵詞標注，然后才能利用全文檢索技術對圖像進行搜索，隨著網絡圖像信息的增加，這種方法需要較多的人工參與；2）圖像中所包含的信息很豐富，不同的人對同一幅圖像的理解不同，文字描述僅是一種特定的抽象，也就是特定的描述針對特定的對象。目前這種文字的描述是靠人主觀觀察得到的，不同的人對同一幅圖像的特定描述是不同的，這就導致了對圖像標注沒有一個統一的標準，造成檢索結果不能夠符合用戶的需求。

2 基于內容的檢索模式

基于圖像內容的檢索[5]指的是查詢條件本身就是一個圖像，或者是對圖像內容的描述，建立索引的方式是通過提取底層特征，然后通過計算機比較這些特征和查詢條件之間的距離，來決定兩個圖片的相似程度。前面提到的WEBSEEK和QBIC都是基于內容檢索的圖像搜索引擎。

2.1 圖像特征抽取

圖像是平面上像素的集合，表示像素的數據是最基本的圖像內容，但不能用于檢索，因為像素數據太多，與人的視覺感知沒有直接的關系。圖像的視覺特征是在像素數據基礎上提取的，與人的視覺感知相關，而是人的視覺感知進行高級抽象的基礎。

1）顏色特征

顏色是描繪圖像的一個最簡便的特征，具有與生俱來的旋轉不變性和尺度不變性。典型的顏色特征有顏色直方圖特征、顏色矩特征、顏色相干特征矢量等。

2）紋理特征

紋理特征表示視覺的基本結構，尤指復雜的精致的基本結構或組成，或表面外貌和表面感覺、不平或粗糙的表面特征。紋理特征包括粗糙性、對比度、周期性、凸凹性等。典型的紋理特征包括紋理特征、小波紋理特征、共現自回歸紋理特征等。

3）形狀特征

形狀特征是某一對象的表面配置、輪廓或周線，對象的外形通過其輪廓和形狀與其周圍的對象相區別。形狀包括圖像對象邊界、邊界拐點、形狀的質心和各階矩等。

這些低層特征通過各種方法抽取出來，形成一組特征向量，建立相關索引并存儲到數據庫中。目前對于圖像內容索引采用多維索引算法，根據特征數據集在特征空間中的分布特性，將數據切分成子數據集，并對子數據集建立描述，把圖像特征的主要成分抽取出來，然后再建立索引，存入數據庫當中。

3 圖像檢索

基于內容的圖像特征的抽取決定了基于圖像內容的檢索方式，下面以基于物理層特征的圖像檢索方式來說明基于內容的圖像檢索模式。

3.1 顏色檢索

WEBSEEK先通過圖片瀏覽得到所想要的圖像的范圍，然后可以通過顏色來檢索，它的“col”檢索方式就是根據該圖顏色在檢出圖像列表中搜索相關圖像，“his”檢索方式則通過手動調整檢出圖像的顏色直方圖來進行另一新的檢索，“web”檢索就是要在整個Web SEEK目錄中根據該圖顏色再次檢索相近圖像。QBIC把顏色作為缺省的檢索手段。如在需要檢索大海時，指定圖像中的主要顏色藍色（對應海水）的大致比例就可以此為根據查找與此顏色分布類似的圖像。

3.2 紋理檢索

紋理檢索也是基于內容檢索的一個主要方式。紋理檢索和紋理分類技術是密不可分的。針對不同系統的應用要求在紋理檢索的實現中采用不同的紋理識別方法。前面的提到的QBIC提出3種紋理描述：粗糙度、對比度、方向性。

3.3 形狀檢索

示例檢索和草圖檢索就是典型的形狀檢索。前面提到的俄羅斯國家藝術博物館搜索圖像就可以利用形狀檢索的方式。用戶可以向QBIC系統提供一幅草圖，就可以檢索到相關的圖像。如需要檢索海邊口落，就可以提供紅色太陽的形狀，藍色大海的形狀，然后就可以據此查找了。

用戶提交查詢，系統根據提交的查詢，在圖像數據庫中找到一些最相似的圖像返回給用戶。提交的查詢將轉化為一個由低層特征和高層特征結合的向量，然后分別與數據庫中圖像的向量計算相似度。相似度的計算分為兩步[6]：一是計算低層特征的相似度，二是計算高層語義特征的相似度，然后采用線性組合的方法得到最后的相似度。相似度高的圖像成為檢索的結果。基于內容的檢索模式的基本框圖如圖2所示。

圖2 內容的檢索模式的基本框圖Fig.2 Content retrieval model of the basic block diagram

4 結束語

基于內容的檢索模式主要依據圖像的畫面內容特征和主題對象特征（即圖像的實際內容）來標引和檢索。這種技術由圖像分析軟件自動抽取圖像的顏色、形狀、紋理等特征，建立索引庫，檢索時可依據用戶輸入的圖像某一特征（例如繪制的草圖、輪廓圖或調用的相似圖像）自動比較特征索引庫中的對應特征信息，將最佳匹配結果和相關信息輸出，其過程不需要過多的人工干預，具有較強的客觀性。

但是基于內容的檢索也存在著不足：用戶通常使用高層語義概念來判斷圖像之間的相似性，雖然低層視覺特征具有直觀性，但是這些特征并不能真正代表圖像的語義特征，ifu}_圖像的低層視覺特征和高層語義特征概念不存在直接的聯系，所以基于內容的圖像檢索結果也不能令用戶很滿意。所以，圖像檢索模式仍然是以基于文本的檢索為主，網上少數圖像數據庫檢索是基于內容的檢索。

[1]熊回香.基于內容的圖像檢索技術的發展方向[J].現代圖書情報技術，2004（12）：30-33.

XIONG Hui-xiang.Image retrieval technology based content development direction[J].New Technology of Liberary and Information Service，2004（12）：30-33.

[2]何潔.圖像搜索引擎[J].化工之友，2003（10）：34-38.

HE Jie.Image search engine[J].Friend of Chemical Industry，2003（10）:34-38.

[3]HAI Zhu-ge.Retrive wages by understanding semantic links and clustering image fragments[J].The Journal of System and Software，2003（12）:32-36.

[4]劉偉成，孫吉紅.基于內容的圖像信息檢索綜述[J].情報科學，2002（4）：431-435.

LIU Wei-cheng，SUN Ji-hong.Summary on content based image retrieval[J].Information Science，2002（4）:431-435.

[5]李國輝，湯大權，武德峰.信息組織與檢索「M].北京：科學技術出版社，2003.

[6]土朝暉，龔聲蓉，唐國維.基于內容的圖像檢索中的一種多維索引算法[J].計算機工程與應用，2003（9）：112-114.

TU Zhao-hui，GONG Sheng-rong，TANG Guo-wei.The content based image retrieval in a multidimensional indexing algorithm[J].Computer Engineering and Applications，2003（9）:112-114.

Analysis and design of image search engine retrieval mode

JIAO Lei，YIN Feng-she
（Shanxi Polytechnic Institute，Xianyang712000，China）

Study on how to extract images from the HTML document related information，to ensure efficient and accurate image retrieval.The image search engine retrieval mode on the basis of the analysis， put forward some key technology， design and realization of a text based Web image search engine，gives the overall structure of the system，and access to information extraction， webpage， picture crawling， indexing and query provided a detailed description， analysis image search engine retrieval model.

image retrieval； search engine； key technology； system structure diagram

TP3-05

A

1674－6236（2012）05-0132-03

2012-01-08稿件編號：201201028

焦 蕾（1981—），女，陜西紫陽人，助教。研究方向：軟件設計。