基于移動終端圖像內容檢索系統的設計

李　鑫，蒲東兵，呂健雄

(1.長春工業大學應用技術學院，吉林 長春 130012；

2.東北師范大學計算機科學與信息技術學院，吉林 長春 130117)

?

基于移動終端圖像內容檢索系統的設計

李鑫1，蒲東兵2，呂健雄1

(1.長春工業大學應用技術學院，吉林 長春 130012；

2.東北師范大學計算機科學與信息技術學院，吉林 長春 130117)

[摘要]在移動終端下對基于內容的圖像檢索技術進行了研究與探討，運用HSV顏色特征、灰度共生矩陣紋理特征的圖像檢索算法及查詢點移動相關反饋等技術設計一種運行于手持移動終端的便攜式圖像檢索系統.系統采用上位機運算處理，下位機與用戶進行交互，并呈現檢索結果的策略.結果表明，系統運行穩定，檢索速度較快，準確率較高，對移動終端下的圖像檢索應用技術起到了推動作用.

[關鍵詞]移動終端；內容；HSV；灰度共生矩陣；相關反饋

圖像自動檢索是檢索領域的難點，目前常用的方法是基于標注的圖像檢索和基于內容的圖像檢索(CBIR).基于標注的圖像檢索需要人工標注圖像，檢索效果受標注人的影響，無法滿足大規模數字圖像自動檢索的需求.CBIR不需要事先標注，僅根據圖像的顏色、紋理或空間關系等底層特征在圖像數據庫或互聯網中檢索相似圖像[1].但現有的CBIR系統都基于大規模集成電路的計算機系統，不便于用戶實時檢索圖像，而且使用成本相對較高.在移動計算設備已經普及的大環境下，本文設計了一種基于移動終端的CBIR系統.該系統可運行于手機或PAD等移動計算終端(稱為“下位機”)，采用經典算法提取圖像的HSV顏色特征和灰度共生矩陣紋理特征[2-8]，在上位機服務器或本地檢索相似的圖像，并按相似度降序返回檢索結果.為了使檢索出的圖像更加接近用戶需求，本文采用查詢點移動相關反饋技術，將用戶檢索意圖融入檢索過程中，形成一種交互式檢索機制.CBIR利用用戶反饋回來的正、反例圖像信息，自動對查詢向量進行調整，使其更加接近于正例圖像，然后對調整后的向量進行再次檢索，從而提高系統檢索的準確性.

1系統工作流程及相關反饋

1.1系統工作流程

CBIR是一種基于圖像底層特征的檢測方法，其工作流程如圖1所示.

圖1　CBIR工作流程

系統對圖像進行預處理，然后對每幅圖像進行特征提取，最后把圖像及其特征存儲到數據庫中(圖像庫、特征庫)并建立索引.當檢索圖像時，需要把待檢索圖像進行預處理、特征提取，將獲得的特征向量與特征庫中的特征向量進行相似性匹配，并按照相似度降序排序，根據給定的閾值返回圖像庫的對應圖像.待檢索圖像的特征值可以根據檢索策略直接提取，也可以利用相關反饋技術來獲取.

1.2檢索算法

本文主要采用HSV分塊顏色直方圖與灰度共生矩陣算法提取圖像的顏色特征和紋理特征.其中，HSV分塊顏色直方圖算法的思想是對圖像進行分塊后，計算每塊的顏色特征，然后根據每塊圖像空間信息的重要度設置權值為

G=HQSQV+SQV+V，

(1)

其中QS和QV分別是S和V的量化級數.灰度共生矩陣算法一般用對比度(Con)、能量(Asm)、熵(Ent)、相關性(Corr)等特征向量表示紋理特征，其計算方法分別為：

(2)

(3)

(4)

(5)

算法處理步驟如下：

(1) 將各顏色分量通過公式Gray=0.3R+0.59G+0.11B轉化為灰度，應用顏色分量的加權和計算等效的灰度，這里所用圖像灰度級均為256，R，G和B分別對應圖像的紅色分量、綠色分量和藍色分量；

(2) 對原始圖像進行灰度等級壓縮，將Gray量化成16級，目的是減少計算量，從而提高移動終端運行的效率；

(3) 計算4個共生矩陣P， 距離取1，角度分別為0°，45°，90°和135°；

(4) 對共生矩陣計算對比度、能量、熵、相關性4個紋理參數；

(5) 求對比度、能量、熵、相關性的均值和標準差作為最終8維紋理特征.

1.3相關反饋

相關反饋是用戶對系統檢索到的圖像進行評估，設置正、反例圖像，系統根據用戶的設置重新計算特征向量，然后進行再次檢索，從而達到用戶的檢索意圖.

本文采用查詢點移動相關反饋技術[9]，該技術根據公式(6)對查詢向量進行調整[10]，從而建立新的查詢向量，以便獲取到理想的檢索結果.

(6)

其中：α，β和γ為常數，是調節參數；Qi+1和Qi分別為第i+1次和第i次查詢點的位置；NR′，NN′分別為正反饋集合DN′與負反饋集合DR′中的反饋圖像個數.

根據查詢點移動方法計算相關反饋后的新特征向量，需要分別計算所有正、反例圖像特征向量的平均值，然后分別對待檢索圖像特征值及正、反例圖像特征向量的平均值進行加權.為了選取3個向量權值的合理值，本文做了大量的測試，最終選擇1.00，0.75和0.15分別為待檢索圖像、正例圖像、反例圖像的權值.最后通過加權后待檢索圖像的特征向量與加權后正例圖像的特征向量進行相加，減去加權后反例圖像的特征向量，從而得到新的特征向量.

2系統功能與框架

2.1系統功能

系統上位機開發基于Web Service的SSH框架[11]，下位機基于Android平臺，運用Android圖形布局、數據存儲[12-13]、網絡通信等技術實現了基于本地與遠程的圖像檢索功能.主要提取圖像的HSV顏色特征和基于灰度共生矩陣的紋理特征，可以單獨利用HSV或灰度共生矩陣檢索圖像，也可以融合2種特征進行檢索.在融合2種特征時，先通過灰度共生矩陣提取圖像的對比度、能量、熵、相關性等紋理特征向量，并通過曼哈頓距離計算庫中圖像與待檢索圖像的相似度，根據給定的閾值篩選出相似度高的圖像，然后根據圖像的HSV顏色特征進行再次匹配，從而得出檢索結果.為了提高檢索的準確性，系統采用查詢點移動相關反饋技術，讓用戶參與其中，形成一種交互式檢索機制，根據用戶反饋回來的正、反例圖像信息，對查詢向量進行調整，使其向正例方向移動，遠離反例方向，使得檢索結果更加符合用戶需求.

2.2系統框架

圖2　整體框架

本文主要功能框架如圖2所示.上位機用于存儲數據(圖像、圖像特征)和處理算法等，宜采用運算性能較高的計算機，本文采用臺式機作為測試上位機；下位機與用戶進行交互，同時支持基于服務器的遠程圖像查詢和基于本地的圖像查詢.所有運行Android 2.3系統以上的手機或平板電腦等都可以作為下位機，本文采用平板電腦作為測試下位機.上位機與下位機之間通過無線網絡進行通信，無線網絡可以是Wi-Fi或3G.本文采用Wi-Fi實現上位機與下位機之間數據的傳輸.

3系統設計、實現與測試

3.1開發工具與數據庫

上位機使用Tomcat、JDK、Eclipse和MyEclipse等開發工具，下位機需要JDK、Eclipse與SDK工具.上位機采用MySql數據庫，用于存儲用戶資料及圖像信息；下位機采用SQLite數據庫，用于存儲本地圖像信息.

3.2上位機功能模塊設計

上位機系統模塊主要包括圖像添加接口、管理接口、特征提取、信息處理、信息庫管理及數據存儲，如圖3所示.它主要用于處理下位機提交上來的圖像信息，包括圖像的檢索以及增、刪、改、查、下載等操作.

圖3　上位機系統模塊組成

圖像添加模塊接收來自下位機的圖像原始文件，然后對其進行預處理并提取相應的特征，將獲得的圖像信息及特征向量分別存儲到相應的數據庫.圖像管理模塊用于響應下位機發出的檢索、瀏覽、下載等請求，并借助信息處理模塊對接收的請求信息進行校對，最后通過信息庫管理模塊對下位機請求的圖像信息進行處理，并把處理結果經由管理接口模塊傳遞到下位機呈現給用戶.

3.3下位機功能模塊設計

下位機主要分為圖像檢索模塊與遠程圖像管理模塊，其中圖像檢索模塊主要用于基于本地或遠程圖像信息的檢索，如圖4所示.圖像管理模塊主要用于遠程圖像信息的增、刪、改、查等操作.

主UI界面用于選擇待檢索圖像(也稱為“樣本圖像”)、檢索算法以及本地或遠程圖像檢索數據庫.樣本圖像是本地圖像，也可以從下位機相機實時獲取.預處理模塊用于對圖像進行灰度校正、噪聲處理或大小規整等處理，以提高檢索的準確性.本文采用中值濾波預處理方法，即用像素點鄰域灰度值的中值來替代該像素點的值，以達到增強圖像感興趣區域，削弱不感興趣的區域.本文分別采用了基于HSV分塊顏色直方圖算法、基于灰度共生矩陣的紋理特征算法及融合顏色和紋理特征算法.相似度檢測用于計算圖像特征向量之間的相似度，并按相似度降序排列.本文采用了曼哈頓距離計算相似度,利用查詢點移動相關反饋技術來進一步提高檢索準確率，即允許用戶對檢索到的結果進行正、反例標記，并將標記后的結果再次送入檢索系統重新檢索，從而使檢索結果更加符合用戶的需求.

圖4　圖像檢索模塊設計示意圖

如果用戶選擇的是遠程檢索，則提取的圖像特征信息傳遞給上位機，待上位機分析處理后，把檢索到的圖像按相似度由高到低的順序傳遞給下位機，由下位機檢索結果展示UI給用戶，如圖5所示.如果用戶選擇的是本地檢索，則進行基于本地圖像庫的圖像檢索.

圖5　遠程圖像管理模塊設計流程

圖像接口模塊主要負責上位機與下位機信息的交互，包括圖像文件的上傳、瀏覽、修改、下載、刪除等接口.UI、圖像信息添加模塊主要用來選擇需要向上位機上傳的圖像源文件，由圖像接口模塊將圖像源文件上傳到上位機，上位機運算處理后再通過此模塊把返回信息呈現給用戶.UI、遠程圖像操作模塊主要用來對上位機圖像庫進行操作管理，包括遠程圖像的瀏覽、編輯、下載、刪除.

3.4下位機與上位機的數據交互

下位機與上位機通過Web Service進行信息傳輸[14].Web Service是指駐留在Internet上的某種計算機應用程序，可以解析HTTP協議.通過基于Android版本的jar包獲取服務器端Web Service的調用.具體步驟如下：

(1) 下載KSOAP的jar包，并引用到要開發的Android項目中；

(2) 實例化SoapObject對象，并設定Web Service的命名空間和調用的方法名稱；

(3) 假設方法有參數的話，通過addProperty(“參數名稱”，“參數值”)設置調用方法參數；

(4) 設置SOAP請求信息(注：參數中SOAP協議版本號與Web Service中保持一致)；

(5) 注冊Envelope；

(6) 構建傳輸對象，并指明WSDL文檔URL；

(7) 調用Web Service(其中參數1為命名空間+方法名稱，參數2為Envelope對象)；

(8) 解析返回數據，獲取請求信息.

3.5相關反饋技術的實現

本文根據查詢點移動方法計算相關反饋后的新特征向量，需要分別計算所有正、反例圖像特征向量平均值，然后分別對樣本圖像特征值及正、反例圖像特征向量的平均值進行加權，3個向量的權值需要進行大量的測試實驗才能獲取相對合理的值，本文設置的樣本圖像、正例圖像、反例圖像的權值分別為1，0.75和0.15，最后通過加權后樣本圖像的特征向量與加權后正例圖像的特征向量進行相加，減去加權后反例圖像的特征向量，從而得到新的特征向量.

3.6系統測試

系統測試采用的圖像庫是Corel圖像庫的一個子庫，其中包括恐龍、花朵、建筑物等10類圖像，每類圖像100幅，共1 000幅，都是384像素×256像素的圖像.上位機采用系統為I3/3.30 GHz臺式機，下位機是運行Android4.0系統的基于ARM核的平板電腦，網絡環境為TP-LINK無線路由器搭建的無線局域網.

圖6所示的是下位機主UI界面.首先進行的是不帶相關反饋的圖像檢索.通過點擊本地圖像按鈕，打開本地文件夾，從中選取樣本圖像，對樣本圖像進行基于HSV顏色直方圖、灰度共生矩陣以及融合這2種特征的方法進行檢索.檢索結果如圖7—9所示.

圖6　下位機主界面

圖7　顏色特征檢索

圖8　紋理特征檢索

圖9　融合顏色和紋理檢索

圖10　顏色+反饋后檢索

圖11　紋理+反饋后檢索

圖12　融合+反饋檢索

進行相關反饋時，可在檢索結果顯示UI中單擊其中任意一張圖像都會彈出一個正、反例圖像標記的對話框，用戶通過選擇正例或反例對圖像進行標記，進行再次檢索，從而形成一種用戶參與其中的交互檢索機制，即相關反饋.圖10—12所示的是相關反饋后，再次采用3種檢索策略所獲得的檢索結果.

在測試時，通過對數據庫中花朵、恐龍、公交車、宮殿建筑4類圖像的檢索對比，結果顯示恐龍結構比較簡單，圖像利用顏色特征會獲得較高的檢索準確率，其查準率和查全率分別為92%和46.3%；而基于灰度共生矩陣紋理特征的查準率和查全率分別為66.7%和33.3%；融合2種特征的查準率和查全率分別為94.7%和47.3%.對宮殿建筑這類結構復雜的圖像檢索準確性較低，其基于HSV顏色特征的查準率、查全率分別為40%和20%；基于灰度共生矩陣紋理特征的查準率、查全率分別為26.7%和13.3%；上述2種特征綜合算法的查準率、查全率分別為41.3%和20.7%.另一方面，在1 000幅的圖像庫中，系統在遠程檢索同一幅圖像時大約需要7.8 s，圖像緩存到本地后，再次檢索只需2.1 s，而基于本地的圖像檢索平均需要2.3 s.

4結束語

本文通過HSV顏色特征及灰度共生矩陣的紋理特征算法實現了基于手持移動終端設備的圖像檢索系統，并采用查詢點移動相關反饋技術，對檢索結果進行了優化，使得檢索結果更加符合用戶需求.用戶通過該系統可進行本地或遠程的圖像檢索，使基于內容圖像檢索更加方便，同時解決了上位機體積大不便于攜帶與下位機存儲空間不足的問題.通過該系統還可以對遠程圖像信息進行增、刪、改、查管理，提升了其實用性.從實驗過程及結果可以看出，HSV顏色特征對空間復雜及維數較高的圖像容易造成誤檢，基于灰度共生矩陣的紋理特征算法對紋理復雜的圖像檢索性能較差，后續工作將重點研究和實現多模態下的圖像檢索.

[參考文獻]

[1]黃祥林，沈蘭蓀. 基于內容的圖像檢索技術研究[J]. 電子學報，2002，30(7)：1065-1071.

[2]孫君頂，毋小省. 基于顏色分布特征的圖像檢索[J]. 光電子·激光，2006，17(8)：1009-1013.

[3]陳海霞，崔茜. 基于Gabor小波和PCA的人臉識別[J]. 東北師大學報(自然科學版). 2014，46(4)：77-90.

[4]李向陽，莊越挺，潘云鶴，等. 基于內容的圖像檢索技術與系統[J]. 計算機研究與發展，2001，8(3)：344-354.

[5]李丙春. 基于共生矩陣的圖像紋理特征提取及應用[J]. 喀什師范學院學報， 2006，27(6)：35-37.

[6]姜蘭池，沈國強，張國煊. 基于HSV分塊顏色直方圖的圖像檢索算法[J]. 機電工程，2009，26(11)：54-57.

[7]宋嚴，趙永哲. 改進的HFEM公鑰密碼方案在數字簽名上的應用設計[J]. 東北師大學報(自然科學版)，2014，46(3)：69-74.

[8]孟繁靜，王連明. 視頻人臉識別系統中的最佳人臉捕獲[J]. 東北師大學報(自然科學版)，2015，47(3)：90-95.

[9]黎琳，趙英. 基于內容的圖像檢索反饋技術概述[J]. 圖書情報工作，2006，50(11)：95-98.

[10]RICARDO B， BERTHIER R. Modem information retrieval [J]. Addison Wesley Longman，1999， 47(7)：173-257.

[11]沈鏞. 軟件開發中SSH框架技術研究與應用[J]. 福建電腦，2010，26(6)：82-83.

[12]張恒喜，史爭軍. 基于SQLite的Android數據庫編程[J]. 電腦編程技巧與維護，2011 (21)：30-31.

[13]孫語澤，遲嘉，胡亮. 一種基于DES加密算法的Adnroid平臺與服務器通信加密的實現[J]. 東北師大學報(自然科學版)，2015，47(3)：78-83.

[14]孟瓊. 基于Spring Java Bean的Web Service服務[J]. 計算機與現代化，2012 (1)：194-195，198.

(責任編輯：石紹慶)

Design of content-based image retrieval system on mobile terminal

LI Xin1， PU Dong-bing2， Lü Jian-xiong1

(1.School of Applied Technology， Changchun University of Technology， Changchun 130012， China;2.School of Computer Science and Information Technology， Northeast Normal University， Changchun 130117， China)

Abstract:This paper firstly researches on the technology of content-based image retrieval (CBIR). And then gives the Design and implementation of a portable CBIR system (CBIRS) on handheld mobile terminals. The CBIRS can successfully find similar images by their features including HSV (Hue， Saturation， and Value)， gray level co-occurrence matrix and relevance feedback technology. The whole system consists of an upper computer and several lower computers. Retrieval algorithms are processed on the upper computer. Users can interact with the lower computer and check the result of image retrieval. Experiments show the CBIRS runs stably. It can find those similar images fleetly and accurately. The work of this paper will push forward the technology of CBIR on mobile terminals.

Keywords:mobile terminal；content-based；HSV；gray level co-occurrence matrix；relevance feedback

[中圖分類號]TP 274+.2[學科代碼]490·10

[文獻標志碼]A

[作者簡介]李鑫(1977—)，女，講師，主要從事軟件工程研究；通訊作者：蒲東兵(1970—)，男，博士，副教授，主要從事智能控制與嵌入式系統、模式識別研究.

[基金項目]吉林省科技發展計劃項目(201105056)；吉林省發改委資助項目(JF2012C004，2014Y101)；吉林省教育廳“十二五”科學技術研究項目(2015102).

[收稿日期]2014-09-03

[文章編號]1000-1832(2016)01-0072-06

[DOI]10.16163/j.cnki.22-1123/n.2016.01.016