粒子群優(yōu)化結(jié)合相關(guān)反饋的花卉圖像檢索

朱丹紅， 柯 逍, 2， 葉 菁

(1. 福州大學(xué)數(shù)學(xué)與計算機科學(xué)學(xué)院， 福建 福州　350116；2. 福建省網(wǎng)絡(luò)計算與智能信息處理重點實驗室， 福建 福州　350116)

?

粒子群優(yōu)化結(jié)合相關(guān)反饋的花卉圖像檢索

朱丹紅1， 柯 逍1, 2， 葉 菁1

(1. 福州大學(xué)數(shù)學(xué)與計算機科學(xué)學(xué)院， 福建 福州350116；2. 福建省網(wǎng)絡(luò)計算與智能信息處理重點實驗室， 福建 福州350116)

摘要：針對花卉圖像特性， 為平衡花卉圖像檢索系統(tǒng)的檢索精度與速度， 提出一種將粒子群優(yōu)化結(jié)合于花卉檢索相關(guān)反饋的算法. 算法以2RGB為花卉圖像的顏色模型， 選取計算量較小的圖像低層特征描述， 按用戶的滿意度對檢索結(jié)果進行評價， 指導(dǎo)反饋過程中粒子的最優(yōu)運動方向. 實驗結(jié)果表明， 該算法能有效提高系統(tǒng)的檢索效率.

關(guān)鍵詞：花卉圖像檢索； 粒子群優(yōu)化； 相關(guān)反饋； 檢索效率

0引言

基于內(nèi)容的圖像檢索(content based image retrieval, CBIR) 是利用圖像自身所包含的豐富視覺內(nèi)容， 提取蘊涵的特征信息(如顏色、 紋理、 形狀、 空間布局、 語義等)， 對圖像數(shù)據(jù)庫進行檢索， 從而獲得用戶感興趣的圖像. 但上述低層特征與高層語義信息之間存在語義鴻溝[1]， 加之用戶對圖像理解的主觀易變性， 使得檢索結(jié)果常常偏離用戶的需求. 為此， 相關(guān)反饋(relevance feedback)技術(shù)被引入CBIR領(lǐng)域[2]. 通過RF技術(shù)， 實現(xiàn)了人機交互， 大大提高了檢索性能.

CBIR的RF過程是系統(tǒng)根據(jù)用戶的反饋信息進行相應(yīng)調(diào)整， 指導(dǎo)新一輪檢索， 本質(zhì)是一種查詢優(yōu)化技術(shù). 而粒子群優(yōu)化(particle swarm optimization, PSO)算法具有優(yōu)越的搜索性能， 收斂速度很快， 且它的“并行搜索”和“具有記憶”的特殊尋優(yōu)機理， 使之能夠很好地適用于CBIR的RF技術(shù)中. 將PSO算法引入到RF領(lǐng)域， 能夠很好地保證檢索的實時性與準(zhǔn)確性， 從而提高檢索效率[3].

基于內(nèi)容的植物花卉圖像檢索是CBIR在植物性領(lǐng)域的重要應(yīng)用[4]. 由于花卉圖像的多樣性與不同類別花卉的相似性， 系統(tǒng)通常難以取得檢索精度與檢索速度之間的平衡， 因此檢索效率不夠理想. 文獻[5]融合視覺注意模型與區(qū)域增長算法提取出感興趣區(qū)域作為花卉區(qū)域代表整幅圖像實現(xiàn)檢索， 雖然減小了檢索匹配的計算量， 但對于部分花卉圖像， 所提取的感興趣區(qū)域與實際花卉區(qū)域存在誤差， 從而影響檢索的準(zhǔn)確度. 文獻[6]對花卉圖像進行縮放后， 結(jié)合摳像技術(shù)， 將圖像的不同區(qū)域賦以權(quán)值并進行檢索匹配， 雖然獲得了較好的準(zhǔn)確度， 但是檢索時間耗費較長， 且縮放后圖像產(chǎn)生一定的失真， 也在一定程度上影響了檢索結(jié)果. 本研究提出將PSO算法應(yīng)用到花卉圖像檢索的RF過程中， 并進行相應(yīng)實驗， 實驗結(jié)果表明, 該方法檢索時間短， 準(zhǔn)確性高， 具有很好的檢索效率.

1花卉圖像的特征提取

1.12RGB顏色模型[7]

由于花卉圖像受光照強弱的影響， 產(chǎn)生顏色變化和陰影問題， 所以采用常用的彩色圖像顏色模型進行描述， 檢索效果不夠理想.

文獻[7]通過對大量花卉圖像觀察， 發(fā)現(xiàn)花卉主體顏色分布多為單色， 且偏向于紅色(R分量)， 因此提出適用于花卉圖像的2RGB混合顏色模型. 研究表明, 2RGB模型能夠很大程度上減小光照和陰影的影響.

2RGB顏色模型描述的灰度圖像中， (i,j)像素點的灰度值φ(i,j)計算如下：

(1)

(2)

(3)

首先， 利用公式(1)進行計算. 公式(1)主要針對顏色偏紅的花卉. 而實際中， 有些花卉顏色是偏白或是偏藍， 因此偏紅運算后， 需記錄偏紅面積TR， 若TR

1.2特征提取

RGB花卉圖像經(jīng)過上述2RGB顏色模型處理， 生成了相應(yīng)的灰度圖像. 為減少檢索時間， 提高檢索的實時性， 本文選擇計算量較小的顏色直方圖與基于灰度共生矩陣的紋理特征作為圖像的低層特征表達[8].

1.2.1顏色直方圖

1.2.2基于灰度共生矩陣的紋理特征

灰度共生矩陣記錄了圖像中兩個位置的灰度像素的聯(lián)合概率密度， 是定義一組紋理特征的基礎(chǔ). 由一幅圖像的灰度共生矩陣MN×N可以得到的紋理特征如下：

從而， 圖像的紋理特征向量為： Vtexture=(Con, Ent, Asm, Cor).

2基于粒子群優(yōu)化相關(guān)反饋的花卉圖像檢索

2.1粒子群優(yōu)化(PSO)算法[9]的基本思想

(4)

每個粒子的個體極值更新為：

(5)

整個粒子群的全局極值為：

(6)

PSO算法具有高效學(xué)習(xí)和快速收斂的優(yōu)勢， 將其應(yīng)用于花卉圖像檢索的相關(guān)反饋過程中， 可以很好地保證檢索效率.

首先，明確她所擁有的技能與客戶需要的服務(wù)相比，有多大的差距，要告訴她們努力的方向、要達到的目標(biāo)，避免她們以個人經(jīng)驗植入給客戶的服務(wù)。

2.2花卉圖像檢索的PSO相關(guān)反饋的算法分析

花卉圖像檢索過程中， 由于花卉本身復(fù)雜多樣， 以及有些類別不同的花卉之間具有一定相似性， 初次檢索結(jié)果通常不夠理想， 需要進行進一步調(diào)整， 因此將相關(guān)反饋引入檢索過程. 文獻[10]提出了PSO-RF算法， 能夠?qū)SO有效結(jié)合圖像的檢索反饋， 取得了較好效果. 本文針對花卉圖像的特殊性， 對花卉圖像檢索的PSO相關(guān)反饋進行了詳細(xì)探討， 給出了更合理的參數(shù)設(shè)定， 具體如下：

1) 花卉圖像庫中圖片Xi的特征提取采用第1節(jié)所述的2RGB顏色模型、 顏色直方圖以及基于灰度共生矩陣的紋理特征. 本文將花卉圖像的灰度級數(shù)L歸一化為32級. 將共生矩陣的4個統(tǒng)計量(慣性矩、 熵、 能量、 相關(guān))的均值和標(biāo)準(zhǔn)差[11], 即μcon,σcon，μent,σent，μasm,σasm，μcor,σcor作為8個紋理特征分量. 因此， 對Xi特征提取后得到的特征向量進行相應(yīng)的實數(shù)編碼， 從而得到圖片Xi的初始粒子編碼.

2) 全局極值g通常用公式(6)定義. 由于花卉自身特性， 雖然花卉類別不同， 但有的圖像極其相似， 比如玫瑰花與月季花， 有時甚至一般人也難以區(qū)分， 所以檢索更要著眼于用戶的需求與理解， 應(yīng)讓用戶定義反饋圖像的滿意程度. 從而設(shè)定g為反饋圖像特征按滿意度的加權(quán)平均值， 具體為：

用戶對檢索結(jié)果進行反饋時， 對結(jié)果中選取的n幅圖像按滿意度進行排序， 依次記為：R1,R2, …,Rn， 則

(7)

其中： m1>m2>…>mn且m1, m2, …, mn取值為[0, 1]之間的隨機值， m1+m2+…+mn=1.

具體產(chǎn)生的方法如下：

(8)

2.3花卉圖像檢索的PSO相關(guān)反饋的算法設(shè)計

2.4基于PSO相關(guān)反饋的花卉圖像檢索的算法流程

基于PSO相關(guān)反饋的花卉圖像檢索算法流程如圖1所示. 首先對花卉圖像庫進行2.2節(jié)所述的特征提取. 而后輸入查詢圖像， 利用歐式距離進行相似度匹配計算， 輸出初次檢索結(jié)果， 并由用戶對結(jié)果進行評價反饋. 反饋時先讓用戶按滿意度依次從中選取n幅圖像， 再執(zhí)行2.3節(jié)所述的反饋算法， 直至結(jié)果滿意， 檢索過程結(jié)束.

3實驗結(jié)果與分析

本文實驗條件為： 采用MATLAB 7．0版本進行軟件編程； 計算機CPU為Intel Pentium4， 主頻2．6 GHz； 內(nèi)存為2 GB； 圖像數(shù)據(jù)庫由網(wǎng)絡(luò)收集的3 000幅花卉圖片構(gòu)成， 包括牡丹、 月季、 玫瑰、 蘭花、 荷花、 菊花、 芙蓉、 芍藥、 茶花、 櫻花、 郁金香等共40個類別.

實驗3.1分別測試不同的迭代次數(shù)與不同的反饋輪數(shù)對檢索結(jié)果的影響. 由于命中準(zhǔn)確率是一種較為簡便的圖像檢索性能評測指標(biāo)[13]， 故本文采用多次檢索的平均命中準(zhǔn)確率進行衡量. 命中準(zhǔn)確率定義為：

實驗3.2分別從檢索速度和檢索精度兩個方面對本文提出的方法進行測試.

3.1迭代次數(shù)與反饋輪數(shù)對檢索結(jié)果影響的測試實驗

1)各輪反饋設(shè)置的迭代次數(shù)與檢索結(jié)果的相關(guān)實驗. 本實驗對花卉圖像庫隨機抽取100幅圖片進行檢索反饋， 測試其過程. 其中設(shè)置的粒子群最大迭代次數(shù)為N=100. 實驗結(jié)果如圖2所示. 可以看出， 在第一、 二輪反饋中， 隨著迭代次數(shù)增加， 平均準(zhǔn)確率單調(diào)遞增， 表明算法逐步迭代尋優(yōu). 而在第三輪反饋中， 由于用戶反饋的個別花卉圖片內(nèi)容較雜亂， 主要體現(xiàn)在花卉主體區(qū)域被部分遮擋， 故導(dǎo)致優(yōu)化迭代次數(shù)在40或80代產(chǎn)生了一定波動， 影響了平均結(jié)果. 但是該曲線圖仍能顯現(xiàn)出來， 在每輪反饋中， 隨著迭代的次數(shù)越增多， 平均命中準(zhǔn)確率逐步提高， 直至次數(shù)為80次左右時收斂并趨于平穩(wěn).

2)反饋輪數(shù)與檢索結(jié)果的相關(guān)實驗. 選取圖像庫中10大類具有典型意義的花卉圖片， 各進行30次檢索， 反饋5輪， 統(tǒng)計檢索的平均值. 如圖3所示. 隨著各輪反饋的依次進行， 檢索準(zhǔn)確率逐漸提高. 反饋達到第3輪趨于穩(wěn)定， 得到的平均準(zhǔn)確率在75%以上.

3.2檢索速度與檢索精度的相關(guān)實驗

1)統(tǒng)計檢索時間， 分析評價本文方法的檢索速度. 本實驗對圖像庫的40類花卉分別各任取一幅圖片進行檢索， 統(tǒng)計耗費時間， 計算平均值. 初次檢索平均耗時7 248 ms, PSO三輪相關(guān)反饋平均耗時分別為6 365、 5 237、 3 223 ms. 故本文方法平均總耗時22 s.

用相同的實驗方法分別對文獻[5]、 [6]、 [7]進行測試. 文獻[5]、 [6]平均耗費時間分別為26 s、 75 s. 文獻[7]是針對花卉圖像檢索的多特征融合方法， 在花卉檢索領(lǐng)域做出了較好貢獻， 理論和實驗部分都比較充分， 可作為主要的參考對比， 其平均耗時為53 s. 上述文獻雖均無相關(guān)反饋過程， 但耗費時間都比本文方法多. 實驗表明， 本研究提出的花卉圖像檢索方法能取得不錯的檢索速度.

2)采用查全率-查準(zhǔn)率曲線評價本文方法的檢索精度. 實驗任選圖像庫中的1 000幅不同花卉圖片作為查詢圖片進行檢索， 查全率分別為10%、 20%、 30%、 40%、 50%、 60%、 70%、 80%、 90%、 100%時的平均查準(zhǔn)率值見圖4所示.

從圖4中曲線可以看出， 文獻[5]的算法基于圖像感興趣區(qū)域， 提取區(qū)域往往與實際花卉區(qū)域存在偏差， 影響結(jié)果的準(zhǔn)確性. 文獻[6]以摳像技術(shù)為基礎(chǔ)， 在檢索準(zhǔn)確度上有了一定的提高. 而文獻[7]以圖像的多特征融合為基礎(chǔ)， 結(jié)合SVM分類， 對花卉圖像檢索已經(jīng)比較有效. 但本文算法通過用戶進行反饋， 以用戶理解與需求為基礎(chǔ)， 檢索效果更優(yōu). 圖5給出查詢圖像為牡丹時的檢索結(jié)果， 顯示該結(jié)果可以符合用戶要求， 驗證本文方法的檢索性能.

4結(jié)論

本研究以提高花卉圖像檢索系統(tǒng)的檢索效率為目的， 針對花卉圖像的特殊性， 提出一種將粒子群優(yōu)化有效結(jié)合于花卉檢索相關(guān)反饋中的算法. 該算法以花卉圖像為基礎(chǔ)， 合理選用計算量較小的特征向量進行描述， 反饋過程以用戶需求為指導(dǎo)， 極大發(fā)揮PSO的優(yōu)越搜索性能， 取得了較快的檢索速度和較高的檢索精度， 大大改善了花卉圖像檢索系統(tǒng)的檢索效率. 本研究單純對花卉圖像檢索進行探討， 其中的PSO反饋采用全局最優(yōu)值對整個種群所有粒子進行引導(dǎo)， 而在其他多類別圖像庫的實際檢索過程中， 是否可以選用合適的拓?fù)浣Y(jié)構(gòu)劃分若干子種群， 用子種群的局部最優(yōu)解引導(dǎo)所屬粒子運動， 從而提高檢索性能， 將成為今后進一步的研究內(nèi)容.

參考文獻：

[1] DATTA R, JOSHI D, LI J,etal. Image retrieval.Ideas,influences,and trends of the new age[J]. ACM Computing Surveys, 2008, 40(2): 1-60.

[2] RUI Y, HUANG T S, MEHROTRA S. Content-based image retrieval with relevance feedback in MARS[C]//IEEE International Conference on Image Processing. Santa Barbara: IEEE Computer Society, 1997: 815- 818.

[3] 許向莉. 基于智能計算的圖像檢索算法研究[D]. 吉林: 吉林大學(xué)， 2011.

[4] 陳小芬. 基于內(nèi)容的植物花卉圖像檢索[D]. 廈門: 廈門大學(xué)， 2009.

[5] 吳清鋒. 基于內(nèi)容的中草藥植物故鄉(xiāng)檢索關(guān)鍵技術(shù)研究[D]. 廈門: 廈門大學(xué)， 2007.

[6] 馮振, 王宇新, 郭禾, 等. 結(jié)合摳像技術(shù)的圖像分類方法[J]. 中國圖象圖形學(xué)報, 2011, 16(6): 1 045-1 050.

[7] 柯逍, 陳小芬, 李紹滋. 基于多特征融合的的花卉圖像檢索[J]. 計算機科學(xué), 2010, 37(11): 282-286.

[8] 章毓晉. 基于內(nèi)容的視覺信息檢索[M]. 北京: 科學(xué)出版社, 2003.

[9] 郭文忠. 離散粒子群優(yōu)化算法及其應(yīng)用[M]. 北京: 清華大學(xué)出版, 2012.

[10] 許相莉, 張利彪, 劉向東, 等. 基于粒子群的圖像檢索相關(guān)反饋算法[J]. 電子學(xué)報, 2010, 38(8): 1 935-1 940.

[11] 劉忠偉, 章毓晉. 綜合利用顏色和紋理特征的圖像檢索[J]. 通信學(xué)報, 1999, 20(5): 36-40.

[12] ANDRIES P E. 計算智能導(dǎo)論[M]. 譚營， 譯. 北京: 清華大學(xué)出版社, 2010.

[13] 韋娜, 耿國華, 周明全. 基于內(nèi)容的圖像檢索系統(tǒng)性能評價[J]. 中國圖象圖形學(xué)報, 2004, 9(11): 1 271-1 276.

(責(zé)任編輯： 林曉)

Particle swarm optimization combined with relevance feedback for flower image retrieval

ZHU Danhong1, KE Xiao1, 2, YE Jing1

(1. College of Mathematics and Computer Science, Fuzhou University, Fuzhou, Fujian 350116, China;2. Fujian Provincial Key Laboratory of Network Computing and Intelligent Information Processing, Fuzhou, Fujian 350116, China)

Abstract:Aiming at flower image characteristics and balancing retrieval accuracy and speed of flower image retrieval system, this paper proposes an algorithm for flower image retrieval relevance feedback combined with particle swarm optimization. The algorithm uses 2RGB color model for flower images, selects some less computational low-level image features, evaluates user satisfaction with the retrieval results to guide the optimal direction of particles motion in feedback process. Experiments show that the algorithm can improve the retrieval efficiency.

Keywords:flower image retrieval; particle swarm optimization; relevance feedback; retrieval effciency

中圖分類號：TP391

文獻標(biāo)識碼：A

基金項目：福建省自然科學(xué)基金資助項目(2013J05088)； 福州大學(xué)科技發(fā)展基金資助項目(650064)； 福建省中青年教師教育科研基金資助項目(JA15082)

通訊作者:朱丹紅(1981-), 講師， 主要從事圖像處理、 圖像檢索等方面研究， zhudh@fzu.edu.cn

收稿日期:2014-06-21

文章編號：1000-2243(2016)02-0182-06

DOI:10.7631/issn.1000-2243.2016.02.0182