基于仿生形象思維方法的圖像檢索算法的改進

網絡出版地址：http://www.cnki.net/kcms/detail/23.1538.TP.20150326.1017.006.html

基于仿生形象思維方法的圖像檢索算法的改進

陳陽1，董肖莉2，李衛軍2，張麗萍2，覃鴻2

(1.工業和信息化部 中國電子信息產業發展研究院，北京 100846； 2. 中國科學院半導體研究所 人工神經網絡實驗室，北京 100083)

摘要：基于仿生形象思維方法的圖像檢索算法主要是模仿人腦的形象思維對圖像認知，從全新角度提取圖像特征而設計的一種新算法。此算法把每幅圖像都映射成高維空間一個點，通過計算點和點之間的判別函數得到圖像之間的關系。該文利用最直接地描述圖像內容的視覺特征，即顏色復雜度來提取圖像特征，對基于仿生形象思維方法的圖像檢索算法做進一步研究與改進。實驗結果表明該方法比文獻[1]基于仿生形象思維方法的圖像檢索算法的特征提取方法效果有一定的提高。

關鍵詞：仿生形象思維；圖像檢索；顏色復雜度；特征提取

DOI:10.3969/j.issn.1673-4785.201411022

中圖分類號：TP391.4文獻標志碼：A

收稿日期：2014-11-24. 網絡出版日期：2015-03-26.

基金項目：國家自然科學基金重大研究計劃資助項目(90920013).

作者簡介：

中文引用格式：陳陽，董肖莉，李衛軍，等. 基于仿生形象思維方法的圖像檢索算法的改進[J]. 智能系統學報， 2015, 10(2): 209-214.

英文引用格式：CHEN Yang, DONG Xiaoli, LI Weijun， et al. Improvement of an image retrieval algorithm based on biomimetic imaginal thinking[J]. CAAI Transactions on Intelligent Systems, 2015, 10(2): 209-214.

Improvement of an image retrieval algorithm

based on biomimetic imaginal thinking

CHEN Yang1, DONG Xiaoli2, LI Weijun2, ZHANG Liping2, QIN Hong2

(1. China Center of Information Industry Development, Beijing 100846, China; 2. Institute of Semiconductors, Chinese Academy of Sciences, Beijing 100083, China)

Abstract：In this paper, a novel image retrieval algorithm based on biomimetic imaginal thinking is used for image cognition by imitating human brain's imaginal thinking and extracting image features from a different perspective. This algorithm maps every image onto a point in the high dimension space, deriving the relations of two images by calculating the discriminant function between the two points. The visual features that can describe image content directly, i.e. color complexity are used to extract image features, in order to improve the image retrieval algorithm based on biomimetic imaginal thinking. The experimental results showed that the performance of this algorithm is better than that of the algorithm proposed by reference [1].

Keywords：biomimetic imaginal thinking; image retrieval; color complexity measure; feature extraction

通信作者：董肖莉.E-mail：dongxiaoli@semi.ac.cn.

根據研究對象的不同，現有的圖像檢索[2]技術主要有以下3類：基于文本圖像檢索、基于內容圖像檢索以及基于語義的圖像檢索。基于文本的圖像檢索最初采用的方法是人工標注圖像并用標注進行檢索。一旦標注非常完整適當的話，檢索速度和效果都會非常好，但是隨著現在數字圖像數量劇增，人工標注的工作量非常大[3]，而且人工對圖像的描述帶有主觀偏差，所以為了克服基于文本檢索的這一缺點，提出基于內容圖像檢索(content-based image retrieval ,CBIR)[3]。在過去的幾十年里，基于內容的圖像檢索受到了廣泛的關注，尤其是2000年后，該方法獲得極大的發展[4]。傳統基于內容的圖像檢索技術通常采用一些簡單的圖像特征，例如顏色、形狀和紋理特征來描述待檢索圖像的視覺內容，而且已經開發出若干CBIR系統。陳晨[5]、梁美麗[6]、宋衛華[7]等分別提出了基于顏色、綜合顏色和紋理的、基于底層紋理特征的CBIR系統，基本都是利用圖像的以上3個特征來進行檢索，而這顯然是不夠的，對圖像的檢索率仍有待進一步提高，而且圖像相似性度量也影響其性能，所以檢索系統需要融合圖像高層語義功能。基于語義圖像檢索就是要建立圖像低層特征到高層語義的映射，其需要融合模式識別、人工智能等多個知識領域[8]，難度也是非常大的。曹建芳等[9]、莊凌等[10]、H. Xie等[11]分別提出一種基于顏色、紋理和形狀3種語義特征的圖像檢索方法、一種基于稀疏典型性相關分析的圖像檢索方法、和視覺文本級和視覺圖像級的上下文查詢擴展的圖像檢索方法；AlexPapushoy等[12]提出了基于顯著內容查詢的圖像檢索算法(QSCR)，該方法基于人類視覺專注模型，提出了從圖像局部到圖像全局的自下從上的圖像檢索方法；M.Zand等[13]提出了一種紋理分類區別的區域圖像檢索方法，該方法將Gabor小波和曲波應用到經過轉換得到的規則形狀圖像區域中，然后應用擬合方法來編碼創建能反映圖像最大紋理區別的特征；E.Walia等[14]通過結合所有低層特征，提出了一種新穎、快速、高效的混合框架來進行彩色圖像檢索，通過顏色矩、角徑向變換描述和邊緣直方圖描述分別得到圖像的顏色、形狀和紋理信息。但以上這些方法都是從邏輯思維的角度解決圖像檢索的問題，而且大部分基于圖像細節來進行圖像檢索。然而人們認知圖像時，往往不需要得到很細致的圖像細節就能判斷出圖像屬于哪一類，因此圖像檢索是一個形象思維的問題。那么用邏輯思維的定理、推論等手段的邏輯思維方法，很難反映圖像檢索認知過程的本質性，而形象思維是人的一種本質思維方式[15]，通過人本身的感官來認識圖像信息。因此根據人形象思維對圖像檢索的認知，王守覺院士等[1]提出的一種基于仿生形象思維方法的圖像檢索算法，結合了高維仿生信息技術的幾何分析方法來提取圖像特征。此算法與圖像分割算法、圖像自動語義索引系統(automatic linguistic indexing of pictures, ALIP)和HSV空間顏色距離算法比較在檢索效率和檢索速度上都具有優越性[1]，但是和人認知圖像還是有一定距離的。本文在此基礎上，根據圖像顏色復雜度來提取圖像特征，對此算法做進一步研究，并且和其他傳統基于顏色圖像檢索算法進行比較。實驗表明在顏色空間統計顏色復雜度來提取圖像特征，其檢索圖像的效果優于其他基于顏色圖像檢索算法。

1圖像檢索算法原理

文獻[1]十分詳細地介紹了基于仿生形象思維方法的圖像檢索算法原理，本文在此做簡單的介紹。其理論基礎就是基于人們對圖像視覺反應的以下幾個特點發展得到的[1]：

1)人們在對圖像種類進行辨識的時候，并不需要看清楚圖像的細節就能分清楚圖像是風景照還是人物照等，可見對圖像的宏觀分類，重點在圖像的大粒度信息。

2)如果把一幅圖像分塊，比如一幅風景圖像，將圖像上的山、水、房屋、樹木等細節進行分塊，但是如果把它們在水平方向互相調換位置，人們還是一樣能辨識這幅圖像屬于風景類。由此提出圖像分塊參數排序的位置不變性概念，稱為分塊參數排序解決位置不變性方法(order-based block features method， OBFM)。

3)當人們在宏觀觀看一張圖像時，如果把它從反面看，則變化的感覺和反過面來旋轉軸的方向有關，旋轉軸為橫向和縱向的效果是不對稱的。

根據人們對圖像視覺的以上3個特點，基于高維仿生信息技術[16-19]，文獻[1]提出一種新的圖像檢索算法，其算法的主要步驟如下：

1) 圖像分塊

一個m×n的原圖像數組的矩陣形式為

在高維仿生信息技術中即為m×n維空間中的一個點，用數學符號A(m×n)來表示。

將原圖像分塊，成M×N個子塊，則圖像子塊形式為

又有，

即每一圖像子塊在高維仿生信息技術中即為h×k維空間中的一個點，故原圖像轉化為h×k維空間中的M×N個點，表示為Bi(h×k)(i=1,2,…,M×N)。

2)子塊的特征提取

對h×k維空間中的點Bi(h×k)(i=1,2,…,M×N),用形象思維方法和高維空間幾何分析方法[20]進行幾何映射即特征提取，找到一個維數為u的特征空間記為Ru=p1,p2,…，pM×N,使得u維特征空間中的p1,p2,…,pM×N能與原圖像信息融合，u<(h×k)。

3)特征空間點排序

把u維特征空間中的p1,p2,…,pM×N各點在水平方向，每一維特征按照特定規則排序。得到了u維特征空間中新的點序列q1,q2,…,qM×N。

4)將此序列按照水平到垂直的順序合成v字節的特征數據，至此完成了對一幅圖像的特征提取。

5)圖像匹配

每幅圖像都轉化成高維空間中維數為v的一個點。那么利用高維形象幾何方法，判別樣本圖像和圖像庫中圖像之間距離就是分析v維特征空間中的點與點的關系。本文并不是簡單的計算v維特征空間中點與點之間的歐式距離來作為判別的依據，而是用函數θ來計算樣本圖像與圖像庫中每一幅圖像的相似距離。因而圖像類似判別函數為

(1)

式中：1)Q1、Q2為樣本圖像和要判別的圖像的v維特征向量。

2)S為閾值，可根據實驗設定：

T=1時樣本圖像和要判別的圖像為類似圖像，反之則不是。

3)函數θ的計算公式為

2一種新的圖像子塊特征提取方法

文獻[1]中對圖像子塊特征提取主要分析的是像素點與周圍相鄰像素點色度與亮度的復雜度，僅提取了圖像在微觀上的特征，沒有分析圖像子塊各顏色分量的統計信息，即宏觀上的特征。本文在文獻[1]的基礎上，對圖像子塊的顏色矩進行統計來提取圖像宏觀的顏色特征，對文獻[1]基于仿生形象思維方法的圖像檢索算法做進一步研究與改進。

顏色特征是最常用的底層特征，它給人以最直觀的視覺感受，是能最直接地描述物體或圖像內容的視覺特征。顏色特征通常對噪聲、尺寸的縮放、旋轉等具有很強的魯棒性。因此基于顏色特征的圖像檢索技術也是目前為止較成熟、應用最廣泛的一種CBIR技術[20]。顏色特征的描述方法主要有顏色直方圖、累加直方圖、其他各種變形的顏色直方圖、顏色矩和顏色聚合向量等。顏色直方圖是圖像檢索系統應用最為廣泛的顏色特征，然而理論分析和實驗結果表明，其存在丟失顏色空間分布信息，特征維數過高等問題[21-22]。本文首先選取顏色矩作為顏色特征的描述方法。

顏色矩是Stricker和Orengo提出的一種簡單而有效的顏色特征，這種方法的數學基礎是圖像中任何的顏色分布均可以用它的矩來表示[23]。同時，由于顏色分布信息主要集中在低階矩中，因此僅采用顏色的一階矩(均值，Mean)和二階矩(方差，Variance)就可以表達圖像的顏色分布。與顏色直方圖相比，該方法的一大顯著優點就是無須對提取出來的特征進行量化，是一種簡單有效的顏色特征提取方法。

顏色的2個低階矩在數學上的表達如下：

式中：pi,j表示的是圖像中第j像素的第i個顏色分量。

本文選擇最簡單的RGB顏色空間，對于RGB顏色空間一共就6個值。相對于其他顏色特征而言，采用顏色矩表示顏色特征是一個非常緊湊的表示方法。

和文獻[1]一樣，分析各子塊像素點與其周圍相鄰8個像素點之間的顏色差異復雜度，這樣從宏觀到微觀都提取出圖像的顏色特征，然后按照一定的順序排序得到圖像最后的顏色特征。

3試驗結果與分析

本文實驗同樣使用COREL圖像數據庫約900幅彩色圖像，包恐龍、汽車、風景圖、大象、房屋、花等10類。方便和傳統的基于顏色特征算法和文獻[1]中算法進行比較。首先分析圖像分塊時，縱橫方向不同的子塊數量對應的檢索查準率，結果如表1。

表1　不同子塊數量檢索結果查準率比較

如表1所示，發現檢索準差率最高的大部分都在縱方向和橫方向都分成8塊中，所以用縱橫分塊8×8和其他的基于顏色的傳統方法做比較。試驗結果如表2。

表2各種算法檢索結果查準率比較

Table 2The comparison of the retrieval results with different method%

類型HSV空間顏色距離RGB空間顏色距離文獻[1]方法本文算法馬79.7537.975673.42大象41.6742.864870.24花78.0241.767584.62食物22.2233.334268.25風景圖46.884.693654.69恐龍10095.9690100汽車21.6538.145067.01人22.4530.614073.47房屋15.7121.435242.86大海50.6311.393253.16平均值47.9035.8152.168.77

如表2所示，本文算法在馬、花、恐龍圖像類上提高不大，主要是因為，這3類圖都是背景簡單主體非常明顯的圖，這類圖片用統計顏色直方圖的方法，由于其空間分布信息丟失影響不大，所以效果不錯。但是在對一些圖片背景復雜，主體多元的情況下，由于空間分布信息丟失比較大，那么統計顏色直方圖的算法效果就不好，而本文算法在這類圖片上檢索效果優于基于顏色直方圖統計的算法。由此可見，基于形象思維圖像檢索算法在處理一些復雜圖片檢索問題時是有效且可行的，其提取圖像特征的算法并沒有損失圖像空間分布信息，而恰恰利用圖像顏色分布空間信息，且從宏觀到微觀上提取圖像顏色特征。

4結束語

由上面試驗結果可見，在顏色空間統計各顏色復雜度來提取圖像特征，利用仿生形象思維方法來檢索圖像的效果優于其他算法。仿生形象思維方法的圖像檢索更接近人類搜索圖像信息的本質特征，使得檢索結果有很好地提高。而顏色是最直接地描述圖像內容的視覺特征，提取顏色特征更能與圖像信息融合。所以通過提取圖像顏色空間特征，利用仿生形象思維方法的圖像檢索技術在圖像檢索領域是可行且有效的。為了進一步提高本文算法的檢索查準率，后期將深入開展將仿生形象思維方法結合顏色、紋理、形狀等信息來對圖像進行更準確檢索的研究，同時要研究在保證查準率的同時，如何提高算法的檢索速度。

參考文獻:

[1]王守覺, 孫華. 基于仿生形象思維方法的圖像檢索算法[J]. 電子學報, 2010, 38(5): 993-997.

WANG Shoujue, SUN Hua. An image retrieval algorithm based on biomimetic imaginal thinking[J]. Acta Electronica Sinica, 2010, 38(5): 993-997.

[2]DATTA R, LI J, WANG J Z. Content-based image retrieval—approaches and trends of the new age[C]//Proceedings of the Seventh International Workshop on Multimedia Information Retrieval. Singapore, 2005: 253-262.

[3]黃祥林, 沈蘭蓀. 基于內容的圖像檢索技術研究[J]. 電子學報, 2002, 30(7): 1065-1071.

HUANG Xianglin, SHEN Lansun. Research on content-based image retrieval techniques[J]. Acta Electronica Sinica, 2002, 30(7): 1065-1071.

[4]VELTKAMP R C, TANASE M. Content-based image retrieval systems: a survey,UU-CS-2000-34[R]. Department of Computer Science, Utrech University, 2002.

[5]陳晨. 基于顏色直方圖的圖像檢索[J]. 哈爾濱師范大學自然科學學報, 2014, 30(2): 31-35.

CHEN Chen. Image retrieval based oil color histogram[J]. Natural Sciences Journal of Harbin Normal University, 2014, 30(2): 31-35.

[6]梁美麗, 牛之賢. 改進的綜合顏色紋理特征圖像檢索[J]. 計算機應用與軟件, 2014, 31(6): 228-231.

LIANG Meili, NIU Zhixian. Improved image retrieval with integrated colour and texture features[J]. Computer Applications and Software, 2014, 31(6): 228-231.

[7]宋衛華. 基于底層紋理特征的圖像檢索[J]. 長春工業大學學報: 自然科學版, 2014, 35(2): 135-138.

SONG Weihua. Image retrieval based on low-level texture features[J]. Journal of Changchun University of Technology: Natural Science Edition, 2014, 35(2): 135-138.

[8]黃祥林, 沈蘭蓀. 基于內容的圖像檢索技術研究[J]. 電子學報， 2002, 30(7): 1065-1071.

HUANG Xianglin, SHEN Lansun. Research on content-based image retrieval techniques[J]. Acta Electronica Sinica, 2002, 30(7): 1065-1071.

[9]曹建芳，陳俊杰，趙青杉. 基于多語義特征融合的圖像檢索[J]. 計算機技術與發展， 2014， 24(5)： 134-138.

CAO Jianfang, CHEN Junjie, ZHAO Qingshan. Image retrieval based on various semantic feature fusion[J]. Conputer Technology and Development, 2014, 24(5): 134-138.

[10]莊凌，莊越挺，吳江琴, 等. 一種基于稀疏典型性相關分析的圖像檢索方法[J]. 軟件學報，2012，23(5)： 1295-1304.

ZHUANG Ling, ZHUANG Yueting, WU Jiangqin, et al. Image retrieval approach based on sparse canonical correlation analysis[J]. Journal of Software, 2012, 23(5): 1295-1304.

[11]XIE H, ZHANG Y. Contextual query expansion for image retrieval[J]. IEEE Transactions on Multimedia, 2014, 16(4): 1104-1114.

[12]PAPUSHOY A , BORS A G. Image retrieval based on query by saliency content[J]. Digital Signal Processing, 2015, 36: 156-173.

[13]ZAND M, DORAISAMY S. Texture classification and discrimination for region-based image retrieval[J]. Journal of Visual Communication and Image Representation, 2015, 26: 305-316.

[14]WALIA E, VESAL S. An effective and fast hybrid framework for color image retrieval[J]. Sensing and Imaging, 2014, 15(1): 93-115.

[15]GUPTA A, JAIN R. Visual information retrieval[J]. Communications of the ACM, 1997, 40(5): 71-79.

[16]王守覺, 來疆亮. 多維空間仿生信息學入門[M]. 北京：國防工業出版社, 2008： 1.

[17]王守覺. 仿生模式識別(拓撲模式識別)——一種模式識別新模型的理論與應用[J].電子學報, 2002, 30(10): 1417-1420.

WANG Shoujue. Bionic (topological) pattern recognition— a new model of pattern recognition theory and its applications[J]. Acta Electronica Sinica, 2002, 30(10): 1417-1420.

[18]王守覺, 王柏南. 人工神經網絡的多維空間幾何及其理論[J]. 電子學報, 2002, 30(1): 1-4.

WANG Shoujue, WANG Bainan. Analysis and theory of high dimensional space geometry for artificial neural networks[J]. Acta Electronica Sinica, 2002, 30(1): 1-4.

[19]WANG Shoujue, LAI Jiangliang. High dimensional imagery geometry and its applications[J]. Chinese Journal of Electronics, 2006, 15(4): 761-767.

[20]李志欣, 施智平. 圖像檢索中語義映射方法綜述[J]. 計算機輔助設計與圖形學學報, 2008, 20(8): 1085-1096.

LI Zhixin, SHI Zhiping. A survey of semantic mapping in image retrieval[J]. Journal of Computer-Aided Design and Computer Graphics, 2008, 20(8): 1085-1096.

[21]DATTA R, LI Jia, WANG J Z. Content-based image retrieval-approaches and trends of the new age[C]//Proceedings of the 7th International Workshop on Multimedia Information Retrieval. Singapore, 2005: 253-262.

[22]于永健, 王向陽, 吳俊峰. 基于顏色復雜度的加權顏色直方圖圖像檢索算法[J]. 小型微型計算機系統，2009, 30(3): 507-511.

YU Yongjian, WANG Xiangyang, WU Junfeng. Weighted histogram color image retrieval based on color complexity measure[J]. Journal of Chinese Computer Systems, 2009, 30(3): 507-511.

[23]成琳, 陳俊杰, 相潔. 圖像顏色特征提取技術的研究與應用[J]. 計算機工程與設計, 2009, 30(14): 3451-3454.

CHENG Lin, CHEN Junjie, XIANG Jie. Research and application of image color feature extraction technology[J]. Computer Engineering and Design, 2009, 30(14): 3451-3454.

陳陽，女，1984年生，博士，博士后，主要研究方向為模式識別、云計算、大數據等。

董肖莉，女，1985年生，助理研究員，主要研究方向為圖像處理、模式識別及智能信息處理。

李衛軍，男，1975年生，博士，研究員，主要研究方向為仿生圖像處理技術、仿生模式識別理論與方法、近紅外光譜定性分析技術、高維信息計算。目前，已在國內外刊物、重要會議上發表學術論文30余篇。

第15屆中國機器學習會議

The 15th China Conference on Machine Learning

第15屆中國機器學習會議(CCML2015)由中國人工智能學會和中國計算機學會聯合主辦，中國人工智能學會機器學習專業委員會和中國計算機學會人工智能與模式識別專業委員會協辦，西南交通大學、四川大學承辦，電子科技大學、西華大學、樂山師范學院聯合承辦。該系列會議每兩年舉行一次，現已成為國內機器學習界最主要的學術活動。此次會議將為機器學習及相關研究領域的學者交流最新研究成果、進行廣泛的學術討論提供便利，并且將邀請國內機器學習領域的著名學者做精彩報告。

Web site：http://sist.swjtu.edu.cn/ccml2015/

征稿范圍(征求但不限于如下主題)：

機器學習的新理論、新技術與新應用

人類學習的計算模型

計算學習理論

監督學習

非監督學習

半監督學習

強化學習

多示例學習

神經網絡

集成學習

多任務學習

特征選擇

流形學習與降維

信息檢索

生物特征識別

生物信息學

距離度量學習

基于案例的推理

增量學習與在線學習

對復雜結構數據的學習

增強學習系統可理解性

數據挖掘與知識發現

聚類

異常檢測

演化學習

符號學習

多Agent 學習

機器學習應用

主動學習

多標記學習

模式識別

大數據學習