(江南大學 信息工程學院, 江蘇 無錫 214122)
摘 要:鑒于圖像信息固有的復雜性和不精確性,引入了模糊化的機理對HSI顏色模型的顏色信息進行模糊量化,得到關于顏色特征的模糊直方圖,并應用Robust的視覺采樣聚類方法對其進行聚類和匹配,取得了較為滿意的結果。
關鍵詞: 圖像檢索; 視覺聚類; 顏色模糊直方圖; 顏色匹配
中圖法分類號: TP391.4文獻標識碼: A
文章編號: 1001 3695(2006)08 0186 03
Image Retrieval Based on Fuzzy Color Space Clustering
GUO Wei, WANG Shi tong
(School of Information Engineering, Southern Yangtze University, Wuxi Jiangsu 214122, China)
Abstract: Due to the flexibility and uncertainly of the image information, the single feature color in the HSI color space can be fuzzed into color histogram vector under the fuzzified mechanism. Based on the Robust visual sampling clustering method, the fuzzy color histogram vector can be auto clustered and the image can therefore be well matched in the color space.
Key words: Image Retrieval; Visual Sampling Clustering;Fuzzy Color Histogram; Color Matching
隨著互聯網和多媒體技術的發展,圖像及視頻數據呈現幾何級的增長態勢。基于內容的圖像檢索技術由于有傳統的文本檢索技術無法比擬的優越性,因而成為近年來人們研究的熱點。
顏色作為圖像的一種重要的視覺信息屬性,在圖像檢索、視頻檢索等諸多關于圖像和視頻分析處理中應用于各種基于顏色特征的圖像索引技術[1~4]。顏色變化往往較亮度等其他特征的變化對人眼的刺激大,同時其特征計算簡單快捷,并且非常穩定,它對于旋轉、平移、尺度變化甚至各種形變都不敏感,表現出一定的健壯性。
圖像中的信息具有復雜性和多樣性,同時又表現出一定的局部性和不精確性。模糊機理作為圖像分析檢索中一個行之有效的特征提取手段[5,6],它引入可以減少圖像檢索中由圖像不精確性等帶來的一些不利因素。在圖像的HSI顏色空間應用一定的模糊規則,顏色信息可以模糊量化進而構成該圖像的顏色特征——顏色模糊直方圖。它一方面,可以減少在聚類的計算量;另一方面,在一定程度上消除了顏色信息所固有的光照敏感性對其使用范圍的限制。
視覺聚類方法Visual Sampling Clustering[7]的Robust特性,使得聚類結果能夠避免傳統的聚類算法強依賴于初始化參數的缺陷。應用該方法對大容量的圖像數據庫的模糊顏色直方圖進行聚類,可以較為成功地獲取聚類數目,并將圖像按照其色彩的分布進行較為合理的分類。
1 顏色感覺空間的幾何模型與特征提取
顏色模型是圖像處理的基礎,目前已經提出了多種顏色模型。顏色作為圖像的一個重要特征信息, 通常采用RGB三原色表示,即RGB顏色模型。雖然它是實際應用得最多的一種顏色模型,但并不符合人眼視覺特性,其所表示的顏色不能與人們感知上的顏色模型相聯系。
1.1 顏色感覺空間的幾何模型
色品分辨力和光亮度分辨力組成了色度學中完備的顏色分辨力,即對明度、色相、飽和度三個特性變化的綜合分辨能力。而明度、飽和度、色相作為人在觀察色彩時的心理度量,其顏色感覺是主觀的,受色彩的對比和顏色適應等狀況影響,只能依靠視覺心理感受或顏色知覺來識別和判斷,很難用儀器來測量。
這種由色彩的視覺心理屬性(明度、色相、飽和度)來描述的色彩感覺,可以用一個空間幾何三維模型來表示,稱之為色彩空間或顏色立體。每一種顏色均可以用色彩空間中的一個空間點來表示,該點在顏色立體中的三個坐標,分別表示色彩的視覺心理屬性值。圖1所示的雙錐形立體是一種較常用的理想化幾何示意模型。在此色彩空間中,垂直坐標軸稱為明度軸,代表白黑明度的變化,頂端為白色,底端為黑色,中間是各種灰色的過渡,為非彩色。色相由水平面圓周上的點的位置來表示,圓周上的各點代表光譜上各種不同的色相的顏色屬性(紅黃綠青藍紫)。各平面圓的徑向表示飽和度,在圓周上點的色彩飽和度最大,從圓周向圓心過渡表示的色彩飽和度逐漸降低,圓心的飽和度為0。在此模型中,任何一種顏色可由空間的一點表示,沿明度、色相、飽和度三個方向變化。
1.2 HSI顏色空間的特征提取
圖像很容易被RGB顏色模型所表示,但是色視覺理論認為,由RGB值所表示顏色是沒有直感的,而HSI顏色模型是圖1所示的空間模型的一種,它從明度、色相和飽和度三個視覺心理屬性來描述圖像所反映的顏色信息,在人心理感知上更容易被接受。假設基色測量已標準化,即0≤ r,g,b≤1 ,根據式(1)將RGB顏色模型轉換為HSI顏色模型,從而得到了由明度(I)、色相(H)和飽和度(S)所組成的彩色圖像顏色信息。
由1.1節圖1所示的顏色感覺空間的幾何模型易知,雙錐體水平面的圓周上,各點的位置表示了光譜上各種不同的色相的顏色屬性(紅黃綠青藍紫),其Hue值分布在0°~360°之間。人眼能夠感知的顏色其過渡是連續的,引入模糊機制對每個像素的色相Hue值進行模糊量化,對應得到六個關于顏色的模糊區間,顏色信息特征可以描述為Hue={Red,Yellow,Green,Cyan,Blue,Magenta},其中每一個顏色特征的隸屬度都由圖2的三角函數所示。
此外,在HSI顏色空間的幾何模型中,飽和度與亮度信息的取值范圍在0~1之間,同樣地可以將飽和度與亮度的取值進行模糊劃分:Intensive={Small,Medium,Large},Saturation={Small,Medium,Large}。其各自對應的隸屬度可為圖3函數表示。
圖像質量受光照影響較大,當考慮光照亮度對圖像影響時:若像素的亮度值過小,那么像素顏色表現為黑色;若像素的亮度值過大,那么顏色表現為白色;只有像素的亮度值在適當的區間范圍內,像素顏色才表現為人眼能夠識別的彩色信息。
1.3 圖像特征模糊直方圖的計算準則
首先,圖像中各個像素在HSI顏色模型空間的屬性Hue,Intensive,Saturation反映了圖像的顏色特征信息,將其按照模糊準則得到如下描述:
(1)黑色。亮度 I 值過小, I <0.15,那么該像素顏色信息表現為黑色。
(2)白色。如果亮度 I 值過大, I >0.8且 S <0.1,那么該像素顏色信息表現為白色。
(3)彩色。當亮度 I 值在適當的區間范圍內(0.15< I < 0.8, 且 S >0.1),那么像素顏色表現彩色信息,可以被定量地定義為{Red,Yellow,Green,Cyan,Blue,Magenta}中的一種。
在上述模糊量化機制下,顏色特征信息構成新的模糊集,Color={Black,Red,Yellow,Green,Cyan,Blue,Magenta,White},繼而圖像中的像素顏色信息都可以與模糊集Color中的模糊值對應。
圖像的顏色直方圖反映了像素顏色在所給出圖像中出現的頻率,它可以由向量 H 表示: H={H[0],H[1],…,H[c],…,H[N]} (2)
其中 c 表示某一種顏色, H[c] 表示圖像中顏色 c 的像素個數, N 表示顏色直方圖中顏色種類數。
為了便于比較和檢索數據庫中不同尺寸的圖像數據,向量 H 應該進行規格化,使其特征值在0~1之間,一種常用的規格化方法如下,得到規格化的向量 H′:
H′={H′[0],H′[1],…,H′[c],…,H′[N]} (3)
其中H′[c]=H[c]/P,P 表示了圖像中像素總數。
按照Zadeh的理論[9],上式中 H′[c] 反映了顏色 c 在圖像中出現的概率值(模糊隸屬度),那么規格化向量 H ′本身即為一個模糊集。
特別的,圖像中出現頻率最高的顏色可以視為圖像的主色,若定義主色在圖像中的模糊隸屬度為1,那么得到規格化的模糊顏色直方圖向量:
H″={H″[0],H″[1],…,H″[c],…,H″[N]} (4)
其中H″[c]=H[c]/ max H[c] ,max H[c] 表示了圖像中表現為主色的像素點總數。
所提取圖像顏色特征,其模糊顏色直方圖將由圖像的黑、紅、黃、綠、青、藍、紫、白八種顏色信息在圖像中的出現頻率構成。按照上述方法,對圖像數據庫中的所有圖像,根據式(4)可以得到每一幅圖像所對應的規格化的模糊直方圖向量 H ″,從而容易構建與圖像數據庫中圖像對應的特征數據。圖4為兩幅示例圖像,表1給出了相應的顏色模糊直方圖特征值。
2 視覺采樣聚類方法[7]
聚類分析技術已經廣泛應用于模式識別和圖像處理及計算機視覺等領域。但在實際問題中,一般傳統聚類算法仍然存在以下對初始化參數敏感的缺點,而文獻[7]中提出的視覺采樣聚類方法VSC能夠較成功地克服這一弱點,在得到較好的聚類結果的同時,其聚類有效性也能在Weber定律的指導下得到合理的解釋。
對一給定的數據樣本集 X={x1,x2,…,xn},xi是d維空間Rd的特征向量,若將每個樣本看成是視覺采樣點,根據視覺采樣定理得到一個N個樣本值的采樣鏡像
視覺采樣頻率T的范圍可以在Weber定律的指導下取得Weber定律指出,視覺系統只能在一定的采樣頻率間隔(T1,T2)的范圍內有效地感知到圖像的結構,該特性說明 合理的結構只能在一定的采樣頻率T范圍內存在,這樣合理的采樣頻率T的范圍可以成為聚類的一種有效性度量指
視覺采樣聚類VSC的算法描述
(6)從所有記錄的聚類結果 c(i)(i =0,…, l )中,選取最優的聚類結果,即在最大范圍[lnTi lnTj]內,使聚類數目 c(i)保持不變作為最佳的聚類結果;或根據具體情況,選取具有較大范圍[lnTi lnTj]內,使其聚類結果保持穩定的聚類結果作為合理的聚類結果。算法結束。
視覺采樣聚類算法VSC不依賴于初始化參數,能夠自組織地找出數據樣本間的內在聯系,且各類均可由其吸引子表現出來。其最大優點是克服了傳統聚類方法對初始條件敏感的弱點,同時最后分類的選擇是建立在Weber定律的基礎上,從而在一定程度上解釋了聚類的有效性問題。
3 基于模糊直方圖的視覺采樣聚類與檢索
選用圖像庫http://www db.stanford.edu/~wangz/image.vary.jpg.tar中的52幅圖像作為實驗圖像(圖5)。
按照2.3節中的方法構建圖像數據庫的顏色模糊直方圖特征,將其作為數據樣本集 X 。然后以向量 X 作為輸入應用視覺聚類VSC算法對圖像進行聚類。文獻[7]中詳細討論了視覺聚類VSC算法的聚類結果與初始化視覺采樣頻率 T的關系,而向量X 中數據的取值在0~1之間,因此初始化視覺頻率 T 的范圍設置為0.01~0.5。在不同的視覺采樣頻率 T 下,可以得到相應的聚類結果如表2所示。
在Weber定律指導下,按照文獻[7]中的聚類有效性分析認為,0.2≤ T ≤0.3可以視為一個合理的采樣頻率區間,此時52幅圖像將分為五類,表3(a)給出了 T =0.3時的圖像聚類結果。
從實驗結果不難發現,聚類結果與人工分類存在一些差異:第1類~第4類的聚類結果與人工分類是一致的;但是在第5類中,人眼能夠明確地將其劃分為兩類,而本文的方法將其視為一類。導致這種結果產生的原因是,只考慮了圖像 45.jpg~52.jpg 的顏色信息,而忽略了圖像中的輪廓等其他信息。另外,模糊顏色直方圖中,主色對圖像聚類的影響起到了較為重要的作用,進一步的實驗結果表明:若對同一類中圖像,消除主色對圖像的影響,主色不作為特征輸入應用VSC算法進行聚類,在一定程度上可以對圖像數據進行更細的劃分,表3(b)給出了改進后的實驗結果。
在一些較為經典的聚類算法中,如模糊均值聚類FCM算法等,需要一定的先驗知識(即給定分類數目),而VSC聚類算法的主要優勢在于其對初始化參數的Robust特性,類算法中存在的一些不足。下面應用FCM算法對特征向量進行聚類,表4(a)和表4(b)分別給出了初始化聚類數目等于5和6時的聚類結果。
對算法VSC和算法FCM的實驗結果進行比較,不難發現VSC算法不僅能夠自動對圖像進行劃分,使在同樣的聚類數目下,其實驗結果的正確率仍然優于算法FCM,從而說明了算法VSC在圖像聚類中的有效性。
應用視覺采樣聚類算法在對圖像數據庫http://www db.stanford.edu/~wangz/image.vary.jpg.tar中所有彩色圖像進行聚類與檢索,同樣能夠得到較好的實驗結果,限于篇幅不作贅述。但是圖像特征提取的不足,使得該方法在處理離散度較低的圖片數據庫較為有效,例如對于由視頻幀組成的圖像數據庫,該方法能夠有效地獲取特征幀;而在離散度較高的圖片數據庫中,由于特征提取方法上的不足,從而限制了該方法的有效適用范圍。
4 結束語
在視覺聚類算法VSC的Robust特性指導下,該方法能夠自適應地對大容量圖像數據庫中的圖像進行劃分,并得到較準確的聚類結果,為圖像檢索提供有效合理的檢索范圍。但是應該指出,本文所做的工作是初步的,僅僅考慮了圖像在顏色空間的特征信息,而忽略了圖像中其他有效信息,這在一定程度上限制了其適用范圍。下一步的工作將綜合考慮圖像的多特征(如顏色、紋理、形狀、拓撲和語義特征),并考察VSC聚類算法對圖像多特征的聚類結果,以期進一步提高圖像檢索的精度。
參考文獻:
[1] M J Swain,D H Ballard.Color Indexing [J]. International Journal of Computer Vision,1991,7(1):11-32.
[2] J Huang,S R Kumar, et al . Image Indexing Using Color Correlograms [C].Proc. of IEEE Comp.Soc.Conf.Comp.Vis.and Patt.Rec.,1997.762-768.
[3] M S Kankanhalli, et al . Cluster based Color Matching for Image Retrieval[J].Pattern Recognition, 1996, 29(4): 701-709.
[4] 王濤, 胡事民,等. 基于顏色—空間特征的圖像檢索[J]. 軟件學報,2002,13(10): 2031-2036.
[5] 黃元元, 郭麗, 楊靜宇. 基于主色調匹配的圖像檢索方法[J]. 計算機工程,2002,28(6): 28-29.
[6] 曹莉華, 柳偉, 李國輝. 基于多種主色調的圖像檢索算法研究與實現[J]. 計算機研究與發展, 1999, 36(11): 96-100.
[7] 郭偉, 王士同,等. 視覺采樣聚類方法VSC[J].電子與信息學報,2006,28(4):597-02.
[8] 胡成發. 印刷色彩與色度學[M].北京:印刷工業出版社, 1993.
[9] L A Zadeh. Fuzzy Logic, Neural Networks, and Soft Computing [C]. ACM,1994.77-84.
作者簡介:郭偉(1982-),男,湖北黃岡人,碩士研究生,研究方向為模式識別、圖像處理;王士同(1964-),男,江蘇揚州人,教授,博導,研究方向為人工智能、神經網絡、模式識別、圖像處理以及生物信息學等。
注:本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文。