基于非高斯分布的ICA紋理分類方法研究

韓 濤，張 杰

（中國飛行試驗(yàn)研究院 陜西 西安 710089）

基于非高斯分布的ICA紋理分類方法研究

韓 濤，張 杰

（中國飛行試驗(yàn)研究院 陜西 西安 710089）

紋理特征的提取是紋理分析的重要研究內(nèi)容之一。基于獨(dú)立成分分析的紋理分類方法中，目前主要選取獨(dú)立成分分析系數(shù)的二階統(tǒng)計(jì)量或頻譜直方圖作為紋理特征描述。本文根據(jù)獨(dú)立成分分析系數(shù)滿足非高斯分布的特點(diǎn)，提出了一種新的對野值魯棒的紋理特征提取方法，該方法較好地描述了獨(dú)立分量分析系數(shù)分布的反對稱性和稀疏性，在仿真實(shí)驗(yàn)中取得了較好的分類效果。同時(shí)針對不同的特征提取方法，利用獨(dú)立性不同的濾波器研究了濾波器獨(dú)立性對分類性能的影響，進(jìn)一步揭示了獨(dú)立成分分析系數(shù)的非高斯性與特征辨識能力之間的關(guān)系。

紋理分類；獨(dú)立成分分析；非高斯分布；獨(dú)立性

紋理是表征圖像的一個(gè)重要特征，它廣泛存在于各類圖像中。紋理圖像的分類在圖像處理、計(jì)算機(jī)視覺和模式識別中有著極其重要的作用。紋理分類的一個(gè)重要研究內(nèi)容是紋理特征的提取，期望所提取的特征能有效地刻畫紋理結(jié)構(gòu)、辨別不同類別的紋理。目前主要有四類常用的紋理特征表達(dá)方法[1]：基于統(tǒng)計(jì)分析、基于幾何結(jié)構(gòu)分析、基于模型和基于信號處理等方法。其中，基于信號處理的方法又稱為基于濾波器組的方法，受到廣泛關(guān)注，其實(shí)質(zhì)是采用濾波器或?yàn)V波器組對紋理圖像進(jìn)行分解變換，獲得紋理在不同分辨率或者不同頻譜范圍內(nèi)的特征表現(xiàn)[2]。文中所研究的基于獨(dú)立成分分析的紋理分類方法屬于上述的信號處理方法。

針對不同特征提取方法，研究了濾波器獨(dú)立性對分類性能的影響。利用主成分分析(principal component analysis，簡記為PCA）濾波器和獨(dú)立性不同的ICA濾波器，對比了頻譜直方圖、偏度、峭度以及本文提出的新函數(shù)的特征提取方法對分類性能的影響，進(jìn)一步揭示了ICA系數(shù)的非高斯性與特征辨識能力之間的關(guān)系[3]。實(shí)驗(yàn)結(jié)果表明，ICA系數(shù)的非高斯性越強(qiáng)，其對高階統(tǒng)計(jì)量的辨識能力就越強(qiáng)[4]。

1 基于ICA的紋理分類

基于ICA的紋理分類如圖1所示，主要包括以下過程：1）從紋理圖像中取圖像塊，通過FastICA算法[5]學(xué)習(xí)得到一組濾波器構(gòu)成濾波器組；2）將紋理圖像與濾波器組卷積得到特征圖像；3）在特征圖像中取圖像塊并描述得到特征向量；4）利用分類器進(jìn)行訓(xùn)練與測試。

圖1 ICA紋理分類框圖

1.1 紋理的ICA表示

用x=[x1，…，xM]T表示一幅圖像或者圖像塊按行展開成一個(gè)列向量，在ICA中，x可以表示成一些特征或者基函數(shù)的線性組合[6]：

式中，ai，i=1，…，N為基函數(shù)，是（M×N）的矩陣A的列；s=[s1，s2，…，sN]T表示用基函數(shù)A表示x時(shí)的系數(shù)，其各分量間相互統(tǒng)計(jì)獨(dú)立。這種模型還與視覺系統(tǒng)中冗余度最小的編碼策略一致[12]。

利用ICA學(xué)習(xí)得到基函數(shù)A和系數(shù)s，即利用訓(xùn)練數(shù)據(jù)x找到一個(gè)線性變換矩陣W使得

式中，分量y之間盡可能統(tǒng)計(jì)獨(dú)立，y是s的估計(jì)。矩陣A是W的廣義逆。

從Brodatz紋理圖像[13]中取圖像塊，通過FastICA算法學(xué)習(xí)得到基函數(shù)A和獨(dú)立濾波器W=[w1，w2，…，wN]T。ICA基函數(shù)是從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)得到，是與訓(xùn)練數(shù)據(jù)相關(guān)，對不同的訓(xùn)練數(shù)據(jù)會得到不同的基函數(shù)[7]。利用ICA學(xué)習(xí)得到的每個(gè)濾波器具有特定的頻率和方向特征。利用W能將紋理中的獨(dú)立分量提取出來，即：ICA的系數(shù)s。對系數(shù)s作進(jìn)一步描述就能刻畫出紋理的特征，從而達(dá)到紋理分類的目的。

1.2 特征圖像

將紋理圖像與濾波器組中的每個(gè)濾波器w1，w2，…，wN分別作卷積：

式中，i表示ICA濾波器wi的通道序號，（k，l）表示空間位置，I表示紋理圖像，（*）表示卷積運(yùn)算，Ui為ICA系數(shù)（又稱濾波圖像或特征圖像）。

將原圖像與濾波器組進(jìn)行濾波（卷積）得到濾波圖像。如果濾波器組包含N個(gè)濾波器，則原圖像與濾波器組濾波后，將產(chǎn)生與原圖像一樣大小的N幅濾波圖像。每一個(gè)濾波器具有特定的頻率和方向特征，響應(yīng)于特定的紋理特征[8]。這樣，原紋理圖像中與濾波器相調(diào)諧的部分，在濾波圖像將產(chǎn)生較強(qiáng)的能量，不相調(diào)諧的部分將產(chǎn)生較弱的能量。濾波圖像又稱為特征圖像，特征向量是由每一個(gè)特征圖像中相應(yīng)像素值的描述構(gòu)成的向量。

1.3 特征提取

從N幅特征圖像中取某一相同位置的像素點(diǎn)，從該像素點(diǎn)開始得到一特征圖像塊；描述圖像塊的特征得到一個(gè)或多個(gè)特征值；按照濾波器的順序?qū)⑻卣髦荡?lián)組成一向量，此向量即為特征向量。圖像塊的特征可以采用頻譜直方圖、常規(guī)矩的方法以及本文引入的估計(jì)方法，詳見本文第3節(jié)。考慮到去除光照的影響，這里的圖像塊均已去均值[9]。

從用于訓(xùn)練的紋理圖像中得到訓(xùn)練樣本的特征向量，從用于測試的紋理圖像中得到測試樣本的特征向量，然后送到分類器中進(jìn)行訓(xùn)練與測試。

1.4 分 類

將得到的特征向量用分類器進(jìn)行分類，用訓(xùn)練樣本進(jìn)行訓(xùn)練，最后用測試樣本進(jìn)行測試。本文采用最近鄰分類器。最近鄰分類器是采用各類中全部樣本都作為代表點(diǎn)[10]，將未知樣本X判別為與它最近的樣本同類。因此，最近鄰分類器可在一定程度上克服各類樣本均值向量的偏差所造成的影響。

假定有 C個(gè)類別 ω1，ω2， …，ωc的模式分類問題，每類的樣本數(shù)為Ni個(gè)，其中i=1，2，…，C。則可以規(guī)定ωi類的判別函數(shù)為：

其中xki的角標(biāo)i表示ωi類；k表示ωi類Ni個(gè)樣本中的第k個(gè)樣本，按照上式，決策規(guī)則可以寫為：

2 特征提取方法研究

由于ICA系數(shù)滿足非高斯分布，不可避免地存在野值。在特征圖像中取的圖像塊不可能非常大，數(shù)據(jù)量較小。在樣本數(shù)量有限的情況下，常規(guī)矩中的高階矩對野值極其敏感，它們的值可能只依賴于少數(shù)幾個(gè)可能錯誤但很大的觀測值[11]。同時(shí)，高階矩估計(jì)中的冪次較高，遠(yuǎn)離零的數(shù)據(jù)對它們的影響，比靠近零的數(shù)據(jù)對它們的影響要強(qiáng)得多，這樣度量的是分布的尾部，基本上不受分布中心附近結(jié)構(gòu)的影響。這意味著，野值或者遠(yuǎn)離零的數(shù)據(jù)可能完全確定了矩估計(jì)，因而使得這些估計(jì)毫無用處。舉例來說，假定在一個(gè)具有零均值和單位方差的隨機(jī)變量的1000個(gè)樣本值中有一個(gè)為10，那么峭度最少為104/1000-3=7，也就是說一個(gè)單樣本可以使峭度變得很大。這樣我們可以看到，峭度的值可能只取決于邊緣的少量觀測值，而這些觀測可能是錯誤的或與問題無關(guān)的。換句話說，常規(guī)矩估計(jì)中的峭度并不是非高斯性的一個(gè)魯棒度量。

為了更好地描述ICA系數(shù)的非高斯分布特征，文中提出了一種的新的紋理特征提取方法[12]，該方法較好地描述了ICA系數(shù)概率密度分布的反對稱性（asymmetry）和稀疏性（sparity）。

描述ICA系數(shù)概率密度分布的反對稱性的度量函數(shù)：

描述ICA系數(shù)概率密度分布的稀疏性的度量函數(shù)：

這兩個(gè)函數(shù)都是光滑的，而且對野值具有魯棒性。在上面的例子中利用式（7）進(jìn)行估計(jì)，那么峭度的變化量僅為exp（-102/2）/1000=1.9287×10-25≈0，即對整體估計(jì)的影響幾乎為零。

式（6）用于描述ICA系數(shù)的概率密度分布的反對稱性，文中將該式作為與偏度相對應(yīng)的估計(jì)。式（7）作為ICA系數(shù)的稀疏性度量，可作為峭度的估計(jì)。采用ICA系數(shù)的方差（公式（5）的第一個(gè)式子）、式（6）、式（7）的聯(lián)合矩來描述ICA系數(shù)的概率密度分布特征，這樣得到的特征向量更加緊湊，且具有較好的魯棒性。

3 濾波器獨(dú)立性對分類性能影響的研究

在ICA濾波器的學(xué)習(xí)過程中，為了減少計(jì)算量，加快ICA算法的收斂速度，采用PCA去除圖像的二階統(tǒng)計(jì)特征相關(guān)性，其余的高階統(tǒng)計(jì)特征由ICA分離，得到的PCA濾波器組如圖2（a）所示。圖像經(jīng)PCA處理后，利用ICA算法得到獨(dú)立的濾波器。在ICA學(xué)習(xí)過程中，由于ICA初始化矩陣是隨機(jī)的，一開始得到的濾波器基本上無結(jié)構(gòu)和方向信息[13]。但隨著迭代次數(shù)的增多，得到的濾波器的結(jié)構(gòu)和方向信息越來越明顯。圖2（b）為迭代50步得到的ICA濾波器，表現(xiàn)出多方向性、多頻率性。圖2（c）為迭代1 000步得到的ICA濾波器，方向性和頻率性表現(xiàn)得更加明顯。

圖2 經(jīng)PCA以及ICA迭代50、1000次后得到的濾波基（12×12）

基于濾波器組的紋理分類中，使用PCA濾波器得到的系數(shù)具有高斯性，而使用ICA濾波器得到的系數(shù)具有非高斯性。對于高斯分布，使用均值和方差可以描述分布特征。方差表征信號偏離均值的程度，當(dāng)均值為零時(shí)，反映信號的能量信息[14]。當(dāng)均值為零時(shí)，對于高斯分布使用方差即可描述其分布特征。而對于非高斯分布，特征描述時(shí)除了使用均值和方差外，通常還使用偏度和峭度這樣的高階統(tǒng)計(jì)量來描述。

我們的實(shí)驗(yàn)結(jié)果表明：采用方差或者頻譜直方圖作為特征提取方法時(shí)，使用PCA濾波器和ICA濾波器的實(shí)驗(yàn)結(jié)果相近；采用偏度和峭度這些高階統(tǒng)計(jì)量提取特征時(shí)，使用ICA濾波器明顯優(yōu)于PCA濾波器。而且ICA系數(shù)的非高斯性越強(qiáng)，其對高階統(tǒng)計(jì)量的辨識能力就越強(qiáng)[15]。采用系數(shù)的高階統(tǒng)計(jì)量時(shí)ICA濾波器具有明顯的優(yōu)勢，且采用方差，偏度和峭度的聯(lián)合矩獲得的效果最理想。

4 仿真實(shí)驗(yàn)

圖4的橫軸為利用ICA求濾波器的迭代次數(shù)，縱軸為分類的正確率。隨著迭代次數(shù)的增加，左圖從上到下分別為利用譜直方圖、常規(guī)矩的二階矩得到的分布圖，右圖為利用公式（7）提供的稀疏性估計(jì)、公式（6）提供的反對稱估計(jì)、常規(guī)矩的峭度、常規(guī)矩的偏度得到的紋理分類結(jié)果分布圖。圖中迭代次數(shù)從0開始計(jì)算，迭代次數(shù)為0表示對數(shù)據(jù)進(jìn)行PCA處理時(shí)得到的PCA濾波器的分類結(jié)果。

圖3 紋理圖像經(jīng)ICA后得到的基的平均互信息與系數(shù)的平均峭度值隨迭代次數(shù)的分布情況

圖4 ICA濾波器獨(dú)立性與其對紋理特征的辨識能力的影響

實(shí)驗(yàn)結(jié)果表明，若使用 ICA系數(shù)的頻譜直方圖或方差提取特征，雖然隨著迭代次數(shù)的增加，ICA濾波器獨(dú)立性越來越好，但對最后的分類結(jié)果沒有太大影響。當(dāng)在特征提取中采用系數(shù)的偏度和峭度時(shí)，隨著迭代次數(shù)的增加，濾波器相互間越來越獨(dú)立，利用偏度和峭度得到分類結(jié)果均有提高。同時(shí)由圖4可知，由常規(guī)矩得到的偏度和峭度作為特征提取時(shí)波動較大，而由公式（6）提供的反對稱估計(jì)得到的結(jié)果穩(wěn)定性地上升。這主要是由于常規(guī)矩估計(jì)對野值較為敏感，而公式（6）提供的反對稱估計(jì)對野值的魯棒性好。由圖4可知，利用公式（7）提供的稀疏性估計(jì)的分類結(jié)果一直都較高，而且一直很穩(wěn)定，魯棒性非常好。

5 結(jié) 論

文中主要研究了基于ICA紋理分類中特征提取以及濾波器獨(dú)立性問題。根據(jù)獨(dú)立成分分析系數(shù)滿足非高斯分布的特點(diǎn)，采用對野值魯棒的特征提取函數(shù)，較好地描述了系數(shù)分布反對稱性和稀疏性，在ICA紋理分類中取得了較好的分類效果。同時(shí)針對不同的特征提取方法，研究了濾波器獨(dú)立性對分類性能的影響。利用PCA濾波器和ICA濾波器，對比了頻譜直方圖、偏度、峭度以及本文引入的新函數(shù)的特征提取方法對分類性能的影響，不同的特征提取方法對濾波器獨(dú)立性的要求不同，進(jìn)一步揭示了ICA系數(shù)的非高斯性與特征辨識能力之間的關(guān)系。實(shí)驗(yàn)結(jié)果表明，ICA系數(shù)的非高斯性越強(qiáng)，其對高階統(tǒng)計(jì)量的辨識能力就越強(qiáng)。

[1]汪榮貴，楊萬挺，方帥.基于小波域信息融合的MSR改進(jìn)算法 [J].中國圖象圖形學(xué)報(bào)，2010，15（7）: 1901-1908.

[2]劉文濤，陳紅，蔡曉霞，等.基于雙樹復(fù)小波變換的信號去噪算法[J].火力與指揮控制，2014，39（12）: 84-87.

[3]張麗麗，蘇訓(xùn)，陳鑫，等.基于邊緣檢測和小波變換的遙感圖像融合算法[J].大慶師范學(xué)院學(xué)報(bào)，2014，34（6）:24-27.

[4]陸瑩，牛蕊，王偉，等.基于小波變換的圖像邊緣提取算法[J].測繪與空間地理信息，2015，38（3）:21-24. [5]趙季紅，雷佩，王偉華，等.基于小波變換的 RLS波束成形算法研究[J].電信科學(xué)，2015，29（3）: 109-111.

[6]黃黎洪.一種基于單尺度Retinex的霧天降質(zhì)圖像增強(qiáng)新算法[J].應(yīng)用光學(xué)，2010，31（5）：728-733.

[7]衛(wèi)婷婷，紀(jì)峰，龐勝軍.圖像增強(qiáng)算法新進(jìn)展[J].寧夏師范學(xué)院學(xué)報(bào)（自然科學(xué)），2012（12）:6-33.

[8]葛君偉，謝祥華，方義秋.霧天圖像清晰化方法及應(yīng)用[J].重慶郵電大學(xué)學(xué)報(bào)（自然科學(xué)版），2010，22（2）:223-226.

[9]周衛(wèi)星，廖歡.基于高頻強(qiáng)調(diào)濾波和 GLAHE的霧天圖像增強(qiáng)方法[J].數(shù)字視頻，2010（7）:38-40.

[10]胡大南，何濤.基于霧天環(huán)境下圖像增強(qiáng)方法研究[J].科技論壇，2011（2）:14-15.

[11]王劍平，張婕.小波變換在數(shù)字圖像處理中的應(yīng)用[J].現(xiàn)代電子技術(shù)，2011，34（1）:91-94.

[12]張彬，鄭永果，馬芳，等.基于小波變換的多模態(tài)醫(yī)學(xué)圖像融合算法 [J].重慶醫(yī)學(xué)，2011，23（7）: 652-654.

[13]劉興淼，王仕成，趙靜.基于小波變換與模糊理論的圖像增強(qiáng)算法研究[J].彈箭與制導(dǎo)學(xué)報(bào)，2010，30（4）:183-186.

[14]Namgook Cho，Enhanced Voice Activity Detection Using Acoustic Event Detection and Classification [J].IEEE Transactions on Audio，Speech and Language Processing，2011（7）:927-936.

[15]Cheng Gong， LI Yao-bo， Voice Activity Detection Method Based on Gray Correlation Analysis Algorithm[J].Signal Processing Letters，IEEE，2011:87-90.

Non-Gauss distribution's ICA texture classification

HAN Tao，ZHANG Jie
（Chinese Flight Test Establishment，Xi'an 710089，China）

Extracting effective features remains to be an important research problem in texture analysis. Based on independent component analysis（ICA），second-order statistical features and spectral histogram of ICA coefficients have been used to characterize texture properties for classification purpose.In this paper，according that the ICA coefficients satisfy non-gauss distribution in texture classification based on independent component analysis （ICA），new features extracting method is put forward，which is robust to outliers.The method measures ICA coefficients'asymmetry and sparsity，which are shown to yield better classification performance than the previously reported ICA features.Furthermore，the influence of different texture feature effected by independent of ICA filters are investigated.The non-gauss property of ICA coefficients and the discriminating power of features are further revealed.

textureclassification；independentcomponentanalysis（ICA）；non-gaussdistribution；independent

TN99

：A

：1674-6236（2017）08-0147-04

2016-06-23稿件編號：201606183

航空科技基金（2010ZD30004）；航空科技基金（2015ZD30002）

韓 濤（1985—），男，陜西漢中人，碩士，工程師。研究方向：攝影測量。