基于視覺選擇性的離變焦圖像序列慢變特征提取算法研究

趙 彥 明

(河北民族師范學院數學與計算機科學學院 河北 承德 067000)

0 引 言

慢變信號是不變量的表達形式，是高頻輸入信號在高層表達上抽象的不變量信息。慢特征分析算法是基于不變量學習的分析算法，用于提取信號的慢屬性和屬性間的慢拓撲，并在諸多領域成功應用。

在1989年，Hinton[1]首次給出慢變特征的基本概念、基本理論和假設，初步形成慢變特征提取理論。2002年文獻[2]提出慢變特征分析算法(SFA)，該算法是一種非監督學習算法，通過特征空間的非線性擴張算法，有效解決了監督學習算法的樣本數量不足與恒維等現象。慢變特征分析的理論和算法被建立。

2005年Berkes[3]和Wiskott將不變量學習成果應用于復雜細胞感受野學習模型研究上。2007年文獻[4]研究并揭示不變量在馬海體細胞上的性質，為不變量學習理論鑒定了生理學基礎。2008年文獻[5]利用慢變特征分析算法實現了卡通魚位置與旋轉角度的不變特征提取與識別，首次證明了慢變特征算法有能力提取分類信息，為慢變特征算法在特征提取與模式識別領域內應用提供了理論與實驗基礎。

文獻[6]于2009年研究利用馬爾科夫鏈生成訓練數據訓練慢變特征分析算法。證明當小參數a趨近于0時，慢變特征算法抽取的特征與FDA算法抽取的特征等效，證明不變量特征提取算法在特征提取上是正確可行的，同時證實馬爾可夫鏈在慢特征訓練上的可行性。

2011年馬奎俊等[7]提出基于核的慢變特征分析算法，解決了特征空間擴充問題和避免在高維空間的運算問題，實現了慢變特征分析算法在盲信號分離上的應用。至此，標準慢特征分析算法已初步成熟。

為降低標準慢特征分析算法計算復雜度，受分治策略啟發，文獻[8]提出層次化的慢變特征分析算法，緩解計算復雜度過高問題，但是該算法因分層結構而損失相當一部分信息，不能確保算法能夠提取全部的全局優化特征。為改進信息損失引起的特征提取非完全全局最優特征問題，以圖論為基礎，文獻[9]提出了基于圖論的慢變特征分析算法(GFSA)。該算法提出利用訓練圖的復雜結構來訓練慢變特征分析算法的思想，該算法初步提出根據訓練圖像自身的復雜結構特征實現特征提取。2015年趙彥明等[10]提出了基于自然圖像復雜視覺信息的特征提取算法，從視覺選擇性角度，以自定義的TICA，提取自然圖像復雜視覺空間信息與信息間的拓撲關系的慢特征，揭示視覺選擇性與慢特征之間的一致性。

近年來慢變分析算法在人類行為識別[11-13]、忙信號分析[7，14]、動態監測[15]、3D特征提取[16]和多人路徑規劃[17]等不同領域上取得較好的應用。

慢特征分析方法在理論與應用上取得較好進展。但是，仍然存在如下兩點缺欠：(1) 盡管慢特征分析方法已經采用訓練圖的復雜結構來訓練慢變特征，但是傳統慢特征分析方法提取的慢變特征不能揭示自然圖像的視覺空間拓撲結構；(2) 沒有利用圖像序列的序列性和序列變化的視覺慢變性實現基元素的非線性擴張。

基于此，本文提出基于視覺選擇性的離變焦圖像序列慢變特征提取算法，解決了上述缺欠。

1 離變焦圖像序列

在對自然圖像分析上，慢特征分析過程具有與靈長類動物視覺皮層復雜視覺細胞視覺成像相近的特征[18]。靈長類動物的視覺系統對外界環境觀察的過程中，傳感信號和環境表示都是時域上的快速變化函數，頻域上的高頻函數，而其本質特征則是隨時間緩慢變化的，即信號中包含的基函數空間與空間中基函數的拓撲關系變化緩慢，靈長類動物的視覺處理過程是多通路并行，每通路分層串行處理的過程[19-20]；視覺選擇性理論[10]：在視覺空間中，相同或相近子功能的視覺細胞分布在相同視覺區域，不同子功能的視覺細胞分布在不同視覺區域。

自然場景的離變焦圖像序列采集過程類似于靈長類動物視覺系統對外界環境的觀察過程。該過程是不同視距、視角和運動條件下，自然圖像包含的視覺信息變化過程。離變焦采集系統采集的離變焦圖像序列包含的傳感信號與環境信號表示都是時域上快速變化的函數與過程，是頻域上的高頻函數。而離變焦圖像序列視覺空間本質特征，則是隨時間緩慢變化的，是快速變化的圖像序列包含的傳感信號與環境信號表示中的基函數空間與基函數空間的拓撲結構的不變性。

因此，本算法以靈長類動物的視覺選擇性為理論基礎，以慢特征分析為方法，提取離變焦圖像序列中能夠反映自然圖像離變焦圖像序列的視覺空間基的種類、每類元素數量、類內與類間拓撲結構不變性的Gabor特征。

2 算法比較

2.1 現有算法

初步分析SFA算法的理論與應用進行概述與分析，并歸納出傳統SFA算法的優勢與缺欠。現有算法的工作成果如表1所示。

表1 現有算法工作成果比較表

基于表1的比較分析結果，本文將重點從慢特征提取方法、慢特征擴展方法和特征結構方面改進，實現滿特征算法與視覺選擇性有效結合，實現離變焦圖序列的特征提取與識別。下面將逐條論證算法改進與改進結果。

2.2 算法改進

離變焦圖像是一個廣泛的定義。在研究離變焦圖像特征提取與分析時，應該限定離變焦的研究范圍和研究約束。本文研究的離變焦圖像序列是不改變圖像視覺空間基的組成信息及拓撲結構的離變焦圖像集合。這是在視覺空間內研究離變焦圖像的基本約束，稱為有限離變焦約束準則。

基于此，離變焦圖像表達為：

I(k)={IB(k,i,t),t=1,2,…;i=1,2,…,Nk}

(1)

式中：IB(k,i,t)是第k個待研究離變焦圖像的第i視覺基空間的第t個視覺功能區。Nk表示有限離變焦約束系數，以此保證本文算法提取離變焦圖像序列不變性視覺特征的一致性。計算方法為：

(2)

式中:IB(k,i,t)是第k個待研究離變焦圖像的第i視覺基空間的第t個視覺功能區。Tall表示特征學習完成后第k個待研究離變焦圖像的基空間的個數|I(k)|，且T

受有限離變焦約束準則限定，本文離變焦圖像序列定義為：GI={I(k),k=1,2,…,N}。

改進1特征提取方法改進。

原SFA算法的特征提取方法為PCA方法，主要提取圖像的獨立成分信息，并沒有提取自然圖像的視覺空間拓撲結構，不能從視覺本質上反映圖像的視覺本質特征。受視覺選擇性理論啟發，IB(k,i,t)中的元素應該具有相近或相似的視覺功能，并且分布在視覺空間相近的位置，具有明顯的視覺選擇性。因此，以myTICA[20]方法替代源SFA算的PCA方法，提取能夠反映自然圖像離變焦圖像視覺慢變特征。即IB(k,i,t)用Gabor函數模擬，表達為：

I(k)={IB(k,i,t)|IB(k,i,t)=gabor(f,o,t),

t=1,2,…;i=1,2,…,NK}

(3)

式中：f表示頻率，o表示方向角，t表示歸一化分布位置。

改進2特征基擴展與優化方法改進。

原SFA算法的特征空間擴展方法為多項式擴展算法，計算復雜度高，并且沒有與自然圖像視覺本質信息相結合，從視覺本質特征上進行特征空間擴展，生成反映自然圖像本質的超完備不變性特征集合。受人類視覺形成過程預備離變焦圖像序列生成過程的一致性啟發，本文利用馬爾可夫蒙特卡洛(MCMC)算法替代源SFA算法的多項式擴張方法，實現特征空間非線性擴展。該擴展包括特征基內元素擴展和特征樹上元素擴展，生成自然圖像離變焦圖像序列視覺不變性特征的超完備基，并利用自定義的近似正交剪枝算法實現不變性特征森林的優化，得到優化超完備基。具體實現如下：

以GI特征集合元素的分布作為先驗概率，利用基于Gibbs方法的馬爾可夫蒙特卡羅預測算法，實現超完備基擴展，并依據超完備基約束系數，生成滿足用戶需求的離變焦圖像不變性的超完備基。并啟用近似正交判別規則對超完備基進行剪枝操作，優化超完備基。同時對tree(m)鏈上數據采用相同的預測算法，實現鏈上數據的完備擴展。

超完備基約束系數定義為：

(4)

該系數針對于自然圖像視覺空間的每個基，該系數限定MCMC算法生成基不能主導本文算法，只能起到輔助作用。

近似正交判別規則和剪枝方法：

設任意向量α、β，則兩個向量正交的判別條件為：α⊥β?<α，β>=0。因此，定義相似正交的等價條件為：<α，β>=ε，ε為任意小正數，稱為剪枝系數，控制剪枝的程度。因此，當lim<α,β><ε時，兩個向量近似正交，如果是非擴展生成向量，響應系數增加1，并剪枝其中一個，否則，直接剪枝；當lim<α,β>≥ε時，不進行剪枝。

改進3不變性特征形成。

原SFA算法僅提取自然圖像的PCA特征，并沒有根據自然圖像自身的視覺特征提取離變焦自然圖像慢變特征和特征間的空間拓撲關系。

因此，根據上述兩步改進，在原SFA算法構架上改進，構造反映離變焦自然圖像序列視覺不變性的特征森林，如圖1所示。

圖1 離變焦自然圖像序列視覺不變性的特征森林

圖中:tree(m)為離變焦圖像序列的視覺空間第m序列的特征,m=1,2,3,…。該tree(m)是依據靈長類動物視覺信息處理全局并行，局部串行的理論設計的，有利于算法分布式并行設計。

綜上所述，離變焦圖像序列的慢變特征表達為：

IS={tree(m)|m=1,2,3,…}

(5)

tree(m)={(index(m,j),gabor(m,j))}

(6)

式中：m表示表示視覺空間基，j表示該視覺空間基中元素位置，j=1,2,…,360。IS矩陣的列具有頻率選擇性，行具有方向角選擇性，排列方法為遞增排列，且方向角范圍規定為[1°,360°]。

因此特征描述如表2所示。

表2 特征矩陣index(每行包含360個特征)

表中：1表示該位置存在感受野；0表示該位置不存在感受野。而且每個index(i,j)節點處隱含與其對應的gabor(i,j)函數，這些函數組成特征矩陣GMindes,如表3所示。

表3 特征矩陣GMindex對應的感受野

3 算法設計

3.1 特征提取算法

S1:初始化訓練圖庫指針k=1。

S2:從訓練圖庫train_db中，提取離變焦圖像序列GI={I(k)|k=1,2,…,N}。

S3:在圖像I(k)上，按照窗口大小N1×N2，隨機采樣個數2 048×sample_number個子圖像，生成訓練子集train_sub_db(k)。其中采樣次數sample_number是一個實驗值，是防止算法過擬合的控制參數。

S5:如果i≤N,i=i+1,算法重復執行S2-S4步。否則，算法完成。

S6:當GI={I(k)|k=1,2,…,N}特征集合生成完畢，利用該集合元素作為先驗概率，啟動基于Gibbs方法的馬爾可夫蒙特卡羅預測算法，實現各個基的超完備基擴展，并啟用近似正交判別規則對超完備基進行剪枝操作，簡化優化計算過程且保持超完備基特征。同時對tree(m)鏈上數據采用相同的預測算法，實現鏈上數據的完備擴展。

該擴展過程受超完備基約束系數和剪枝系數兩個參數影響，其定義為：

(7)

該系數針對自然圖像視覺空間的每個基，并限定MCMC算法生成基不能主導本文算法，只能起到輔助作用。

近似正交判別規則如下：

設任意向量α、β，則兩個向量正交的判別條件為：α⊥β?<α，β>=0。因此，定義相似正交的等價條件為：

<α，β>=ε，ε為任意小正數，稱為剪枝系數，控制剪枝的程度。

當lim<α,β><ε時，兩個向量近似正交，如果是非擴展生成向量，響應系數增加1，并剪枝其中一個；否則，直接剪枝。

當lim<α,β>≥ε時，不進行剪枝。

3.2 識別算法

S1：從測試圖像集合test_db中提取一幅圖片test_db(i)。

S2：在圖像test_db(i)上，按照窗口大小11×11像素隨機采樣個數2 048×sample_number個子圖像，生成測試子集test_sub_db(i,k)。

S3：從特征數據庫中讀取特征矩陣index和GMindex，設滑動尺度為1，按照自定義響應度計算方法，計算test_sub_db元素與特征矩陣GMindex的響應度。按照響應度計算規則，生成識別結果矩陣test_index(i)。

自定義響應度計算規則如下：

計算相似矩陣T：

(8)

計算T矩陣每一列中內積值大于平均內積值的元素個數ref_number，并將該值賦值給test_index(i)行。

S4:利用基于巴氏距離的直方圖匹配法計算test_index與index的相似性系數δ。將相似系數δ>δ0的類記錄到識別結果recong_result(j)中。

S5:按照Softmax函數方法計算recong_result(j)矩陣識別結果。

4 實驗及分析

4.1 實驗圖庫生成與展示

根據第2節的理論分析，離變焦圖像可由原始清晰圖像通過仿射變換近似生成。因此，算法實驗圖庫為從INRIA Holidays dataset圖庫中選區的1 000幅圖像集，按照表4的前5列參數做仿射變換生成包含原始圖像在內的研究圖庫，圖庫大小為15 000幅。該圖庫被分成兩個部分，前12 000幅為訓練圖集train_set；后3 000幅為測試圖集test_set，兩個集合均包含原始圖像1 000幅。圖2顯示了部分來自研究圖庫的圖片樣本。

表4 仿射變換表

圖2 基于INRIA Holidays圖庫的實驗圖庫樣本

4.2 離變焦圖像視覺不變性驗證

在INRIA Holidays dataset選取圖像103901.jpg，按照采樣窗口大小為11×11像素和采樣次數為2 048次，在該圖像上隨機采樣生成original_set子圖像集，并依據文獻[10]算法生成original_set_base視覺空間基集；按照仿射變換表參數設定，依據上面的過程生成不同參數下rotate_set_base(angle)、translate_set_base(pixels)和scala_set_base(scala)視覺空間基集。按照基于巴氏距離的直方圖匹配方法，計算各個變換集合到原始視覺空間基集的巴士系數。結果如圖3所示。

圖3 bhattacharyya系數分布圖

由圖3可知：根據bhattacharyya系數分布圖，在有限約束條件下，離變焦圖像具有視覺慢變性。其中平移對巴氏系數影響非常小，圖像平移具有最強的視覺不變性。旋轉與伸縮對巴氏系數影響非常大，具有有限視覺慢變性，即約束范圍內具有視覺不變性。實驗驗證，當旋轉角度控制在1°范圍內，算法具有嚴格的角度視覺不變性。伸縮尺度限定在[1/8,3]內，算法具有嚴格的伸縮視覺不變性。因此，實驗圖庫生成嚴格按照該約束。

4.3 采樣窗口大小與采樣次數對算法識別性能的影響

采樣窗口大小對算法識別率具有較大影響，在不同采樣窗口大小下，以訓練圖集train_set訓練，并以測試圖集train_set測試本文算法。結果如圖4所示(窗口大小為n×n，其中n=3，5，7，9，11，13，17，19，23，29，33，37)。

圖4 采樣窗口大小對算法識別率的影響

由圖4可知：隨采樣窗口大小增加，算法識別率先增加后區域穩定，原因為窗口大小過小時，算法局部特征過于明顯，影響全局特征標書，造成識別率下降。而隨采樣窗口大小逐漸增高，全局信息與局部信息采集達到均衡，算法識別率逐漸增高后會趨于平穩變化。當采樣窗口大小為11×11時，算法識別率為99.37%，具有較好的實用性。

當采樣窗口大小為11×11時，采樣次數為128、162、196、256、296、352、406、456、512、587、624、698、729、798、852、962、1 024、1 225、1 532、1 856、1 960、2 048、2 155、3 256、4 096、5 056、6 024、7 152、7 852、8 192次時，采樣次數對算法識別效果的影響如圖5所示。

圖5 采樣次數對算法識別率的影響

由圖5可知：隨采樣次數增加，算法識別率呈現先增加后趨于穩定，原因為采樣次數過少時，因采樣算法會發生信息丟失，造成識別率下降。而隨采樣次數逐漸增高，信息丟失現象會被盡量避免，算法識別率逐漸增高后會趨于平穩變化。當采樣次數為2 048時，算法識別率為99.67%，具有較好的實用性。

綜上所述，當采樣窗口大小為11×11像素，采樣次數為2 048次時，算法具有較好的識別效果，可作為后續實驗的約束條件。

4.4 超完備基生成參數對算法識別性能的影響

根據上述實驗結果，采樣窗口大小為11×11像素，采樣次數為2 048次，采用本文算法，在訓練圖集train_set和測試圖集test_set上，研究剪枝系數和超完備基約束系數λ與本文算法性能的關系，如圖6、圖7所示。

圖6 剪枝系數ε與本文算法性能的關系

由圖6可知：當剪枝系數增加變化較小時，剪枝去除的基元素數量較小，基本上不會影響自然圖像的視覺特征空間表達，因此，不會影響算法識別率；隨剪枝系數增加，超完備基元素數目減小增加，會增加去除從自然圖像直接提取的基元素，視覺空間表達效果降低，識別率下降；當剪枝系數增加到一定區域時，算法提取的基元素基本來自于自然圖像直接提取，算法識別率不會發生明顯變化。

由圖7可知：當超完備基約束系數λ增加變化較小時，算法預測生成的基元素數量較小，對自然圖像的視覺特征空間表達影響大，因此，對算法識別率影響較小；隨超完備基約束系數增加，超完備基生成元素數目增加，將減小從自然圖像直接提取的基元素對視覺空間表達效果貢獻，導致識別率下降。

圖7 超完備基約束系數λ與本文算法性能的關系圖

綜上所述，當采樣窗口大小為11×11個像素，采樣數為2 048，剪枝系數ε=0.15和超完備基約束系數λ=0.06時，本文算法識別性能最佳，識別率為99.87%。

4.5 算法可行性評價

選擇采取采樣窗口大小為11×11像素，采樣次數為2 048次，剪枝系數ε=0.15和超完備基約束系數λ=0.06時，在訓練圖集train_set和測試圖集test_set上。按照本文算法進行類內與類間bhattacharyya距離分布實驗，結果如圖8所示。

圖8 bhattacharyya距離分布

可以看出，依據ROC(receiver operating characteristic)曲線，當實驗閾值為0.4時，算法獲得識別率為99.96%，誤識率與誤據率都小于0.02%。表明本文算法具有較強的分類能力。

4.6 算法識別性能比較

選擇采取采樣窗口大小為11×11像素，采樣次數為2 048次，剪枝系數ε=0.15和超完備基約束系數λ=0.06時。在訓練圖集train_set和測試圖集test_set上，比較本文算法與SFA[1]、GSFA[8]、TICA[9]、myICA[10]性能，結果如圖9所示。

由圖9可知：與SFA[1]、GSFA[8]、TICA[9]、myICA[10]相比，本文算法具有高于其他算法識別率，原因是本文算法不僅提取自然圖像的感受野信息，也提取感受野間拓撲關系，從視覺空間上構造信息+拓撲的特征結構，本質上表示自然圖像的視覺特征，是其他算法所沒有的。隨采樣窗口大小的增加，每種算法的識別率先增加后趨于穩定。當采樣窗口大小為11×11時，各個算法均達到穩定識別率。當窗口過小時，算法抗噪聲能力差，算法識別率低；當窗口大小過大時，提取的感受野可能會包含多個感受野信息，造成感受野局部性信息丟失，算法識別率低。

4.7 算法抗噪性能分析

不同噪聲強度、不同噪聲類型(Gaussian、Salt&pepper和Speckl)會對識別率產生影響，當噪聲過大時，將失去研究價值。因此，分析算法的抗噪性能，結果如表5所示。

表5 算法的抗噪性能表 %

由表5可知：隨噪聲強度的增加算法識別率顯著減小，但是在噪聲強度低于5%時，算法具有較強的抗噪能力。Gaussian噪聲的函數表達式是gabor函數的一個子集，具有明顯視覺“ON-OFF”選擇性。因此，高斯噪聲增加會改變局部視覺空間結構的基函數屬性與特征，造成提取gabor函數不能表述原自然圖像的本質屬性，但是高斯噪聲對拓撲結構影響不大。Salt&pepper具有黑白點噪聲特點，具有體量較小視覺“ON-OFF”選擇性。對局部區域特征提取具有較大影響，對區域性gabor函數提取具有較大影響，當采樣窗口大小較小時，影響尤為嚴重，對全局與局部拓撲結構影響比高斯噪聲大。與前兩種噪聲相比較，Speckl噪聲具有單體結構大的特點，每個斑點噪聲均可以形成獨立的視覺gabor函數，可產生獨立的視覺選擇性，同時破壞原有自然圖像的視覺選擇性和視覺分塊屬性。因此，按照本文算法提取的感受野特征不能較好表示原圖像視覺特征，算法識別率受到較大影響。整體上，在相同噪聲強度下，Speckl、Salt&pepper和Gaussian對本文算法識別率影響依次減弱。

5 結 語

本文提出基于改進慢特征分析的離變焦圖像序列特征提取算法。算法受自然圖像視覺不變性理論啟發，提取離變焦圖像序列的視覺空間基的種類與類內元素數量、類內拓撲與類間拓撲結構的不變性特征建立圖像序列的視覺不變性特征森林，解決了慢變特征提取算法忽視自然圖像自身所包含的復雜視覺特征不變性問題；提出慢變特征森林從本質上描述離變焦圖像的視覺不變性本質。通過蒙特卡洛馬爾可夫算法預測生成新的基元素，解決采樣算法造成的自然圖像的基元素丟失問題，并降低基擴張部分的計算復雜度；利用自定義的近似正交剪枝算法實現森林剪枝，優化不變性特征森林，并利用自定義響應度計算規則實現匹配算法。從理論與實驗角度，通過大量實驗驗證本文算法。實驗結果表明：與同類算法相比，該算法正確可行，具有較好的抗噪能力；在實驗閾值為0.4時，算法獲得識別率為：99.96%，誤識率與誤據率都小于0.02%，這說明本文提取的算法具有較強的分類能力。

未來將深入研究依據自然圖像視覺本質特征自適應設定蒙特卡洛馬爾可夫算法參數問題，使其在視覺計算領域取得更好的應用效果，并展開該算法在信號識別領域應用探索。