面向多模態圖像的柯西相關特征學習方法

蘇樹智,謝 軍,高鵬連,鄧瀛灝,鄭 蘋

(安徽理工大學 計算機科學與工程學院, 安徽 淮南 232001)

根據圖像數據來源的數量，圖像可以分為單模態圖像和多模態圖像[1]。單模態圖像是同一目標僅有一類圖像進行描述。目前，面向圖像的特征學習方法主要集中在單模態圖像，其中主成分分析[2]、線性鑒別分析[3]和局部保持投影[4]是最具代表性的單模態特征學習方法，這些方法在遙感圖像處理、機器人定位、基因數據分析、核磁共振數據分析等實際應用中已經取得成功。多模態圖像的本質是同一目標擁有兩類或兩類以上的圖像[5]，比如借助不同的圖像采集設備能夠同時獲得某個人的可見光圖像、近紅外圖像以及熱紅外圖像等等。這些圖像可以從不同的角度描述同一個人的多種統計信息，并且具有互補性，通常被稱為這個人的多模態圖像。多模態圖像可視為描述同一目標的單模態圖像的集合，比單模態數據擁有更加豐富的信息，然而如何從多模態圖像中學習有效特征仍然是一個亟待解決的問題。

從多模態圖像中學習低維特征的常用方法[6]是利用串聯策略，將多模態圖像數據轉化為單模態圖像數據，然后再借助單模態特征學習方法進行低維特征的學習。盡管這種方法經常能夠有效增強識別或分類的性能，然而同樣也擁有明顯的缺點，比如數據的維數會急劇增加，使計算時間和存儲空間大幅提高，甚至會造成采集的數據量遠小于數據的維數，進而嚴重影響分類器的泛化能力[7]。針對該問題，很多學者從不同模態間的互補性和相關性出發，提出了一些多模態特征學習方法。局部排列的多模態特征方法[8]能夠從多模態圖像中學習一種鑒別潛在子空間，該子空間盡量保留了原始高維數據的局部幾何結構，使子空間投影后的低維特征更具鑒別力。借助廣義模態均值，多視圖鑒別分析方法[9]能夠從多模態數據中學習低維鑒別特征，該特征盡量保留了模態間和模態內的鑒別散布信息，具有良好的鑒別力，并在圖像識別中驗證了方法的有效性。為了掌握多模態數據的內在結構，Zhao等[10]構建了一種最大粒度結構描述因子，能夠抽取多模態數據的局部顯著特征，并在此基礎上形成基于數據一致性的廣義多模態特征學習方法。

典型相關分析(canonical correlation analysis，CCA)[11]是一種重要的多模態特征學習方法。該方法旨在學習兩模態數據的一致子空間，使原始高維數據投影到一致子空間后，模態間擁有最大的相關性。目前，CCA在很多實際應用中已經廣泛應用，比如故障檢測[12]、多模態生物分析[13]以及過程監控[14]。CCA本身是一種線性方法，這使其難以很好地掌握數據中隱含的非線性結構信息。局部保持CCA(LPCCA)[15]構建了局部模態間相關優化問題，通過求解該優化問題，能夠進一步獲得非線性相關特征，并在人臉的姿態估計中驗證了方法的有效性。核技術是一類常見的非線性輔助技術，將核技術與CCA有效融合，進一步形成了核CCA(KCCA)[16]方法。該方法首先利用高斯核函數將原始高維數據映射到更高維的核空間，使原始高維數據具有高維可分性，然后再在核空間中執行相關特征的學習。CCA學習的相關投影方向不具有正交性，因此CCA的相關特征難以最大限度地消除冗余。為此，正交CCA(OCCA)方法[17]通過在CCA的目標函數中添加正交約束，構建了正交相關優化問題，學習了正交的相關投影方向，進一步獲得了“稠密”的相關特征。CCA的無監督性在很大程度上限制了相關特征的鑒別力。為此，Gao等[18]學習了鑒別相關特征，并在圖像表情識別中驗證了方法的有效性。

上述所有方法都涉及基于樣本數據的協方差矩陣，即樣本協方差矩陣。由于實際應用中采集的樣本往往包含大量的冗余和噪聲信息，樣本協方差矩陣通常偏離真實協方差矩陣。對于特征學習方法，樣本協方差矩陣越接近真實協方差矩陣，特征學習方法獲得的特征往往具有越好的鑒別力[7]。為了解決樣本協方差矩陣偏離的問題，本文利用柯西估計對協方差矩陣的奇異值進行糾正，進而形成一種更加接近真實協方差矩陣的柯西協方差矩陣，然后在相關分析理論的基礎上，進一步提出面型多模態圖像的柯西相關特征學習方法，即柯西典型相關分析(Cauchy canonical correlation，簡寫為CauCCA)。該方法能夠同時從不同的模態學習具有強鑒別力的相關特征。為了分析方法的有效性，在3個常用的圖像數據上設計了針對性實驗，良好的實驗結果已經顯示該方法是一種有效的多模態圖像識別方法。

1 柯西典型相關分析方法

1.1 協方差矩陣的討論

協方差矩陣對于特征學習的方法性能至關重要。由于在實際應用中難以獲得真實協方差矩陣，通常利用樣本協方差矩陣來逼近真實協方差矩陣，然而樣本的冗余和噪聲信息會導致樣本協方差矩陣的偏離。為了衡量樣本協方差矩陣和真實協方差矩陣的偏離，定義了協方差矩陣的偏離度θ:

(1)

圖1 不同樣本數量對應的偏離度

圖2 不同樣本維數對應的偏離度

1.2 柯西協方差矩陣

假設X=[x1,x2,…,xN,]∈Rdx×N和Y=[y1,y2,…,yN]∈Rdy×N是對應相同目標的兩個模態數據集。其中(xk,yk)是對應同一目標的第k(k=1,2,…,N)對樣本，N為樣本數量，dx和dy分別表示模態數據集X和Y的樣本維數。

對于模態數據集X和Y，模態內樣本協方差矩陣的定義是相同的。下面以模態數據X為例，描述如何糾正模態內樣本協方差矩陣的奇異值，進而形成更接近真實協方差矩陣的柯西協方差矩陣。模態內樣本協方差Rxx的定義為

(2)

R(xx)=P(xx)Λ(xx)Q(xx)T

(3)

(4)

(5)

利用柯西估計對樣本協方差矩陣的奇異值進行糾正是一種減少樣本協方差矩陣偏離度的全新思路，能夠有效提升很多特征學習方法的鑒別力。

1.3 柯西協方差矩陣的分析

圖1和圖2除了展示樣本協方差矩陣的偏離度以外，還直觀地展示了柯西協方差矩陣隨樣本數量和樣本維數增加的變化趨勢。從圖1和圖2可以看出：隨著樣本數量的增加和樣本維數的減少，柯西協方差矩陣的偏離度呈現減小的趨勢，并且和樣本協方差矩陣相比，柯西協方差矩陣總是更接近真實協方差矩陣。

為了深入分析柯西協方差矩陣更接近真實協方差矩陣的原因，將真實協方差矩陣、樣本協方差矩陣以及柯西協方差矩陣進行奇異值分解，然后將奇異值分別進行從大到小的排列，并在圖3中展示了排序后的奇異值。從圖3可以看出：柯西協方差矩陣對奇異值進行了糾正，糾正的奇異值更接近真實協方差矩陣的奇異值，這是柯西協方差矩陣更接近真實協方差矩陣的重要原因。

圖3 真實協方差矩陣、樣本協方差矩陣和柯西協方差矩陣的奇異值

1.4 柯西典型相關分析

假設α∈Rdx×1和β∈Rdy×1分別是模態數據X和Y對應的相關投影方向，αTX和βTY為投影后的相關特征。柯西典型相關分析(CauCCA)旨在學習使模態間相關性最大的相關投影方向，因此，借助相關準則[11]，CauCCA的相關優化函數能夠表述為

(6)

由于α和β具有尺度不變性[17]，式(6)能等價地轉化為下面的優化問題：

(7)

借助Lagrange乘子法[19]，可以構建式(7)的Lagrange乘子函數L(α,β):

(8)

其中η1和η2是Lagrange乘子。通過將L(α,β)對α和β的偏導數設為零，可得：

(9)

(10)

式(9)左乘αT和式(10)左乘βT，可得：

(11)

(12)

(13)

(14)

經過簡單的推導，式(13)和式(14)能等價地轉化為下面的廣義特征值問題：

(15)

(16)

(17)

CauCCA方法輸入:模態數據集X=[x1,x2,…,xN]∈Rdx×N;模態數據集Y=[y1,y2,…,yN)]∈Rdy×N輸出:相關投影矩陣A和B1. 利用式(4)構建模態內柯西協方差矩陣R(xx)Cau和R(yy)Cau;2. 利用式(5)構建模態間柯西協方差矩陣R(xy)Cau;3. 求解式(15)和式(16)即可獲得相關投影矩陣A和B

對于最終的識別任務，不同模態的相關特征需要進行融合。假設{x,y}為對應同一目標的訓練樣本或測試樣本，則可以借助簡單的融合策略[6]獲得{x,y}的融合相關特征z：

z=ATx+BTy

(18)

2 實驗結果及其分析

為了評估提出方法的有效性，在GT圖像數據集(http://www.anefian.com/research/face_reco.htm)、AT&T圖像數據集(http://www.cad.zju.edu.cn/home/dengcai/Data/FaceData.htm)以及IRIS熱紅外/可見光圖像數據集(http://vcipl-okstate.org/pbvs/bench/)上進行了實驗。GT數據集和AT&T數據集屬于單模態圖像數集，為此借助模態策略[19]獲取每幅圖像的兩種模態數據。具體而言，利用Coiflets和Daubechies小波變換方法來獲取每幅圖像的兩個模態數據，隨后使用主成分分析將模態數據的維數約減到100維，以減少小樣本問題。IRIS數據集利用不同的圖像設備采集了同一目標的熱紅外圖像和可見光圖像，是常用的兩模態圖像數集。借助模態策略中小樣本問題的處理方法，IRIS數據集同樣也利用主成分分析將模態數據的維數約減到100維。

表1 在GT圖像數據集上的平均識別率 %

參數4Train5Train6Train7TrainCauCCA67.8071.9073.6077.00OCCA65.9169.1670.8473.88KCCA66.2270.8872.5374.93CCA52.8059.0861.7866.22

表2 在AT&T圖像數據集上的平均識別率 %

參數4Train5Train6Train7TrainCauCCA93.6795.6597.7597.75OCCA93.6296.3097.4497.50KCCA78.3890.3593.1993.83CCA92.2994.7596.5097.17

表3 在IRIS熱紅外/可見光圖像數據集上的平均識別率 %

參數4Train5Train6Train7TrainCauCCA63.0576.5083.6788.50OCCA61.2975.1182.7388.08KCCA60.1075.0081.0786.92CCA35.9559.8380.6786.00

在實驗部分，將CauCCA與OCCA、KCCA以及CCA進行了對比分析。該方法中的參數c從數據間隔為0.1的[0.1,1]區間內以及數據間隔為1的[2,10]區間內，利用交叉驗證尋找最優參數。在最終的識別任務中，分類器使用的是基于歐式距離的最近鄰分類器，并且展示了所有可能維數下的最優識別率。在3個圖像數據集上，隨機從每類中選擇u(u=4,5,6,7)幅圖像作為訓練圖像，剩余圖像用于測試，獨立運行10次樣本隨機實驗，在表1～3中分別展示了平均識別率。

圖像數據是一種常見的高維小樣本數據，即數據維數高，樣本數量相對較少。從圖1、2可以看出，基于圖像數據的樣本協方差矩陣往往嚴重偏離真實協方差矩陣，這是CCA在3個圖像數集上擁有較差識別性能的重要原因。然而CauCCA利用柯西估計對樣本協方差矩陣的奇異值進行了糾正，構建了更接近真實協方差矩陣的柯西協方差矩陣，進而有效增強了相關特征的鑒別力，并在表1～3中分別顯示出了良好的識別性能。CauCCA在識別率上明顯優于CCA，這進一步驗證了對柯西協方差矩陣分析的正確性。OCCA在相關投影的優化問題中添加了正交約束，并在理論上提升了數據壓縮的緊湊性，最大限度地減少了相關特征的冗余信息。該方法在圖像識別中也顯示了相對較好的識別性能，在一定程度上改善了相關特征的鑒別力。KCCA利用經驗核函數探索了原始高維數據中隱含的非線性結構信息，然而由于經驗核函數不具有數據適應性，KCCA難以在各類數據集上很好地揭示數據的非線性結構，這是KCCA在3個不同數據集上相對識別性能相差較大的重要原因。OCCA和KCCA是相關特征學習中的兩類代表性方法，該方法在大多數情況下擁有比OCCA和KCCA更高的識別率，這在一定程度上也顯示了CauCCA在圖像識別中的有效性。此外，OCCA和KCCA也是基于協方差矩陣的相關特征學習方法，利用CauCCA構建的柯西協方差矩陣，同樣能夠進一步增強OCCA和KCCA的識別性能。

3 結束語

在實際應用中難以直接獲得真實協方差矩陣，基于協方差矩陣的特征學習方法通常是利用樣本協方差矩陣來逼近真實協方差矩陣，然而由于實際采集的樣本包含大量的冗余和噪聲信息，樣本協方差矩陣往往嚴重偏離真實協方差矩陣，進而影響特征學習的方法性能。為了從樣本數據獲得更加真實的協方差矩陣，首先對樣本協方差矩陣進行奇異值分解，并利用柯西估計糾正樣本協方差矩陣的奇異值，進而獲得更接近真實協方差矩陣的柯西協方差矩陣，然后結合相關分析理論，提出面向多模態圖像的CauCCA方法，該方法能夠從少量圖像中學習強鑒別力的相關特征。在3個常用的圖像數據集上設計了針對性實驗，實驗結果顯示CauCCA是一種有效的圖像識別方法。在理論上，基于協方差矩陣的特征學習方法能夠借助柯西協方差矩陣的優勢進一步提升方法性能。如何將柯西協方差矩陣有效嵌入其他特征學習方法，以及嵌入柯西協方差矩陣后特征學習性能的改善程度將是進一步研究的重點。