標簽敏感的多重集正交相關特征融合方法

趙前進 平昕瑞 蘇樹智 謝 軍

①(安徽理工大學數學與大數據學院 淮南 232001)

②(安徽理工大學計算機科學與工程學院 淮南 232001)

1 引言

近年來，隨著大數據技術的發展，人們對不同屬性不同種信息的有效融合有很大的需求。特征融合[1]是一類重要信息融合方法，受到了廣泛的關注。從同一樣本中提取的多重特征能反映出該樣本的不同特性。特征融合目的是對不同的特征進行優化和組合，以達到更好的分類性能。特征融合方法的優點在于能夠組合不同特征，既保留多特征的有效判別信息，又在一定程度上消除冗余信息。在特征融合中，直接連接或集成不同類型的特征是早期主要的特征融合方法。后來一種新的融合策略是將兩組特征向量重構為一個新的向量，分別稱為串行融合方法和并行融合方法。這兩種特征融合方法都能在特定范圍內提高識別能力。但是上述方法都忽略了兩特征集之間的內在相關性，無法實現有效的特征融合。為了獲取能反映兩組特征內在相關性的特征對，典型相關分析(Canonical Correlation Analysis,CCA)[2]同時學習了兩組特征向量的相關投影方向，使投影后的典型特征組之間具有最大的相關性。

基于CCA的方法首先從同一模式下提取兩個不同的特征向量，然后建立相關準則函數，從兩組特征向量中提取典型相關特征，最后形成有效的判別特征向量，用于模式識別。CCA方法早期是用于多元數理統計分析。目前已經廣泛用于神經科學[3]、情感識別[4]、故障檢測[5,6]、過程監控[7]、遙感圖像[8]等領域。CCA方法能很好地獲取兩樣本之間的相關性，但是這種相關性并不能體現樣本類的關系，即沒有使用樣本的類標簽信息。通過引入類標簽信息，Gao等人[9]又提出一種新的多模態融合方法稱為鑒別典型相關分析，該方法同時最大化類內相關性及最小化類間相關性，使用鑒別信息進行特征融合，更適合于圖像識別任務。

CCA作為一種線性的特征融合子空間方法，難以發現兩組特征間的非線性關系。目前處理非線性關系的方法主要有基于核函數的方法和基于深度準則的方法。核典型相關分析[10]運用核技巧將數據非線性地轉換到一個更高維的核空間，在核空間中原始的非線性數據具有高維線性可分的性質，在盲源分離[11]中核典型相關分析已經被廣泛應用。類似核典型相關分析，深度典型相關分析方法[12]是一種兩視圖非線性數據轉換到高度線性相關的方法，在前饋神經網絡[13]中普遍使用，同樣能夠實現非線性數據的融合。在模式識別領域，正交性[14]是一種常用的投影方向的冗余判別標準。正交投影方法的優勢在于對數據分布和噪聲的影響不敏感，在特征提取融合過程中盡量保持樣本間的歐氏距離。Wang等人[15]在CCA中加入正交約束，提出一種新的正交典型相關分析方法。這是一種通過雙特征分解獲取正交典型投影向量的方法，在訓練樣本較小且維數高的情況下會有更高的識別率和魯棒性。

經典CCA局限于描述雙重特征數據集合間的一般線性關系，通常情況下，一組目標如果用多重特征數據集來表示，能更加全面展現出這組目標的特征關系，多重集典型相關分析[16]是CCA由兩組特征數據向多組特征數據的自然推廣，能夠同時融合兩組或兩組以上的特征數據，具有更廣泛的應用基礎。通過多重集典型相關分析能夠實現多組數據的特征融合，用來分析多變量間的線性關系。結合標簽信息，Gao等人[17]提出基于標簽的多重集典型相關分析方法，該方法利用訓練樣本的類內散布矩陣和多變量相關矩陣來提取鑒別信息，提高了最終識別能力。結合圖結構信息，Chen等人[18]提出圖多視角典型相關分析(Graph Multiview Canonical Correlation Analysis, GMCCA)方法，通過圖嵌入方法捕捉每個視角的低維表示，分析數據間的內在關系。

本文結合正交約束準則和監督散布結構提出一種標簽敏感的多重集正交相關特征融合方法，即多重集鑒別正交典型相關分析(Multi-set Discriminant Orthogonal Canonical Correlation Analysis,MDOCCA)。本方法在典型相關分析理論基礎上，將監督散布結構和正交投影約束嵌入到相關特征融合框架，實現了兩組或兩組以上特征的鑒別融合，并且融合后的特征不僅擁有更好的的鑒別力，而且又能一定程度上減少信息的冗余。為了驗證提出算法的有效性，在佐治亞理工大學(Georgia Tech, GT)圖像數據集、英國劍橋奧利維蒂研究實驗室(Olivetti Research Laboratory, ORL)圖像數據集、西班牙計算機視覺中心(Aleix martinez, Robert benavente,AR)圖像數據集和美國卡耐基梅隆大學 (Pose, Illumination, Expression, PIE)圖像數據集上的良好實驗結果表明提出的方法是有效的特征融合方法。

本文其余內容分布如下：第2節是對CCA的方法進行回顧；第3節是詳細描述MDOCCA方法的模型構建和優化求解；實驗和總結分別在第4節和第5節。

2 CCA方法回顧

CCA的目的是找到兩組變量的成對基向量，這兩組變量在這些基向量方向上的投影最大相關。因此，所有的有效信息都通過投影得到最大限度的保留。

3 多重集鑒別正交典型相關分析

CCA方法本質上是一種線性無監督的特征融合方法。能夠實現兩組特征的線性融合，然而由于CCA忽略了樣本的類信息，導致了識別性能的局限性，并且CCA方法構造的子空間是共軛正交的，受樣本個數和維數的影響較大，對數據分布和噪聲的影響較為敏感。為了使融合后的特征具有更好的鑒別力，本文將監督散布結構和正交投影約束嵌入到相關特征融合框架，以提取更多的判別特征和降低數據分布和噪聲的影響，從而提出一種新的MDOCCA方法，實現了兩組或兩組以上特征的鑒別融合。MDOCCA的優勢在于：(1)降低數據分布和噪聲的影響，受個體和維數的影響較小；(2)保持樣本間的歐氏距離，消除冗余信息；(3)加入樣本類信息，提高判別力；(4)能夠同時融合兩組或兩組以上的特征，提高方法的適用范圍。

該優化模型最大化不同組間變量間的相關差異，最小化同組變量內的相互差異。下一步對上述模型加入正交準則，正交性可以更好地保留特征空間的度量結構，使提取的投影方向盡可能不相關，減少特征中存在的冗余。可以將該模型重寫為

式(6)的模型不僅可以保留其中最大化不同組間關系，最小化組內關系的性質，還具有正交性，能減少數據分布和噪聲的影響，保持樣本間的歐氏距離。

類標簽信息可以反映樣本類之間的關系，如果忽略這種關系，則會導致得到的特征不是最優分類，損失識別性能。本文模型為了增強鑒別力，通過構建視圖內類內散布矩陣，將類標簽嵌入模型中。具體模型為

此模型既包含樣本組間相關關系，又含有類標簽信息和正交約束，有助于提高鑒別力。式(7)是一個典型的帶有約束的多元函數極值問題，拉格朗日乘數法是解決這類問題的常用方法。

利用拉格朗日法對方程式(7)進行求解得到

4 實驗結果和分析

為了驗證所提方法的有效性，在GT圖像數據集、ORL圖像數據集、AR圖像數據集和PIE圖像數據集上設計了一些針對性實驗來評估本文所提方法的圖像識別性能。對每幅圖像經過模態策略處理獲取不同的模態數據。使用Coiflets, Daubechies和Symlets正交小波變換分解技術獲取每幅圖像的3個低頻子圖像，并且為了減輕小樣本問題影響，采用主成分分析(Principal Component Analysis, PCA)[21]方法將子圖像的維數約簡到100維。對于兩變量集方法，本文將前兩個低頻子圖像數據首尾相連組合在一起構成一個新的圖像數據，與第3個低頻子圖像數據組合成兩組變量。在實驗部分，MDOCCA分別和圖正則化多集典型相關(Graph regularized Multiset Canonical Correlations, GrMCC)[22]、判別多重典型相關分析(Discriminative Multiple Canonical Correlation Analysis, DMCCA)[9]、GMCCA, CCA進行對比分析。

4.1 在GT圖像數據集上的實驗

GT圖像數據集采集共50個人的圖像，每人15張不同角度、不同表情的正面照片，像素為640×480，圖像表示格式為JPG。本實驗分析方法如下，在圖像數據集中每人分別選擇n(n=5,6,7,8)幅圖像作為訓練樣本，其余作為測試樣本，總共進行10次隨機試驗。表1展示了在此數據集下不同訓練樣本在不同方法下對應的平均識別率。本文方法在不同訓練樣本數下對測試樣本的平均識別率均是最高的，這體現了本文所提方法在人臉圖像識別任務中表現更佳。

表1 在GT圖像數據集上的識別率變化結果(%)

CCA對所有數據進行同等考慮，只是將投影結果相關性最大化，沒有掌握數據中結構信息和類別信息，在圖像識別中表現一般。DMCCA將監督信息加入到在相關性分析框架中進行特征學習，具有較好的識別率。GrMCC不僅最大化數據集間累積相關性，而且通過在集內數據上使用最近鄰圖來最小化局部類內分散，同時最大化局部類間可分離性，在一定程度上優于CCA。MDOCCA在引入類信息的同時加入正交約束，既能增加鑒別力，又能減少信息冗余，從而使融合的相關特征更具鑒別力。從圖1不難看出，在不同訓練樣本數下，MDOCCA方法在10次隨機實驗中均展示出最佳識別率，與其他方法相比均保持穩定的優越性，說明MDOCCA方法提取的特征鑒別力更強。

4.2 在ORL圖像數據集上的實驗

ORL圖像數據集共有400幅灰度圖像，分別是在40個不同的對象里，每人采集10幅不同圖像，像素為92×112。這些圖像是在不同時間、光照遮擋、表情特征和面部細節條件下獲取的。如表2所示，ORL數據集上的實驗結果與GT數據集上的結果類似，CCA顯示了較差的識別率， DMCCA在一定程度上有所提升，而本文所提MDOCCA算法仍然保持了最高的識別率，并且隨著訓練次數的增加，識別率變化平緩，這說明了本文所提方法具有良好的魯棒性，同時也證明了正交性能的優勢。這進一步表明，類信息的嵌入，能夠有效提高低訓練樣本數下的識別率。

表2 在ORL圖像數據集上的識別率變化結果(%)

4.3 在AR圖像數據集上的實驗

AR數據集包含120個不同人的一些圖像，每個人14幅圖像。表3中，本文所提MDOCCA方法仍然保持了最高的識別率。與GT和ORL類似，MDOCCA的識別率隨訓練樣本數的變化更加順滑平緩，同時擁有較小的標準差，正交約束帶來的魯棒性優勢更加明顯。

表3 在AR圖像數據集上的識別率變化結果(%)

4.4 在PIE圖像數據集上的實驗

CMU PIE數據集包含68人在不同姿勢、光照條件和面部表情下的41368張圖像，在實驗中選擇了每人前70張圖像，最終共有4760張圖像。在圖像數據集中每人分別選擇n(n=10,15,20,25,30)幅圖像作為訓練樣本，其余作為測試樣本，進行10次隨機試驗。從表4可以看出，MDOCCA方法的識別率總是高于其他方法。MDOCCA和DMCCA將標簽結構信息加入到相關性分析框架中進行特征學習，具有較好識別率，均在一定程度上優于其他方法，這說明標簽結構的引入可以有效提高鑒別力。另外，MDOCCA在不同訓練樣本下均好于DMCCA，MDOCCA在引入類信息的同時加入正交約束，既能增加鑒別力，又能減少信息冗余，從而使融合的相關特征更具鑒別力。從表4不難看出，在不同訓練樣本數下，MDOCCA方法均展示出最佳平均識別率，說明MDOCCA方法提取的特征鑒別力更強。

表4 在PIE圖像數據集上的識別率變化結果(%)

5 結論

CCA作為一種經典的多模態特征融合方法，沒有考慮樣本的類信息，無法發現嵌入在數據樣本中判別信息，同時它構建的共軛正交投影系統，難以剔除隱藏在樣本特征中的冗余信息，受樣本個數和維數的影響較大。為此，本文在將經典CCA方法從兩組數據擴展到多重數據基礎上，提出了一種新的MDOCCA方法。本方法通過在目標函數加入類標簽敏感信息，同時構造正交約束，嵌入到CCA的相關理論中去，進而得到了MDOCCA的優化模型。正交性可以保證融合的特征盡可能不相關，更具鑒別力。在GT圖像數據集、ORL圖像數據集、AR圖像數據集和PIE圖像數據集上設計針對性實驗，良好的實驗結果表明MDOCCA是一種有效的特征融合方法。