彈性跨模態(tài)特征學(xué)習(xí)在圖像識(shí)別中的應(yīng)用分析

摘 要 典型相關(guān)分析（CCA）是一種經(jīng)典的特征學(xué)習(xí)方法，廣泛應(yīng)用于圖像識(shí)別、信息融合、情感計(jì)算等領(lǐng)域。然而CCA難以發(fā)現(xiàn)隱藏在原始樣本空間中的非線性局部子流形結(jié)構(gòu)。為了解決該問題，本文在典型相關(guān)分析基礎(chǔ)上提出了一種彈性跨模態(tài)特征學(xué)習(xí)方法，該方法同時(shí)保留了隱藏在原始樣本空間中的局部幾何結(jié)構(gòu)和全局歐幾里得結(jié)構(gòu)。實(shí)驗(yàn)結(jié)果顯示了該方法在圖像識(shí)別方面的有效性。

關(guān)鍵詞 典型相關(guān)分析;流形結(jié)構(gòu);彈性;局部幾何;全局歐幾里得

引言

最近幾年，模態(tài)學(xué)習(xí)廣泛應(yīng)用于圖像識(shí)別[1]、圖像分割[2]、姿態(tài)估計(jì)[3]、基因分析[4]等領(lǐng)域。尤其在圖像識(shí)別領(lǐng)域，如何從高維的模態(tài)數(shù)據(jù)中學(xué)習(xí)具有強(qiáng)鑒別力的低維特征已經(jīng)成為一項(xiàng)挑戰(zhàn)性的課題。

CCA[5]旨在尋找一對(duì)投影方向，用以最大化兩模態(tài)數(shù)據(jù)之間的相關(guān)性。然而，CCA本質(zhì)上是一種線性維數(shù)約簡(jiǎn)技術(shù)，因此它只能全局地揭示兩組特征之間的線性相關(guān)關(guān)系，這種線性模型不足以評(píng)估特征之間的非線性相關(guān)關(guān)系。為此孫權(quán)森[6]提出了局部保持CCA（Locality Preserving CCA）方法，該方法將局部結(jié)構(gòu)信息嵌入到CCA中，在局部鄰域中利用線性CCA來(lái)處理問題，從而解決全局問題。LPCCA既保留了局部幾何結(jié)構(gòu)又獲得了兩模態(tài)數(shù)據(jù)集之間的典型相關(guān)性。受彈性保持投影（EPP）[7]方法的啟發(fā)，本文提出了一種彈性跨模態(tài)特征學(xué)習(xí)方法，即彈性典型相關(guān)分析方法（Elastic CCA），該方法不僅保留了原始樣本集的局部幾何結(jié)構(gòu)同時(shí)也考慮到了全局歐幾里得結(jié)構(gòu)，保持了局部和全局的彈性關(guān)系，獲得了最大相關(guān)性的典型相關(guān)特征。

文章其余部分安排如下，第二節(jié)簡(jiǎn)要介紹了CCA方法，第三節(jié)詳細(xì)介紹和分析了ECCA方法并在第四節(jié)中給出了該方法在一些數(shù)據(jù)集上的識(shí)別性能，第五節(jié)給出了本文的結(jié)論。

1彈性相關(guān)分析方法

假設(shè)和為兩個(gè)模態(tài)樣本集，其中和分別為樣本維度，為樣本總數(shù)，樣本均以均值歸一化。具體的優(yōu)化模型為：

（1）

其中，，

，，（or ）是一個(gè)對(duì)角矩陣，對(duì)角線上的元素為（or）矩陣每一行或列累加后的結(jié)果。

中：

（2）

中：

（3）

其中，是類內(nèi)局部相似矩陣中第個(gè)元素，是一個(gè)核參數(shù)，表示的前k個(gè)最近鄰樣本集合。

為了進(jìn)一步求解優(yōu)化模型，利用拉格朗日乘子法可以將上式等價(jià)地轉(zhuǎn)化為以下的廣義特征值問題：

（4）

其中是特征值，通過求解公式（4）可以分別獲得樣本集X和樣本集Y的前個(gè)最大特征值對(duì)應(yīng)的特征向量和。通過構(gòu)建投影矩陣和進(jìn)一步得到樣本集X和樣本集Y的低維相關(guān)特征和。

2實(shí)驗(yàn)結(jié)果分析

在本節(jié)中，我們分別在GT圖像數(shù)據(jù)集和ORL圖像數(shù)據(jù)集上設(shè)計(jì)了一些實(shí)驗(yàn)來(lái)說(shuō)明ECCA方法的識(shí)別性能。

2.1 在GT圖像數(shù)據(jù)集上的實(shí)驗(yàn)

A±B：A表示平均識(shí)別率（%），B表示相應(yīng)的識(shí)別率標(biāo)準(zhǔn)差

GT圖像數(shù)據(jù)集共有50個(gè)對(duì)象分別對(duì)應(yīng)15副彩色背景的面部圖像，共750副面部圖像，每幅圖像具有不同的表情，照明和傾斜比例變化。在實(shí)驗(yàn)部分，分別從每類對(duì)象中選取q（q=5，6，7，8）個(gè)樣本作為訓(xùn)練樣本，其余樣本作為測(cè)試樣本，權(quán)重 統(tǒng)一為0.05，近鄰參數(shù)k為2。

CCA僅保證了兩模態(tài)數(shù)據(jù)集之間的最大相關(guān)性而忽略了模態(tài)內(nèi)的非線性子流形結(jié)構(gòu)和全局歐幾里得結(jié)構(gòu)結(jié)構(gòu)，在表1中也表現(xiàn)出了較差的識(shí)別性能。LPCCA在CCA的基礎(chǔ)上保留了模態(tài)內(nèi)的局部子流形結(jié)構(gòu)，但在高維的數(shù)據(jù)中，大量的噪聲和冗余信息會(huì)導(dǎo)致LPCCA難以真實(shí)的反映局部子流形結(jié)構(gòu)，這仍然會(huì)影響它的識(shí)別性能。ECCA在LPCCA的基礎(chǔ)上通過保留全局歐幾里得結(jié)構(gòu)獲得了更具魯棒性的彈性結(jié)構(gòu)，學(xué)習(xí)到更具有鑒別力的相關(guān)特征，因此在表1中展現(xiàn)了較為優(yōu)秀的識(shí)別性能。

3結(jié)束語(yǔ)

特征學(xué)習(xí)的核心任務(wù)是從高維的模態(tài)數(shù)據(jù)中學(xué)習(xí)到能夠保存原始模態(tài)數(shù)據(jù)中有效信息的低維特征。基于這種思想，本文提出了一種ECCA方法，在CCA中嵌入局部幾何結(jié)構(gòu)信息和全局歐幾里得結(jié)構(gòu)信息來(lái)達(dá)到保留彈性結(jié)構(gòu)的目的。相比于LPCCA，ECCA利用了全局信息來(lái)發(fā)現(xiàn)原始模態(tài)數(shù)據(jù)中的歐幾里得結(jié)構(gòu)，更全面地保留了原始模態(tài)數(shù)據(jù)的結(jié)構(gòu)信息。在兩個(gè)真實(shí)的圖像數(shù)據(jù)集上，實(shí)驗(yàn)結(jié)果揭示了ECCA方法在圖像識(shí)別中的良好性能。

參考文獻(xiàn)

[1] Han D，Nie H，Chen J，et al. Multi-modal haptic image recognition based on deep learning[J]. Sensor Review，2018，38（4）：486-493.

[2] Dolz J，Gopinath K，Yuan J，et al. HyperDense-Net： a hyper-densely connected CNN for multi-modal image segmentation[J]. IEEE Transactions on Medical Imaging，2018，38（5）：1116-1126.

[3] Hong C，Yu J，Zhang J，et al. Multi-modal face pose estimation with multi-task manifold deep learning[J]. IEEE Transactions on Industrial Informatics，2018，15（7）：3952-3961.

[4] Chaudhary K，Poirion O B，Lu L，et al. Multimodal meta-analysis of 1，494 hepatocellular carcinoma samples reveals significant impact of consensus driver genes on phenotypes[J]. Clinical Cancer Research，2019，25（2）：463-472.

[5] Sun Q S，Zeng S G，Liu Y，et al. A new method of feature fusion and its application in image recognition[J]. Pattern Recognition，2005，38（12）：2437-2448.

[6] Sun T，Chen S. Locality preserving CCA with applications to data visualization and pose estimation[J]. Image and Vision Computing，2007，25（5）：531-543.

[7] Zang F，Zhang J，Pan J. Face recognition using Elasticfaces[J]. Pattern Recognition，2012，45（11）：3866-3876.

作者簡(jiǎn)介

鄧瀛灝（1994-），男，安徽亳州人;現(xiàn)就讀學(xué)校：安徽理工大學(xué)，在讀碩士，研究方向：多視圖特征學(xué)習(xí)。