基于潛在的低秩約束的不完整模態遷移學習

徐光生，王士同

1.江南大學 人工智能與計算機學院，江蘇 無錫 214122

2.江南大學 江蘇省媒體設計與軟件技術重點實驗室，江蘇 無錫 214122

近年來，遷移學習[1]在機器學習和計算機視覺等領域引起了廣泛的關注和研究。遷移學習是運用已存有的知識對不同但相關領域問題進行求解的一種新的機器學習方法，它有望解決稀疏標記數據的問題。根據采用的技術的劃分，遷移學習可以分為半監督學習[2-3]方法、基于特征選擇[4-6]方法、基于特征映射[7-9]方法和基于權重[10-11]方法。本文主要關注于半監督學習與基于特征映射方法的交叉應用場景。

基于特征映射的遷移學習是把各個領域的數據從原始高維特征空間映射到低維特征空間，在該低維空間下，源域數據與目標域數據擁有相同的分布。本文基于此思路從一個或兩個域中尋找數據的新的特征表示，以便在兩個域之間建立橋梁來減少邊緣分布差異和條件分布差異。考慮到現實應用場景下，尤其是當數據是多模態時，在算法的訓練階段目標域的數據并不總是完整的，僅有部分數據是可獲得的。因此本文主要關注不完整模態場景下的遷移學習問題。

低秩約束[12-13]已經在遷移學習等相關領域中得到了廣泛的應用，它可以對源域或目標域的重構系數矩陣施加低秩約束來揭示它們的內在的數據結構。此外，源域和目標域的投影子空間結構也可以通過低秩約束的感知位置重構特性被挖掘，從而達到減輕兩域之間的邊緣分布差異的效果。這種低秩重建[14]可以指導常規的子空間遷移學習，整個遷移過程被描述為迭代更新重建系數和子空間投影。此外，Liu等人[15]還使用稀疏誤差項來補償異常值，避免了一定程度上的負遷移。基于低秩約束的重構在人臉、物體、視頻等基準數據庫上都取得了良好的結果，這證明其是行之有效的數據對齊工具，因此可以應用于遷移學習過程中的源域與目標域之間的數據對齊。一般來說，對于常規的低秩子空間遷移學習，它們關注的核心問題是如何在遷移學習過程中獲得使源域數據和目標域數據耦合效果更好的子空間投影，這導致它們大都需要一個必要的前提條件：在訓練階段需要完整的源域信息和目標域信息參與算法的訓練。然而，當源域信息或目標域信息不完整時，這些常規的低秩子空間遷移學習算法則效果較差甚至失敗。不幸的是，許多現實應用場景是條件苛刻的，例如本文關注的不完整模態問題，它的目標域數據就是殘缺的。常規的低秩子空間遷移學習算法無法很好地解決該問題，幸運的是，Ding 等人[16]提出在模態信息完全丟失的情況下可以考慮借鑒其他與目標數據集相似的具有完整模態數據的其他數據集，這為本文的不完整模態問題提供了一個很好的解決思路。例如，目標數據集中具有完整的低分辨率（low resolution，LR）圖像和不完整的高分辨率（high resolution，HR）圖像，輔助數據集中具有完整的相關但略有不同的低分辨率（LR）圖像和高分辨率（HR）圖像，在理想情況下，從輔助數據集的低分辨率（LR）圖像與高分辨率（HR）圖像之間的遷移學習過程中獲得的知識可以應用到不完整的目標數據集的遷移學習中。然而，現實中存在許多因素導致兩個數據集不同，這就導致不能保證輔助數據集總是起著有益的作用，也有可能會帶來負遷移。因此，如何減小輔助數據集和目標數據集之間的差異也是本文使用此解決思路重點關注的問題。

為了克服上述挑戰，本文提出了一種基于潛在的低秩約束的不完整模態遷移學習算法（incomplete modality transfer learning algorithm via latent lowrank constraint，IMTL），所提的算法可以解決不完整模態遷移問題。算法的主要思想是基于潛在的低秩約束來學習共享子空間[17]，同一數據集內的不同模態和不同數據集之間的數據投影到該子空間中可以取得良好的對齊。此外，本文還利用了不完整目標域中少量的標記數據來保持目標域在學習過程中的流形結構[18]。本文的主要貢獻可以總結歸納如下：

（1）拓展了基于潛在的低秩約束的丟失模態遷移學習的應用場景，在該框架中引入不完整目標域信息以解決不完整模態問題，充分利用了不完整目標域的標記信息來提升共享子空間的耦合能力。

（2）通過借助相似的具有完整模態的輔助數據集，探索了跨模態方向（cross-modality direction transfer，TM）和跨數據集（cross-datasets direction transfer，TD）方向的不完整模態信息遷移。

（3）利用不完整目標域中的少量標記數據進行監督信息對齊，從而不完整目標域的內在結構在遷移學習過程中得以保持。

（4）在人臉識別、物體分類等數據集上大量的實驗驗證了所提算法的有效性，超越或競爭于一些傳統的遷移學習算法。

1 相關工作

本文主要關注基于特征映射的遷移學習。遷移學習已經被證明是圖像分類、協作推薦和情感分析等許多現實應用場景下一種有效的技術，根據采用的技術劃分，可以將其分為半監督學習方法、基于特征選擇方法、基于特征映射方法和基于權重方法。本文旨在尋找不同模態和不同數據集的共享子空間，因此屬于基于特征映射的遷移學習，但是傳統的基于特征映射的遷移學習方法都沒有明確解決不完整模態問題。

在特征適應方面，子空間學習引起了廣泛的關注，具體而言，子空間學習本質上是試圖找到一個合適的子空間，在該子空間中盡可能地保留原始特征的區分性表示。子空間學習被引入遷移學習框架中以彌合公共特征空間中兩個域之間的分布差距，通過常規子空間學習方法獲得公共特征空間，可以解決維數詛咒和源域與目標域之間分布差異的問題。本文旨在尋找合適的共享子空間以減輕不同模態和不同數據集之間的邊緣分布（marginal distribution，MD）[19]差異和條件分布（conditional distribution，CD）差異。

低秩約束在矩陣分析、數據恢復和耐噪數據表示等方面取得了較為不錯的效果，它有效地將低秩約束引入數據矩陣，可以幫助構建判別性特征空間并消除異常值。低秩約束已經在遷移學習中得到了廣泛的利用，它力求尋找源域和目標域之間的關系，并揭示源域和目標域的內在的數據結構。但是，當數據在恢復底層結構方面受到限制時，從不足的觀測數據中挖掘潛在的知識就變得很必要。潛在因子[20-22]在許多數據挖掘和機器學習應用場景中起著關鍵作用，它通過使用貪婪搜索、推斷或近似算法來試圖找尋一些人或機器無法觀測到的隱藏變量。在本文中，潛在因素被引入低秩約束子空間遷移學習框架中以幫助恢復目標域中丟失的模態信息，這與傳統的子空間遷移學習方法或不具有任何潛在因素的低秩遷移學習方法區分開來。

2 基于潛在的低秩約束的不完整模態遷移學習

2.1 問題形式化

在不完整模態遷移學習場景下，給定一個輔助數據集和目標數據集，它們分屬于不同的特征空間。輔助數據集中具有完整的模態信息，目標數據集中的目標數據丟失大部分模態信息，保留了少量的模態數據及其標簽信息。算法的目的就是借助輔助數據集中的完整模態信息和少量帶有標簽信息的目標數據來將源域的知識傳遞到目標域。

假定存在輔助數據集A和目標數據集B，每個數據集都包含兩種模態：和，其中d是原始特征維數，na代表數據集A中的樣本數量，nb代表數據集B中的樣本數量。如圖1所示，在該模型中一共有四個數據集，分別是輔助數據集中的源域SA與目標域TA和目標數據集中的源域SB和不完整目標域TB，TB中保留的圖像為少量標記的目標數據，而空白處則表示TB中丟失的數據。源域和目標域分別具有不同的模態，傳統的遷移學習算法關注的是同一個數據集內的兩種模態之間的知識遷移或者同一種模態的不同數據集之間的知識遷移，例如SA→TA和SB→TB或SA→SB和TA→TB。然而，當目標域數據不完整時，單一的只關注同一數據集內或同一種模態之間的知識遷移并不足夠幫助取得較好的實驗效果，尤其如果目標域數據大量缺少，殘缺信息散亂的目標域數據甚至可能導致失敗。因此選擇借鑒輔助數據集中的知識遷移對于解決不完整模態問題至關重要，本文基于低秩約束的子空間遷移學習框架，引入潛在因子挖掘目標域數據中丟失的信息，然后探索了跨模態方向與跨數據集方向的知識遷移。致力于尋找不同數據集和不同模態的共享子空間來傳遞源域中的判別性區分能力并緩解源域與目標域之間的分布差異。在下文中，IMTL 的具體實現將被詳細呈現。

2.2 基于潛在的低秩約束的子空間遷移學習

在不完整模態問題中，如何恢復丟失部分的目標域數據是解決該問題的重點，丟失部分的目標域數據在知識遷移過程中起著至關重要的作用。在下文中，為方便推導解釋起見，以跨模態方向（TM）為例。

為了恢復丟失部分的目標域數據，本文首先假定丟失部分的目標域數據是可觀測的，因此目標數據集的目標域可以定義為為保留的目標數據，則為丟失部分的數據。在低秩約束子空間遷移學習框架下，輔助數據集和目標數據集可分別構建各自的子空間，并傳遞源域中的模態信息至目標域：SA→TA和SB→TB。因此，針對輔助數據集和目標數據集，引入低秩約束子空間遷移學習公式：

將式（5）的約束條件轉化為：(I-L)PTS=PT(TAZA+TBZB)，I∈Rp×p，顯然，TA和TB通過共享子空間P重構了低維源域特征PTS。從幾何角度來分析，式（5）實際上提出了在兩個方向上重構低維源域特征PTS：列（PTTA和PTTB）重構[24]和行(PTS)重構[25]，列重構通常被認為是字典學習，行重構則被稱之為潛在因子。在數據矩陣中，列空間代表主要特征，行空間代表關鍵對象部分，當數據中的某些樣本丟失（即數據矩陣中的某些列為空），通過行重構來恢復數據是非常行之有效的。因此，本文旨在沿著PTTA和PTTB的列空間和PTS的行空間來恢復不完整的目標域數據。

此外，本文為了使所提算法更加穩定，遵循Ding等人[25]的設定，選擇預先學習源域數據的低維特征來保持低維源域特征固定，因此，上述目標函數可以被改寫為如下形式：

式中，D為源域低維特征，并由SA和SB經P投影降維得D=[DA,DB]=[PTSA,PTSB]=PTS。

2.3 監督信息對齊

在不完整模態的問題中，有輔助數據集中的兩種模態和目標數據集中的兩種模態共四個數據集，而上述于潛在的低秩約束的遷移子空間框架只考慮了如何恢復丟失部分的數據，既沒有闡述不同數據集之間的潛在關系，也沒有充分利用不完整目標域數據中的標簽信息。在跨模態（TM）方向下，SA和SB構成源域，但是由于SA和SB分屬于不同的數據集，標簽信息各不相同，本文采用無監督度量方法——最大均值差異（maximum mean discrepancy，MMD）[26]，通過計算SA和SB投影后的特征均值之間的差值來促使它們在共享子空間中特征對齊[27]，于是定義了正則項如下所示：

此外，不完整的目標域數據TB中的標記信息也需被充分利用，本文采用了監督的正則項來將TB中的不同類別的數據分別對齊。TB包含了多個類別的數據，這些類別的數據應位于對應類別的子空間中，重構系數矩陣ZB完成與源域對應的同一類別數據的領域到領域的重構，因此，分別耦合TB中的不同類別的類內數據至關重要。于是，本文提出了監督的正則項如下：

這里，C表示TB中的類別數量，代表TB中的第i類的第j個樣本，μi代表TB中的第i類的樣本平均值。上述正則項促使同類別的數據彼此接近，這為不同類別數據各自對齊提供了保證，也有益于TB在遷移學習過程中保持內在結構[28]。

2.4 目標函數和優化

為了放松原始問題，本文將稀疏項E∈Rp×n引入目標函數，這樣不僅將原本的硬約束轉換為軟約束，避免了潛在的過擬合問題，而且如果能使E的l1范數最小化，則可以補償數據噪聲。另一方面，為了學習到的共享子空間投影P更具有效性，選擇對P施加l2,1范數并求其最小化以借其全局結構稀疏性來幫助尋找最重要的特征部分，這樣既避免了過多的差異性較大的特征來擾亂源域與目標域之間的數據對齊，也讓具有一定稀疏性的共享子空間投影P降低了存儲上的負擔。至此，基于潛在的低秩約束的不完整模態遷移學習的目標函數可以被定義為：

式中，λ、α、β和γ是四個平衡參數，正交約束PTP=Ip被施加可以避免共享子空間P的任意小的平凡解。

問題可以通過已有的算法——增廣拉格朗日方法（augmented Lagrange methods，ALM）解決，于是本文引入四個變量JA、JB、K和Q將式（9）轉化為如下最小化問題：

式（10）的拉格朗日函數形式如下：

這里，F1、F2、F3、F4和F5是五個拉格朗日乘子，μ＞0 是懲罰參數，表示矩陣的內積，=tr(ATB)。不難看出，無法同時更新優化JA、JB、ZA、ZB、L、K、E、P和Q。幸運的是，可以通過交替方向乘子法（alternating direction method of multipliers，ADMM）依次地解決每個子問題，并不斷地迭代更新優化這些參數直至收斂。具體而言，當更新其中的一個參數時，需要固定其他參數。假設當前迭代次數為t(t＞0)，t+1次迭代具體各項的更新如下：

（1）固定JB、ZA、ZB、L、K、E、P和Q，將它們視為常數項，從而得到如下JA的更新公式：

（2）固定JA、ZA、ZB、L、K、E、P和Q，將它們視為常數項，從而得到如下JB的更新公式：

（3）固定JA、JB、ZB、L、K、E、P和Q，將它們視為常數項，從而Γ對ZA進行求導得：

化簡得：

（4）固定JA、JB、ZA、L、K、E、P和Q，將它們視為常數項，從而Γ對ZB進行求導得：

（5）固定JA、JB、ZA、ZB、L、E、P和Q，將它們視為常數項，從而得到如下K的更新公式：

（6）固定JA、JB、ZA、ZB、K、E、P和Q，將它們視為常數項，從而Γ對L進行求導得：

（7）固定JA、JB、ZA、ZB、L、K、P和Q，將它們視為常數項，從而得到如下E的更新公式：

（8）固定JA、JB、ZA、ZB、L、K、E和P，將它們視為常數項，從而得到如下Q的更新公式：

（9）固定JA、JB、ZA、ZB、L、K、E和Q，將它們視為常數項，從而Γ對P進行求導得：

式（12）、式（13）和式（18）可通過奇異值閾值（singular value thresholding，SVT）[29]運算解得，式（21）和式（22）可通過收縮算子進行求解，詳細的算法流程在算法1中列出。參數μ、ρ、ε、maxμ和maxt參考了相關的遷移學習算法MMTL（missing modality transfer learning）[22]給出。其他的四個參數λ、α、β和γ則在實驗中調節，并在實驗章節中給出分析。

算法1IMTL算法

2.5 復雜度分析

為方便解釋起見，假設SA、TA、SB和TB都是維度為d×n的矩陣，共享子空間投影P是維度為d×p的矩陣，這里，d為原始特征維數，n為源域或目標域的樣本大小，p為降維的維數。步驟2、3、6的核范數計算與步驟4、5、7、10的矩陣乘法和逆運算是所提算法的主要耗時部分。顯而易見，步驟2、3中的奇異值分解（singular value decomposition，SVD）計算的時間復雜度為O(n3)，步驟6 中的SVD 計算的時間復雜度為O(p3)，如果在實驗中選擇較小的降維維數，可以加速步驟6 的計算。步驟4 的時間復雜度取決于式（15）：式（15）的第一項為，包括了矩陣乘法運算和逆運算，可以推導出其時間復雜度為O(2pdn+dn2+n3)，通常在實驗中設置p?n且p?d，因此，時間復雜度為O(2pdn+dn2+n3)≈O(dn2+n3) ；式（15）的第二項為P(D-PTTBZBLD-E)+JA+(1-F2)/μ，由此可推導出其時間復雜度為O(pdn+2pn2+2p2n+pdn+2pn2+pdn+2pn2)≈O(3pdn+6pn2)。最后，第一項與第二項的乘法運算的時間復雜度為O(2n3)。因此，步驟4的時間復雜度為O(dn2+n3+3pdn+6pn2+2n3)≈O(dn2+3n3)。同理，步驟5的時間復雜度取決于式（17），式（17）采用式（15）同樣的解法，因此步驟5 的時間復雜度為O(dn2+3n3)。類比推導出步驟7 與步驟10 的時間復雜度分別為O(2pdn+4pn2)、O(4dn2+2d2n+d3)。最后，步驟8 和步驟9 都采用收縮算子進行求解，因此步驟8 和步驟9 的時間復雜度分別為O(2pn) 和O(pd) 。綜上所述，所提算法的時間復雜度為O(Τ(n3+n3+p3+dn2+3n3+dn2+3n3+2pdn+4pn2+4dn2+2d2n+d3+2pn+pd))≈O(Τ(8n3+6dn2+d3+2d2n))，Τ為所提算法的迭代次數。

3 實驗

3.1 數據集

本文分別在3 組多模態數據集上驗證了所提算法的實驗效果，它們分別是人臉數據集BUAA[30]和Oulu，人臉數據集CMU-PIE 和Yale B，物體數據集ALOI-100和COIL-100。

BUAA 和Oulu 都是人臉數據集，BUAA 數據集包含了150類，Oulu 數據集包含了80類，它們中的每類都包含兩種模態圖像：近紅外人臉圖像和可見光人臉圖像。實驗中，對于BUAA 數據集，隨機選擇75類對應的近紅外人臉圖像作為一個模態數據集，剩下的75類對應的可見光人臉圖像作為另一個模態數據集。對于Oulu 數據集，隨機選擇40類對應的近紅外人臉圖像作為一個模態數據集，剩下的40 類對應的可見光人臉圖像作為另外一個模態數據集。這4個模態數據集之間既沒有樣本重復，也沒有標簽重復，它們中的圖像尺寸都設為30×30。

CMU-PIE 和Yale B 都是人臉數據集，CMU-PIE數據集包含了68 類，Yale B 數據集包含了38 類。由于CMU-PIE 和Yale B 中都只包含一種模態圖像，需要將其轉換為高分辨率（HR）圖像和低分辨率（LR）圖像。對于CMU-PIE 數據集，采用其中的Pose C27人臉圖像，對于Yale B 數據集，采用裁剪后的人臉圖像，先將這兩個數據集中的人臉圖像的尺寸調整為32×32 作為高分辨率（HR）圖像，然后將HR 圖像降采樣為8×8的尺寸，再內插回32×32的尺寸，將其作為低分辨率（LR）圖像。模態數據集設置可參考BUAA和Oulu數據集設置。

ALOI-100 和COIL-100 都是一個物體數據集，ALOI-100 數據集包含了100 類，COIL-100 數據集包含了100 類。由于ALOI-100 和COIL-100 都是旋轉角度來采樣的，每類中的圖像都相隔5°，共有72張圖像。本文選擇兩種視圖view1[0°，85°]和view2[90°，175°]，模態數據集設置可參考BUAA 和Oulu 數據集設置。

3.2 實驗設置

在實驗部分，每組數據集都有4 個數據集，隨機選擇其中的一個數據集作為不完整模態數據，對于不完整模態數據，隨機采樣20%與其他的3個數據集作為訓練數據，剩下的不完整模態數據作為測試數據。本文從測試數據中每類隨機選擇一個樣本作為參考數據，參考數據與測試數據之間沒有樣本重復，學習到的投影P用于對參考數據和測試數據降維，然后采用KNN 作為分類器重復上述操作10 次取平均結果。此外，本文旨在探討兩個方向上的低秩重構——跨模態(TM)和跨數據集（TD）。在跨模態方向下，源域的數據結構有助于發現潛在的標簽和丟失數據的結構，設置相同模態的數據集在同個域中如S=[SA,SB]，T=[TA,TB]。在跨數據集方向下，完整的模態信息從輔助數據集傳遞到目標數據集，設置同個數據集的不同模態在同個域中如S=[SA,TA]，T=[SB,TB]。在此基礎上，本文還進行了TM和TD交替方向的實驗對比：TMD 和TDM，先學習一個方向上的投影P，再利用嵌入該投影子空間中的數據學習另一方向上的投影。

本文采用RDALR（domain adaptation with low rank reconstruction）[31]、GFK（geodesic flow kernel）[32]、DASA（subspace alignment）[33]、MEDA（manifold embedded distribution alignment）[34]和MMTL 這5 個算法作為對比算法，并采用了主成分分析（principal component analysis，PCA）[35]、線性判別分析（linear discriminant analysis，LDA）[36]和局部保留投影（locality preserving projection，LPP）[37]這3 種子空間方法進行評估。由于RDALR、GFK 和DASA 都是域自適應算法，實驗中遵循它們的原始實驗設置。具體而言，對于RDALR，首先學習源域的旋轉轉換矩陣W，然后將旋轉后的源域與目標域結合來訓練子空間以在訓練階段提取特征；對于GFK和DASA，使用不同的子空間方法從源域和目標域學習映射矩陣G和子空間對齊矩陣M，然后應用于測試階段；對于MEDA，首先使用不同的子空間方法習得流形特征，然后進行自適應因子與分類器的迭代優化，最后將該分類器應用于測試階段。而MMTL與本文是同樣的方法迭代求解，即在訓練階段從源域和目標域中學習子空間投影矩陣，然后應用于測試階段。對于DASA、GFK、RDALR和MEDA，采用TD（跨數據集）方向為例，而對于MMTL 和IMTL，則遵循它們的原始設定，學習不同方向的共享子空間投影。

3.3 結果分析

在BUAA 和Oulu 人臉數據集上的實驗結果如表1所示。由表1可知，所提算法在BUAA 和Oulu 人臉數據集上的大部分測試任務中都排名第一。對于傳統的對比算法DASA 和GFK，它們只關注了如何將源域和目標域投影到各自的低維特征空間并使特征空間彼此盡量接近，忽略了源域和目標域中不同類別數據之間的差異，而低秩約束在一定程度上指導了源域與目標域之間對應類別數據的重構，因此，基于低秩約束子空間學習的所提算法的性能是優于DASA 和GFK 的，這也證明了施加低秩約束策略的有效性。對于算法RDALR，它與所提算法都采用了低秩約束策略，但是在不完整模態問題中，目標域中的數據是部分丟失的，這隨之帶來的問題是在源域到目標域的低秩重構過程中，目標域中某些類別數據的丟失會導致源域中的對應類別數據重構失準或失敗，因此，RDALR 算法的性能是遠小于本文所提算法的。對于算法MEDA，它所關注的是如何減輕源域與目標域的邊緣分布差異與條件分布差異，并評估不同應用場景下邊緣分布差異與條件分布差異的重要性，缺少了對不完整數據的處理，這就導致了在不完整模態應用場景下性能較差的表現。最后對于算法MMTL，它與所提算法都是基于潛在的低秩約束子空間遷移學習框架，而不同的是它們的應用場景并不同，MMTL 針對的是完全丟失的目標域數據，而所提算法則是關注部分丟失的目標域數據，因此，對于部分殘缺的目標域數據進行了監督信息對齊的所提算法的性能是優于MMTL的。

表1 在BUAA和Oulu人臉數據集上各算法的分類精度Table 1 Accuracy of algorithms on BUAA and Oulu face datasets 單位：%

在ALOI-100 和COIL-100 數據集上的實驗結果如圖2所示，顯然所提算法在PCA和LPP子空間方法的評估下的平均性能好于所有對比算法，并且受不同子空間方法的擾動影響較小。

圖2 在ALOI-100和COIL-100數據集上各算法的分類精度Fig.2 Accuracy of algorithms on ALOI-100 and COIL-100 datasets

在CMU-PIE和Yale B人臉數據集上的實驗結果如表2 所示。對于CMU-PIE 和Yale B 數據集，由于降采樣維度設置為8×8，所提算法設置TM（TD）方向的子空間維數為64，然后學習維度為60 的TD（TM）方向的子空間。由表2 可知，盡管所提算法在第一個方向無法設置更高的維度，基于潛在的低秩約束子空間遷移學習仍保證了所提算法的性能遠優于DASA、GFK、RDALR 和MEDA。對此，原因可能是CMU-PIE 和Yale B 這兩個人臉數據集差異性較大，DASA、GFK、RDALR和MEDA在TD（跨數據集）方向上無法從源域上學習到足夠有用的知識，而所提算法從不同的方向完成源域到目標域的重構保證了源域的判別性區分能力的傳遞。

表2 在CMU-PIE和Yale B人臉數據集上各算法的分類精度Table 2 Accuracy of algorithms on CMU-PIE and Yale B datasets 單位：%

3.4 模型分析

本節將分析算法的收斂性和模型的共享子空間維度對于不完整模態遷移學習效果的影響，同時也會通過分析源域信息對齊項和目標數據信息對齊項等正則化參數來驗證它們的有效性。在本節中，主要評估以下參數：子空間維度參數p、稀疏項參數λ、全局結構稀疏項參數α、源域信息對齊項參數β和目標數據信息對齊項參數γ。這里采用PCA子空間方法進行評估，以COIL-view1作為測試案例，通過固定其他參數來逐一測試它們對于算法的意義。

圖3（a）展示了所提算法以COIL-view1和CMULR作為測試案例，隨著迭代次數的變化算法精度的變化效果。顯而易見，所提算法在不同的場景下以不同的速度收斂，但大致都在45 次迭代后收斂穩定。此外，對于不同的場景，不同方向的遷移學習的效果也不盡相同。對于COIL-view1，TM（跨模態）和TD（跨數據集）最終取得的效果差別不大，而對于CMULR，TM（跨模態）相較于TD（跨數據集）則有較大的優勢，原因可能是CMU-PIE 和Yale B 之間由于不同的照明條件、主體身份和捕獲設備等因素導致了相似度很低，因此，TD（跨數據集）只能遷移少量的有用知識到不完整模態。

圖3 參數分析Fig.3 Parameter analysis

圖3（b）展示了所提算法以COIL-view1為測試案例隨著子空間維度p的變化，算法精度的變化效果。本文分別采用了PCA、LPP 和LDA 三種子空間方法來評估子空間維度p對于所提算法的影響。由圖3（b）可知，不同子空間評估的算法效果隨著維度變化而趨向于平穩，并且最高精度也不一定在最高維度處取得。

圖4（a）～圖4（d）展示了所提算法以COIL-view1為測試案例，隨著不同參數的變化算法精度的變化效果。由圖4可知，這些參數通常在較小的值時取得的效果較好，且隨著參數值的增大算法精度趨向于穩定或一定的下降。此外，對于參數λ、α、β和γ，本文依次設置它們為0并固定其他參數，由圖4可以看出，對于絕大部分測試任務，當參數設置為0 時效果較差，這驗證了這些參數對于所提算法的有效性。

圖4 正則化參數分析Fig.4 Regularization parameter analysis

4 結論

為了解決不完整模態遷移學習問題，本文提出了一種基于潛在的低秩約束的不完整模態遷移學習算法。所提算法基于低秩子空間遷移學習框架，引入潛在因素挖掘丟失的模態信息，并利用監督信息來促進數據對齊。此外，所提算法借用完整的輔助數據集探索了跨數據集和跨模態兩個不同方向的遷移學習。通過潛在的低秩約束學習適當的子空間，可以更好地從兩個方向恢復模態缺失信息。在三對數據集上的實驗效果證明了所提算法的優越性。