基于聯合信息保持的異構領域自適應*

許 鵬，鄧趙紅，王 駿，王士同

江南大學 人工智能和計算機學院，江蘇 無錫214122

1 引言

領域自適應通過使用含有大量標簽的源域數據幫助來自不同分布的目標域數據實現更高效的學習任務[1-2]。根據兩個領域特征空間的異同，領域自適應可以分為同構領域自適應和異構領域自適應。而根據目標域是否存在標簽，又可以分為無監督領域自適應和半監督領域自適應[3-4]。本文主要關注半監督異構領域自適應場景。

常用的領域自適應方法主要有三種，分別是基于樣本選擇的方法[5-6]、基于模型參數關系的方法[7-8]和基于特征變換的方法[9-10]。本文關注基于特征變換的方法。一般來說，此類方法的基本思路由兩方面構成：一方面是令兩個領域的數據在共享子空間中距離最小化；另一方面是在特征變換過程中對原始數據進行信息保持。則不同方法的差異可以總結為三方面，分別是共享子空間的構造方式，源域和目標域數據在共享子空間中的距離度量方式和原始數據信息的保持方式。

在共享子空間的構造方面，有對稱特征變換[11]和非對稱特征變換兩種方式[12-13]。為了實現特征非線性變換，核方法[14]、多核學習[15]和其他非線性方法[16-17]也被引入到領域自適應中。在距離度量方面，已有最大均值差異（maximum mean discrepancy，MMD）[18]、Bregmann 距離[19]、KL 距離[20]和Wasserstein 距離[21]被用來度量兩個領域在共享子空間的距離。在數據信息保持方面，已有算法主要通過流形學習來保持結構信息，比如主成分分析（principal component analysis，PCA）[22]、局部保持投影（locality preserving projection，LPP）[23]和判別局部對齊[19]等。

大量已有異構領域自適應算法雖然取得了不錯的效果，但是它們有兩點共同的不足：（1）在很多場景下，源域和目標域之間存在配對樣本。比如在使用圖片數據輔助文本分類時，圖片和文本不僅具有異構性，而且存在大量的圖片文本配對信息。而已有算法幾乎沒有利用這種配對信息。最近已有個別研究在嘗試利用這種信息進行領域自適應[24-26]，但是都未能充分考慮兩個領域的分布差異，使得共享子空間的構造完全依賴配對樣本，算法無法靈活地使用配對數據，擴展性較差。（2）已有算法在保持數據的結構信息時，一方面，它們一般通過單獨采用局部的或者全局的流形方法對數據進行結構信息保持，未能充分考慮多層次的結構信息；另一方面，已有方法也未能充分利用源域和目標域的所有標簽信息。而充分考慮這些信息能夠有效提升算法的效果。

為了克服上述挑戰，本文提出了一種聯合信息保持算法（joint information preservation，JIP），所提算法可以解決半監督異構領域自適應任務。算法假設源域和目標域具有部分配對樣本，源域均為有標簽數據，與之配對的目標域數據也被認為是有標簽數據，其他目標域數據則為無標簽數據。JIP 以一種靈活可擴展的方式將配對信息和結構信息保持整合到一個領域自適應框架中。針對源域數據和目標域數據，JIP采用對稱特征變化方式構造共享子空間，而后通過三部分來約束共享子空間的構造，分別是域間分布匹配、域間樣本配對信息保持和多層次判別結構信息保持。

更具體的，第一部分域間分布匹配，采用常用的MMD距離，令源域和目標域數據在共享子空間中的MMD最小化。第二部分域間配對信息保持，采用典型相關性分析（canonical correlation analysis，CCA），令源域和目標域的配對樣本在共享子空間中相關性最大化，從而使得共享子空間的學習既不完全依賴于配對樣本，又能以一種靈活可擴展的方式對其加以利用。第三部分多層次判別結構信息保持，這里采用線性判別分析對數據進行全局結構信息保持，采用有監督局部保持投影對數據進行局部結構信息保持。整合上述三部分，最終特征變換的優化問題可以簡化成為一個廣義特征值分解問題。

本文的主要貢獻可以歸納如下：

（1）在基于特征的異構領域自適應框架中引入了配對信息保持以解決信息損失問題，充分利用了源域和目標域之間的配對樣本信息來提升域間自適應特征的學習能力。

（2）較之于傳統算法中單一的結構信息保持，提出了判別多層次結構信息保持，即在充分利用數據標簽信息的基礎上，同時進行了局部結構信息保持和全局結構信息保持。

（3）整合上述兩部分，提出了一個聯合配對信息與結構信息保持的異構領域自適應算法，從而充分挖掘了信息保持策略對于提升領域自適應效果的價值。

（4）在圖片分類、動作識別和多媒體數據上大量的實驗驗證了所提算法的有效性，超越或者至少競爭于當前最先進的異構領域自適應算法。

2 相關工作

本文主要關注適用范圍更廣泛也更具有挑戰性的異構領域自適應（heterogeneous domain adaptation，HDA）。在基于特征變換的HDA中，HeMap[27]（heterogeneous spectral mapping）是一種較早提出的經典框架，其對源域和目標域數據進行對稱特征變換，一方面令源域和目標域的投影數據與原始數據差異最小化，另一方面使源域和目標域的投影數據差異最小化。算法DAMA[23]（domain adaptation and manifold alignment）將流行對齊引入了HDA，一方面保持了每個領域的流形拓撲結構，另一方面進行了標簽流形對齊，即同類樣本在新特征空間內保持鄰近關系，而非同類樣本在新特征空間內保持非鄰近關系。不同于HeMap 和DAMA，ARC-t[28]（asymmetric regularized cross-domain transforms）將非對稱特征變換引入HDA，并且核化變換矩陣使其具有更靈活的參數正則化方式。在基于模型參數關系的HDA 算法中，MMDT[29]（max-margin domain transforms）同樣采用非對稱特征變換，而與ARC-t 不同的是MMDT 整合了大間隔模型求解，最終得到一個自適應SVM（support vector machine）。和MMDT的研究范式類似，SHFA[30]（semisupervised heterogeneous feature agumentation）也是基于模型的HDA 算法，其創新在于對數據進行了特征增強，然后使用增強特征進行域適配學習。這里特征增強可以使得同一個領域內的數據具有更好的相似性，從而使得來自不同領域的數據適配效果會更好。不同于大部分算法是對原始數據進行特征變換，SHFR[31]（sparse heterogeneous feature representation）首先離線對各領域數據預訓練一組線性SVM，得到每個域分類器的模型參數，之后采用類似ARC-t中的非對稱變換方式對分類器參數進行差異最小化。對于目標域測試樣本，最后可通過整合多個被適配的源域分類器進行預測。另外一類比較重要的就是基于樣本選擇的算法，LCDS[32]（learning cross-domain landmarks）采用了landmark 技術即在域適應過程中為源域和目標域的每個樣本都添加一個權重進行優化，最終所有包含非零權重的樣本都稱為landmarks。TIT[18]（together independent transfer）是一個領域自適應框架，其整合了領域分布差異最小化、流形結構保持、樣本權重和特征選擇，表現出了較之前算法都好的異構領域自適應性能。基于深度學習的算法[33-34]中均使用神經網絡完成了HDA任務。有關異構領域自適應更加系統全面的文獻回顧可以參考綜述文章[1，3]。

已有一些與本文研究相關的工作，即在領域自適應過程中考慮多視角配對信息。這些已有的工作主要可以分為兩類：一類是多視角遷移學習[35-37]，這類工作假設源域是具有多個視角的有標簽數據，目標域是只有一個視角的無標簽數據，其主要目的是通過利用源域的大量標簽信息和多視角信息來輔助目標域數據的建模。雖然這類工作也在領域自適應過程中涉及多視角信息，但不同于本文所關心的場景。第二類即本文所關注的研究范式，源域和目標域都是單視角數據，但是源域和目標域數據之間存在多視角配對樣本。Yeh 等人[24]首先關注到這類數據，并利用CCA學習到一個相關子空間用作自適應特征空間并整合分類器優化過程提出了CTSVM（correlated transfer support vector machine）。Yan等人[25]提出的DCA（discriminative correlation analysis）也使用CCA 學習一個相關子空間進行領域自適應，不同的是其采用了ADMM（alternating direction method of multipliers）算法來優化目標函數。Mehrkanoon等人[26]提出的RSP-KCCA（regularized semi-paired kernel CCA）首次正式地考慮了領域自適應場景中的配對樣本信息，并把問題形式化成最小二乘支持向量機的形式來求解。雖然這三個方法都考慮了源域和目標域之間的配對樣本，但是它們特征空間的學習完全依賴于配對數據。實際應用中只有少量配對樣本，很難構造出一個理想的特征子空間。本文所提算法正是針對此種情況的挑戰，使得算法可以靈活地利用源域和目標域之間的配對樣本信息，在只有少量配對樣本的情況下，也可以達到較好的領域自適應效果。

3 聯合信息保持

3.1 問題形式化

在異構領域自適應場景下，給定一個源域和一個目標域，并且它們屬于不同的特征空間。源域包含大量有標簽數據，而目標域只包含一部分有標簽數據和大量的無標簽數據，并且源域和目標域包含一部分配對樣本。算法的目的就是利用大量源域有標簽數據和部分配對樣本來提高目標域數據的分類性能。

給定源域數據XS=和對應的標簽YS=，目標域數據XT=和對應的偽標簽。其中，ds和dt分別表示源域和目標域數據的特征維度，ns和nt分別表示源域和目標域樣本的個數。假設其中源域和目標域的配對樣本數為np并且np≤min{ns,nt}，則源域和目標域的配對樣本分別可以表示為。由于兩個領域的配對樣本的標簽共享，則配對樣本的標簽可以分別表示為。根據基于特征的領域自適應算法的基本思想，即一方面要進行基本的分布匹配，另一方面要最小化信息損失，則本文所提算法可以形式化成如下形式。

其中，φ表示在構造共享子空間時對原始數據進行的特征變化，也是最終需要求解的部分。式中第一項表示最小化源域和目標域在經過φ變換后在新特征空間中的分布距離。第二項表示聯合保持原始數據的配對信息和結構信息。它們的具體實現在3.2節～3.4節中詳細呈現。

3.2 分布匹配

基于特征的異構領域自適應第一步就是對兩個領域的數據進行分布匹配，即最小化它們在共享子空間中投影數據之間的分布距離。本文采用了同構領域自適應算法[38]中的聯合分布匹配策略（joint distribution adaptation，JDA）。然而，和JDA中采用的共享變換矩陣不同，本文采用了兩個不同的變換矩陣A和B來溝通異構特征空間。這里，m表示共享子空間的維度。JDA 采用MMD 同時對兩個領域的邊緣概率和條件概率進行了分布匹配。則在異構領域自適應場景下，JDA的優化目標可以重新表達為如下形式。

這里，式（2a）代表邊緣概率分布匹配，式（2b）代表條件概率分布匹配，C代表類別個數，分別表示源域和目標域中屬于類別c的樣本個數。本文也采用了類似于JDA的偽標簽迭代更新策略進行優化求解，詳細步驟參考算法1。令WT=[AT,BT]，則可通過整合式（2a）和式（2b）得到以下目標函數。

3.3 配對信息保持

為了保持配對信息，本文采用CCA[39]來最大化兩個領域之間配對樣本的相關性。此處CCA的目的是為了尋找一組投影向量來最大化源域投影數據aTXSP和目標域投影數據bTXTP之間的相關性。CCA的目標函數如下：

這里，HP表示中心化矩陣，它可以簡化式（4）中方差和協方差的計算過程。將單位矩陣表示為，只含1的列向量為，則HP=IP-。通過優化式（4），可以得到一組投影向量并且投影子空間為1維空間。為了將投影數據擴展到高維空間，可以聯合一組相關系數，則可以得到多組投影向量A=[a1,a2,…,am]和B=[b1,b2,…,bm]，同時優化一組相關系數的目標函數如下：

因為投影向量的縮放并不會影響式（4）的最優解，所以才能導出式（5）的有約束優化問題。求解式（5）最常用的方法是拉格朗日乘子法，采用此方法求解，投影矩陣A和B可以依次按順序得到求解。

在所提算法中，要將配對信息保持整合到分布匹配的框架中。因此，投影矩陣需要同時得到求解而非依次求解。給定兩個領域的配對樣本，則均為固定值。因此式（5）中等式約束的主要作用是限制投影向量的大小，從而可以只優化其方向。為了對兩個投影矩陣同時進行優化，式（5）可以重新整理成如下形式：

因為投影向量的大小并不會影響最終的優化結果，只需要有個約束就可以，所以此處對于A和B大小的約束條件被暫時丟棄了，這個約束條件將在3.5節繼續討論。令WT=[AT,BT]，則式（6）可以重新表達為如下形式：

這里，C被叫作相關矩陣，則配對信息保持最終被形式化成式（7）。

3.4 結構信息保持

為了更有效地保持原始數據的結構信息，所提算法同時采用了局部和全局的流形方法。同時為了充分利用源域數據的標簽和目標域數據的偽標簽，本文采用判別式流形方法。

3.4.1 局部結構保持

為了保持數據的局部流形結構，本文采用LPP算法[40]。LPP 算法是拉普拉斯特征映射[41]的一種線性近似，它能夠在線性變化條件仍然保持原始樣本的近鄰結構關系。LPP的目標函數如下所示。

這里，l=1,2,…,(ns+nt)表示投影樣本的索引，WL是鄰接矩陣，它可以度量每兩個樣本xi和xj之間的距離。定義D為一個對角矩陣Dii=，則拉普拉斯矩陣可以定義為L=D-WL。式（8）同樣可以轉化成如下矩陣跡的形式來優化。

此處鄰接矩陣WL可以計算每兩個樣本之間的距離來構造。有很多種方式可以用來構造樣本間的距離，比如歐幾里德距離、余弦距離、局部近鄰關系和標簽信息。為了有效地利用標簽信息，本文中鄰接矩陣WL通過判別式的余弦距離來構造[18]。

3.4.2 全局結構保持

對于未知結構的數據，除了保持局部結構信息外，全局結構信息的保持也很重要，而已有的算法往往只保持了它們其中的一種。本文采用了線性判別分析[42]結構信息，也就是最小化類內散度，最大化類間散度，目標函數如下：

這里，Sb和Sw分別表示類間散度矩陣和類內散度矩陣，Ssb和Ssw代表源域數據的散度矩陣，而Stb和Stw代表目標域數據的散度矩陣。它們的計算公式如下所示：

這里的下標S、s 和T、t 分別表示屬于源域和目標域的數據。表示屬于第i類的數據矩陣；表示屬于第i類的樣本個數。表示第i類樣本的中心化矩陣，它們的計算和式（4）中的HP類似，唯一的不同是將np替換為表示屬于第i類樣本的樣本均值；μs和μt分別表示源域和目標域數據所有樣本的樣本均值。

3.5 目標函數和優化

通過整合式（3）、式（7）、式（9）和式（10），并引入正則化參數α、β和λ來分別控制局部結構保持、配對信息保持和全局結構保持之間的平衡關系，則可得到最終的目標函數如下：

由于W的縮放并不會影響式（12）的求解，因此通過縮放W將式（12）的分母看作是一個約束條件，從而使得式（12）只有唯一解。這樣就相當于為投影向量添加了約束，解決了式（6）中的遺留的無約束優化問題。最終需要優化的目標函數如下：

使用拉格朗日乘子法，式（13）可以轉化成如式（14）所示的優化形式：

這里，Φ=diag(φ1,φ2,…,φm)代表拉格朗日乘子，m代表共享子空間維度，令=0，可得如下等式：

最終，式（12）的優化問題轉化成了式（15）的廣義特征值分解問題。則求解最優的W變成了求解式（15）中最小的m個特征值以及對應的特征向量所組成的映射矩陣W。詳細的算法流程如算法1所示。

算法1聯合信息保持

4 實驗

4.1 數據集

本文分別在3個數據集上驗證了所提算法的實驗效果，它們分別是圖片識別數據集Caltech-Office[32]、動作識別數據集IXMAS[24]和內容檢索數據集WIKI[26]。

Caltech-Office 是一個由Caltech 數據集和Office數據集組成的圖片分類數據集。Office 數據集包含31 類，采集自3 種不同的來源，分別是AMAZON（A）、Webcam（W）和DSLR（D）。Caltech（C）數據集包含256類。在實驗中，4種不同的來源被當作4個小數據集，這4個小數據集共有的10類被選出來用于實驗。之后對所有圖片提取兩種特征，分別是SURF（speed up robust feature）特征和DeCAF（deep convolutional activation feature）特征。這兩種提取出來的特征就被當作圖片的兩個視角，為了構造異構領域自適應任務，每個視角都被當作領域自適應中的源域或者目標域。通過上述構造，在領域自適應任務中兩個域正好同時也代表兩個視角，因此可以很方便地構造配對樣本。構造的8 個具有配對樣本的異構領域自適應任務如表1 所示，以A-D2S 為例，它表示在A 數據集上，由源域的DeCAF 特征向目標域的SURF特征的遷移。

Table 1 Accuracy of algorithms on Caltech-Office datasets表1 在Caltech-Office 數據集上各算法的分類精度 %

IXMAS 是一個動作識別數據集，它一共包含11類，每類動作包含36 個樣本。這個數據集中的動作圖片都是由5個攝像機拍攝的，因此每個攝像機拍的圖片被當作是一個視角或者是一個域。之后采用文獻[26]中的預處理方式，將圖片轉化成1 000 維的向量。實驗中，采用來自任意兩個相機的圖片來構造具有配對樣本的異構領域自適應任務。由于每個相機都可以被當作是源域或者目標域，因此在5個相機上一共可以構造20個任務。

WIKI 是一個從網頁上構造的數據集，每個樣本都包含網頁的一張圖片和其對應的文本描述。按文獻[26]的方式，其中圖片使用SIFT（scale invariant feature transform）特征被處理成了128 維的向量，其中的文本使用性判別分析方式被處理成了10維的向量。在實驗中，本文選擇了5 類，每類包含100 個樣本。同樣的，這里WIKI數據集包含的圖片的文本視角同時也可以被當作是源域或者目標域。從而，可以構造兩個異構領域自適應任務，分別是img2txt 和txt2img，其中img2txt 表示從圖像到文本的遷移，txt2img表示從文本到圖像的遷移。

4.2 實驗設置

在實驗部分，本文采用了7 個算法作為對比算法。其中將SVMt 作為基線對比算法，SVMt 算法只使用目標域的有標簽樣本訓練一個SVM（support vector machine）分類器，不借用任何源域數據的幫助。另外6 個對比算法都是較先進的HDA 算法，它們分別是MMDT[29]、CTSVM[24]、SHFA[30]、LCDS[32]、TNT（transfer neural trees）[33]，它們的詳細介紹請參考第2章相關工作。對于所有算法，涉及到迭代策略的算法迭代次數都設置為5；共享子空間維度都設置為100；所有最優正則化參數都通過網格搜索的方式從區間{0，0.01，0.1，1，10，100}中搜索。

對于在Caltech-Office 和IXMAS 數據集上的實驗，本文選擇每個域30%的樣本作為配對樣本。對于WIKI 數據集，分別選擇每個域10%、20%、30%和40%的樣本作為配對樣本，來評估算法在不同比例的配對樣本上的表現。在所有算法的目標域數據中，只有配對樣本是有標簽的，其余樣本均為無標簽樣本。

4.3 結果分析

在Caltech-Office 數據集上的實驗結果如表1 所示。由表1可知，所提算法在Caltech-Office數據集的8 個任務上有5 個任務都排名第一，在其他3 個任務上也取得了僅次于最優算法的效果，而且所提算法的平均精度在所有對比算法中排名第一。較之于沒有采用任何遷移策略的基礎對比算法SVMt，所提算法提升了大約8個百分點的精度，從而驗證了本文遷移策略的有效性。對于算法MMDT、SHFA 和TIT，它們都包含和所提算法類似的特征變換過程而且容易產生信息損失，但是它們的信息保持策略都較為單一，因此信息損失問題嚴重影響了它們的算法效果。對于算法CTSVM，其僅僅采用了配對樣本學習共享子空間，未能充分利用非配對樣本信息，因此算法效果低于所提算法。所提算法甚至優于基于神經網絡的TNT 算法，充分驗證了聯合信息保持對于提升算法效果的作用。

在IXMAS 數據集上的實驗結果如圖1 所示，顯然所提算法在20個任務上的平均性能好于所有對比算法，并且在目標域數據上取得了高達80.38%的分類精度。

Fig.1 Accuracy of algorithms on IXMAS dataset圖1 在IXMAS數據集上各算法的分類精度

在WIKI 數據集上的實驗結果如表2 所示，在WIKI數據集上一共有4種不同配對樣本比例的實驗設置。由表2 可以看出，隨著配對樣本比例的上升，算法的效果整體上處于上升趨勢。對于txt2img 任務，隨著配對樣本比例的上升，效果提升較為明顯，由最初的配對樣本比例10%的精度47.56%提升到配對樣本比例30%的精度54.57%。由表可知當配對樣本增加到40%后，兩個任務上分類精度都沒有太大的變化，這也說明了在一定范圍內配對樣本的比例會影響模型的效果，隨著配對樣本比例的增加，模型效果會由最開始的逐步提升到后來的趨于平穩。考慮在不同配對樣本比例設置下，兩個不同任務上的平均性能，所提算法較之于其他對比算法也取得了最優效果。

Table 2 Accuracy of algorithms on WIKI datasets表2 在WIKI數據集上各算法的分類精度

4.4 模型分析

本節將分析算法的收斂性和模型的共享子空間維度對于異構領域自適應效果的影響。同時也會通過分析配對信息保持項和結構信息保持項的正則化參數來分析它們的有效性，從而驗證聯合信息保持對于算法的意義。

4.4.1 收斂性和維度分析

影響所提算法效果的兩個重要參數，一個是算法迭代的次數，一個是共享子空間的維度。圖2（a）和圖2（b）分別展示了在Caltech-Office數據集上隨著迭代次數和樣本維度的變化算法精度的變化效果。為了簡化表示，圖中的每個任務的精度都被整體做了上移或者下移的調整，這并不會影響趨勢分析的結果。由圖2（a）可知，算法具有良好的收斂性，在絕大部分任務上算法完成第3 次迭代以后基本就已經達到了收斂。由圖2（b）可知，對于不同的異構領域自適應任務，算法效果隨著維度變化而產生的變化趨勢也不同，并且最高精度也不一定在最高維度處取得。如果固定其他所有參數，讓算法只對共享子空間維度從10 到100 以10 為間隔進行尋優，那么所提算法在Caltech-Office 的8 個任務上最優精度的平均值為82.30%。

Fig.2 Parameter analysis圖2 參數分析

4.4.2 信息保持有效性分析

本文從以下四方面分析了信息保持的有效性，從而驗證了所提算法的合理性。在圖3（a）～圖3（c）中，固定其他所有參數，令式（12）中各項的正則化參數α、β和λ分別被設置為0或者是最優參數。由圖可以看出，對于絕大部分任務當參數設置為最優參數時總比設置為0時效果要好，這就說明了這一項信息保持的有效性。圖3（a）中的柱狀圖分別表示包含配對信息保持項和不包含配對信息保持項時算法的效果，由圖可以看出，除了第4個任務C-S2D，在其他7個任務上算法效果均有較大幅度提升，這就驗證了配對信息保持的有效性。同理圖3（b）和圖3（c）分別將局部信息和全局信息保持項設置為0 或者最優參數，結果中算法效果的提升也驗證了其信息保持的有效性。在圖3（d）中，局部結構信息和全局結構信息項的正則化參數同時設置為0，從圖中可知，圖3（d）的精度提升高于圖3（b）和圖3（c），則驗證了較之于單一的局部結構信息保持或者全局結構信息保持，層次結構信息保持能更有效地提升領域自適應的效果。

Fig.3 Effectiveness analysis of information preservation圖3 信息保持有效性分析

5 結束語

為了充分考慮領域自適應場景中存在的配對樣本，本文提出了一個新的異構領域自適應算法。所提算法將聯合信息保持和分布匹配整合到一起，有效地減弱了分布匹配過程中信息損失的問題。不同于以往算法在分布匹配過程中只采用局部的或者全局的結構信息保持策略，所提算法既保持了兩個領域之間的配對信息，又保持了數據的層次結構信息，通過有效減輕信息損失提高了算法的領域自適應能力。在三個數據集上的實驗效果顯示了所提算法的優越性。算法的一個不足之處就是正則化參數的確定依賴于網格搜索，在大型數據集上較為費時。未來的工作將側重于發明一些自適應的策略算法來確定參數的取值。