判別與結構信息保持的無監督領域自適應方法

陶 洋，楊 娜，郭 坦

(重慶郵電大學 通信與信息工程學院，重慶 400065)

傳統機器學習方法能夠表現出高性能的前提是基于以下兩個假設：(1) 大量且充分標記的樣本保證模型能夠得到充分有效的訓練；(2) 訓練數據和測試數據遵循獨立同分布[1-2]。但是，在實際應用中，這兩個假設很難成立。首先，有標記的樣本是十分稀缺的，因為收集大量帶有標簽的訓練數據需要投入大量的人力物力[3]；其次，難以保證訓練樣本始終具有與測試樣本相同的分布。例如，不同分辨率以及不同外部環境下采集的圖像數據具有不同的分布規律[4]。忽視數據分布差異而訓練的機器學習模型，將難以取得良好的性能。

無監督的領域自適應方法能夠利用具有完全標記信息的源域數據以及分布不同但語義相關的未標記目標域數據學習和構建跨領域學習模型，提高目標域數據的分類精度，可緩解互聯網時代背景下數據量龐大，但標記數據不足的矛盾。盡管兩個域的分布不同，但是存在一些潛在的共享信息。因此，如何發掘、提取和充分利用這些潛在共享信息，以降低兩個域之間的數據分布偏差，提高跨領域學習效率，是領域自適應中的主要問題[5]。領域自適應方法可分為基于分類器的方法、基于特征表示的方法和基于實例的方法[6]?；诜诸惼鞯姆椒ㄍǔＵ{整模型參數，將分類器適應于不同分布的數據來減少域偏差問題?；趯嵗姆椒ǜ鶕从驑颖镜闹匾?，通過樣本重加權或選擇源域樣本來減輕分布的差異。而基于特征表示的方法強調學習在目標域和源域間學習一個公共子空間，通常可以取得較好的性能[7]。筆者主要對基于特征表示的方法進行研究，在現有的基于特征表示自適應方法中主要存在兩個問題：(1) 通過特征變換的方式減少源域和目標域的差異，但是變換后的不同類別的樣本缺少足夠的判別性。(2) 在特征變換中丟失了數據的幾何結構信息，導致過擬合問題，致使分類器難以取得理想的性能。

針對上述問題，筆者提出了一種新型的無監督領域自適應方法，在減少跨域分布差異的同時，最大化地保留了數據的判別信息和結構信息。具體地，利用目標域和源域數據之間的線性組合關系，聯合學習一個潛在的不變子空間，有效減少跨域數據的分布差異。此外，通過非負松弛標簽學習策略提高子空間投影的判別性，并使用源域類間稀疏補償被松弛標簽矩陣擴大的類內距離。與此同時，利用自適應概率圖在判別的子空間中建立近似數據的連通性圖結構，最大化地利用數據間的局部結構信息來增強子空間學習的鑒別力和魯棒性。所提出模型的學習效果示意圖如圖1所示。其中，正方形、三角形和五角星形分別表示3種不同類別的樣本，空心形狀表示源域的樣本，實心形狀表示目標域的樣本。P表示將兩個域變換到子空間的轉換矩陣，ICS(Inter-Class Sparsity)表示源域的類間稀疏約束，GR(no Graph Regularization)表示圖正則化約束。

綜上所述，文章的創新點總結如下：(1) 基于低秩約束構建數據跨領域重建模型，在此基礎上通過標簽松弛矩陣擴大來自不同類別樣本的距離，并且使用類間稀疏約束縮小了同類樣本的距離，同時保證源域數據的類內緊湊性和類間可分性，提高樣本特征學習的判別性。(2) 在學習判別投影子空間的同時聯合學習自適應概率圖，使用自調整的技術來自適應地學習一個更加可靠的相似性度量，有效地保留數據的幾何結構，提高目標分類器的性能，獲得更高的分類精度。(3) 針對構建的無監督領域自適應模型，設計了一種基于交替優化的算法，以解決該模型的優化問題。在3個基準跨域數據集上進行實驗，結果驗證了該方法的有效性。

1 相關工作

1.1 子空間學習

子空間學習方法被廣泛應用于計算機視覺、機器學習和模式識別等領域中[8]。子空間學習的中心思想是學習一個將原始冗余高維數據投影至低維空間的轉換矩陣，在轉換過程中，最大程度地保留數據的有效信息。隨著對領域自適應的廣泛研究，許多研究人員將子空間學習的思想應用于領域自適應方法中。受低秩表示的啟發，文獻[9]和文獻[10]提出使用低秩重構的方法來減少跨域分布差異，通過將源域和目標域中的數據變換到一個公共子空間內，使得源域和目標域的分布近似相同。因為域間的數據重構能夠有效地反映數據的內在信息，因此假設目標數據由公共子空間中的源域數據線性表示，并且通過對重建矩陣施加低秩約束，使得每個目標數據都可以由其在源域中的相似鄰居來重建。子空間學習項的模型定義如下：

(1)

其中，P∈Rm×d，表示兩個域之間的轉換矩陣；XS∈Rm×ns，表示源域數據；XT∈Rm×nt，表示目標域數據；Z為重構矩陣。m是原始數據空間的維度，d表示該公共子空間的維度，ns是源域中的樣本數量，nt是目標域中的樣本數量。rank(·)表示一個矩陣的秩運算符，然而，秩函數的非凸性使得式(1)很難優化。因此，一般利用核范數作為矩陣秩的凸近似，等式可以被重新表述為

(2)

其中，‖·‖*表示矩陣的核范數。

1.2 圖嵌入理論

在高維數據轉到低維遷移子空間時，假設樣本xi和xj在原始空間中是近鄰關系，那么在子空間中也應該保持這種近鄰關系；在流形學習中，這種保持近鄰關系被稱為局部不變性假設[11]。圖嵌入作為模型的正則項，使得同類訓練樣本轉化到標簽空間后能夠緊密地聚集在一起。因此在領域自適應方法的模型中增加圖結構約束，對整個模型的學習都十分有利。圖嵌入的目標函數如下：

(3)

其中，P為變換矩陣，W為權重矩陣，n表示樣本數量。

2 方法描述

領域自適應的目的是為了充分利用源域數據知識，學習一個對目標域有效的分類器。雖然通過基于低秩重構的子空間學習模型能夠學習源域和目標域之間的公共子空間，以減少數據的分布偏差，但是卻喪失了數據的判別能力，導致分類精度不理想。因此在特征學習過程中，減少域偏移的同時還必須保持原始特征中蘊含的一些有效信息，例如判別信息和結構信息。

2.1 保留源域的判別信息

為了提高模型的性能，應該充分考慮不同類中源域數據的結構差異，在公共子空間中保留源域的判別信息，最大化源域不同類樣本的類間距離。傳統的線性回歸方法假設訓練樣本可以精確地轉換為嚴格的二值標簽矩陣YS，通過在二值標簽矩陣中引入一個非負標簽松弛矩陣M，將嚴格的二值標簽矩陣放松為松弛變量矩陣YS+B⊙M。受文獻[12]的啟發，考慮到l2，1具有行一致性稀疏的特性，利用l2，1范數損失函數提高對噪聲干擾信息度量的魯棒性。判別子空間學習函數的定義如下：

(4)

(5)

式(5)的第1項放松標簽矩陣旨在擴大不同類別之間回歸響應的距離，第2項通過保持同類樣本的行稀疏一致性，可以降低同類別樣本在投影后的距離。

2.2 保留數據的幾何結構

在源域向目標域知識遷移過程中，引入圖結構來保持局部臨近信息。更重要的是，如果過于強調源域的判別信息而忽略數據內部的非線性幾何結構，得到的子空間會很容易在源域樣本上產生過擬合，圖嵌入能夠有效解決該問題。已有的圖結構學習方法通常在原始高維空間中基于距離相似性建立數據的連通性，但是高維空間的冗余信息和噪聲會使得這種連通性不可靠。因此，筆者在判別的子空間中建立了圖結構，基于概率連通性為每個數據點自適應地分配最優鄰居，假設在判別子空間中密切相關的樣本具有更高的連接可能性。通過以下圖正則項來定義：

(6)

其中，ddist(a，b)表示樣本a和樣本b之間的距離，en表示n維全1向量，約束矩陣Q是轉移概率矩陣，其每一個行都是一個概率分布。使用歐氏距離的平方定義任意兩個在子空間中數據的距離。為了避免轉移概率矩陣Q出現平凡解，將式(6)可以重寫為下式：

(7)

2.3 判別與結構信息保持的無監督領域自適應方法模型

將子空間學習項(2)、判別子空間學習函數(5)、圖正則項(7)結合，得到最終的目標函數：

(8)

其中，λ和β是權重參數。第1項和第2項共同構成判別子空間學習項，可以擴大來自不同類的兩個數據點之間的距離，并縮小來自相同類的兩個數據點之間的距離，提高共享空間內目標域和源域特征表達的準確性，從而減少源數據和目標數據的分類誤差。第3項是一個低秩約束，它能夠強化重構矩陣Z的分塊結構特性，保證每個目標域樣本能夠由其源域中的近鄰表示。第4項是一個圖正則化項，從樣本的角度保留了數據的空間關系，同時避免了過擬合。

3 模型優化

3.1 模型優化

針對構建的領域自適應模型式(8)，將詳細描述目標函數的優化求解方案。考慮到模型式(8)是一個非凸問題，因此通過固定其他變量迭代更新每個變量。

首先，引入3個輔助變量E，Z1和F，以及相對應的兩個等式約束。式(8)可轉化為如下優化問題：

(9)

式(9)可以通過非精確增廣拉格朗日乘子法(IALM)進行優化[16]，進一步轉化為

(10)

其中，C1，C2，C3，C4是拉格朗日乘子，μ?0是懲罰因子。等式中的變量不能同時進行優化，引入交替優化的策略。

更新P：通過固定其他變量，得到P的子問題，并將其重寫為基于圖的緊湊形式：

(11)

類似地，通過刪除其他不相關的變量，可以求得Z和Z1的解。

更新E：固定其他變量，通過以下子問題求解E：

(12)

(13)

更新M：固定其他變量，根據文獻[9]，通過以下方法求解M：

(14)

更新F：與求解E相似，刪除其他無關變量并將其轉化為獨立的子問題可以求出F的解。

更新Q：固定其他變量，能夠得到關于Q的子問題。將其繼續分解為n個獨立的子問題，并且每一個子問題都有相同的形式。根據文獻[14]，得到Q的子問題qi的最優解和σ的值：

(15)

3.2 計算復雜度分析

4 實驗結果與分析

為了驗證所提出方法的有效性，使用3個廣泛使用的跨域圖像數據集開展實驗驗證工作，3個數據集分別為：① 4DA目標數據集，由Office數據和Caltech-256數據構成。共有A(Amazon)、C(Caltech-256)、D(DSLR)和W(Webcam)四個域。在實驗中，分別使用淺層SURF特征和深層DECAF6特征，通過交替部署成對域(源域和目標域)，共構建了24個跨域任務。② COIL20 3D對象數據集，包含20個對象，其中有1440張灰度圖像(每個對象有72張多姿態圖像)。該數據集分為兩個子集COIL1(C1)和COIL2(C2)，在構建源域和目標數據時考慮兩種設置：C1→C2和C2→C1。③ MV數據集，由MSRC和VOC2007兩個數據集構成。實驗使用這兩個數據集共享的6個的語義類別，分別為飛機、鳥、羊、牛、自行車和汽車。建立了兩個任務：M→V和V→M。實驗所用數據集圖像示例如圖2所示。

實驗所使用的對比算法，包括兩種未進行領域自適應的方法NN分類器和AlexNet[15]，7種傳統領域自適應方法：GFK[16]、LTSL[17]、JDA[18]、LRSR[9]、BDA[19]、LRDRM[20]和SPDA[21]，以及兩種深度領域自適應方法：DDC[22]、DAN[23]?？紤]到方法對比的公平性，采取了與其他方法的相同的評估指標和實驗設置，實驗結果見表1～4，其中分類精確度最高值通過加粗表示。

表1 COIL 20數據集上的精度 %

表2 MV數據集上的精度 %

表3 4DA(SURF)數據集上的精度 %

4.1 實驗結果分析

COIL20數據集的實驗結果見表1。從表可以看出，筆者提出的方法平均性能優于大多數其他比較方法的性能。與基線方法相比，NN分類器沒有進行領域自適應，性能比提出的方法低15.07%左右。這表明筆者提出的方法完成了源域到目標域的知識遷移。SPDA方法取得了最優的分類性能，這可能是因為該方法不僅保持了幾何結構信息，而且同時減少了條件分布和邊緣分布差異。

MSRC-VOC2007數據集的實驗結果見表2。結果表明，與最新的領域自適應方法LRDRM相比，當VOC2007數據集是源域時，MSRC數據集是目標域時，分類精度提高了3%。盡管當MSRC數據集是源域時，VOC2007數據集是目標域時，筆者提出的方法分類精度沒有取得最優的結果，但是與其他類似的方法相比，提出的方法獲得了最高的平均分類精度。

4DA數據集的實驗結果見表3和表4。表3為具有SURF特征的4DA數據集實驗結果，在12個跨域任務中，提出的方法在8個任務中獲得了最優的性能，并且取得了更好的平均性能。LTSL、LRSR和SPDA與所提出的方法都屬于遷移子空間學習方法，但是LTSL沒有進行源域的判別學習，LRSR雖然學習了源域的判別信息，但是忽略了保持類內的緊湊性和數據的幾何結構，SPDA是在原始高維空間中保持的數據幾何結構。筆者提出的方法較最優對比方法SPDA精度提高了約4.43%。表4為具有深度DECAF6特征的4DA數據集實驗結果，其中帶*號表示是深度領域自適應方法。DDC和DAN是兩種深度學習領域自適應方法，由于深度神經網絡的非線性和層次表示能力，使得這兩種方法取得了比大多數非深度方法更優的結果。但是筆者提出的方法和SPDA的性能仍然優于DDC和DAN，原因可能在于DDC和DAN沒有利用域自適應層中數據的結構信息，而SPDA和筆者的方法在減少分布差異的同時保留了數據的流形結構。

表4 4AD(DECAF6)數據集上的精度 %

4.2 消融分析

與現有的方法相比，筆者提出的方法引入了源域的類間稀疏約束和自適應圖正則項。為了驗證其有效性，進行了3個實驗與筆者提出的方法作比較。使用4DA(DECAF6)數據集進行消融實驗。

第1個實驗是一個不包含自適應圖正則項和源域類間稀疏約束項的簡單模型，稱為“原始”，該實驗的目標函數如下：

(16)

第2個實驗評估了自適應圖正則化項對模型性能的影響，稱為“No-GR”(No Graph Regularization)，表示不使用圖正則化項約束。該實驗的目標函數如下：

(17)

第3個實驗評估了具有源域類間稀疏約束的判別子空間項是否提高了模型的性能，稱為“No-ICS”(No Inter-Class Sparsity)，表示未進行源域的類間稀疏約束。目標函數如下：

(18)

不同模型的實驗結果見表5。從表中可以看出筆者提出的方法性能最好，這表明源域類間稀疏提高了遷移子空間的判別性能，以及所提出的自適應圖正則項在遷移過程中保留樣本幾何結構的有效性。

表5 4DA(DECAF6)數據集上消融實驗結果 %

為了更好地直觀地展示所提方法跨領域共享子空間的學習效果，對4DA(DECAF6)數據集中C→D跨域任務進行了t-SNE可視化，圖3(a)展示了C→D任務的原始特征。圖3(b)和(c)展示了式(15)和式(16)學習到的數據表征。圖3(d)為筆者提出的方法學習到的數據表征。不同形狀表示不同類別的數據，通過圖示可以清楚地看到同一類別的數據分布相近，不同類別的數據互相遠離。這表明了學習到的數據表征的強判別性。通過對比圖(a)～(b)和圖(d)，可以看出域間差異的不斷減少。

4.3 參數敏感度分析

如式(8)所示，該目標函數有兩個參數：保證數據類間稀疏性結構參數λ和圖正則項β。為了分析該方法的參數敏感度，本節實驗測試了λ和β兩個參數不同值的組合下對算法性能的影響。參數λ和β的取值范圍設置為{0.001，0.005，0.01，0.05，0.1，0.5，1，5，10}。具有不同參數的W→D(SURF)、A→D(DECAF6)、COIL2→COIL1的計算結果如圖4所示。由圖可知，雖然兩個參數對所提出的模型在多個不同的數據集上性能變化有所不同，但是在比較大的參數區間范圍內，可以取得穩定并令人滿意的分類準確率。

4.4 算法運行時間對比

本節對比了提出的算法與GFK、JDA、LRSR、BDA和SPDA算法的運行時間。所有的測試都在一臺CPU為Intel 1.8GHz雙核處理器、內存為8GB的計算機上完成，軟件平臺選定為MATLAB R2016b。本節實驗在4DA(SURF)數據集的C→A任務和COIL數據集的C1→C2任務上進行實驗，各個算法的執行時間如表6所示。其中GFK算法的運行時間最短，但是該算法的分類精度相對而言較低。LRSR算法的運行時間最長，這是因為該算法的收斂速度相較于其他算法較慢。筆者提出的方法并不是時間成本最高的算法。

表6 算法運算時間對比

4.5 討論

值得注意的是，所有的實驗結果都顯示領域自適應方法的性能優于標準的機器學習方法。這進一步驗證了當訓練數據和測試數據來自不同的領域時，導致分類性能差的原因主要是因為域間分布不同。如果能夠盡可能地減少源域和目標域之間的分布差異，就能利用源域充分標記的樣本來學習未標記的目標樣本，使得使用源域內的標簽信息成為了可能。但是在學習新的跨領域特征表示時，也應該考慮保持原始特征的判別能力，否則一味地減少分布差異，容易導致目標樣本不可分，這對分類任務十分不利。并且也不能忽視數據的局部結構信息，否則會導致模型的泛化性能差，容易引起過擬合問題。這3點對于學習分類器都有良好的促進作用，能夠得到更準確的目標分類器。筆者提出的方法將上述的3個目標融合為一個框架，在多個跨域數據集任務上的實驗結果表明了該方法的強判別性、泛化性和有效性。本研究更注重于分類精度的提升，結合源域類間稀疏性約束與圖正則項后的目標函數模型較為復雜，其分類精度的提升是犧牲了一定的時間復雜度換取的。

5 結束語

筆者提出了一種判別與結構信息保持的無監督領域自適應方法。在源域至目標域的知識遷移過程中，通過松弛標簽矩陣和源域類間稀疏約束充分的保留了源域的判別性能，聯合自適應圖約束能夠在保留樣本的幾何結構同時避免學習過擬合的問題。大量實驗結果表明，在遷移過程中保留這些重要屬性對模型分類性能提高的有效性。