具有類間差異約束的多對抗深度域適應模型

馬娜，溫廷新，賈旭

1.遼寧工程技術大學 工商管理學院，遼寧 葫蘆島125105

2.遼寧工業大學 電子與信息工程學院，遼寧 錦州121001

在許多計算機視覺任務中，模型訓練通常需要大量的標注樣本，而標注大規模樣本的工作是十分耗費時間和人力的，因此，如何利用有限的標注樣本即可獲得較好的識別結果已成為研究熱點。遷移學習可以通過降低不同域中同一類別樣本之間的差異，將知識很好地從源域中應用到目標域中。可以說，提出一種有效的域適應方法，使得描述某一類目標的特征能夠在不同域中同時適用，將具有重要的理論研究與實際應用價值。

目前，深度學習已經被驗證在目標識別問題中可以取得良好的效果，因而深度域適應方法在遷移學習中逐漸被更多人采用。已有的深度域適應方法大致分為三類：（1）基于域間分布差異的域適應方法，該類方法思想是通過減小域之間分布差異，來提高特征在不同域之間的通用性[1]。其中，具有代表性的衡量分布差異的測量準則有最大均值差異（maximum mean discrepancy，MMD）[2-3]，即通過降低映射后特征均值的差異，實現特征的共享。而后，基于MMD 思想衍生出了多種改進測度函數，如多核最大均值差異（multiple kernel variant of MMD，MK-MMD）[4]、聯合最大均值差異（joint MMD，JMMD）[5]、加權最大均值差異（weighted MMD，WMMD）[6]、Wasserstein 距離[7]、正交距離（orthogonal discrepancy）[8]、關聯對齊距離（correlation alignment discrepancy）[9-11]、中心矩距離[12-13]等。這些方法或者引入了特征核映射思想，或者選擇深度網絡的不同層特征，對特征相似性進行約束，進一步提升了特征的普適性。而后，針對源域與目標域樣本分布結構特征，基于網絡結構相關性[14-16]、流形距離[17]、圖相似性[18-19]、集群距離[20]、Fisher 距離[21]、矩距離[22]等測度函數陸續被提出，同樣在不同程度上取得了一定的效果。（2）基于對抗的域適應方法，該類方法的思想是通過欺騙域鑒別器學習獲得域間通用的特征[23]。其中，領域對抗神經網絡（domain adversarial neural network，DANN）[24]通過域鑒別器混淆源域與目標域特征，獲得域間通用的特征。而后，多對抗神經網絡（multi-adversarial domain adaptation，MADA）[25]被提出，它采用多個域鑒別器結構，目的是進一步提高域間不同類別對齊的準確性；而對抗判別適應網絡（adversarial discriminative domain adaptation，ADDA）與生成適應網絡（generate to adapt，GTA）[26-27]通過引入生成器，對生成器產生的數據同樣進行域分類約束；條件領域對抗網絡（conditional domain adversarial networks，CDAN）[28]的創新之處在于在訓練過程中能夠依據樣本重要程度差異對每一樣本賦予不同的權重。此外，提出的帶有注意力機制的對抗網絡[29]、主動對抗網絡[30]等模型也在不同程度取得了一定的效果。（3）基于重構的域適應方法，該類方法通過編碼與解碼來抑制信息的損失。包括傳統的自編碼器訓練[31]、深度自編碼[32-33]、基于對抗的編碼[34-36]等。

以上方法取得效果的同時，仍存在一些關鍵問題需要解決，例如，大多域適應方法僅僅對源域與目標域的總體特征分布進行了相似性約束，事實上將源域與目標域中每一類目標特征分別對齊對于域適應來說更為重要，而對齊源域與目標域中的不同類別是沒有意義的，反而有可能導致負遷移；此外，即使一些方法采用了多對抗網絡來實現源域與目標域每一類目標的分別對齊，但對于無標簽的樣本，如何在訓練過程中對其指定合適的域鑒別器，即如何融合不同域鑒別器的損失并未給出較為合理的解釋，從而使類別對齊的準確性難以保證；最后，除考慮識別準確率以外，還應盡可能增大相似類別特征之間的差異，目的是當面對更大規模的樣本時，這些相似類特征之間仍然能夠具有足夠大的差異。

針對以上問題，這里提出了一種帶有類間差異約束的域適應模型。該模型采用了基于有監督學習的目標分類與基于對抗的域鑒別相結合的模型結構，其創新之處主要體現在以下兩方面：（1）訓練過程中，對提取的特征加以類間差異性約束，從而獲得具有足夠可區分性的目標特征。（2）提出了一種目標域樣本偽標簽向量計算方法，并依據偽標簽向量中的元素對相應域鑒別器的損失進行加權處理。

1 提出模型

1.1 參數定義

1.2 模型設計分析

提出算法的目標在于實現源域與目標域所有類別樣本能夠被準確識別，即獲得對源域與目標域都有效的特征提取器f=Gf(x)與特征分類器y=Gy(f)。而實現這個目標的主要思路如下：首先，需要對源域中的樣本進行有監督學習，保證源域中樣本能夠被準確識別；而后，實現源域與目標域所有類別樣本分別準確對齊，從而可以將源域中的特征提取器與特征分類器較好地遷移到目標域中。

要解決域適應以上兩個關鍵問題，提出的模型需先后對這兩方面進行分析及優化。首先，傳統的用于有監督學習的神經網絡通常將交叉熵作為模型訓練的唯一損失函數，即僅僅考慮了分類的準確性，并未考慮距離較近類別的邊界樣本是否可能彼此混淆，進而被錯誤分類，而良好的特征需要既能保證分類的準確性，還可以具有較好的類別獨特性，因此，提出的模型需要增加類間差異約束，盡可能提升不同類別樣本特征之間的可區分性；其次，由于目標域樣本在訓練時是不包含標簽信息的，無法一次性確定每一個目標域樣本應該與源域中哪一類樣本進行對齊，因此，提出的模型需要針對每一類樣本設置相應的域鑒別器網絡，并給出合理的偽標簽估計方法，最終實現源域和目標域每一類樣本的分別對齊。1.3節與1.4節將基于以上分析對模型進行改進與優化。

1.3 最大類間差異約束

由于數據集中樣本數量有限，即使類間差異較小，通過訓練深度神經網絡的特征提取器與分類器仍然可以較好地保證目標識別的準確性，如圖1（a）所示；而隨著數據集中樣本數量的增大，兩類目標分布邊緣的樣本的差異有可能較小，那么有可能會使得具有相似類別的樣本特征難以被區分，如圖1（b）所示。

圖1 不同數據集規模條件下的特征分布Fig.1 Feature distribution under different dataset sizes

基于以上分析，當對源域中有標簽樣本進行有監督學習時，不僅要保證分類的準確性，還要讓不同類特征的差異性盡可能增大，從而在樣本規模增大時提高特征的有效性與算法的泛化能力。因此，這里提出了一種衡量類間差異的測量函數，如式（1）所示：

1.4 加權多對抗域鑒別器

目前大多基于對抗的域適應模型仍采用減小源域樣本與目標域樣本之間總體分布的思想，然而，對于源域與目標域中不同類別的兩類樣本，降低它們之間的特征分布差異是沒有必要的，而且有可能會引起負遷移。因此，減小源域與目標域中同一類目標樣本的特征分布差異才是更有意義的。基于以上分析，提出的模型針對每一類目標，都采用網絡結構相同的域鑒別器，即K個域鑒別器，目的是對齊源域與目標域之間每一類目標的樣本特征分布，而不關注不同類別目標樣本之間的關系。

隨著訓練期數的增加，目標域樣本預測標簽也逐步趨于準確和穩定，對于域鑒別器的訓練也具有更好的指導意義。綜上，在訓練初期，目標域樣本的偽標簽更依賴于標簽相似度向量，而隨著迭代次數的增加，目標域樣本的預測標簽將對獲取偽標簽起到更加重要的作用。這里，目標域樣本的偽標簽計算如式（7）所示：

式中，nepoch為模型訓練需要的期數，即Epoch 數目，而r為當前迭代的期數。

在模型訓練過程中，如果訓練樣本為源域樣本，則其偽標簽等同于其真實標簽，即，并將其作為域鑒別器的權重；如果訓練樣本為目標域樣本，則采用其偽標簽作為域鑒別器的權重，如式（7），從而形成新的域鑒別器損失函數，如式（8）所示。

1.5 模型結構

基于1.2～1.4 節的分析，提出的多對抗深度域適應模型如圖2所示。

圖2 提出的域適應模型Fig.2 Proposed domain adaptation model

圖2中，Gf、Gy與分別表示特征提取器、特征分類器和域鑒別器，k=1,2,…,K，它們的參數分別由θf、θy與來表示，GRL（gradient reversal layer）為梯度翻轉層。

為獲得較好的模型參數，需要設計一種合理的模型損失函數與訓練方法。根據以上對域適應問題的分析，該損失函數與訓練方法應滿足以下要求：

（1）為提高源域樣本分類的準確率，應通過調整參數θf與θy，盡可能減小分類損失Ly；

（2）為提高源域與目標域樣本域鑒別準確率，應通過調整參數θf，盡可能減小域分類損失Ld；

（3）為提高不同類別樣本特征的可區分性，應通過調整參數θf，盡可能減小類間差異損失Lf；

（4）為降低源域與目標域同類樣本間的特征差異，應通過調整參數，k=1,2,…,K，盡可能增大域分類損失Ld。

基于以上分析，提出的模型的損失函數可由式（9）表示：

式中，Le為交叉熵函數。

1.6 模型參數優化求解

由以上分析，可以得出模型參數優化的每一次迭代過程可分為兩個步驟：

（1）利用源域與目標域中所有樣本對特征提取器參數θf與特征分類器參數θy進行優化，降低特征分類器Gy與域鑒別器的錯誤率，k=1,2,…,K，以及減小類間差異損失，如式（11）所示：

2 實驗結果及分析

2.1 實驗數據集

本實驗將采用以下四種數據集：“Office-31”數據集[37]、“ImageCLEF-DA”數據集[38]、“Office-Caltech-10”數據集[39]、“USPS-MNIST-SVHN”數據集[40-42]。每個數據集的具體屬性如下：

（1）“Office-31”數據集。該數據集包含3 個域，分別是“Amazon”（A31）、“Webcam”（W31）、“DSLR”（D31），每個域包含31個類別的目標，部分“自行車”樣本如圖3所示。

圖3 “Office-31”數據集中的部分樣本Fig.3 Some samples in dataset“Office-31”

（2）“ImageCLEF-DA”數據集。該數據集包含3個域，分別是“Caltech-256”（C）、“ImageNet ILSVRC 2012”（I）、“Pascal VOC 2012”（P），每個域包含12 個類別目標，部分“馬”樣本如圖4所示。

圖4 “ImageCLEF-DA”數據集中的部分樣本Fig.4 Some samples in dataset“ImageCLEF-DA”

（3）“Office-Caltech-10”數據集。該數據集包含4個域，分別是“Amazon”（A）、“Webcam”（W）、“DSLR”（D）、“Caltech”（C），每個域包含10個類別目標，部分“杯子”樣本如圖5所示。

圖5 “Office-Caltech-10”數據集中的部分樣本Fig.5 Some samples in dataset“Office-Caltech-10”

（4）“USPS-MNIST-SVHN”數據集。該數據集包含3個子數據集，分別被認為是3個域，分別是“USPS”（U）、“MNIST”（M）、“SVHN”（S），每個域包含10 個類別的數字圖像，部分樣本如圖6所示。

圖6 數字數據集中的部分樣本Fig.6 Some samples in digital dataset

2.2 參數設定

在提出的模型中，對于“Office-31”“ImageCLEFDA”“Office-Caltech-10”數據集，有監督學習的網絡采用ResNet50 網絡；對于“USPS-MNIST-SVHN”數據集，有監督學習的網絡采用Alexnet 網絡。每個域鑒別器均選擇結構相同的3 層全連接層(f→512 →512 →2)，由于訓練數據集的樣本數量有限，如果隨機初始化模型參數進行訓練，那么很容易陷入局部最優，這里將采用預訓練好的模型參數作為初始化參數[39]。

基于小批量梯度下降的訓練過程中，學習率η由式（13）獲得[25]：

式中，r為訓練期數，α=10，β=0.75。而模型訓練時的其他參數設置如表1所示。

表1 模型訓練參數設置Table 1 Parameter setting during training model

此外，平衡因子λ1與λ2將依據實驗結果獲得，選擇的依據為在4 個數據集上目標域獲得識別最大平均準確率的參數與為最優參數，這里，λ1與λ2的取值范圍分別為λ1,λ2∈{0.05,0.10,0.50,1.00,10.00}，而不同參數組合條件下獲得識別的平均準確率如表2所示。

表2 不同參數下的識別結果Table 2 Recognition results under different parameters

由表2可以看出，當λ1=0.50，λ2=1.00時，可獲得最大的平均識別準確率。

2.3 模型有效性提升分析

提出模型的創新之處主要體現在兩方面：一是提出了加權多對抗域鑒別器進行同類樣本對齊；二是提出了特征類間差異約束，從而增大不同類樣本間的差異。為驗證創新點的有效性，除提出的模型外，這里重新構造兩個對比模型：

（1）模型1。將提出模型損失函數中的特征類間差異約束項刪除，并采用單個域分類器，如式（14）所示：

（2）模型2。保留特征類間差異約束項，將提出模型的多個域鑒別器改為單個域鑒別器，損失函數如式（15）所示：

2.3.1 同類樣本特征對齊分析

由表3 可以看出，經過域適應后，基于3 種模型獲得的源域與目標域所有類別樣本特征分布中心距離都較小，提出的模型要略好于其他兩個模型；然而，提出的模型在目標域不同類別樣本識別準確率上要明顯優于對比的兩個模型，從而說明提出的模型更好地降低了源域與目標域之間同類樣本的特征分布的差異。

表3 使用“ImageCLEF-DA”數據集時不同模型的與值Table 3 Obtained and values of different models when using dataset“ImageCLEF-DA”

表3 使用“ImageCLEF-DA”數據集時不同模型的與值Table 3 Obtained and values of different models when using dataset“ImageCLEF-DA”

2.3.2 類間差異約束有效性分析

為驗證提出的類間差異約束函數的有效性，將對域適應后不同類樣本的可區分性做進一步的分析，這里，采用域適應后目標域中不同類樣本中心距離dcen(class1,class2)來對類間可區分性進行衡量，結果如表4、表5所示，而dcen(class1,class2)計算如式（19）所示：

表4 C →I 條件下目標域中5個最小類間中心距離Table 4 Five smallest center distances between different classes in target domain under C →I

由表4可以看出，通過在模型中增加類間差異約束，訓練后目標域中不同類別特征分布差異更加明顯，從而有效降低了相似類別被錯誤分類的可能性；而由表5 可以看出，當選擇不同的源域與目標域時，提出的模型都會有效增大類間特征的分布差異，從而提高了不同類別特征的可區分性。

表5 使用“ImageCLEF-DA”數據集時目標域中5個最小類間中心距離的平均值Table 5 Average values of five smallest center distances between different classes in target domain when using dataset“ImageCLEF-DA”

同樣以ImageCLEF-DA 數據集C→I為例，3 種模型的對比結果還可以通過t-SNE圖來進行觀察，如圖7所示。

圖7 “ImageCLEF-DA”數據集特征t-SNE可視化Fig.7 t-SNE visualization of deep features on dataset“ImageCLEF-DA”

首先，由圖7（a）、圖7（b）可以看出，當將損失函數中的類間差異約束項刪除后，不同類目標特征的可區分度較小，雖然對源域進行有監督學習后，可以較好地保證分類準確率，但目標域中樣本的分類準確率難以保證，尤其是特征相似度較高的目標很容易被錯誤分類。例如，對于“人”與“飛機”等與其他目標具有較大差異的類別，不含類間差異約束的模型1 與提出的模型對于目標域樣本都具有較好的識別效果；而對于“摩托車”與“自行車”具有較高相似性的類別，模型1訓練后得到的兩類特征分布差異性較小，導致目標域中“自行車”樣本被誤分類為“摩托車”，如圖8（a）所示；但提出的模型在訓練時考慮了類間差異損失，可以將“自行車”樣本正確識別，如圖8（b）所示。

圖8 使用不同模型時部分樣本識別結果Fig.8 Recognition results of some samples when using different models

2.3.3 偽標簽函數有效性分析

為驗證提出的偽標簽函數的有效性和必要性，這里將對基于不同偽標簽函數的實驗結果進行分析，除提出的偽標簽函數式（7）外，增加了兩種對比的偽標簽獲取方式：一是直接采用樣本分類后預測的標簽作為其偽標簽，記為pseudo label 1；二是始終采用標簽相似度向量作為其偽標簽，記為pseudo label 2。在對比實驗中，采用同一個模型結構，如圖2，其他參數設定見2.2節，通過對比訓練過程中目標域樣本準確率變化曲線，來驗證提出的偽標簽函數的有效性，如圖9所示。

圖9 C →I 訓練過程中基于不同偽標簽函數的準確率變化曲線Fig.9 Accuracy variation curves based on different pseudo label functions during C →I training

由于目標域樣本在訓練初期的分類準確率較低，如果采用分類后預測標簽作為偽標簽，可能會造成目標域樣本被指定到錯誤類別的域鑒別器，進而導致知識的負遷移。由圖9 可以看出，基于偽標簽1的準確率曲線收斂慢，并且訓練結束后目標域樣本分類的準確率相對較低；當采用標簽相似度向量作為偽標簽時，訓練初期目標域樣本可以被更好地指定到正確類別的域鑒別器。由圖9可以看出，基于偽標簽2的準確率曲線收斂速度得到較好的提高；在訓練的中后期，目標域中樣本分類后預測標簽的準確率會得到大幅度提升，依據該特點，可以得到樣本偽標簽在訓練初期更依賴于標簽相似度向量，而隨著訓練次數的增加，樣本分類后預測的標簽將對構造偽標簽發揮更大的作用。由圖9可以看出，無論是從收斂快速性，還是從最終目標域樣本分類準確率來看，基于提出的偽標簽函數的模型具有更好的效果。

表6 選用“Office-31”數據集時識別準確率比較Table 6 Comparison of recognition accuracy when using dataset“Office-31” 單位：%

表7 選用“ImageCLEF-DA”數據集時識別準確率比較Table 7 Comparison of recognition accuracy when using dataset“ImageCLEF-DA” 單位：%

表8 選用“Office-Caltech-10”數據集時識別準確率比較Table 8 Comparison of recognition accuracy when using dataset“Office-Caltech-10” 單位：%

2.4 不同模型實驗結果比較與分析

分別基于“Office-31”“ImageCLEF-DA”“Office-Caltech-10”“USPS-MNIST-SVHN”4 個數據集，將提出的模型與部分已有的域適應模型的實驗結果進行對比，對于不同的源域與目標域，對比結果如表6～表9所示。

表9 選用“USPS-MNIST-SVHN”數據集時識別準確率比較Table 9 Comparison of recognition accuracy when using“USPS-MNIST-SVHN”dataset 單位：%

由表6～表9 可以看出，針對使用的4 種數據集，提出域適應方法相對于部分已有的模型具有更好的特征遷移性能。尤其是對于同樣具有多對抗域鑒別器結構的模型，提出的模型在訓練過程中對不同的域鑒別器賦予了更為合理的權重，使得識別準確率得到了提高，進一步驗證了提出的偽標簽向量獲取方法的重要性。

3 結束語

源域與目標域每一類樣本都能夠準確對齊是實現特征遷移的關鍵，針對該問題，提出了一種加權多對抗域適應模型。該模型的貢獻在于：（1）提出了一種偽標簽計算方法，能夠在訓練過程中讓目標域中的樣本獲得更為合理的偽標簽，從而讓域間同一類樣本實現準確對齊；（2）提出了一種類間差異測量函數，在模型訓練過程中，不僅要保證樣本的分類準確率，而且盡可能增大相似類別樣本之間的特征分布差異，從而在更換數據集或增大數據集規模時，兩類樣本仍能較好地被區分。此外，設計更為合理及有效的類間差異函數，進一步提升模型的性能將是未來需要研究的重要內容。