結合風格遷移的最小化類混淆領域自適應算法

梅校杰，張 靈

廣東工業大學 計算機學院，廣州 510006

深度神經網絡擅長從具有大量標簽標記的數據集中學習判別性特征表示，從而在各種機器學習任務中取得了空前的成功。但是，在實際應用中DNN（deep neural networks，DNN）通常會遇到因為標記數據稀缺而導致的學習判別性特征表示能力不足的問題。由于進行數據標定的工作代價高昂且費時，這種困境導致了領域自適應算法（domain adaptation，DA）的誕生[1-2]，領域自適應可以在存在分布偏移的情況下，將學習到的知識從已標記的數據集遷移到未標記的數據集。對于封閉集的無監督領域自適應（unsupervised domain adaptation，UDA）問題，目前有許多算法來解決這種源域和目標域共用相同標簽集跨域學習的情況。這些UDA方法通過學習共享特征進行跨域或者通過加權的方式突出的顯示與目標域更相關的源域樣本，在目標域沒有標簽的情況下努力擬合源域和目標域之間的特征分布差距[3-4]。

基于矩匹配的領域自適應相關算法目的在于最小化跨域的分布差異。例如，Deep Coral[5]算法通過對源域和目標域之間的樣本特征進行線性變換，使得兩者的二階統計量對齊。DDC[6]算法和DAN[7]算法是通過MMD（maximum mean discrepancy，MMD）來減小源域和目標域之間特征分布差異。JAN[8]算法在DDC算法和DAN算法基礎上，在網絡結構中聯合多層的特征分布差異，取得了更好的正遷移效果。SWD[9]算法利用特定任務的決策邊界和Wasserstein度量，在源域和目標域之間進行特征分布對齊。CAN[10]算法提出了一個對類內域差異和類間域差異建模的新度量，來減少源域和目標域之間特征分布差異。

受生成對抗網絡（generative adversarial nets，GAN）的啟發，在源域與目標域之間使用對抗博弈，可以使兩個領域的圖像特征映射到相同的特征分布上，達到遷移學習的目的。在2016年提出的領域自適應對抗神經網絡（domain adaptive neural network，DANN）[11]，該網絡首次使用了域鑒別器這一概念，通過對源域與目標域進行對抗訓練，當達到納什均衡時，域鑒別器不能區分特征屬于源域還是目標域，此時完成了共享特征的對齊。2018年提出的多模型對抗性域適應算法（multiadversarial domain adaptation，MADA）算法[12]，彌補了DANN算法沒有利用多模式結構分別對每個類進行特征對齊，只使用單一域鑒別器對源域和目標域的特征分布進行對齊，從而造成了錯誤特征對齊的缺陷。該算法使用多模式結構，以支持基于多個域鑒別器的不同數據分布的細粒度特征對齊，有更好的正遷移學習能力。2019年提出的對抗性領域自適應（adversarial domain adaptation being aware of class relationships，RADA）算法[13]，通過在多模型域鑒別器與分類器之間使用正則化約束項，來懲罰由域鑒別器和標簽預測器的類間依賴關系的結構差異，該方法使對抗性領域自適應意識到類關系，進一步提升了算法的正遷移能力，同時證明了通過解決類間依賴關系能夠提高算法在基準數據集遷移學習的能力。該算法仍需要部署源域和目標每個類的特征對齊，且在面對具有高相似的類別時，依然不能很好將它們區分。

有研究團隊通過對目標域的預測誤差分析，發現分類器在目標域上區分正確類和不確定類時會產生混淆[14]。這個發現提供了新的視角來解決領域自適應問題：類混淆。它是一種分類器在對目標域樣本的正確類和不確定類預測時會產生混淆預測的傾向。該團隊通過對分類器預測目標域樣本概率內積它的轉置，揭示了不同類之間的混淆關系。從這個角度量化類混淆，從而僅基于分類器的預測就可以計算出類混淆。他們提出了最小化類混淆（minimum class confusion，MCC）損失函數，發現較少的類混淆會帶來更多的跨域正遷移效益。但是，在UDA場景中他們仍然無法解決共享特征稀疏帶來的分類器正遷移學習能力不足的問題。

圖像的風格遷移目的是將一個域的圖像特征轉換到另一個域。為了在非成對數據上訓練圖像風格遷移模型，CycleGAN[15]算法利用循環一致性損失解決缺少成對訓練數據的問題。PixelDA[16]算法基于GAN模型以無監督的方式學習目標域圖像風格遷移到源域，在像素空間使得源域圖像轉換為目標域圖像，同時保留源域原始內容，實現像素級領域自適應。CyCADA[17]算法將CycleGAN原理運用到了領域自適應上，實現了源域和目標域樣本的特征級與像素級的對齊。Face-CycleGAN[18]算法基于CycleGAN模型在保留身份屬性的前提下，對源域中帶標簽數據進行了風格遷移，使得其在背景、光照、皮膚材質等方面能與監控場景更接近，并通過聯合濾波對遷移后的圖像進行處理。最終利用遷移得到的數據來優化人臉識別算法，減小了域間差異帶來的負遷移。本文基于CycleGAN模型原理和最小化類混淆損失函數，通過對源域使用生成對抗網絡對每個類進行圖像風格遷移，擴大了帶標簽源域的特征空間分布，提供更多與目標域有相關性的共享特征，加強了源域和目標域上每個類的特征對齊，從而提升分類器的正遷移學習能力。在目標域中引入不確定性權重機制，加重具有確定性樣本的預測概率權重。最小化分類器在目標域上預測產生的類混淆，使得分類器能以高置信度預測出正確的類，抑制跨域的負遷移。

1 算法描述

1.1 基于生成對抗網絡的風格遷移

在源域數據集中，將每個類分為子集A和子集B。使用GAN網絡進行風格遷移的目標是學習一個映射函數Q，使得子集A中的一個樣本通過該映射函數得到一個服從子集B樣本分布的Q(x),x為子集A中樣本，反之亦然。在訓練過程中，包含一個正向的生成器Q:A→B和一個反向的生成器Q0:B→A，用于生成轉換圖像。同時，為了判斷圖像風格是否被正確的轉移到另一個子集域，引入兩個鑒別器DA和DB來分別判斷圖像所屬的子集域，并與對應的生成器進行對抗訓練。根據GAN的博弈思想，正向生成器Q會盡可能擬合子集B的樣本分布以騙過判別器DB,DB盡可能判斷某個樣本是來自真實的子集B還是來自生成器Q生成的樣本，Q和DB交替更新，最終達到納什均衡[15]，Q生成的樣本足以騙過判別器DB，從而達到圖像遷移的目標。同理，反向生成器Q0的訓練過程也一樣。擴大了源域中每個標簽類的特征分布，為目標域提供更多有相關性的共享特征。基于文獻[15]，本文定義生成對抗網絡的風格遷移損失函數為公式（1）：

對抗損失：在公式（1）中的對抗損失函數LGAN(Q,DB,A,B)和LGAN(Q0,DA,B,A)分別為正向生成和反向生成的對抗損失。正向生成器的對抗訓練損失函數如公式（2）所示：

其中，樣本x來自子集A，樣本y來自子集B。該公式的優化目標是找到一個Q*，使DB,A,B)。反向生成器Q0的對抗訓練損失亦然。

循環一致性損失：僅使用對抗損失訓練生成器，會發生在子集A中的任意樣本x，生成器Q可能會將它映射成子集B中同一個樣本的情況。同樣，對于子集B中的任意樣本y，生成器Q0也可能會將它映射成子集A中同一個樣本x。為了避免這種情況，采用循環一致性損失LCYC(Q,Q0)使Q0(Q(x))≈x及Q(Q0(y))≈y，在公式（1）中的循環一致性損失LCYC(Q,Q0)可表示為公式（3）：

公式（1）中，λ表示循環一致性損失LCYC(Q,Q0)的權重。

1.2 最小化類混淆領域自適應學習

本文算法使用最小化類混淆作為目標域的分類損失函數，在UDA場景下進行領域自適應實驗。實驗包含一個帶標簽的源域和一個無標簽的目標域，其中xi為數據樣本，yi為對應的標簽。通過對分類器預測目標域樣本概率內積它的轉置來度量目標域中的類混淆。與之前領域自適應算法側重于特征對齊的方法不同[19]，本文方法注重最小化分類器在目標域上誤差預測。將目標域的分類器輸出表示為，其中，B為目標數據的批量大小，||C為源域的類數量，F為特征提取器，G為分類器。

（1）類間相關性。根據論文所述[20]，在DNNs（deep neural networks）分類模型中，分類器對樣本進行預測時會出現過度自信的情況。因此，本文采用溫度重標度來解決算法模型分類預測時過度自信的負面影響[21]。對分類器G的樣本概率預測函數進行溫度重標度處理，得到對特征向量分類有高置信度的預測。由文獻[21]研究可將第i-th個樣本的特征向量屬于第j-th類的概率表示為，其中Zij是分類器層的logit層輸出（在softmax函數之前），T是用于縮放的溫度重標度超參數。

分類器G對樣本的特征向量預測概率為表示第i-th個樣本的特征向量和第j-th個類之間的預測關系。因此，對文獻[14]中類j和j′之間的類間相關性重新定義為公式（4）：

在公式（4）中，表示每批量中B個樣本來自j-th類的概率。表示利用風格遷移擴展得到與目標域特征空間匹配的共享特征對分類器G的跨域正確分類預測的提升值，δ為對角矩陣。類間相關性量化了分類器G對B個樣本進行分類預測時，在第j-th類和第j′-th類之間的類混淆預測。這種成對的類關聯是可靠的，當模型過度自信做出錯誤的預測時，相應的類間相關性仍然很低。利用公式（1）作為損失函數訓練得到的生成器Q和Q0，加大了源域和目標域每個類別的樣本特征空間分布中共享特征的對齊，特征提取器F提取風格遷移得到的共享特征可表示為Z′,y′可由公式（5）得到：

Z′使得由帶標簽的源域上訓練得到的分類器G，在目標域上跨域分類預測時，在正確類和不確定類之間產生的混淆預測降低。

（2）不確定性權重機制。樣本對量化類混淆的重要性是不同的，當預測概率更接近均勻分布，而沒有出現明顯的峰值（對于某些類預測概率明顯較大）時，分類器G沒有注重這些樣本。相反，當預測出現多個峰值時，證明分類器難以在這幾個不明確的類之間決策。而這些樣本會使得分類器G產生誤差預測，更能體現類混淆。根據公式（4）的定義，這些樣本可以在幾個峰值上以更高的概率值突出，本文使用了文獻[14]提出的基于不確定性的權重機制來更準確量化類混淆。當分類器進行預測時，具有較高確定性的樣本，由分類器G做出的預測更容易出現類混淆。使用信息論中的熵函數作為概率分布p的不確定性測度，可定義分類器預測第i-th個樣本分類概率的熵（不確定性）為。熵是一種不確定性的度量，需要將它轉換成一個概率分布。便可以使分類器G在概率預測時，在具有更大確定性樣本的特征向量上加大它的預測概率。使用公式（6）將熵值轉換成概率：

其中，Wii是量化第i-th個樣本在計算類混淆時重要性的概率，W是相應的對角矩陣。采用相反的熵值來反映確定性。拉普拉斯平滑（即在softmax函數添加常數1）用于形成更重的權重分布[22]，這適合于突出更多特定樣本，同時避免過度懲罰其他樣本。為了更好地進行度量，將每個批量大小為B的所有樣本的概率重新調整為B，以使每個樣本的平均權重為1。

（3）最小化類混淆。通過公式（6）加權機制方式，類混淆初步定義為。當類別標簽數量較多時，在每批量中會出現嚴重的類別失衡。為了解決這個問題，本文采用了隨機游走中廣泛使用的一種類別標準化技術[23]，可表示，標準化類混淆是為了解決當兩個類混淆程度很高導致分類錯誤的情況。度量了類j和j′之間的混淆，最小化目標域上的類混淆，最理想的情況是目標域樣本能被分類器準確地區分預測，即j≠j′。最小化類混淆損失函數定義為公式（7）：

分類器G預測出第i-th個樣本的概率Yt，對其加權W量化樣本在計算類混淆時的重要性。基于風格遷移的最小化類混淆的過程如圖1所示。

1.3 基于風格遷移的最小化類混淆領域自適應（minimal class obfuscation domain adaptation based on style migration，MCCSM）

通過對源域數據集每個類進行生成對抗網絡訓練，得到特征遷移的生成器Q,Q0，將子集A的特征映射到子集B中，并將子集B的特征映射到子集A中，增大源域XS可供匹配的共享特征，增強分類器G的正遷移能力。使用ResNet-50網絡結構訓練共享特征提取器F和分類器G，結合在有標記數據的源域上分類器G的交叉熵損失和未標記目標域Xt分類預測MCCSM損失，構建最終的目標函數為公式（8）：

圖1 基于風格遷移的最小化類混淆的過程Fig.1 Process of minimizing class confusion based on style transfer

其中，LCE是交叉熵損失，G(F(xs+Q(xs)+Q0(xs)))表示在源域上分類器G對特征提取器F提取的特征進行分類預測，ys為對應的標簽。而u是MCCSM損失重要性的超參數。在聯合損失的情況下，通過反向傳播端到端訓練深度領域自適應模型的特征提取器F和分類器G。實驗流程如圖2所示，圖中藍色虛線部分為源域數據集各類通過生成對抗網絡的博弈訓練，得到風格遷移映射函數Q和Q0。生成得到的標簽樣本與對應訓練的樣本構成新的源域樣本數據集。圖2紅色虛線部分為使用ResNet-50網絡構成的特征提取器F對源域S和目標域T進行特征提取過程。圖2青色虛線部分為源域樣本Xs利用標簽完成樣本特征分布Zs的分類，目標域樣本Xt的特征分布Zt利用與源域樣本特征分布的相關性，通過統一的共享特征完成分類的過程。圖2的黑色虛線部為在源域樣本上利用標簽使用交叉熵作為損失函數和在目標域上利用共享特征預測形成的類混淆作為損失函數，并利用反向傳播訓練分類器G的過程。

圖2 MCCSM算法的結構示意圖Fig.2 Structure of MCCSM algorithm

2 實驗與分析

2.1 數據集

本文通過兩個基準數據集來評估模型的性能。第1個數據集是ImageCLEF-DA。所有的圖像都來自于3個公共數據集：Caltech256（C）、ImageNet ILSVRC 2012（I）和Pascal VOC 2012（P），3個數據集共有12個共同類別，每個類別50張圖像。用I→P，P→I，I→C，C→I，C→P，P→C的所有域組合來測試本文的遷移學習方法。另一個數據集是Office-31[24]，共包含31個類別的4 110幅圖像。所有的圖片都是從3個不同的領域收集的：Amazon（A）、DSLR（D）和Webcam（W）。A→B表示A作為源域、B作為目標域的領域自適應學習。

2.2 參數設置

本文實驗是在Pytorch框架下完成的，在訓練過程中，使用了ResNet-50作為基礎網絡結構，使用隨機梯度下降來最小化由公式（8）給出的損失函數。批量大小為49，學習率設置為0.001，動量設置為0.9，權重衰減為0.000 5，使用SGD（stochastic gradient descent）進行梯度更新。

2.3 領域自適應實驗計算過程

在P→I領域自適應實驗中，對源域數據集P的樣本xs使用生成對抗網絡對每個類進行圖像風格遷移，由特征提取器F提取擴展特征空間后得到的特征為Zs，使用對其進行分類概率預測為，使用交叉熵作為源域損失函數，損失計算表示為，其中ys為對應的標簽。

目標域數據輸入batch設置為49。在訓練至4 000次時，假設對目標域數據集I中的12個類別中的49個樣本分別為，由特征提取器F提取與源域特征空間擴展后匹配的共享特征為Zt，使用函數對Zt進行分類概率預測得到分別為：

矩陣C各個元素之和表示為。對角矩陣各個元素之和表示為，最小化類混淆損失函數計算表示為。此時，本文算法的損失函數值為Ltotal=LCE+LMCCSM=0.054 7，目標域識別精度為94.167%。再使用隨機梯度下降算法SGD最小化Ltotal。

相較于只使用交叉熵LCE作為損失函數的Resnet50領域自適應，其分類精度只有83.9%，因此本文算法有很好的提升。

2.4 實驗結果及分析

本文所使用的數據集Office-31和數據集ImageCLEFDA遵循UDA的標準評估協議，為了公平，本文使用了已公布論文的實驗結果。本文比較了近年公布的RADA算法和近些年最先進的基于ResNet-50網絡結構的遷移學習方法：深度域混淆（DDC）、深度領域自適應網絡（DAN）、殘差轉移網絡（RTN）[25]、域對抗神經網絡（DANN）、對抗性鑒別領域自適應（ADDA）[26]、聯合適應網絡（JAN）、多個域對抗網絡（MADA）、協同對抗性網絡（CAN）、聯合鑒別領域自適應（JDDA）[27]。傳統的機器學習方法有：通過轉移成分分析的領域自適應（TCA）[28]、無監督領域自適應的最短線流核（GFK）[29]，實驗結果如表1、表2所示。

表1 在UDA場景下，數據集ImageCLEF-DA上的分類準確度（ResNet-50）Table 1 Classification accuracy on ImageCLEF-DA dataset in UDA scenario（ResNet-50） %

表2 在UDA場景下，數據集Office-31上的分類準確度（ResNet-50）Table 2 Classification accuracy on Office-31 dataset in UDA scenario（ResNet-50） %

采用t-SNE[30]方法對在數據集ImageCLEF-DA上的領域自適應實驗C→I和I→C訓練過程中目標域的特征空間進行降維可視化，如圖3所示。

圖3 對C→I和I→C使用t-SNE可視化結果Fig.3 Using t-SNE to visualize results for C→I and I→C

通過圖3可以直觀地看出，本文提出的算法在領域自適應實驗訓練過程中，使得目標源中的同類樣本特征能夠很好地聚合，類與類之間樣本特征分布的距離加大。在數據集Office-31中對A→W進行領域自適應實驗，與MADA，ResNet50在相同迭代次數下預測誤差變化如圖4所示。

圖4 ResNet、MADA和MCCSM隨迭代次數的測試誤差變化Fig.4 Test errors of ResNet，MADA and M-CCSM varying with number of iterations

從表1、表2和圖4中可以看出，對源域使用生成對抗網絡進行風格遷移，提供更多可匹配目標域特征分布Zt的共享特征，增強了在目標域上利用共享特征進行分類訓練的分類器G的正遷移學習能力。分類器G利用擴展后的共享特征在目標域進行樣本預測時，使用不確定性加權機制對目標域中確定性更高的樣本的特征預測概率進行加權，同時最小化類混淆，從而得到更好的遷移學習效果。在類間關系層面上，RADA算法是基于MADA算法，通過加入正則化項約束，使得分類器與多模型域鑒別器之間的特征一致，使得多模型域鑒別器不僅能對源域與目標域進行共享特征對齊，還具有了能意識到類間關系的能力。然而面對數據集中相似的類別，RADA算法依舊不能很好進行區分。本文算法通過分類器G對樣本的預測概率與它的轉置內積，量化出相似之間類混淆關系。在源域的各類樣本之間進行風格遷移，增加了源域樣本的特征空間中能與目標域樣本的特征空間進行匹配的共享特征，克服了因源域的樣本特征稀疏問題帶來的跨域學習目標域能力不足的問題，同時增強了分類器跨域分類能力。并通過不確定性權重機制，當分類器對樣本在幾個不確定的類別之間進行概率預測時，能在幾個概率峰值上以更高的概率值突出，增大確定性樣本的預測概率。最小化目標域預測時的類混淆，抑制了分類器跨域學習的負遷移。本文解決了這些問題，因此有更好的遷移學習效果。由表1和表2可知，相較于RADA算法，本文提出的算法在數據集ImageCLEF-DA上平均識別精度提升了1.3個百分點，在數據集Office-31上提升了1.7個百分點。

3 結論

本文從一個新的角度分析數據集中類別間的關系，通過分類器對樣本的預測概率內積其轉置量化出不同類之間的混淆關系。相較于RADA等算法，本文算法引用了生成對抗網絡的風格遷移理論，在帶標簽的源域特征空間上生成更多與目標域特征空間有相關性的共享特征，彌補了源域樣本特征空間稀疏導致的分類器在目標域進行跨域分類學習的能力不足。并通過不確定性加權機制，加重了分類器對具有確定性樣本特征預測概率的權重，最小化正確類和不確定類之間的預測混淆，因此具有良好的遷移學習能力，能更好地勝任領域自適應任務。實驗選用了標準的公用領域自適應數據集對本文算法進行測試和評估，通過與其他算法的對比，展示了算法的可行性和高效性。