基于雙矯正機制的源域無關域適應學習

收稿日期：2022-05-20；修回日期：2022-07-10" 基金項目：國家自然科學基金面上項目（61876091，61772284，62006126）

作者簡介：鄒聰（1997-），男，江蘇昆山人，碩士研究生，主要研究方向為遷移學習；汪云云（1986-），女（通信作者），安徽蕪湖人，副教授，博士研究生，主要研究方向為機器學習（wangyunyun@njupt.edu.cn）.

摘 要：

標準域無監督域適應學習是從相關的源域學習知識遷移到目標域，通常假設源域數據在訓練階段是可直接使用的。但是由于隱私和安全問題，在一些現實的應用中，源域數據往往是不可直接獲取的，如何有效利用目標域數據從而減少噪聲類的輸出或特征的產生是源域無關域適應學習的巨大挑戰。為解決這個問題，提出了一個基于雙矯正機制的源域無關域適應學習模型（source-free domain adaptation with dual-correction mechanism，DCM）。首先，探索目標域樣本信息結構，對噪聲類輸出進行矯正；其次，采用教師—學生模型指導特征的學習，最大化高置信度特征間的一致性以及低置信度特征間的差異性。最后，在數字集、Office-31和Office-Home數據集上的實驗結果證實了DCM的有效性。

關鍵詞：無監督域適應；源域無關的域適應；雙矯正機制；自監督學習

中圖分類號：TP181"" 文獻標志碼：A""" 文章編號：1001-3695（2022）12-024-3683-05

doi："" 10.19734/j.issn.1001-3695.2022.05.0229

Source-free domain adaptation with dual-correction mechanism

Zou Conga， Wang Yunyuna，b

（a.School of Computer Science， b.Jiangsu Key Laboratory of Big Data Security amp; Intelligent Processing， Nanjing University of Posts amp; Telecommunications， Nanjing 210023， China）

Abstract：

Unsupervised domain adaptation（UDA） learns a target model by knowledge transfer from a related source domain， and commonly assumes the direct access to source data.Due to privacy or security concerns， only source model is available in some real applications.How to effectively utilize target data to reduce noise-like output or feature is a learning challenge of source-free domain adaptation.To address this problem，this paper proposed a method which was source-free domain adaptation with dual-correction mechanism （DCM）.Firstly，DCM attempted to exploit the target data structure to refine the noise-like prediction.Secondly，it used the teacher-student model to guide the learning of features， maximizing the consistency between high-confidence features and the difference between low-confidence features.Finally， experiments on Digit， Office-31 and Office-Home datasets show the effectiveness of DCM.

Key words：unsupervised domain adaptation; source-free domain adaptation; dual-correction mechanism; self-supervised learning

0 引言

如今，深度神經網絡在許多應用中已經取得了巨大的成就，如在圖像識別、語義分割和自然語言處理上。相比于傳統的機器學習方法，基于大數據的深度學習模型在預測性能上有顯著的提升，但它也更加依賴于大量且高質量的有標記數據。對于特定的學習任務，人工標注數據往往耗時耗力，需要相關的專業知識且存在一定的誤差，代價十分高昂，在實際應用中難以實現；同時在新的學習任務中，面對不同的場景，又需要新的有標注數據，然后再重新訓練模型，這樣學習成本巨大。于是，一個相當直接的思路就是利用有標記的數據幫助無標記的數據來學習任務，這就是最近備受關注且極具挑戰的無監督域適應學習（unsupervised domain adaptation，UDA）。UDA能有效緩解數據標注稀缺問題和提升模型的適應能力，它是將相關但不相同的任務域（源域，source domain）的知識遷移到當前關注的任務域（目標域，target domain）中。由于光照、角度、圖像風格等不同，源域樣本和目標域樣本分布存在明顯差異，這也嚴重影響了模型遷移的性能?，F階段的UDA方法主要是利用度量減小域間分布差異，比如邊緣分布［1］、條件分布［2］和聯合分布［3］或者用對抗方式提取域不變的特征［4， 5］來對齊域間的特征分布，再通過對源域風險最小化和對模型結構風險最小化將源域中的類判別知識遷移到目標域中，幫助目標域學習分類任務。這些工作通常都假設源域數據是可獲得的。

在大數據時代，隱私安全問題日益凸顯，人們也愈加關注并對隱私保護提出了更高的要求。先前的域適應學習在遷移的過程中都會使用源域數據，然而現實中往往由于隱私和安全問題而接觸不到源域訓練數據（例如人臉識別系統的訓練數據不能被共享），要想在目標域數據上模型有好的性能，只能遷移模型并進行微調。最近，只使用源域模型的源域無關域適應學習逐漸發展起來，此場景的主要挑戰是在域適應階段無法接觸到源域數據，沒有了源域數據來對齊分布。源域無關的域適應學習通常分為三種方法：減小域間的BN統計差異，此方法有效但效果有限；生成源域相關的數據或特征，存在訓練困難和生成樣本缺乏多樣性等問題；基于源域模型微調目標域模型，這也是本文采取的策略。

由于域偏移的問題而且無法利用源域數據，此時目標域數據在源域模型上的輸出存在一定的錯誤，所以本文將帶有錯誤的輸出視為噪聲類標簽。針對此學習場景，本文提出基于雙矯正機制的源域無關域適應模型（DCM）在兩方面對噪聲矯正。首先在輸出層面，為獲得更高質量的目標域偽標簽，探索數據的類結構信息來矯正類標簽，使得類內相聚、類間相離；其次在特征層面，借鑒Mean-Teacher思想［6］，引入一個教師網絡，對于高置信度樣本，約束學生網絡與該網絡間的一致性，肯定當前特征；對于低置信度樣本，將主網絡遠離上述網絡，否定當前特征，以獲得新的表示。DCM方法的特點可總結如下：a）對源域模型在目標域數據上產生的噪聲類偽標簽，通過微調模型進行雙矯正，以使得模型更適應于目標域數據信息；b）在輸出層面，探索目標域數據類結構信息，矯正噪聲類輸出，提升類判別精度，在特征層面，采用教師學生模型思想矯正噪聲類特征，輔助當前模型學習有效特征。

1 相關工作

1.1 無監督域適應

無監督域適應學習旨在將一個或多個不同但相關的有標簽源域的知識遷移至無標簽的目標域。近些年UDA正蓬勃發展［7］，域適應方法大致可以分為基于數據分布差異的方法、基于對抗的方法和基于重構的方法三類?；跀祿植疾町惖挠蜻m應方法主要從域間邊緣分布、條件分布以及聯合分布上，通過最小化分布差異來減小域間偏移，常見的差異性度量有最大均值差異（maximum mean discrepancy， MMD）［8］、KL散度［9］、JS散度［10］、EM距離［11］等?；趯沟姆椒ǎ?，12］通常使用域鑒別器（domain discrimination）與特征提取器對抗訓練，生成域不變特征;文獻［5］用多個分類器實現對抗學習，實現域間數據在條件分布上對齊?；谥貥嫷姆椒ㄊ蹽AN［13］的啟發，生成類源域或類目標域樣本數據，實現風格遷移［14］或達到數據平衡［15］；文獻［16］利用mix-up思想，生成域間數據，模糊域間差異，學習域不變且可以泛化的特征。

1.2 源域無關的域適應

源域無關的域適應在接觸不到源域數據的情況下將模型從源域遷移到目標域?，F存的方法大致分為三類：a）利用帶有源域數據統計信息的BN層網絡參數來約束目標域網絡，實現源域數據和目標域數據在模型中間層上表示的對齊［17］，此類方法有效但效果有限；b）用源域分類器的判別信息，通過條件GAN的方式生成源域相關的樣本或特征，再將目標域與其對齊，減小域間隔，雖然此類方法有很好的預測性能，但是存在訓練困難、生成樣本缺乏多樣性等問題，文獻［18］學習了條件生成器來產生目標域風格訓練樣本并與此來進行模型域適應；c）用目標域樣本的偽標簽來微調目標模型，例如文獻［19］用聚類的方法更新偽標簽并采用了目標域結構信息損失優化模型。

1.3 自監督學習

自監督學習（self-supervised learning，SSL）是一種新的機器學習范式，旨在從無標簽數據進行無監督預訓練來學習有利于下游任務的通用特征表示。SSL通常依據數據自身屬性自動生成非目標標簽，主要分為表征學習和對比學習。表征學習主要是對圖像或者視頻重構，人工構建數據與標簽對，學習豐富表征。如對圖像旋轉并對其預測旋轉角度［20］、對圖像裁剪后拼圖并對其預測順序［21］、對圖像著色［22］，對圖像掩碼并預測掩碼位置［23］等。對比學習主要是構建正負樣本對，通過正負樣本對對比使得網絡能夠學習到將相似樣本靠近，不同樣本分離的特征，例如MoCo［24］中將對比學習轉換為字典查詢問題，使得編碼好的查詢匹配于正樣本對編碼的特征并區分于負樣本對編碼的特征，從而訓練特征編碼器。SimCLR［25］最大化同一樣本不同增強表示間的一致性和不用樣本增強表示間的差異性。BYOL［26］解決先前方法對較大的負樣本數量和訓練批量規模的依賴，顯著改善模型訓練效率和泛化能力；文獻［27］利用自監督知識有效解決源域和目標域間類別無交集的無監督新集域適應問題。

2 DCM方法

為方便描述，首先給出符號定義。有標簽源域數據和無標簽目標域數據分別表示為（Xs，Ys）={（xsi，ysi）}Nsi=1和 Xt={xti}Nti=1，其中Ns和Nt分別為源域和目標域樣本個數，s和t分別代表源域和目標域。源域無關的域適應學習的目標是學習一個目標域函數ft：Xt→Yt和預測目標域樣本標簽{yti}Nti=1，此時，僅僅是目標域數據Xt和源域函數fs：Xs→Ys可獲得。

從圖1可知DCM的模型結構，目標域函數ft由特征生成器Gt：Xt→Euclid ExtraaBpd和分類器Ct：Euclid ExtraaBpd→Euclid ExtraaBpK組成，即ft（xti）=Ct（Gt（xti）），d和K分別是特征空間維度和樣本空間大小。預測器Mt：Euclid ExtraaBpd→Euclid ExtraaBpd為多層感知機（multilayer perceptron，MLP），特征提取器G′t參數ξ是Gt參數θ的指數平均移動數，且不受網絡反向傳播更新。vti，1和vti，2是目標域樣本xti的兩種不同的增強視圖。樣本xti經過網絡得到偽標簽p（xti）=δ（Ct（Gt（xti））），其中δ為softmax激活函數；Euclid Math OneLAprce為矯正預測的交叉熵損失，Euclid Math OneLApst為特征層上最大化一致性和差異性損失，后續將一一闡述。

DCM方法的學習流程描述如下：a）由源域模型fs初始化參數Gt、G′t和Ct，隨機初始化Mt；b）其對目標域樣本進行兩次不同的增強得到vti，1和vti，2，樣本vti，1經過特征提取器Gt和分類器Ct得到偽標簽p（xti），通過Euclid Math OneLAprce對噪聲類輸出進行矯正；c）通過p（xti）計算輸出置信度來區分樣本，再利用Euclid Math OneLApst增大高置信度樣本一致性和低置信度樣本差異性來對噪聲類特征進行矯正。

2.1 基于深度聚類的預測矯正機制

受限于沒有源域數據來與目標域數據進行域適應， DCM嘗試探索目標域數據的結構信息來指導目標模型的學習。由于存在域偏差，目標域數據在模型輸出的偽標簽可能是不準確的，對于這種噪聲標簽，采用自訓練聚類策略［26］來對其進行矯正，此方法可以增加聚類純度來增強預測并矯正低置信度樣本點。記P={pi}Nti =1為預測概率向量，Q={qi}Nti =1為矯正后的目標域輸出分布，可以通過以下深度判別聚類公式計算得到Q：

minQKL（P|Q）+KL（Q|π）（1）

其中：Q=1Nt∑Nti=1qi是經驗分布；π是均勻分布；KL（·|·）是計算兩個分布的KL散度公式。式（1）的第一項是約束P和Q之間的差異，第二項是使得Q匹配于均勻分布，以避免退化解和保持類別平衡。最后可求得Q的解析解為

qki=pki/（∑Nti=1pki）0.5∑Kk=1pki/（∑Nti=1pki）0.5（2）

qki是通過深度聚類后目標域實例的偽標簽，然后最小化預測輸出和矯正標簽間的交叉熵損失：

Euclid Math OneLAprce=1Nt∑Nti=1lce（p（vti，1），qi）（3）

2.2 基于教師—學生模型的特征矯正機制

為學習到符合目標域樣本風格的特征，采用教師—學生模型對特征進行矯正。教師模型G′t參數ξ是學生模型Gt參數θ的指數平均移動數，每個訓練階段參數更新方式為ξ=ωξ+（1-ω）θ，其中，ω∈［0，1］是衰減率。文獻［26］指出，在特征提取器后加入結構為多層感知機的預測器（predictor Mt）可以避免訓練過程中梯度消失問題以及減少對批規模大小的依賴。由教師模型G′t指導學生模型Gt的學習，當提取的特征gti，1=Gt（vti，1）能被分類器Ct較好地分類，便認為這類特征為高置信度的特征，并使預測器輸出mti，1=Mt（Gt（vti，1））與gti，2=G′t（vti，2）一致，相反，低置信度則分離，于是設計了以下損失：

Euclid Math OneLApst=h（xti）‖mti，1-gti，2‖22（4）

其中：mti，1=mti，1/mti，12和gti，2=gti，2/gti，22，‖·‖22是二范數，邊緣機制h（·）為

h（xti）=-1" maxk p（xti）-maxk′≠k p（xti）lt;ρ1

1 maxk p（xti）-maxk′≠k p（xti）gt;ρ2

0 otherwise （5）

其中：ρ1和ρ2是固定閾值，分別設為0.1和0.7。由上述公式可以看出，當預測為某一類別的概率值遠大于預測第二大概率值時，此樣本屬于這一類別的置信度較高；相反，預測第一大概率值與第二大概率值接近時，分類器無法很準確地確認此樣本類別，即此時預測的置信度較低。依據此特性，教師模型可以有針對性地對學生模型進行指導，使得學生模型學到更好的特征。

2.3 優化目標

最終，DCM的優化目標可刻畫如下：

minGt，Ct，MtEuclid Math OneLAprce+αEuclid Math OneLApst（6）

其中：α是平衡損失的參數。DCM訓練流程如算法1所示。

算法1 基于雙矯正機制的源域無關域適應學習

輸入：源域模型fs，無標簽目標域數據Xt={xti}Nti=1，閾值ρ1、ρ2。

輸出：目標域樣本標簽{yti}Nti=1。

由源域模型fs初始化Gt、Gt′和Ct參數，隨機初始化Mt；

for each epoch do

計算標簽p（xti）=δ（Ct（Gt（xti）））；

矯正偽標簽，計算損失Euclid Math OneLAprce； //式（2）（3）

計算邊緣機制h（xti）和損失Euclid Math OneLApst；//式（5）（4）

更新Gt、Gt′和Ct；

end

預測{yti}NTi=1。

3 實驗及分析

3.1 實驗數據

本文在三個數據集上驗證了DCM方法的有效性，分別是數字集（Digit）、Office-31和Office-Home。數字集是標準的數字識別數據集，包括SVHN（S）、MNIST （M）和USPS（U）三個域；Office-31是包括Amazon（A）、DSLR（D）和Webcam （W）三個標準域適應的數據集，每個域包含辦公室環境下的31類物品，共有4 100張圖片；Office-Home是在辦公室和家庭環境下收集的標準域適應數據集，包括real world（Rw）、product（Pr）、clipart（Cl）和art（Ar）四個域，每個域包含65類物品以及15 588張圖像。所有的實驗依次從一個域遷移到另一個域，其中源域數據在目標域訓練階段是不可獲取的。

3.2 比較方法

本文方法DCM與標準域無監督域適應和源域無關域適應兩類方法進行比較。標準域無監督域適應方法（使用源域數據）有ADDA［29］、ADR［30］、CyCADA［31］、SWD［32］、DAN［33］、DANN［4］、MCD［5］、CRST［34］、MDD［35］、CDAN［36］、SAFN［37］、CST［38］；對比的源域無關域適應方法包括SHOT［19］、SSNL［39］、BAIT［40］、PPDA［41］和PRDA［42］。

3.3 實驗設置

本文網絡結構以及訓練參數參考先前的源域無關域適應方法［19］的標準實驗設置。對于數字集，訓練圖片的尺寸設置為32×32；對于Office-31和Office-Home，尺寸設置為256×256。對于樣本進行兩次視圖增強，采用文獻［26］的設置，增強方式包括隨機水平翻轉，顏色變形，亮度調整，對比度、飽和度、色調、灰度調整，高斯模糊等變換。本文采用SGD作為優化器，其重量衰減為1E-3，動量為0.9。預訓練模型時，基本的學習率設置為1E-2，預先訓練的特征提取器中的所有微調層的學習率為1E-3；訓練目標模型時，基本的學習率設置為1E-3，預先訓練的特征提取器中的所有微調層的學習率為1E-4。采用動態學習率調度策略η=η0（1+10z）-0.75，其中η0為基本學習率，z的訓練過程在0～1變化；本文訓練迭代周期為50，使用PyTorch框架實現DCM方法。

3.4 實驗結果及分析

表1～3展示了本文方法在數字集、Office-31和Office-Home上的性能對比。從表中可以發現：

a）在數字集上，DCM及其他源域無關的域適應方法在特定任務上各有優勢，但在總體性能上DCM略勝一籌，比SHOT高出0.2%，比SSNL高出0.3%。

b）在Office-31上，DCM相比SHOT略有提升，高出0.7%，比最新的源域無關的工作BAIT高出0.2%。

c）在Office-Home上，DCM在Ar2Cl、Pr2Cl、Rw2Cl、Pr2Ar這四個非常困難的任務上，都取得了明顯的提升，也促使DCM在總體上遠優于其他方法。這說明DCM在遷移時更具魯棒性和泛化性。

d）DCM在預測精度上比現有大多數的標準域無監督域適應方法效果都要好，這也說明DCM在僅能獲取到源域模型的情景下就能遷移好有利于目標域學習的知識，也證明了DCM中雙矯正機制的有效性。

3.5 穩定性分析

為探究DCM的穩定性，繪制了在Office-Home的6組遷移任務上，DCM學習性能隨迭代周期變化圖。如圖2所示，其中橫坐標為迭代周期，縱坐標為分類性能。由圖可知，DCM的學習性能隨迭代周期的增加基本呈上升趨勢，并逐漸穩定，驗證了DCM的穩定性。

3.6 閾值ρ1和ρ2分析

本節通過閾值參數ρ1和ρ2對DCM學習性能的影響進行分析，利用參數ρ1和ρ2挑選出噪聲樣本和高置信度樣本，用于教師—學生模型的特征矯正機制。圖3（a）（b）分別為：在數字集U2M任務上，當ρ1=0.1時ρ2變化，以及當ρ2=0.7時ρ1變化對分類精度的影響。從圖3可知，閾值的變化對性能有所影響，但總體穩定，可見該矯正機制的魯棒性及有效性。

3.7 t-SNE可視化特征分析本節通過可視化特征來分析DCM方法的分類效果。圖4中，（a）表示僅在源域模型（source model only）下的特征可視化效果，（b）表示采用DCM方法訓練后特征的可視化效果，其中不同的顏色代表不同的類別。從圖4中可以看出，源域模型雖然也能對目標域數據有不錯的分類效果，但是各個類別邊界十分模糊，有許多誤分樣本。而DCM訓練后的特征，實現了類間分離、類間聚合的效果，可見本文提出的雙矯正機制在源域無關域適應中卓有成效。

4 結束語

本文針對極具挑戰的源域無關的域適應學習提出了簡單有效的雙矯正方法DCM；為得到更好的性能，提出基于深度聚類的預測矯正機制和基于教師學生模型的特征矯正機制。結果顯示，DCM方法有著優異的域適應效果，比先前的源域無關域適應方法都要好。未來將進一步研究更加注重隱私和安全的黑盒域適應學習。

參考文獻：

［1］Pan S J，Tsang I W，Kwok J T，et al. Domain adaptation via transfer component analysis ［J］.IEEE Trans on Neural Networks，2011，22（2）： 199-210.

［2］Saito K，Ushiku Y，Harada T.Asymmetric tri-training for unsupervised domain adaptation［C］//Proc of the 34th International Conference on Machine Learning.2017： 2988-2997.

［3］Long Mingsheng，Wang Jianmin，Ding Guiguang，et al. Transfer feature learning with joint distribution adaptation［C］//Proc of IEEE International Conference on Computer Vision.Washington DC： IEEE Computer Society，2013： 2200-2207.

［4］Ganin Y，Ustinova E，Ajakan H，et al. Domain-adversarial training of neural networks ［J］.Journal of Machine Learning Research，2016，17（1）： 2096-2030.

［5］Saito K，Watanabe K，Ushiku Y，et al. Maximum classifier discre-pancy for unsupervised domain adaptation［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ： IEEE Press，2018： 3723-3732.

［6］Tarvainen A，Valpola H.Mean teachers are better role models： weight-averaged consistency targets improve semi-supervised deep learning results［C］//Proc of the 31st International Conference on Neural Information Processing Systems.Red Hook，NY： Curran Associates Inc.，2017：1195-1204.

［7］范蒼寧，劉鵬，肖婷，等.深度域適應綜述： 一般情況與復雜情況［J］.自動化學報，2021，47（3）： 515-548.（Fan Cangning，Liu Peng，Xiao Ting，et al.A review of deep domain adaptation： general situation and complex situation ［J］.Acta Automatica Sinica，2021，47（3）： 515-548.）

［8］Long Mingsheng，Cao Yue，Wang Jianmin，et al. Learning transferable features with deep adaptation networks ［C］// Proc of the 32nd International Conference on Machine Learning.2015： 97-105.

［9］Kullback S，Leibler R A.On information and sufficiency ［J］.Annals of Mathematical Statistics，1951，22（1）： 79-86.

［10］Fuglede B，Topse F.Jensen-Shannon divergence and Hilbert space embedding ［C］// Proc of International Symposium on Information Theory.Piscataway，NJ： IEEE Press，2005.

［11］Arjovsky M，Chintala S，Bottou L，et al. Wasserstein generative adversarial networks ［C］//Proc of the 34th International Conference on Machine Learning.2017：214-223.

［12］Wang Yunyun，Gu Jianmin，Wang Chao，et al. Discrimination-aware domain adversarial neural network ［J］.Journal of Computer Science ＆ Technology，2020，35（2）： 259-267.

［13］Goodfellow I J，Pouget-Abadie J，Mirza M，et al. Generative adversarial nets ［C］// Proc of the 27th International Conference on Neural Information Processing Systems.Cambridge，MA： MIT Press，2014： 2672-2680.

［14］Zhu Junyan，Park T，Isola P，et al. Unpaired image-to-image translation using cycle-consistent adversarial networks［C］// Proc of IEEE International Conference on Computer Vision.Washington DC： IEEE Computer Society，2017： 2242-2251.

［15］Jing Taotao，Xu Bingrong，Li Jingjing，et al.Towards fair knowledge transfer for imbalanced domain adaptation ［J］.IEEE Trans on Image Processing，2021，30： 8200-8211.

［16］Xu Minghao，Zhang Jian，Ni Bingbing，et al. Adversarial domain adaptation with domain mixup［C］//Proc of AAAI Conference on Artificial Intelligence.2020：6502-6509.

［17］Ishii M，Sugiyama M.Source-free domain adaptation via distributional alignment by matching batch normalization statistics ［C］// Proc of International Conference on Learning Representations.2021.

［18］Li Rui，Jiao Qianfen，Cao Wenming，et al. Model adaptation： unsupervised domain adaptation without source data ［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Pisca-taway，NJ： IEEE Press，2020：9641-9650.

［19］Liang Jian，Hu Dapeng，Feng Jiashi.Do we really need to access the source data？ Source hypothesis transfer for unsupervised domain adaptation［C］//Proc of the 37th International Conference on Machine Learning.2020： 6028-6039.

［20］Gidaris S，Singh P，Komodakis N.Unsupervised representation lear-ning by predicting image rotations ［EB/OL］.（2018-03-21）.https：//arxiv.org/pdf/1803.07728.pdf.

［21］Noroozi M，Favaro P.Unsupervised learning of visual representations by solving Jigsaw puzzles ［C］// Proc of the 14th European Confe-rence on Computer Vision.Cham： Springer，2016： 69-84.

［22］Zhang R，Isola P，Efros A A.Colorful image colorization ［C］// Proc of the 14th European Conference on Computer Vision.Cham： Sprin-ger，2016： 649-666.

［23］Doersch C，Gupta A，Efros A A.Unsupervised visual representation learning by context prediction ［C］// Proc of IEEE International Conference on Computer Vision.Washington DC：IEEE Computer So-ciety，2015：1422-1430.

［24］He Kaiming，Fan Haoqi，Wu Yuxin，et al. Momentum contrast for unsupervised visual representation learning［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ： IEEE Press，2019.

［25］Chen Ting，Kornblith S，Norouzi M，et al. A simple framework for contrastive learning of visual representations［C］//Proc of the 37th International Conference on Machine Learning.2020：1597-1607.

［26］Grill J B，Strub F，F Altché，et al. Bootstrap your own latent： a new approach to self-supervised learning［C］//Proc of the 34th International Conference on Neural Information Processing Systems.Red Hook，NY： Curran Associates Inc.，2020： 21271-21284.

［27］汪云云，孫顧威，趙國祥，等.基于自監督知識的無監督新集域適應學習 ［J］.軟件學報，2022，33（4）：1170-1182.（Wang Yunyun，Sun Guwei，Zhao Guoxiang，et al.Unsupervised new-set domain adaptation with self-supervised knowledge ［J］.Journal of Software，2022，33（4）： 1170-1182.）

［28］Xie Junyuan，Girshick R，Farhadi A.Unsupervised deep embedding for clustering analysis［C］//Proc of the 33rd International Confe-rence on Machine Learning.2016： 478-487.

［29］Tzeng E，Hoffman J，Saenko K，et al. Adversarial discriminative domain adaptation ［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition.Washington DC： IEEE Computer Society，2017： 2962-2971.

［30］Saito K，Ushiku Y，Harada T，et al. Adversarial dropout regularization ［EB/OL］.（2018-03-02）.https：//arxiv.org/pdf/1711.01575.pdf.

［31］Hoffman J，Tzeng E，Park T，et al. CyCADA： cycle-consistent adversarial domain adaptation［C］//Proc of the 35th International Confe-rence on Machine Learning.2017.

［32］Lee C Y，Batra T，Baig M H，et al. Sliced Wasserstein discrepancy for unsupervised domain adaptation ［C］// Proc of IEEE/CVF Confe-rence on Computer Vision and Pattern Recognition.Piscataway，NJ： IEEE Press，2019.

［33］Long Mingsheng，Cao Yue，Cao Zhangjie，et al. Transferable representation learning with deep adaptation networks ［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2019，41（12）： 3071-3085.

［34］Zou Yang，Yu Zhiding，Liu Xiaofeng，et al. Confidence regularized self-training［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ： IEEE Press，2019.

［35］Zhang Yuchen，Liu Tianle，Long Mingsheng，et al. Bridging theory and algorithm for domain adaptation［C］//Proc of the 36th International Conference on Machine Learning.2019：7404-7413.

［36］Long Mingsheng，Cao Zhangjie，Wang Jianmin，et al. Conditional adversarial domain adaptation［C］//Proc of the 32nd International Conference on Neural Information Processing Systems.Red Hook，NY： Curran Associates Inc.，2018： 1647-1657.

［37］Xu Ruijia，Li Guanbin，Yang Jihan，et al. Larger norm more trans-ferable：an adaptive feature norm approach for unsupervised domain adaptation［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ： IEEE Press，2019.

［38］Liu Hong，Wang Jianmin，Long Mingsheng.Cycle self-training for domain adaptation［EB/OL］.（2021-10-28）.https：//arxiv.org/pdf/2103.03571.pdf.

［39］Chen Weijie，Lin Luojun，Yang Shicai，et al. Self-supervised noisy label learning for source-free unsupervised domain adaptation［EB/OL］.（2021-02-23）.https：//arxiv.org/pdf/2102.11614v1.pdf.

［40］Yang Shiqi，Wang Yaxing，Van De Weijer J，et al. Unsupervised domain adaptation without source data by casting a BAIT ［EB/OL］.（2021-10-29）.https：//arxiv.org/pdf/2010.12427v2.pdf.

［41］Kim Y，Cho D，Hong S.Towards privacy-preserving domain adaptation［J］.IEEE Signal Processing Letters，2020，27： 1675-1679.

［42］Kim Y，Cho D，Panda P，et al. Progressive domain adaptation from a source pre-trained model［EB/OL］.（2021-08-30）.https：//arxiv.org/pdf/2007.01524v3.pdf.