基于偽標簽的無監督領域自適應分類方法

摘 要： 現有的領域自適應方法在匹配分布時并未完全考慮偽標簽置信度或偽標簽損失計算問題，針對此類問題，提出循環選擇偽標簽分類模型（CSPL）。利用深度網絡提取圖像特征，為目標域打上高置信度偽標簽使得訓練數據增強，采用MMD距離度量方法對齊源域和目標域的概率進行分布，同時設計偽標簽損失同步迭代學習，更新模型作為下一次循環的訓練模型直至模型收斂。在常用的領域自適應數據集Office31、Office-Home、ImageCLEF-DA以及Amazon-Review上實驗表明，該模型相比之前域適應模型在準確度方面平均提升4%～8%，且模型的魯棒性也明顯增加。

關鍵詞： 無監督領域自適應； 遷移學習； 偽標簽

中圖分類號： TP183"" 文獻標志碼： A

文章編號： 1001-3695（2022）05-012-1357-05

doi：10.19734/j.issn.1001-3695.2021.10.0442

Pseudo label based unsupervised domain adaptation classification method

Yang Guoqing1， Guo Benhua1，2， Qian Shuqu2， Wu Huihong2， Han Jing2

（1.College of Information， Guizhou University of Finance amp; Economics， Guiyang 550025， China； 2.College of Mathematics amp; Computer Science， Anshun University， Anshun Guizhou 561000， China）

Abstract： Existing domain-adaptive methods do not fully consider the pseudo-label confidence or pseudo-label loss calculation problems when matching distributions.To solve this problem，this paper proposed a cycle selection pseudo-label classification model（CSPL）.It enhanced the training data by extracting image features using a depth network and labeling the target domain with a high confidence pseudo-label.

It used MMD distance measurement to align the probability distributions of the source and target domains，and designed pseudo-label loss for iterative learning synchronously.

It updated the model as the training model for the next cycle until the model converges.A large number of experiments on the frequently-used domain adaptation data sets on Office31，Office-Home，ImageCLEF-DA and Amazon-Review show that the accuracy of the proposed model is improved by 4%～8% on average and robustness is also significantly increased compared with previous domain adaptation models.

Key words： unsupervised domain adaptation； transfer learning； pseudo-label

0 引言

得益于大數據時代下信息的爆炸式增長，深度學習、機器學習發展越發成熟。然而數據來源的多樣性和復雜性導致可用的標注數據已經遠遠高于訓練成本，這使得遷移學習為目前的研究發展提高效率的同時降低了訓練階段的人力物力資源。遷移學習是將在源領域已訓練好的知識遷移到應用的目標域，最具權威性的遷移學習綜述根據源域和目標域有無標簽將遷移學習分為歸納式遷移學習、直推式遷移學習和無監督遷移學習［1］，其中領域自適應為直推式遷移學習中的一種實現方法。李晶昌等人［2］對現階段的域適應方法進行了總體概述，而且隨著技術的更新，域適應方法現已被廣泛運用到其他領域。從最初的TCA（transfer component analysis）［3］方法引入的最大化均值差異（maximum mean discrepancy，MMD）距離度量以來，在源域和目標域的數據分布不同時，將兩個領域的數據映射到高維的再生核希爾伯特空間（RKHS），在此空間中，最小化源和目標的數據距離。Long等人［4］最小化域間的平均距離，提出聯合概率分布適配JDA（joint distribution adaptation），JDA方法繼承了TCA方法并加入了條件概率分布，對齊跨域特定層的聯合概率分布。Tzeng等人［5］針對預訓練的AlexNet網絡，在第七層加入了MMD距離來減小源域和目標域之間的差異。之后Long等人［6］提出的DAN（deep adaptation netowrk）模型通過適配了多層特征并采用了多核MMD代替單一的MMD，更加全面地適配源域和目標域，并且之后還對其加入了聯合分布適配，將特征和標簽的聯合方法分布概率考慮進來，提出了JAN（joint adaptation netowrk）方法［7］。現如今大部分工作是基于MMD度量的域適應方法，可以看出這已經成為近年來的研究熱點［8］。而基于實例的遷移學習多以結合聚類分類或域不變特征后達到遷移學習的效果，文獻［9］將聚類、中心匹配以及自學習（self-learning）結合在一起進行領域自適應。近年來，流形學習也備受關注，文獻［10］在格拉斯曼流形中學習了類分類器，同時進行動態分布適配來定量解釋邊緣分布和條件分布的重要性，在域適應中也取得了較好的成績。Wang等人［11］提出一種基于新型的結構化預測選擇性偽標簽策略，目標域中的樣本在深度特征空間內能夠很好地聚集，因此可以使用無監督的聚類分析來進行準確的偽標簽。Zhang等人［12］以無監督的方式有效地在眾多訓練良好的ImageNet模型中選擇了最好的預先訓練的特征。EffificientNet［13］模型是提取圖片特征綜合質量最高的模型，然后提出了PRPL（pre-trained features and recurrent pseudo-labeling） 模型［14］，生成目標域最具代表性標簽且極大提高了分類性能。本文也受該模型啟發，在此基礎上對偽標簽損失進行設計計算，同時反向傳播訓練模型。

傳統域適應方法在結合MMD距離的同時雖能夠匹配源域與目標域特征分布［3］，但對于無監督域適應問題，多數方法并未考慮目標域偽標簽的選擇問題。文獻［11，14］使用偽標簽原則進行訓練的同時未考慮偽標簽的選擇損失，因此提出循環選擇偽標簽分類模型（cycle selection pseudo-label，CSPL），在對齊源域和目標域的聯合分布基礎上，通過在ImageNet預訓練模型EfficientNet提取源域和目標域特征，優先選擇高置信度的偽標簽，且加入偽標簽選擇損失函數迭代訓練，直至模型收斂。在基準數據集Office31、Office-Home、ImageCLEF-DA以及Amazon-Review上大量實驗證明了本文模型優于傳統和現有域適應模型。

1 相關工作

聯合概率分布適配是由Long等人［7］在模型JAN中首次提出，使用弱分類器為目標域打上偽標簽，然而并未考慮弱分類器預測的偽標簽的不準確和不確定性，從而導致模型性能未能發揮最優。而Wang等人［15］基于JAN模型提出了平衡分布適應模型（balanced distribution adaptation，BDA），在聯合分布適配的基礎上加入權重平衡邊緣分布概率和條件分布概率，后續作者又在此基礎上提出了更具普適性的動態遷移框架［16］ （dynamic distribution adaptation，DDA）來解決μ值的精確估計問題。然而這類模型均忽視了偽標簽的置信度。文獻［17］提出移動語義遷移網絡，通過語義匹配和領域對抗為目標域打上偽標簽。文獻［18］則是通過將源域和目標域投影到相同的子空間中去，對齊領域的數據分布之后，基于結構化預測（SP）和最近類原型（NCP）預測目標域數據的偽標簽，雖然考慮了偽標簽的置信度，卻未考慮到選擇偽標簽時的損失問題，使得每一次反向傳播訓練時無法更加精確地涵蓋各項損失，導致模型總體性能下降。Wang等人［19］ 提出了一種基于結構化預測的新型選擇性偽標記策略，利用無監督聚類進行目標域偽標簽標記。何相騰等人［20］利用循環漸進式偽標簽策略從圖像遷移到無標簽視頻，是一種跨域和跨模態的域適應方法。然而以上這些模型均未同時考慮到偽標簽置信度和偽標簽選擇損失的重要性，低置信度的偽標簽會極大降低模型預測的準確率，同時偽標簽選擇損失也影響著模型精度。

3 實驗

3.1 數據集介紹

本文CSPL模型在領域自適應基準數據集Office31、Office-Home、ImageCLEF-DA以及Amazon-Review上進行實驗，如圖1所示，并通過對比其他領域自適應算法證明了該模型在域適應的有效性。

Office31［21］是由來自三個領域Amazon（A）、 Webcam（W）和DSLR（D）組成的4 110張圖片，共有31個類別，分別劃分為源域和目標域，任務task分別將源域A的知識遷移到W、D中，一共6組遷移任務。Office-Home［22］是來自四個域Art（Ar）、 clipart（Cl）、product（Pr）和real world（Rw）的15 588張圖片構成，共有65個類別，是域適應測試數據集中的常用較大型數據集，從源域到目標域一共12組遷移任務。ImageCLEF-DA是ImageCLEF 數據集的變體，是領域自適應問題通用的數據集，包括三個域，每個域12個類別，每個類別中有50張圖片，同理一共6組遷移任務，這三個域的數據分別來自Caltech-256、ImageNetILSVRC2012以及Pascal VOC 2012。Amazon-Review［23］是一個跨領域情緒分析數據集，目前已廣泛運用于域適應測試數據集。它包含來自amazon.com的books、dvd、elec和kitchen四個子集，每個子集包括2 000個標記評論和約4 000個未標記評論，共12組遷移任務。

3.2 實驗設置

數據預處理階段實驗通過深度神經網絡EfficientNet作為數據集預訓練模型提取源域和目標域特征，該網絡作為一種新的模型縮放方法，利用了一種固定尺度的縮放系數來放大卷積神經網絡使得神經網絡的速率和效率更高。在神經網絡的訓練過程中學習率ι統一設定為0.001，同理，其他對比算法實驗對于不同的源域設定不同的epochs大小以及循環迭代次數和對應閾值。第0次表示無偽標簽閾值限制下的實驗，第1次表示在限制偽標簽閾值為0.5實驗即偽標簽預測概率為50%，后續兩次迭代對應所設定的限制閾值下偽標簽預測閾值為0.7和0.9，表示為CSPLt=0、CSPLt=1、CSPLt=2和CSPLt=3。且實驗對比多種傳統以及目前流行的域適應方法模型：

TCA［3］方法是傳統的域適應算法，通過引入MMD度量拉近源域和目標域的距離，并給出了MMD的計算方式，為后續的域適應算法作出了開創性的貢獻。

DAN［6］模型則是擴展了MMD度量，使用多核MMD代替了單一的MMD距離，在匹配源域與目標域的概率分布上更具全面。

JAN［7］方法則是對DAN方法的擴展，匹配了源域和目標域之間的聯合分布概率。

PRPL［14］模型在循環中選擇高置信度的偽標簽，利用偽標簽選擇樣本數據更新迭代。

UDA-PLC［18］（unsupervised domain adaptation based on pseudo-label confidence）模型通過將源域和目標域投射到潛在的子空間中對齊兩個域的概率分布，利用結構化和最近類原型預測目標域的偽標簽。

SPL［19］（selective pseudo-labeling）是一種新的基于結構化預測的選擇性偽標記方法，使用無監督聚類的方式來進行偽標簽的標記DaNN［24］（domain adaptive neural network），同理也是結合MMD度量作為監督學習中的正則化來降低源域與目標域之間的不匹配性，同時也驗證了MMD度量的有效性。

DCORAL［25］（deep CORAL）是對CORAL關聯方法的深度擴展，CORAL使用線性變換方法將對齊域和目標域的二階統計特征分布，DCORAL則是在深度網絡中使用了非線性變換。

CAN［26］模型（contrastive adaptation network）即對比自適應網絡，對類內域差異和類間域差異進行建模，從而進行無監督類感知對齊。

RTN［27］（residual transfer networks）是一種新的深度網絡自適應方法，特征適應是通過匹配跨域的分布來實現，且加入了連接源域和目標域分類器的殘差傳輸模塊來實現分類器自適應。

3.3 實驗結果分析

在不同數據集上與各個算法對比結果如表1～4，通過各表可以看出該模型在各遷移任務中的優勢所在。表1在大型數據集Office-Home上相比之前域適應模型的平均分類準確度均有所提高，對比傳統的域適應算法TCA高出約20%，與其他深度算法相比高出2%～3%，可以看出加入深度網絡極大提升了域適配的準確率。對比深度域適應算法和基于對抗的域適應算法都有不同程度的提高。Amazon-Review數據集的實驗結果如表2所示，對比傳統及目前的域適應算法，70%的遷移任務準確率均高于其他算法，相比傳統TCA方法平均高出9.7%，相比JGSA算法平均提高14.2%，與目前的流行的域適應算法相比平均高出2%左右。在表3 ImageCLEF-DA數據集實驗中，對比傳統域適應算法和目前流行的域適應算法，從比較結果可以看出，雖然在C→I和P→C上的表現不及SPL算法，但在其他任務方面體現了本文模型的優勢所在，同時平均的分類準確率也比其他域適應算法高，另外與目前較優域適應算法SPL和UDA-PLC相比提升約2%。表4中，在Office31數據集上表現并不突出，原因在于Office31數據集是小型域適應數據集，所以對于傳統域適應算法TCA等有較大提升，而相比于目前的域適應算法如SPL、PRPL等提升并不明顯，平均提升約1%。以在ImageCLEF-DA數據集上為例，通過圖2對比不同任務以及不同模型算法迭代訓練所得到的分類結果，在前五個任務中，CSPL模型總體領先于其他域適應算法，且通過在Office31上的消融實驗驗證了偽標簽損失的有效性，平均的實驗結果也驗證了該模型在域適應領域的先進性。同時也對比了不同深度網絡所提取的特征T-SNE圖［28］，T-SNE是一種降維算法且支持可視化，其本質是一種嵌入模型，可以將高維空間中的數據映射到低維空間中，且保留數據集的局部特性，常用于高維數據降維和可視化對比。實驗通過不同深度網絡提取Office31數據集中子集Webcam，類別共計31種，分別對應用標號0～30標出，因此利用該算法對比不同深度網絡提取的特征更具說服力，從而選擇更優的深度網絡模型。

以Office31數據集中Webcam子集的T-SNE圖為例，其中圖表中的數字0～30分別表示31個類別。由圖3（a）可以看出，EfficientNet和其他不同深度網絡所提取的特征圖可視化區別，該深度網絡提取的特征相對于傳統ResNet50網絡區別明顯；ResNet50網絡所提取的特征類別相對混亂無序，如圖（b）所示，對于同類間距和類類間距無法區分，使得模型預訓練階段效果低于其他深度網絡模型；通過對比圖（c）（d）的InceptionV3和Xception深度網絡提取的特征其不同類間距相比其他深度網絡而言，其距離更大，類類區別明顯，同類間距更小且同類特征更聚合，因此綜合情況對比使用該特征更有利于模型的遷移效果。

表5通過在Office31上的消融實驗對比偽標簽Euclid Math OneLApp的有效性。在控制迭代次數的同時在迭代過程中不加入偽標簽選擇損失進行反向傳播訓練與最終迭代次數t=3且加入偽標簽選擇損失訓練的實驗對比結果如圖4所示，紅色突出部分則是加入偽標簽后的提升率（見電子版）。在保障偽標簽選擇高置信度同時其加入損失迭代訓練，可明顯看出對于模型預測準確率提升的優勢。由表5可以得出CSPLt=3條件下即加入偽標簽損失下相比第0次循環無偽標簽損失訓練條件下的模型分類準確率平均高出3%左右。另通過在ImageCLEF-DA上迭代的偽標簽損失pl_loss收斂示意圖，如圖5所示，可以看出在最初無偽標簽閾值時該項損失最大，隨著偽標簽損失的循環迭代訓練后損失逐漸收斂到水平，由最初的無循環時的1.78逐步降低到1.61，即偽標簽損失對于模型的提升效果明顯。

4 結束語

針對領域自適應問題中偽標簽置信度問題以及偽標簽的損失設計提出CSPL模型，通過深度網絡提取特征，再利用循環迭代方法選擇高置信度的偽標簽，迭代選擇偽標簽過程中設計加入偽標簽損失函數反向傳播訓練。在領域自適應基準數據集Office31、Office-Home以及目前常用的域適應測試數據集ImageCLEF-DA和Amazon-Review上進行了大量實驗驗證了本文模型的預測分類準確性和有效性。下一步工作準備通過結合其他無監督學習方法運用到通用領域自適應中，將無監督學習的優勢運用到通用領域自適應中來，結合多源域等方式發揮兩者各自的長處使遷移效果最大化。

參考文獻：

［1］Pan S J，Yang Qiang.A survey on transfer learning［J］.IEEE Trans on Knowledge and Data Engineering，2010，22（10）：1345-1359.

［2］李晶晶，孟利超，張可，等.領域自適應研究綜述［J］.計算機工程，2021，47（6）：1-13. （Li Jingjing，Meng Lichao，Zhang Ke，et al.A survey on domain adaptation［J］.Computer Engineering，2021，47（6）：1-13.）

［3］Pan S J，Tsang I W，Kwok J T，et al.Domain adaptation via transfer component analysis［J］.IEEE Trans on Neural Networks，2011，22（2）：199-210.

［4］Long Minshen，Wang Jianmin，Ding Guiguang，et al.Transfer feature learning with joint distribution adaptation［C］//Proc of IEEE International Conference on Computer Vision.2013：2200-2207.

［5］Tzeng E，Hoffman J，Zhang Ning，et al.Deep domain confusion：maximizing for domain invariance［EB/OL］.（2014-12-10）.https：//arxiv.org/abs/1412.3474.

［6］Long Minshen，Cao Yue，Wang Jianmin，et al.Learning transferable features with deep adaptation networks［C］//Proc of International Conference on Machine Learning.2015：97-105.

［7］Long Minshen，Zhu Han，Wang Jianmin，et al.Deep transfer learning with joint adaptation networks［C］//Proc of the 34th International Conference on Machine Learning.2016：2208-2217.

［8］Zhang Wen，Wu Dongrui.Discriminative joint probability maximum mean discrepancy（DJP-MMD） for domain adaptation［C］//Proc of International Joint Conference on Neural Networks.2020：1-8.

［9］Tian Lei，Tang Yongqiang，Hu Liangchen，et al.Domain adaptation by class centroid matching and local manifold self-learning［J］.IEEE Trans on Image Processing，2020，29：9703-9718.

［10］Wang Jindong，Feng Wenjie，Chen Yiqiang，et al.Visual domain adaptation with manifold embedded distribution alignment［C］//Proc of ACM Multimedia Conference on Multimedia Conference.New York：ACM Press，2018：402-410.

［11］Wang Qian，Breckon T.Unsupervised domain adaptation via structured prediction based selective pseudo-labeling［EB/OL］.（2019-11-18）.https：//arxiv.org/abs/1911.07982.

［12］Zhang Youshan，Davison B D.Impact of ImageNet model selection on domain adaptation［C］//Proc of IEEE Winter Conference on Applications of Computer Vision Workshops.2020：173-182.

［13］Tan Mingxing，Le Q.EfficientNet：rethinking model scaling for convolutional neural networks［C］//Proc of the 36th International Confe-rence on Machine Learning.2019：6105-6114.

［14］Zhang Youshan，Brian D.Efficient pre-trained features and recurrent pseudo-labeling in unsupervised domain adaptation［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops.2021：2719-2728.

［15］Wang Jindong，Chen Yiqiang，Hao Shuji，et al.Balanced distribution adaptation for transfer learning［C］//Proc of IEEE International Confe-rence on Data Mining.Piscataway，NJ：IEEE Press，2017：1129-1134.

［16］Wang Jindong，Chen Yiqiang，Feng Wenjie，et al.Transfer learning with dynamic distribution adaptation［EB/OL］.（2019-09-17）.http：//doi.org/10.1145/3360309.

［17］Xie Shaoan，Zheng Zibin，Chen Liang，et al.Learning semantic representations for unsupervised domain adaptation［C］//Proc of International Conference on Machine Learning.2018：5423-5432.

［18］Fu Tinting，Li Ying.Unsupervised domain adaptation based on pseudo-label confidence［J］.IEEE Access，2021，9：87049-87057.

［19］Wang Qian，Breckon T.Unsupervised domain adaptation via structured prediction based selective pseudo-labeling［EB/OL］.（2019-11-18）.https：//arxiv.org/abs/1911.07982.

［20］何相騰，彭宇新.跨域和跨模態適應學習的無監督細粒度視頻分類［J］.軟件學報，2021，32（11）：3482-3495. （He Xiangteng，Peng Yuxin.Unsupervised fine-grained video classification for cross-domain and cross-modal adaptive learning［J］.Journal of Software，2021，32（11）：3482-3495.）

［21］Saenko K，Kulis B，Fritz M，et al.Adapting visual category models to new domains［C］//Proc of European Conference on Computer Vision.Berlin：Springer，2010：213-226.

［22］Venkateswara H，Eusebio J，Chakraborty S，et al.Deep hashing network for unsupervised domain adaptation［C］//Proc of IEEE Confe-rence on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2017：5018- 5027.

［23］Chen Minmin，Xu Zhixiang，Weinberger K，et al.Marginalized denoi-sing autoencoders for domain adaptation［EB/OL］.（2012-06-18）.https：//arxiv.org/abs/1206.4683.

［24］Ghifary M，Kleijn W B，Zhang Mengjie.Domain adaptive neural networks for object recognition［C］//Proc of Pacific Rim International Conference on Artificial Intelligence.Berlin：Springer，2014：898-904.

［25］Sun Baochen，Saenko K.Deep coral：correlation alignment for deep domain adaptation［C］//Proc of European Conference on Computer Vision.Berlin：Springer，2016：443-450.

［26］Kang Guoliang，Jiang Lu，Yang Yi，et al.Contrastive adaptation network for unsupervised domain adaptation［C］//Proc of IEEE Confe-rence on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2019：4893-4902.

［27］Long Minshen，Zhu Han，Wang Jianmin，et al.Unsupervised domain adaptation with residual transfer networks［C］//Advances in Neural Information Processing Systems.2016：136-144.

［28］Maaten L，Geoffrey H.Visualizing data using t-SNE［J］.Journal of Machine Learning Research，2008，9（86）：2579-2605.