多源域分布下優(yōu)化權(quán)重的無(wú)監(jiān)督遷移學(xué)習(xí)Boosting方法

摘 要：深度決策樹(shù)遷移學(xué)習(xí)Boosting方法（DTrBoost）可以有效地實(shí)現(xiàn)單源域有監(jiān)督情況下向一個(gè)目標(biāo)域遷移學(xué)習(xí)，但無(wú)法實(shí)現(xiàn)多個(gè)源域情況下的無(wú)監(jiān)督遷移場(chǎng)景。針對(duì)這一問(wèn)題，提出了多源域分布下優(yōu)化權(quán)重的無(wú)監(jiān)督遷移學(xué)習(xí)Boosting方法，主要思想是根據(jù)不同源域與目標(biāo)域分布情況計(jì)算出對(duì)應(yīng)的KL值，通過(guò)比較選擇合適數(shù)量的不同源域樣本訓(xùn)練分類(lèi)器并對(duì)目標(biāo)域樣本打上偽標(biāo)簽。最后，依照各個(gè)不同源域的KL距離分配不同的學(xué)習(xí)權(quán)重，將帶標(biāo)簽的各個(gè)源域樣本與帶偽標(biāo)簽的目標(biāo)域進(jìn)行集成訓(xùn)練得到最終結(jié)果。對(duì)比實(shí)驗(yàn)表明，提出的算法實(shí)現(xiàn)了更好的分類(lèi)精度并對(duì)不同的數(shù)據(jù)集實(shí)現(xiàn)了自適應(yīng)效果，分類(lèi)錯(cuò)誤率平均下降2.4%，在效果最好的marketing數(shù)據(jù)集上下降6%以上。

關(guān)鍵詞：深度決策樹(shù)遷移學(xué)習(xí)（DTrBoost）；遷移學(xué)習(xí)；無(wú)監(jiān)督學(xué)習(xí)；決策樹(shù)

中圖分類(lèi)號(hào)：TP181 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1001-3695（2023）02-008-0365-06

doi： 10.19734/j.issn.1001-3695.2022.06.0327

Unsupervised transfer learning Boosting for weight optimization under multi-source domain distribution

Li Yunboa， Wang Shitongb

（a. School of Artificial Intelligence amp; Computer Science， b. Jiangsu Key Construction Laboratory of IoT Application Technology， Jiangnan University， Wuxi Jiangsu 214122， China）

Abstract：The deep decision tree migration learning boosting method （DtrBoost） can effectively realize the migration learning from a single source domain to a target domain under supervision， but can not realize the unsupervised migration scenario under multiple source domains. To solve this problem， this paper proposed an unsupervised transfer learning boosting method for optimizing the weight under multi-source domain distribution. The main idea was to calculate the corresponding KL value according to the distribution of different source domains and target domains， selected an appropriate number of samples from different source domains to train the classifier and pseudo label the samples from the target domain. Finally， the algorithm assigned different learning weights according to the KL distance of each different source domain， and the labeled source domain samples integrated to the pseudo labeled target domain to obtain the final result. Comparative experiments show that the proposed algorithm achieves better classification accuracy and adaptive effect on different data sets. The average classification error rate decreases by 2.4% and more than 6% on the best marketing data set.

Key words：deep decision tree transfer learning （DTrBoost）; transfer learning; unsupervised learning; decision tree

0 引言

在目標(biāo)域與源域樣本數(shù)量不平衡或者目標(biāo)域與源域樣本分布不一致的情況下，遷移學(xué)習(xí)可以從源域?qū)W習(xí)知識(shí)并且應(yīng)用到目標(biāo)域模型上，因此可以降低目標(biāo)域?qū)W習(xí)的成本。遷移學(xué)習(xí)在各大領(lǐng)域獲得的關(guān)注正在逐步增加［1］。當(dāng)一組數(shù)據(jù)的內(nèi)容與時(shí)間的變化相關(guān)時(shí)，數(shù)據(jù)內(nèi)容可能與最新的數(shù)據(jù)分布不一致［2］，遷移學(xué)習(xí)可以較好地在這種場(chǎng)景下完成學(xué)習(xí)。在面對(duì)目標(biāo)域樣本缺少標(biāo)注的情況下，遷移學(xué)習(xí)可以省去目標(biāo)域標(biāo)注勞動(dòng)［3］。

在遷移學(xué)習(xí)中，Menapace等人［4］提出了一種域?qū)R層相結(jié)合的信息論損失，從多個(gè)源域收集訓(xùn)練樣本的信息來(lái)構(gòu)建與域無(wú)關(guān)的聚類(lèi)模型。Huang等人［5］提出了一種有效標(biāo)簽傳播方法，通過(guò)使用有效的域間和域內(nèi)語(yǔ)義信息傳播提高目標(biāo)域中學(xué)習(xí)表示的辨別能力。Zhang等人［6］提出了一種基于同態(tài)加密的廣泛使用的最大平均差異的安全版本，以在數(shù)據(jù)聯(lián)合設(shè)置下實(shí)現(xiàn)有效的知識(shí)傳輸。Sharma等人［7］提出了一種基于實(shí)例親和性的標(biāo)準(zhǔn)，用于在適應(yīng)過(guò)程中進(jìn)行源域到目標(biāo)域的轉(zhuǎn)移。Mitsuzumi 等人［8］提出了一種自我監(jiān)督的類(lèi)破壞性學(xué)習(xí)方法，它可以在不使用任何域標(biāo)簽的情況下學(xué)習(xí)類(lèi)不變表示和域?qū)狗诸?lèi)器。Le等人［9］提出了一種在一般域適應(yīng)中通過(guò)優(yōu)化傳輸減少標(biāo)簽和數(shù)據(jù)偏移的方法，可以同時(shí)減輕數(shù)據(jù)和標(biāo)簽偏移。

領(lǐng)域適配是一種傳統(tǒng)的遷移學(xué)習(xí)方法，Long等人［10］提出了一種聯(lián)合分布適應(yīng)的遷移學(xué)習(xí)方法，可以在降維過(guò)程中共同調(diào)整邊際分布和條件分布，并構(gòu)建對(duì)實(shí)質(zhì)性分布差異有效且穩(wěn)健的新特征表示。Lu等人［11］提出了一種基于學(xué)習(xí)的方法來(lái)直接調(diào)整源和目標(biāo)張量表示，引入了一組對(duì)齊矩陣，以將來(lái)自兩個(gè)域的張量表示對(duì)齊到不變張量子空間，而無(wú)須矢量化。Cao等人［12］提出了一種基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則的新分布匹配機(jī)，通過(guò)提取不變的特征表示和估計(jì)共同最小化跨域分布差異的無(wú)偏實(shí)例權(quán)重來(lái)學(xué)習(xí)轉(zhuǎn)移支持向量機(jī)。楊昌健等人［13］提出了基于二分類(lèi)模型的直推式0階模糊系統(tǒng)目標(biāo)函數(shù)來(lái)訓(xùn)練系統(tǒng)參數(shù)。Zhang等人［14］提出了一種映射相關(guān)對(duì)齊的方法，利用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行端到端域自適應(yīng)。Lu等人［15］提出了一種域適應(yīng)的子結(jié)構(gòu)級(jí)匹配的方法，通過(guò)聚類(lèi)方法獲得活動(dòng)的子結(jié)構(gòu)，利用活動(dòng)數(shù)據(jù)的局部性信息進(jìn)行準(zhǔn)確高效的知識(shí)遷移。Cortes等人［16］提出了一種新的集成算法DeepBoost，它可以在不過(guò)度擬合的情況下集成基分類(lèi)器得到精度較高的分類(lèi)器。Jiang等人［17］提出了一種使用Rademacher 復(fù)雜度進(jìn)行懲罰的多分類(lèi)器集成算法DTrBoost，該方法可以避免集成的強(qiáng)分類(lèi)器陷入過(guò)擬合情況。左航旭等人［18］提出一種建立在數(shù)據(jù)增強(qiáng)與遷移學(xué)習(xí)基礎(chǔ)上的皮膚癌診斷方法SC-Net（skin cancer-net），使用過(guò)采樣技術(shù)補(bǔ)充少數(shù)樣本數(shù)據(jù)，從而提高檢測(cè)精度。

目前，大多數(shù)遷移學(xué)習(xí)方法都是同步地將知識(shí)從源域遷移到目標(biāo)域，沒(méi)有將知識(shí)的重要程度量化。此外，對(duì)于無(wú)監(jiān)督的遷移學(xué)習(xí)，進(jìn)行偽標(biāo)簽標(biāo)注時(shí)所選用的各源域訓(xùn)練樣本數(shù)目也應(yīng)當(dāng)按照重要程度進(jìn)行量化。在實(shí)踐中，對(duì)于數(shù)據(jù)集按照一定規(guī)則劃分出的數(shù)據(jù)分布往往不一致，知識(shí)遷移的重要程度也不一致，這就導(dǎo)致了無(wú)監(jiān)督的遷移學(xué)習(xí)存在學(xué)習(xí)振蕩的可能性。

因此，本文提出了一種多源域分布下優(yōu)化權(quán)重的無(wú)監(jiān)督遷移學(xué)習(xí)Boosting方法，使用KL距離［19］（Kullback-Leibler divergence）計(jì)算各源域到目標(biāo)域的距離，選擇適當(dāng)數(shù)量的源域訓(xùn)練樣本訓(xùn)練基分類(lèi)器并給出目標(biāo)域訓(xùn)練樣本偽標(biāo)簽。之后，根據(jù)KL距離增大相似源域的學(xué)習(xí)權(quán)重，降低分布距離較大的源域?qū)W習(xí)權(quán)重，使用目標(biāo)域偽標(biāo)簽樣本與各源域訓(xùn)練樣本訓(xùn)練分類(lèi)器。

1 遷移學(xué)習(xí)簡(jiǎn)介

本章簡(jiǎn)要介紹遷移學(xué)習(xí)算法DtrBoost，該算法沿用了DeepBoost提出的基于Rademacher復(fù)雜度［20］的凸集學(xué)習(xí)邊界。在學(xué)習(xí)迭代的不同批次，針對(duì)復(fù)雜度較高的假設(shè)族分配較少的權(quán)重，對(duì)復(fù)雜度較低的假設(shè)族分配較高的權(quán)重，從而實(shí)現(xiàn)避免過(guò)擬合的效果。

對(duì)于不同的假設(shè)集合hj， j∈［1，…，N］，定義{h1，…，hj，…，hN}是一組不同的假設(shè)，F(xiàn)W是全體訓(xùn)練樣本的梯度損失函數(shù)，F(xiàn)S為目標(biāo)域樣本梯度損失函數(shù)。計(jì)算方式如下：

其中：m是源域訓(xùn)練樣本的個(gè)數(shù)；n是目標(biāo)域訓(xùn)練樣本個(gè)數(shù)；xi是第i個(gè)訓(xùn)練樣本的特征；yi是該訓(xùn)練樣本的標(biāo)簽；αt， j為假設(shè)j在第t次迭代中的基分類(lèi)器權(quán)重；Φ是一個(gè)非遞增的凸函數(shù)；aj是該假設(shè)的參數(shù)，包括最佳的分類(lèi)特征選擇、剪枝節(jié)點(diǎn)的位置選擇。式（1）（2）中的第二部分是該假設(shè)經(jīng)過(guò)正則化的Rademacher復(fù)雜度，λ、β為兩個(gè)參數(shù)。rt=Euclid Math OneRApm（Hd（ht））是標(biāo)準(zhǔn)的Rademacher復(fù)雜度。d（ht）表示ht所在的假設(shè)集合，即ht∈Hd（ht）。定義如下的目標(biāo)函數(shù)：

目標(biāo)函數(shù)的目的是得到FW與FS在ej方向上的最小梯度差值。式（4）為梯度增強(qiáng)函數(shù)，在第t次迭代過(guò)程中，選擇一個(gè)最佳的分類(lèi)器ht（xi，at）作為當(dāng)前最優(yōu)分類(lèi)器。

其中：ft←ft－1+αtht（x，at）；F′tw，F(xiàn)′ts分別是FW與FS在ej方向上的導(dǎo)數(shù)。在每一次的迭代學(xué)習(xí)中，目標(biāo)域梯度值計(jì)算如下：

其中：Sst是正則化后的權(quán)重分布； Dst（i）為目標(biāo)本權(quán)重；εst， j為目標(biāo)域分類(lèi)錯(cuò)誤數(shù)；Λst為目標(biāo)域懲罰項(xiàng)。迭代學(xué)習(xí)的過(guò)程中將|dst， j|最大值的基分類(lèi)器選為最優(yōu)分類(lèi)器，并在之后對(duì)該選中的分類(lèi)器更新學(xué)習(xí)權(quán)重。之后，對(duì)于所有的訓(xùn)練樣本會(huì)按照源域與目標(biāo)域分布進(jìn)行樣本權(quán)重更新。決策函數(shù)如下：

2 多源域分布下的無(wú)監(jiān)督遷移學(xué)習(xí)

2.1 問(wèn)題描述

在多個(gè)源域遷移學(xué)習(xí)的情況下，設(shè)X=XS∪Xd1∪…∪Xdk為樣本空間，其中，XS為目標(biāo)域樣本空間，Xdj為第j個(gè)源域的樣本空間，1≤j≤k。各源域的數(shù)據(jù)空間為Xdj×Ydj，Ydj為源域的標(biāo)簽空間。目標(biāo)域的數(shù)據(jù)空間為Xs×Ys，Ys為目標(biāo)域的標(biāo)簽空間。各個(gè)源域與目標(biāo)域的數(shù)據(jù)標(biāo)簽為相同的Ydj=Ys=Y={－1，+1}。測(cè)試樣本與目標(biāo)域同分布，記為R，設(shè)z為將X映射到Y(jié)的布爾函數(shù)，訓(xùn)練的數(shù)據(jù)L={X×Y}可以分為L(zhǎng)dj={xdjt，z（xdjt）}與Ls={xst，z（xst）}兩部分，Ldj為各源域的訓(xùn)練數(shù)據(jù)空間，Ls為目標(biāo)域的訓(xùn)練數(shù)據(jù)空間。

在給定少量不帶標(biāo)注結(jié)果的目標(biāo)域訓(xùn)練數(shù)據(jù)Ls和大量標(biāo)注結(jié)果的k個(gè)源域的訓(xùn)練數(shù)據(jù)Ld1，…，Ldk場(chǎng)景下，目標(biāo)函數(shù)應(yīng)當(dāng)是一個(gè)從X映射到Y(jié)的布爾函數(shù)，使測(cè)試數(shù)據(jù)誤差盡可能小。

各個(gè)源域的數(shù)據(jù)分布可能都不一致，且各個(gè)源域與目標(biāo)域的分布相似程度也不一致。若按照同等重要的權(quán)重學(xué)習(xí)時(shí)，可能導(dǎo)致較小相似度的樣本獲得較高的學(xué)習(xí)權(quán)重。此外，目標(biāo)域的訓(xùn)練數(shù)據(jù)是沒(méi)有標(biāo)注的。

2.2 多源域分布下優(yōu)化權(quán)重的無(wú)監(jiān)督遷移學(xué)習(xí)Boosting方法

在實(shí)際的應(yīng)用場(chǎng)景下，很可能出現(xiàn)訓(xùn)練樣本分布不一致的情況。大量的帶標(biāo)簽源域訓(xùn)練樣本與未經(jīng)過(guò)標(biāo)注的目標(biāo)域訓(xùn)練樣本，如果對(duì)目標(biāo)域訓(xùn)練樣本進(jìn)行逐一標(biāo)注將會(huì)花費(fèi)大量的時(shí)間。使用目標(biāo)域訓(xùn)練樣本偽標(biāo)簽標(biāo)注的方法可以較好地提高效率。

本節(jié)內(nèi)容提出一種稱(chēng)為unsupervised multi-source decision tree transfer boosting（UMtrBoost）的算法，該算法根據(jù)各源域與目標(biāo)的不同距離確定用于標(biāo)注偽標(biāo)簽的訓(xùn)練數(shù)據(jù)，標(biāo)注完成后，賦予不同源域不同的學(xué)習(xí)權(quán)重、賦予不同樣本不同的樣本權(quán)重，從而提升決策函數(shù)的分類(lèi)精度。

根據(jù)源域與目標(biāo)域分布情況計(jì)算KL距離（Kullback-Leibler divergence），見(jiàn)式（7），從而確定分布相似程度。

其中：Ld（x）是源域上的樣本；Ls（x）是目標(biāo)域樣本。計(jì)算出各源域到目標(biāo)域的KL距離為KLd1，KLd2，…，KLdk，之后根據(jù)式（8）計(jì)算各個(gè)源域之間的絕對(duì)值距離。

其中：1≤ilt;j≤k；N是訓(xùn)練數(shù)據(jù)的類(lèi)別數(shù)目;pi與p′i分別是該源域上類(lèi)別的概率;qi是目標(biāo)域的類(lèi)別概率。對(duì)于各數(shù)據(jù)集多次隨機(jī)抽取構(gòu)成源域和目標(biāo)域數(shù)據(jù)后，計(jì)算各個(gè)源域之間的絕對(duì)值距離的中位數(shù)為α。當(dāng)Δijgt;α?xí)r，使用集合Q記錄KLi、KLj中較大距離的所屬源域編號(hào)，函數(shù)R用于映射KL距離所屬源域編號(hào)。

當(dāng)Δijlt;α?xí)r，各源域按照KL距離大小按比例抽取用于標(biāo)注目標(biāo)域偽標(biāo)簽的各源域訓(xùn)練樣本數(shù)目。用于偽標(biāo)簽標(biāo)注的各源域樣本數(shù)目Edt′計(jì)算如下：

其中：nv為各個(gè)源域的樣本數(shù)目；Edt為各個(gè)源域所抽取的訓(xùn)練樣本數(shù)目。據(jù)式（11）計(jì)算出各個(gè)源域?qū)?yīng)的學(xué)習(xí)權(quán)重λ1，λ2，…，λk。式（11）通過(guò)每個(gè)源域不同的KL距離為該源域分配不同的學(xué)習(xí)權(quán)重，且滿足λ1+λ2+…+λk=1。

其中：1≤j≤k，λj表示第j個(gè)源域的學(xué)習(xí)權(quán)重。H={h1，…，hj，…，hM}是M個(gè)不同的假設(shè)集合。Gdl是第l個(gè)源域上的損失函數(shù)，Gta是目標(biāo)域上的損失函數(shù)。

其中：nl為第l個(gè)源域的訓(xùn)練樣本數(shù)目，F(xiàn)（l）=m+n1+…+nl－1是第l個(gè)源域樣本的起始位置映射函數(shù)。m為目標(biāo)域訓(xùn)練樣本數(shù)目。xi是進(jìn)行訓(xùn)練的實(shí)例 ，且 i∈{1，…，m，…，m+n1，…，m+n1+…+nk} ，yi是xi分類(lèi)類(lèi)別。t∈{1，…，T}是迭代訓(xùn)練的次數(shù)。hj（xi，dt）是在第t次迭代時(shí)的假設(shè)，dt是該假設(shè)的參數(shù)，包括最佳的分類(lèi)特征選擇、剪枝節(jié)點(diǎn)的位置選擇。βt， j是第j個(gè)假設(shè)hj在第t次迭代訓(xùn)練時(shí)的權(quán)重。與DtrBoost算法一致，使用指數(shù)函數(shù)作為非增凸函數(shù)g。式（12）（13）的第二部分rt=Euclid Math OneRApm（Hw（ht））是Rademacher復(fù)雜度的正則化，其中 w（ht）是將假設(shè)ht映射到該假設(shè)下標(biāo)的映射函數(shù)，κ、μ是參數(shù)。

在各源域與目標(biāo)域的整體全局損失函數(shù)如下：

其中：源域與目標(biāo)域的損失函數(shù)分別加上了權(quán)重，通常情況下，源域樣本的重要程度沒(méi)有目標(biāo)域樣本的重要程度高。因此，參考DtrBoost算法，保持量綱的一致性，對(duì)目標(biāo)域分配0.5的權(quán)重，其余多個(gè)源域平分0.5的權(quán)重。由此可得目標(biāo)函數(shù)。

其中：δj是第j個(gè)假設(shè)的方向；G′tw與G′tta分別是全局損失函數(shù)與目標(biāo)域損失函數(shù)在δj方向上的導(dǎo)數(shù)。在每一次訓(xùn)練過(guò)程中，全局與目標(biāo)域的損失函數(shù)導(dǎo)數(shù)差值會(huì)越來(lái)越小。同時(shí)，由于懲罰項(xiàng)的存在，復(fù)雜度較高的假設(shè)會(huì)受到更多的懲罰，這樣可以避免陷入過(guò)擬合的局面。

對(duì)于全局的損失函數(shù)導(dǎo)數(shù)可由式（16）計(jì)算得到。

其中：gt←gt－1+λtht（x，ct）；G′tw是在δj方向上的全局梯度；Ψwt=κrt+μ是正則化后的懲罰項(xiàng)；ωtat， j是目標(biāo)域樣本估計(jì)錯(cuò)誤；ωdlt， j是不同源域的樣本估計(jì)錯(cuò)誤；Qtat（i）表示目標(biāo)域樣本xi的權(quán)重；Qdlt（i）表示第l個(gè)源域樣本xi的權(quán)重；φtat、φdlt分布是目標(biāo)域樣本、第l個(gè)源域樣本在第t次迭代時(shí)的正則化權(quán)重。

之后，使用選擇函數(shù)選取與－dwt， j相關(guān)性最強(qiáng)的基分類(lèi)器，選擇函數(shù)如下：

在經(jīng)過(guò)了t次迭代訓(xùn)練之后，所有假設(shè)的集合為H={h1，…，hj，…，hN}，其中N≤t≤T。計(jì)算目標(biāo)域的損失函數(shù)梯度。

其中：G′tta是在δj方向上的全局梯度；Ψtat=κrt+μ是正則化后的懲罰項(xiàng)；ωtat， j是估計(jì)錯(cuò)誤，計(jì)算方法與DtrBoost一致［17］；Qtat（i）表示目標(biāo)域每個(gè)樣本xi的權(quán)重；φtat是目標(biāo)域樣本在第t次迭代時(shí)的正則化權(quán)重［17］。每一次迭代學(xué)習(xí)時(shí)，都會(huì)選擇目標(biāo)域梯度值最大的基分類(lèi)器，將其標(biāo)注為當(dāng)前最佳基分類(lèi)器hbest，經(jīng)過(guò)多輪的學(xué)習(xí)后，δj將不斷地貼近損失函數(shù)Gta的梯度方向。

在完成最佳基分類(lèi)器hbest的選擇后，對(duì)當(dāng)前最佳基分類(lèi)器的權(quán)重進(jìn)行更新，其余未被選中的基分類(lèi)器權(quán)重不變，更新公式如下：

ηt是DtrBoost提出的步長(zhǎng)，可以使用線性方法計(jì)算［17］。每次迭代后，需要對(duì)所有的樣本權(quán)重進(jìn)行更新，更新公式與DtrBoost［17］一致。目標(biāo)域樣本權(quán)重更新公式如下：

在T/2次迭代學(xué)習(xí)結(jié)束之前，相對(duì)于第T次學(xué)習(xí)完成時(shí)，源域中分類(lèi)錯(cuò)誤的樣本權(quán)重并沒(méi)有減小到同一個(gè)數(shù)量級(jí)上。若使用T/2次之前的分類(lèi)器權(quán)重將會(huì)較大地影響最終的分類(lèi)精度。因此，使用T次訓(xùn)練結(jié)束時(shí)的分類(lèi)器權(quán)重與T/2時(shí)的分類(lèi)器權(quán)重的差值可以提高分類(lèi)精度。

多源域分布下優(yōu)化權(quán)重的無(wú)監(jiān)督遷移學(xué)習(xí)框架如圖1所示。圖中展示的是雙源域無(wú)監(jiān)督情況下，對(duì)目標(biāo)域訓(xùn)練樣本標(biāo)注偽標(biāo)簽后迭代訓(xùn)練的前四個(gè)過(guò)程。其中，分類(lèi)器數(shù)目為3，正方形樣本為目標(biāo)域樣本，菱形與三角形代表來(lái)自不同源域的樣本，樣本各自的形狀大小代表了每個(gè)樣本的權(quán)重大小。對(duì)于源域與目標(biāo)域樣本，每次訓(xùn)練結(jié)束時(shí)都會(huì)按照以下的邏輯調(diào)整樣本權(quán)重：源域錯(cuò)誤分類(lèi)樣本權(quán)重減小，目標(biāo)域錯(cuò)誤分類(lèi)樣本權(quán)重增加。因此，在下一次訓(xùn)練學(xué)習(xí)時(shí)，目標(biāo)域增加的錯(cuò)誤分類(lèi)樣本權(quán)重使得分類(lèi)器權(quán)重錯(cuò)誤增加。模型在選擇最佳分類(lèi)器時(shí)會(huì)選擇對(duì)目標(biāo)域錯(cuò)誤分類(lèi)樣本分類(lèi)情況更好的分類(lèi)器。各個(gè)源域錯(cuò)誤分類(lèi)樣本的權(quán)重降低，模型在選擇最佳分類(lèi)器時(shí)會(huì)減少源域錯(cuò)誤樣本的權(quán)重錯(cuò)誤。在這兩個(gè)策略的共同作用下，UmtrBoost算法可以隨著迭代的進(jìn)行逐步提升目標(biāo)域樣本分類(lèi)精度。

2.3 多源域分布下優(yōu)化權(quán)重的無(wú)監(jiān)督遷移學(xué)習(xí)算法

算法1 UmtrBoost算法

輸入：目標(biāo)域無(wú)標(biāo)簽訓(xùn)練集Ls，源域帶標(biāo)簽訓(xùn)練集Ld1，Ld2，…，Ldk，訓(xùn)練迭代次數(shù)T。

初始化：H=， Qta（1）=…=Qta（m）=Qd1（m+1）=…=Qdp（m+n1+…+nk）=1/（m+n1+…+nk）。

Step 1 for t ← 1 to T do

Step 1.1 根據(jù)式（10）計(jì)算用于標(biāo)注偽標(biāo)簽的各源域訓(xùn)練樣本Ld1′，Ld2′，…，Ldk′，令L′d=，Ls′={ Ld1′，Ld2′，…，Ldk′}，此時(shí)UmtrBoost算法退化為DeepBoost算法。

Step 1.2 for h′t in H′ do

Step 1.2.1 根據(jù)式（18）計(jì)算梯度d′t， j。

Step 1.3 選擇梯度最大的分類(lèi)器q′=argmax|d′j|

Step 1.4 更新梯度最大分類(lèi)器權(quán)重βt′=βt-1′+ηt′δj′。

Step 1.5 for i ← 1 to （m1+m2+…+mk） do

Step 1.5.1 根據(jù)式（20）更新每個(gè)樣本權(quán)重。

Step 2 輸出訓(xùn)練好的集成決策函數(shù)式（22），作為L(zhǎng)s的偽標(biāo)簽Labels。

Step 3 for t ← 1 to T do

Step 3.1 根據(jù)式（16）計(jì)算全局梯度dwt， j，并在訓(xùn)練集Ls+Labels、Ld1，Ld2，…，Ldk上訓(xùn)練分類(lèi)器假設(shè)ht。

Step 3.2 for ht" in H do

Step 3.2.1 根據(jù)式（18）計(jì)算目標(biāo)域梯度dtat， j

Step 3.3 選擇目標(biāo)域梯度最大的分類(lèi)器q=argmax|dtaj|

Step 3.4 更新目標(biāo)域梯度最大分類(lèi)器權(quán)重βt=βt－1+ηtδj。

Step 3.5 for i ← 1 to m do

Step 3.5.1 根據(jù)式（20）更新每個(gè)目標(biāo)域樣本權(quán)重。

Step 3.6 for i ← m+1 to （m+n1+…+nk） do

Step 3.6.1 根據(jù)式（21）更新每個(gè)源域樣本權(quán)重。

Step 4 輸出訓(xùn)練好的集成決策函數(shù)式（22）。

算法整體分為兩個(gè)階段，Step 1到Step 2處是使用源域訓(xùn)練數(shù)據(jù)給目標(biāo)域樣本標(biāo)注偽標(biāo)簽。將所有源域樣本視做一個(gè)新的目標(biāo)域訓(xùn)練集訓(xùn)練分類(lèi)器，此時(shí)UmtrBoost算法退化為DeepBoost算法。第二階段，Step 2到Step 4處使用標(biāo)注過(guò)偽標(biāo)簽的目標(biāo)域樣本進(jìn)行遷移學(xué)習(xí)。設(shè)目標(biāo)域訓(xùn)練集Ls的樣本數(shù)目為m，源域訓(xùn)練集Ld1，Ld2，…，Ldk的樣本數(shù)目為n1+…+nk，訓(xùn)練批次數(shù)目為T(mén)，標(biāo)注偽標(biāo)簽階段分類(lèi)器集合數(shù)目為N1，遷移學(xué)習(xí)階段分類(lèi)器集合數(shù)目為N2。執(zhí)行Step 1.2.1的時(shí)間復(fù)雜度為O（∑ki=1ni），由于分類(lèi)器數(shù)目有不確定性，分類(lèi)器數(shù)目范圍為1≤N1≤t，又因?yàn)橥鈱友h(huán)T次，所以該步驟總體時(shí)間復(fù)雜度為［O（T∑ki=1ni），O（T2∑ki=1ni）］。Step 1.3因?yàn)橥鈱友h(huán)T次，分類(lèi)器數(shù)目不確定，所以該步驟時(shí)間復(fù)雜度為［O（T），O（T2）］。考慮外層循環(huán)后，Step 1.4處時(shí)間復(fù)雜度為O（T）。Step 1.5.1處更新樣本權(quán)重次數(shù)為∑ki=1ni，考慮外層循環(huán)T次后，時(shí)間復(fù)雜度為O（T∑ki=1ni）。Step 2處的決策函數(shù)時(shí)間復(fù)雜度為［O（1），O（T）］。

Step 3.1處執(zhí)行次數(shù)為m+∑ki=1ni，考慮外層循環(huán)T次后，時(shí)間復(fù)雜度為O（T（m+∑ki=1ni））。Step 3.2.1處分類(lèi)器數(shù)目N2具有不確定性，t≤N2≤T考慮外層循環(huán)T次后，時(shí)間復(fù)雜度為［O（mT），O（mT2）］。Step 3.3處因?yàn)橥鈱友h(huán)T次，分類(lèi)器數(shù)目不確定，所以該步驟時(shí)間復(fù)雜度為［O（T），O（T2）］。Step 3.4處時(shí)間復(fù)雜度為O（T）。Step 3.5.1處更新目標(biāo)域樣本權(quán)重次數(shù)為m，考慮外層循環(huán)T次后，時(shí)間復(fù)雜度為O（mT）。Step 3.6.1處更新各源域樣本權(quán)重次數(shù)為∑ki=1ni，考慮外層循環(huán)T次后，時(shí)間復(fù)雜度為O（T∑ki=1ni）。Step 4處的決策函數(shù)時(shí)間復(fù)雜度為［O（1），O（T）］。綜上，算法總體時(shí)間復(fù)雜度最小值為O（4T∑ki=1ni+3T+3mT+2）≈O（T∑ki=1ni），算法總體時(shí)間復(fù)雜度最大值為O（T2∑ki=1ni+2T2+3T∑ki=1ni+2mT+mT2+3T）≈O（T2∑ki=1ni）。

3 實(shí)驗(yàn)及數(shù)據(jù)分析

在多個(gè)數(shù)據(jù)集上，將本文算法與基線算法進(jìn)行對(duì)比。本章的實(shí)驗(yàn)結(jié)果均為10次實(shí)驗(yàn)之后的平均值。實(shí)驗(yàn)結(jié)果說(shuō)明，本文算法分類(lèi)精度優(yōu)于基線算法。

3.1 數(shù)據(jù)集簡(jiǎn)介

本文實(shí)驗(yàn)總共使用了10個(gè)不同的數(shù)據(jù)集，如表1所示，表中列舉了每個(gè)數(shù)據(jù)集的特征維數(shù)、訓(xùn)練數(shù)以及測(cè)試數(shù)目。前5個(gè)數(shù)據(jù)集來(lái)自UCI機(jī)器學(xué)習(xí)數(shù)據(jù)網(wǎng)站（https：//archive.ics. uci.edu/ml/datasets），后5個(gè)數(shù)據(jù)集來(lái)自Kaggle數(shù)據(jù)網(wǎng)站（https：//www.kaggle.com/datasets）。每個(gè)數(shù)據(jù)集按照某特征劃分下來(lái)的樣本數(shù)目并不一致，為保證抽取之后的各個(gè)源域與目標(biāo)域樣本大體一致，對(duì)每個(gè)數(shù)據(jù)集設(shè)置了不同的抽取比例。

a）OCR是一個(gè)0～9手寫(xiě)數(shù)字的圖片數(shù)據(jù)集，原始圖像尺寸為32×32，通過(guò)進(jìn)行降維得到8×8像素。每一個(gè)像素值均為0～16的灰度值。根據(jù)每張圖片表示的數(shù)字，抽取88%的數(shù)字9樣本與各6%的數(shù)字6、8樣本作為目標(biāo)域。抽取88%的數(shù)字6樣本與數(shù)字8、9各6%的樣本作為第一個(gè)源域。抽取88%的數(shù)字8樣本與各6%的數(shù)字6、9樣本作為第二個(gè)源域。

b）Tic-Tac-Toe數(shù)據(jù)集是井字棋游戲數(shù)據(jù)集。該數(shù)據(jù)集給出了不同的第一步位置的最終獲勝概率。根據(jù)第一步“x”“o”“b”三種情況，分別抽取80%、10%、10%的樣本，抽取10%、80%、10%的樣本，抽取10%、10%、80%的樣本構(gòu)成一個(gè)目標(biāo)域與兩個(gè)源域。

c）BreastCancer是乳腺癌分類(lèi)數(shù)據(jù)集，該數(shù)據(jù)集使用12個(gè)特征描述細(xì)胞形態(tài)特點(diǎn)。根據(jù)灰度值的標(biāo)準(zhǔn)偏差的大小，從低到高劃分為三類(lèi)，分別從這三類(lèi)里抽取60%、20%、20%的樣本，抽取20%、60%、20%的樣本，抽取20%、20%、60%的樣本構(gòu)成一個(gè)目標(biāo)域與兩個(gè)源域。

d）German數(shù)據(jù)集是銀行對(duì)德國(guó)客戶貸款是否違約的統(tǒng)計(jì)，包含性別、工作類(lèi)別、賬戶狀態(tài)等信息。沒(méi)有違約的樣本為正例，違約的為負(fù)例。根據(jù)賬戶狀態(tài)劃分為三個(gè)類(lèi)別，從三類(lèi)里抽取60%、20%、20%的樣本，抽取20%、60%、20%的樣本，抽取20%、20%、60%的樣本構(gòu)成一個(gè)目標(biāo)域與兩個(gè)源域。

e）Wine數(shù)據(jù)集是酒類(lèi)分級(jí)數(shù)據(jù)集。對(duì)于酒精度特征，按照9.5、10.2、11.2這三個(gè)值將所有樣本分為四個(gè)類(lèi)別。對(duì)于紅酒評(píng)分特征，大于6的為正例，其余為負(fù)例。分別從四類(lèi)里抽取64%、12%、12%、12%的樣本，抽取12%、64%、12%、12%的樣本，抽取12%、12%、64%、12%的樣本，抽取12%、12%、12%、64%的樣本構(gòu)成一個(gè)目標(biāo)域與三個(gè)源域。

f）Satisfaction是員工對(duì)于就職崗位的滿意度調(diào)查情況，包括職工學(xué)歷、薪資、所屬部門(mén)、滿意度等信息。按照職工所屬的四個(gè)部門(mén)，分別從四個(gè)部門(mén)中抽取70%、10%、10%、10%的樣本，抽取10%、70%、10%、10%的樣本，抽取10%、10%、70%、10%的樣本，抽取10%、10%、10%、70%的樣本構(gòu)成一個(gè)目標(biāo)域與三個(gè)源域。

g）TelecomChurn是電話營(yíng)銷(xiāo)情況數(shù)據(jù)集，根據(jù)客戶通話次數(shù)1、2、6、7劃分為四個(gè)類(lèi)別。客戶成功下單的樣本為正例，未下單的樣本為負(fù)例。分別從四類(lèi)里抽取64%、12%、12%、12%的樣本，抽取12%、64%、12%、12%的樣本，抽取12%、12%、64%、12%的樣本，抽取12%、12%、12%、64%的樣本構(gòu)成一個(gè)目標(biāo)域與三個(gè)源域。

h）HeartAttack數(shù)據(jù)集是一個(gè)心臟病發(fā)作情況數(shù)據(jù)集。選擇胸痛類(lèi)型為典型心絞痛、非典型心絞痛、非心絞痛三個(gè)類(lèi)別，將高頻度發(fā)作的樣本記為正例，其余為負(fù)例。分別從三類(lèi)里抽取50%、25%、25%的樣本，抽取25%、50%、25%的樣本，抽取25%、25%、50%的樣本構(gòu)成一個(gè)目標(biāo)域與兩個(gè)源域。

i）Marketing是營(yíng)銷(xiāo)數(shù)據(jù)集。根據(jù)人員所屬職業(yè)不同，將學(xué)生、藍(lán)領(lǐng)人員、退休人員記為三個(gè)類(lèi)別。成功購(gòu)買(mǎi)服務(wù)的樣本記為正例，未購(gòu)買(mǎi)服務(wù)記為負(fù)例。分別從三類(lèi)里抽取60%、20%、20%的樣本，抽取20%、60%、20%的樣本，抽取20%、20%、60%的樣本構(gòu)成一個(gè)目標(biāo)域與兩個(gè)源域。

j）ISIC是一個(gè)皮膚癌圖片數(shù)據(jù)集，原始圖像尺寸為640×400，通過(guò)進(jìn)行降維得到40×40像素。每一個(gè)像素值均為0～64的灰度值。將鱗狀細(xì)胞癌樣本記為正例，其余癌癥類(lèi)型記為負(fù)例。根據(jù)不同的皮膚癌類(lèi)型，抽取20%的鱗狀細(xì)胞癌樣本、40%的脂溢性皮膚癌樣本、60%的基底細(xì)胞癌樣本作為目標(biāo)域。抽取60%的鱗狀細(xì)胞癌樣本、40%的脂溢性皮膚癌樣本、20%的基底細(xì)胞癌樣本作為第一個(gè)源域。抽取20%的鱗狀細(xì)胞癌樣本、20%的脂溢性皮膚癌樣本、20%的基底細(xì)胞癌樣本作為第二個(gè)源域。

本文主實(shí)驗(yàn)在Visual Studio 2019內(nèi)完成，操作系統(tǒng)為64位版本的Windows 7，處理器為Intel Core i7 4710MQ CPU@ 2.50 GHz，內(nèi)存16 GB。

3.2 實(shí)驗(yàn)設(shè)置

本文對(duì)于進(jìn)行實(shí)驗(yàn)的數(shù)據(jù)集根據(jù)各自的特征進(jìn)行了抽取劃分。首先，對(duì)于每個(gè)數(shù)據(jù)集按照抽取比例隨機(jī)抽取500次，并按照式（8）計(jì)算絕對(duì)值差值，選取這500次差值絕對(duì)值的中位數(shù)作為該數(shù)據(jù)集的抽取比較基準(zhǔn)α。以Tic-Tac-Toe、Marke-ting、Wine數(shù)據(jù)集為例，圖2展示了它們500次差值絕對(duì)值的分布情況。

對(duì)于劃分的數(shù)據(jù)，使用式（7）對(duì)源域數(shù)據(jù)到目標(biāo)域KL距離進(jìn)行了計(jì)算，具體結(jié)果如表2所示。

樣本權(quán)重的初始值設(shè)定考慮普遍通用的特性［16，17］，對(duì)于所有的樣本使用平均權(quán)重初始化的方法。與DtrBoost算法一致，本文提出的UmtrBoost算法使用平均權(quán)重初始化的方法初始化樣本權(quán)重。在不同的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)時(shí)，模型分類(lèi)精度最高時(shí)的參數(shù)κ、μ的大小各不相同。這兩項(xiàng)參數(shù)設(shè)置影響了懲罰項(xiàng)的大小與振幅。與單源域的遷移情景不同，知識(shí)從多個(gè)不同源域遷移到目標(biāo)域，出現(xiàn)振蕩的可能性更大，因此懲罰項(xiàng)大小比DtrBoost算法的懲罰項(xiàng)參數(shù)更小。以式（14）為例，前兩項(xiàng)經(jīng)過(guò)指數(shù)函數(shù)運(yùn)算后結(jié)果較小，為了保持計(jì)算量綱的一致，κ的搜索空間為{10－16，10－17，…，10－20}，μ的搜索空間為{2－17，2－18，…，2－20}。這兩項(xiàng)參數(shù)的具體設(shè)定如表3所示，表中前6個(gè)數(shù)據(jù)集劃分了兩個(gè)源域，后三個(gè)數(shù)據(jù)集劃分了三個(gè)源域。

EasyEL算法是一種普適性遷移學(xué)習(xí)算法，該算法進(jìn)行遷移學(xué)習(xí)是不需要設(shè)置任何額外的參數(shù)。CORAL通過(guò)對(duì)齊源域和目標(biāo)域分布的二階統(tǒng)計(jì)信息，而不需要任何目標(biāo)標(biāo)簽，從而最大限度地減少了域轉(zhuǎn)移。SOT通過(guò)使用域適應(yīng)的子結(jié)構(gòu)級(jí)別的匹配，以更好地利用活動(dòng)數(shù)據(jù)的局部性信息進(jìn)行準(zhǔn)確高效的知識(shí)轉(zhuǎn)移。為公平起見(jiàn)，本文所有算法的迭代訓(xùn)練次數(shù)均為100次。

3.3 實(shí)驗(yàn)結(jié)果

本文在10個(gè)數(shù)據(jù)集上的分類(lèi)情況如表4、5所示。分類(lèi)錯(cuò)誤率最低的值加粗表示，次小值用下畫(huà)線標(biāo)注。實(shí)驗(yàn)結(jié)果表明UmtrBoost算法優(yōu)于各個(gè)基線算法。在ISIC、Marketing數(shù)據(jù)集上，UmtrBoost算法提升程度較大，這是由于UmtrBoost算法可以根據(jù)源域到目標(biāo)域的KL距離分配不同程度的學(xué)習(xí)權(quán)重，依照不同的權(quán)重進(jìn)行遷移知識(shí)。在三個(gè)三源域的數(shù)據(jù)集上，UmtrBoost算法雖然比基線算法的分類(lèi)精度都高，但提升的比例不是很大，主要是因?yàn)楦髟从蚺c目標(biāo)KL距離在量級(jí)上差距較大，產(chǎn)生的學(xué)習(xí)梯度振蕩的可能性較大，從而削弱了UmtrBoost算法的學(xué)習(xí)能力。

圖3展示的是100次迭代訓(xùn)練后的UmtrBoost算法模型平均節(jié)點(diǎn)數(shù)目與平均節(jié)點(diǎn)深度。最后所有的模型節(jié)點(diǎn)數(shù)目均小于訓(xùn)練迭代的次數(shù)，這是由于選擇最佳分類(lèi)器的時(shí)候可能選擇已有分類(lèi)器，而不是將該次迭代訓(xùn)練的分類(lèi)器加入模型中，這說(shuō)明了模型具有自適應(yīng)的能力。模型訓(xùn)練的單個(gè)分類(lèi)器深度可以是1或者2，最終的平均深度在1～2，這也體現(xiàn)了模型的自適應(yīng)能力。這種自適應(yīng)能力可以增加最佳分類(lèi)器的權(quán)值，在最終的集成模型中，被選為最佳分類(lèi)器次數(shù)最多的分類(lèi)器可以獲得較大的權(quán)重，從而提升了在所有分類(lèi)器中的權(quán)重比例，進(jìn)而提高分類(lèi)精度。

4 結(jié)束語(yǔ)

本文提出一種無(wú)監(jiān)督場(chǎng)景下的多源域優(yōu)化權(quán)重的遷移學(xué)習(xí)方法。首先按照KL距離計(jì)算用于偽標(biāo)簽標(biāo)注的各源域樣本數(shù)目。之后，訓(xùn)練偽標(biāo)簽標(biāo)注模型標(biāo)注目標(biāo)域數(shù)據(jù)。最終，實(shí)現(xiàn)多源域的遷移學(xué)習(xí)。與DtrBoost算法相比，本文算法可以實(shí)現(xiàn)偽標(biāo)簽標(biāo)注，從而進(jìn)一步完成無(wú)監(jiān)督的多源域遷移學(xué)習(xí)。實(shí)驗(yàn)證明，本文算法相對(duì)于基線算法實(shí)現(xiàn)了更好的分類(lèi)精度。同時(shí)，對(duì)于不同的數(shù)據(jù)集，UmtrBoost算法具有自適應(yīng)能力。

參考文獻(xiàn)：

［1］Zhuang Fuzhen，Qi Zhiyuan，Duan Keyu，et al. A comprehensive survey on transfer learning ［J］. Proceedings of the IEEE，2020，PP（99）： 1-34.

［2］Zhao Shu，Cao Qing，Chen Jie，et al. A multi-ATL method for transfer learning across multiple domains with arbitrarily different distribution ［J］. Knowledge-Based Systems，2016，94（2）： 60-69.

［3］Guo Liang，Lei Yaguo，Xing Saibo，et al. Deep convolutional transfer learning network： a new method for intelligent fault diagnosis of machines with unlabeled data ［J］. IEEE Trans on Industrial Electronics，2019，66（9）： 7316-7325.

［4］Menapace W，Lathuilière S，Ricci E. Learning to cluster under domain shift ［C］// Proc of European Conference on Computer Vision. Berlin： Springer，2020：736-752.

［5］Huang Zhiyong，Sheng Kekai，Dong Weiming，et al. Effective label propagation for discriminative semi-supervised domain adaptation ［EB/OL］. （2020-12-04）. https：//arxiv.org/abs/2012. 02621.

［6］Zhang Bin，Chen Cen，Wang Li. Privacy-preserving transfer learning via secure maximum mean discrepancy ［EB/OL］. （2020-09-24）. https：//arxiv.org/abs/2009. 11680.

［7］Sharma A，Kalluri T，Chandraker M. Instance level affinity-based transfer for unsupervised domain adaptation ［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscata-way，NJ： IEEE Press，2021： 5361-5371.

［8］Mitsuzumi Y，Irie G，Ikami D，et al. Generalized domain adaptation ［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2021： 1084-1093.

［9］Le T，Do D，Nguyen T，et al. On label shift in domain adaptation via Wasserstein distance ［EB/OL］. （2021）.https：//arxiv.org/abs/2110. 15520.

［10］Long Mingsheng，Wang Jianmin，Ding Guiguang，et al. Transfer feature learning with joint distribution adaptation ［C］// Proc of IEEE International Conference on Computer Vision. Piscataway，NJ： IEEE Press，2013： 2200-2207.

［11］Lu Hao，Zhang Lei，Cao Zhiguo，et al.When unsupervised domain adap-tation meets tensor representations［C］// Proc of IEEE International Conference on Computer Vision. Piscataway，NJ： IEEE Press，2017： 599-608.

［12］Cao Yue，Long Mingsheng，Wang Jianmin. Unsupervised domain ada-ptation with distribution matching machines ［C］// Proc of AAAI Conference on Artificial Intelligence. Piscataway，NJ： IEEE Press，2018.

［13］楊昌健，鄧趙紅，蔣亦樟，等. 基于0階TSK 型遷移模糊系統(tǒng)的 EEG 信號(hào)自適應(yīng)識(shí)別 ［J］. 計(jì)算機(jī)應(yīng)用研究，2015，32（8）： 2276-2280，2285. （Yang Changjian，Deng Zhaohong，Jiang Yizhang，et al. Adaptive recognition of epileptic EEG signals based on 0-order TSK type transfer fuzzy system ［J］. Application Research of Compu-ters，2015，32（8）： 2276-2280，2285.）

［14］Zhang Yun，Wang Nianbin，Cai Shaobin，et al. Unsupervised domain adaptation by mapped correlation alignment ［J］. IEEE Access，2018，6： 44698-44706.

［15］Lu Wang，Chen Yiqiang，Wang Jindong，et al. Cross-domain activity recognition via substructural optimal transport ［J］. Neurocompu-ting，2021，454： 65-75.

［16］Cortes C，Mohri M，Syed U. Deep boosting ［C］ //Proc of International Conference on Machine Learning. 2014： 1179-1187.

［17］Jiang Shuhui，Mao Haiyi，Ding Zhengming，et al. Deep decision tree transfer boosting ［J］. IEEE Trans on Neural Networks and Learning Systems，2019，31（2）： 383-395.

［18］左航旭，廖彬，陳小昆，等. 融合遷移學(xué)習(xí)和數(shù)據(jù)增強(qiáng)的SC-Net模型在皮膚癌識(shí)別中的應(yīng)用 ［J］. 計(jì)算機(jī)應(yīng)用研究，2022，39（8）： 2550-2555，2560. （Zuo Hangxu，Liao Bin，Chen Xiaokun，et al. Application of SC-Net model integrated with transfer learning and data augmentation in skin cancer classification ［J］. Application Research of Computers，2022，39（8）： 2550-2555，2560.）

［19］Kullback S，Leibler R A. On information and sufficiency ［J］. The Annals of Mathematical Statistics，1951，22（1）： 79-86.

［20］Bartlett P L，Mendelson S. Rademacher and Gaussian complexities： risk bounds and structural results ［J］. Journal of Machine Lear-ning Research，2003，3（3）： 463-482.

［21］Wang Jindong，Chen Yiqiang，Hao Shuji，et al. Balanced distribution adaptation for transfer learning［C］//Proc of IEEE International Conference on Data Mining. Piscataway，NJ： IEEE Press，2017： 1129-1134.

［22］Wang Jindong，Chen Yiqiang，Yu Han，et al. Easy transfer learning by exploiting intra-domain structures ［C］// Proc of IEEE International Conference on Multimedia and Expo. Piscataway，NJ： IEEE Press，2019： 1210-1215.

［23］Sun Baochen，F(xiàn)eng Jiashi，Saenko K. Return of frustratingly easy domain adaptation ［C］// Proc of AAAI Conference on Artificial Intelligence. 2016.

［24］Lu Wang，Chen Yiqiang，Wang Jindong，et al. Cross-domain activity recognition via substructural optimal transport ［J］. Neurocompu-ting，2021，454： 65-75.

收稿日期：2022-06-16；修回日期：2022-08-24 基金項(xiàng)目：國(guó)家自然科學(xué)基金資助項(xiàng)目（61972181）

作者簡(jiǎn)介：李赟波（1998-），男，江蘇海門(mén)人，碩士，主要研究方向?yàn)槿斯ぶ悄堋⒛Ｊ阶R(shí)別；王士同（1964-），男（通信作者），江蘇揚(yáng)州人，教授，博導(dǎo)，主要研究方向?yàn)槿斯ぶ悄堋⒛Ｊ阶R(shí)別等（wxwangst@aliyun.com）.