基于深度條件適應網絡的標簽轉移算法

劉雪鋒 李京忠

(許昌市數字化學習工程技術研究中心 河南 許昌 461000) 2(許昌學院城市與環境學院 河南 許昌 461000)

0 引 言

深度神經網絡在圖像分類、目標檢測、圖像檢索、人體姿勢識別等多種計算機視覺任務中取得了巨大成功[1-2]。然而,為每個新任務收集足夠的標記數據是一個非常昂貴和耗時的過程,缺乏帶注釋的訓練數據會顯著降低深度學習模型的性能[3]。為了解決標簽隨機性問題,有人提出了一種稱為域自適應的方法,其目的是通過轉移從相關標記好的源域中學習到的知識來提高無監督目標任務的性能[4]。

域自適應的主要問題是最小化源域和目標域之間的域差異,最廣泛使用的解決方案是對訓練數據重新采樣或學習域公共特征[5]。但是,基于度量的算法在無監督自適應任務的情況下無法適應域條件分布,這種缺點會導致模式不匹配或模式崩潰問題。一些方法試圖通過匹配聯合分布或條件分布來提高無監督自適應性能。文獻[6]用最大平均差進行了邊緣和條件適應(MMD)度量和偽目標標簽。文獻[7]提出了標簽結構一致性方法來探索未知目標信息,并實現了條件分布自適應。此外,文獻[8]嘗試使用加權MMD度量來解決類先驗分布偏差問題,其中偽標簽被用來減少類權重偏差。最近的一些研究表明,深層神經網絡的底層學習域不變表示和結合學習的域自適應算法正在被提出[9-10]。深度適應算法最有前途的方法之一是基于域差異度量,這些算法利用域距離度量顯式地減少了域分布的差異,并在許多應用中取得了成功。但是,上述無監督傳輸方法直接使用源分類器的預測作為偽目標標簽,直接預測只基于輸出向量的最大值,所以對噪聲和域偏移非常敏感,降低了域的自適應性能。

針對上述問題,提出一種基于深度條件適應網絡和標簽相關傳輸算法的無監督域自適應方法,通過實驗對比驗證了本文算法的有效性。

1 深度自適應網絡

1.1 相關知識

為了更有效地評估分布差異,使用Wasserstein距離來獲得更穩定的梯度。給定一個度量空間(M,ρ),兩個Borel概率之間的第ρ個Wasserstein距離定義為:

(1)

圖1 二維空間

Wasserstein距離相比KL散度、JS散度的優越性在于,即便兩個分布沒有重疊,Wasserstein距離仍然能夠反映它們的遠近。考慮如下二維空間中的兩個分布P和Q,P在線段AB上均勻分布,Q在線段CD上均勻分布,參數θ代表兩個分布之間的距離。通過控制參數θ可以控制著兩個分布的距離遠近。三個散度可以定義為:

(2)

(3)

W(P,Q)=|θ|

(4)

從式(2)-式(4)可知KL散度和JS散度是突變的,要么最大要么最小,Wasserstein距離卻是平滑的,如果我們要用梯度下降法優化θ這個參數,前兩者根本提供不了梯度,Wasserstein距離卻可以。類似的,在高維空間中如果兩個分布不重疊或者重疊部分可忽略,則KL和JS既反映不了遠近,也提供不了梯度,但是Wasserstein卻可以提供有意義的梯度。

1.2 基于DCAN的無監督條件適應

DCAN的框圖如圖2所示。主要有三個組成部分:特征提取網絡fφ、Wasser-stein距離網絡fw和分類器網絡fc。此外,構造了一個重加權源域,并進行了條件自適應,使目標域和重加權源之間的分布差異最小化。正如前面幾節所強調的,本文工作的主要目標是匹配不同域之間的條件分布。在本文中,確定一個特征變換Φ來將跨域數據X傳輸到特征空間Φ(X),從而存在ps(φ(Xs)|Ys)≈pt(φ(Xt)|Yt)和ps(φ(Ys))≈pt(φ(Yt)),然后通過最小化條件域分布差異來執行條件域自適應。

圖2 DCAN的框圖

構造了兩個深度神經網絡fφ(X)和fw(h),分別實現了特征傳輸和Wasserstein距離估計。特征網絡fφ(X)有五個卷積層,每層后面由一個匯集層和一個完全連接的層組成。隱藏特征h=Φ(X)=fφ(X):Rm→Rd由fφ(X)生成,其中m和d分別是數據空間和特征空間的維數。Wasserstein網絡fw(h)是一個多層全連通神經網絡,將Wasserstein距離W1(ps,pt)近似為:

(5)

(6)

(7)

式中:Wcls表示滿足Lipschitz約束的Wasserstein距離;μ為梯度懲罰系數;lgrad表示梯度懲罰因子。最后,構造了一個分類器網絡fc(h)來實現圖像分類任務。fc的輸出是一個典型的Softmax函數,它預測每個輸入樣本的概率。采用監督學習中廣泛使用的交叉熵函數作為分類損失函數:

(8)

結合式(8)和式(9),可以得到DCAN的整個損耗函數:

lDCAN(xs,xt)=lc(xs)+λclassifylc(xt)+

λadapladap(xs,xt)

(9)

式中:u∈{s,t};λclassify和λadap分別是分類和適應平衡系數。DCAN的詳細網絡架構設置如表1所示。

表1 深度條件適應網絡的參數

現在考慮類先驗偏差問題。首先,構造了一個重加權源分布ps,α(xs),以平衡源域和目標域之間的類偏差。平衡的原理主要根據目標域和學得的源分類器,近似地估計出目標域無標簽數據的條件分布,并設定與目標域條件分布相近的源域賦予較大的權值。實例權重法通過調整已知領域中的實例樣本的權重提升目標域中輔助域的實例權值,從而更好地適配目標域的數據;該方法著力于如何估算目標領域和輔助領域的概率密度比值。具體的重加權推導可以參考文獻[12]。

(10)

式中:αy=c=pt(yt=c)/ps(ys=c)。顯然,重加權源分布與目標域具有相同的類先驗分布,并保持與源域相同的條件分布。

然后利用Wasserstein距離來計算ps,α和pt之間的差異,得到

(11)

式中:ns和nt分別是源域和目標域的數目。目標域是未標記的,因此直接計算ladap和lc是DCAN的一大挑戰。

1.3 標簽相關傳輸

為了解決無監督的問題,提出標簽相關傳輸算法。如前幾節所討論的,類別之間的關系從源域到目標域是一致的,可以用來預測偽目標標簽。

(12)

1.4 DCAN的優化

(a) 源樣本和目標樣本的平均輸出分布

當整個優化完成后,分離出最優的fφ-fc網絡流,在測試階段對目標圖像進行分類。算法1總結了優化過程。

算法1優化過程算法

輸入:源數據{Xs,Ys}和目標數據{Xt}。

輸出:優化DCAN模型。

1.通過AlexNet預訓練初始化參數fc、fΦ和fw、θw和θc;

2.重復

3.從Xs和Xt采集數據批次Bs和Bt,將Bs和Bt輸入fΦ,學習相應的hs和ht;

5.更新θw和θΦ:

6.更新θc和θΦ:

7.直到θw、θΦ和θc收斂。

1.5 計算復雜性

與傳統的域自適應方法相比,DCAN采用了基于Wasserstein距離的域分布差異評估、類先驗偏差求解策略和標簽相關轉移算法來解決域自適應問題。現在將討論每種技術的計算復雜性。首先,對于用多層神經網絡實現的Wasserstein距離,利用乘法累加運算次數(MACC)來評估時間復雜度。由表1計算可得,Wasserstein網絡的MACC為1 024×256+256×1≈2.6×105。這比大多數深度學習域自適應方法廣泛采用的特征提取網絡小三個數量級。因此,可以忽略Wasserstein距離實現的時間復雜性。其次,對于類先驗偏差求解策略,只計算與輸入數據個數呈線性關系的重加權參數αy=c。因此,對于大規模數據集,類先驗偏差求解策略的時間復雜度是可以接受和實用的。最后,對于標簽相關傳輸算法,計算復雜度為O(n×C2),這對于大規模數據集來說是不切實際的。然而,并不是每次迭代都執行標簽相關傳遞算法。在本文實驗中,每十次迭代執行一次該算法,從而大大降低了計算復雜度?？傮w而言,DCAN的計算復雜度比傳統的域自適應方法要大,但這種方法在許多應用中仍然是可行的和實用的。

2 實驗與分析

2.1 數據集

在一組實驗的基礎上使用標準的域自適應基準數據集對DCAN進行了驗證。從標簽相關性評價、特征可視化和參數敏感性三個方面研究了DCAN的性能。

實驗使用四個數據集:Office-Caltech、ImageCLEF-DA、數字識別和虹膜熱量/可見人臉數據庫。

Office-Caltech是域適應的標準基準。數據集是Office-31和Caltech-256的組合,包括兩個數據集之間共享的10個類別。Office-Caltech包含四個域,即A(亞馬遜)、W(網絡攝像頭)、D(DSLR)和C(加州理工)。按照DAN的設置,設置了14個適應任務,A→W,D→W,W→D,A→D,D→A,W→A,A→C,W→C,D→C,C→A,C→W,C→A,C→W,C→D,并采用標準的無監督傳輸協議。

對于源域,使用所有標記的樣本。對于目標域,使用50%的未標記圖像進行訓練,其余的用于測試。

ImageCrep-DA是為ImageCrep 2014領域適應挑戰而開發的。該數據集由五個廣泛使用的圖像基準(Caltech-256、ImageNet 2012、Pascal VOC 2012、Bing和SUN)之間共享的11個常見類別。使用ImageCLEF的一個子集,包括C(Caltech-256)、I(ImageNet 2012)、P(Pascal VOC 2012)和B(Bing)四個域,然后執行11個轉移任務:C→I,C→P,C→B,I→C,I→B,I→B,P→C,P→I,P→B,B→C,B→B,利用所有標記圖像進行源域自適應實驗。與所有領域相似的Office-Caltech數據集相比,ImageCLEF數據集包含不同分辨率和不同比例的圖像,因此可以生成更全面的實驗結果。對于Office-Caltech和ImageCLEF-DA數據集,通過將圖像裁剪為227×227像素并減去總平均值來對圖像進行預處理。

數字識別是一個混合數據集,包含三個子數據集:MNIST、USPS和SVHN。其中,MNIST數據集是由60 000個訓練樣本和10 000個測試樣本組成的手寫數字集。每個樣品的尺寸為28×28。USPS是一個小規模的數字數據集,共有7 291幅訓練圖像和2 007幅測試圖像,所有圖像的大小為16×16。SVHN是一個真實世界的數字數據集,包括73 257個訓練數字和26 032個測試數字,圖像大小為32×32。建立了M(MNIST)、U(USPS)、S(SVHN)三個域,以及M→U、U→S、S→M、M→S四個傳輸任務,對數字數據集進行數據預處理:將所有圖像整形到16×16,并將像素值重新調整到[0,1]范圍內。由于數字識別數據集中的圖像尺寸很小,特征提取網絡的結構也相對簡單。構建了一個兩層全連接網絡,將圖像投影到1 024維的特征向量上。

虹膜熱量/可見光面部數據庫包含了從30個人采集的4 228對熱圖像和可見光圖像。每個個體的圖像都是在不同的光照、面部表情和姿勢下獲得的。根據圖像形態將數據分為可見域(V)和熱域(T),然后根據獲取條件將每個域劃分為三個子域?？偟膩碚f,有六個不同的領域,即可見光(VI)、可見表情(VE)、可見姿勢(VP)、熱照明(TI)、熱表情(TE)和熱姿勢(TP)。然后設置了12個轉移任務:VI→VE,VE→VP,VP→VI,TI→TE,TE→TP,TP→TI,VI→TE,TE→VP,VP→TI,TI→VE,VE→TP,TP→VI,前6個任務設置在相同的模式和不同的獲得條件下,后6個任務包含不同的模式和獲得條件。將人臉識別任務視為一個多類分類問題,以一個秩為1的識別率作為分類得分。

為了評估性能,將DCAN與一些廣泛使用的域自適應算法進行比較,包括傳輸分量分析(TCA)[13]、聯合分布自適應(JDA)[14],以及幾種最先進的深度傳輸方法:深度自適應網絡(DAN)[15]、標簽和結構一致性(LSC)[8]和加權最大平均值差異(WMMD)[9]。為了確保比較的有效性,將DeCAF特性[10]應用于兩種非深度學習算法TCA和JDA。選擇系數λclassify和λadap分別為0.7和0.4。此外,學習速率初始化為0.003,當損失穩定時乘以0.5。動量參數最初為0.5,在兩次迭代循環后增加到0.95,以幫助逃離鞍點。

2.2 實驗結果

實驗結果見表2-表4?？偟膩碚f,很明顯,所提出的DCAN在大多數自適應任務上都取得了更好的性能。從結果中得出了幾個主要結論。

表2 Office Caltech和ImageCrip數據集的標準適配協議的準確率(%)

表3 使用標準自適應協議的數字識別數據集的準確率(%)

表4 虹膜熱量/可見光面部數據庫的準確率(%)

1) 與非深度學習方法(如TCA)相比,DCAN的性能明顯優越。由于非深度學習方法簡單地使用現成的深層特征,無法有效地減少域分布差異。DCAN利用所提出的自適應算法對深部網絡進行優化,使DCAN學習到的特征具有更明顯的域不變性。這種深度自適應策略有助于提高性能。

2) 與其他深度自適應方法相比,DCAN具有更好的傳輸能力。這些優勢可以歸結為兩個方面。由于DCAN采用了標簽相關傳遞算法來預測目標域的偽標簽,因此可以更有效地解決域失配問題,實現條件自適應。此外,DCAN還解決了類先驗偏差問題,進一步提高了跨域分類性能。因此,對于Office Caltech任務,DCAN優于WMMD 1百分點和LSC 1.8百分點,在ImageCrip-DA任務中分別優于WMMD和LSC 1百分點和1.5百分點。特別是對于D→C等困難任務,DCAN比WMMD提高了6百分點,充分證明了DCAN的有效性。

3) 在多模態實驗中,DCAN在所有任務上都優于其他方法。這表明了DCAN在解決跨模態問題中的有效性。此外,將前6個任務與后6個任務進行了相應的比較,發現一些跨情態任務的表現優于相同情態的任務,如VI→TE任務。這是因為不同形式的圖像可以提供補充信息。DCAN在跨模態任務上獲得了1.6百分點的提升,這是所有比較方法中最高的。結果表明,所提出的DCAN能夠從不同的模式中學習可靠信息,并能很好地解決跨模式問題。

2.3 分析和討論

2.3.1標簽相關傳遞研究

在這一部分中,將進一步研究所提出的DCAN,以探索和證明該方法的有效性。本文進行了一系列實驗來驗證所提出的標簽相關傳輸算法。首先,研究了輸出分布的源樣本和目標樣本之間的關系。在實驗中,利用高溫訓練了一個Softmax分類器。分類器的輸出可以看作每個樣本的輸出概率分布。給出了輸出的總體平均值,并計算了這些分布的KL距離,如圖3所示。確定了同一類別的目標樣本和具有相似分布的樣本,這個觀察結果證實了提出的標簽相關傳遞算法的有效性。

然后通過實驗研究了標簽相關傳遞算法如何提高分類性能。目前大多數的無監督傳輸方法直接使用源分類器的預測作為偽目標標簽。直接預測只基于輸出向量的最大值,所以對噪聲和域偏移非常敏感。相反,標簽相關傳輸算法考慮了輸出的整體分布,因此,它對噪聲和域偏移更具魯棒性。做了一個比較實驗來證明這個直覺假設。DCAN的一個變體版本可以通過用直接目標標簽預測代替標簽相關傳輸過程來實現。根據從加州理工學院辦公室數據集中隨機選擇的四項轉移任務,比較自適應表現,結果如表5所示?？梢钥闯鲈糄CAN的性能優于改善DCAN,證明了提出的標簽相關轉移的有效性。

表5 改進后的與原始DCAN的比較結果

2.3.2評價Wasserstein距離的有效性

在本節中,將評估Wasserstein距離在域適應任務中的有效性。當學習不同域之間的差異時,Wasserstein距離比傳統距離提供更可靠的梯度。因此,可以更有效地執行域自適應。通過兩個實驗來證明Wasserstein距離的優越性。首先,評估了一個包含兩個具有不同均值和相同方差的高斯分布的合成數據集上的分布差異度量性能。然后使用Wasserstein和MMD方法估計兩個高斯分布之間的距離。結果如圖4所示。很明顯,Wasserstein距離與實際分布距離呈線性關系。然而,當分布相互分離時,MMD距離趨于飽和。這一結果證明了Wasserstein距離用于測量差異較大的區域分布的有效性。

圖4 MMD和Wasserstein距離的比較

然后,對Wasserstein距離法在現實世界的遷移任務中的應用進行了評價。用MMD距離代替Wasserstein距離構造了一個變異DCAN,并比較了兩種DCAN在四種轉移任務上的適應性能,結果見表6。結果表明,基于Wasserstein的DCAN模型優于基于MMD的DCAN模型,特別是對于D→C和C→W等不平衡和困難的轉移任務,這一結果表明了用Wasserstein距離來度量域差異的優越性。

表6 Wasserstein的DCAN和基于MMD的DCAN的比較結果

2.3.3特征可視化

使用t-SNE可視化方法來分析DCAN和DAN學習的特征映射的適應能力。在D→C任務上執行可視化,并在圖5中的嵌入特征中示出?？梢杂^察到DCAN的特征比DAN的特征更具鑒別性。特別是圓圈中,DCAN保留了類的距離,避免了DAN中出現的模式崩潰。其根本原因是DCAN執行無監督的條件適應策略。

(a) 任務D→C的DCAN的t-SNE嵌入特征

(b) 任務D→C的DAN的t-SNE嵌入特征圖5 DCAN和DAN的特征可視化

2.3.4參數靈敏度

通過改變λclassify∈{0.2,0.3,0.4,0.5,0.6,0.7,0.8,1.0,1.2}和λadap∈{0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,1}來研究平衡系數λclassify和λadap的影響。從三個實驗中選擇六個遷移任務來評估參數敏感性,結果如圖6所示。

(a) 不同λclassify的分類精度

圖6(a)顯示了不同參數λclassify下的六個轉移任務的分類精度。性能逐漸提高,在0.7左右達到最佳,然后隨著λ分類的增加略有下降。這表明,當目標分類損失的比例限制在一定范圍內時,目標分類損失有助于提高系統的整體性能。

圖6(b)顯示了不同λadap的精度。通常情況下,最佳折中參數λadap約為0.4,在極值點(過大或過小)下性能會顯著下降。這種鐘形曲線表明,分類和適應之間的適當平衡是重要和必要的。

2.3.5收斂性

在實驗的基礎上分析了所提出的DCAN算法的收斂性。選取了四個跨域任務,報告了域距離和精度隨訓練迭代的變化,結果如圖7所示。可以看出,精度在大約50次迭代時變得穩定,并在200～250次迭代中收斂。具體地說,確定域距離與精度呈負相關。這表明減小域差異可以提高跨域識別性能。這一結果再次證明了所提出的條件域自適應策略的重要性。

圖7 四個跨域任務的收斂性評估

3 結 語

針對目前無監督域自適應方法對噪聲和域偏移非常敏感,提出一種基于深度條件適應網絡的標簽轉移算法。通過數據集實例結果分析可得如下結論:

1) 域距離與精度呈負相關,減小域差異可以提高跨域識別性能。Wasserstein距離可以有效度量區域分布差異,有效解決了當鄰域差異較大時梯度消失問題,從而獲得更好的域適應性能。

2) Wasserstein距離可以有效度量區域分布差異,有效解決了當鄰域差異較大時梯度消失問題,從而獲得更好的域適應性能。

3) 提出的基于深度條件適應網絡和標簽相關傳輸算法的無監督域自適應方法考慮了輸出的整體分布,因此,它對噪聲和域偏移更具魯棒性,并且提升了算法的準確性和實用性。