面向特征生成的無監督域適應算法

吳子銳，楊之蒙，蒲曉蓉，徐 杰，曹 晟，任亞洲,2*

(1. 電子科技大學計算機科學與工程學院 成都 611731；2. 電子科技大學廣東電子信息工程研究院 廣東 東莞 523808)

在圖像的各種任務中，圖像聚類[1-2]將相似圖像聚在一個類，將不相似圖像分開。而圖像分類[3]則需判斷圖像屬于某個類別，在圖像分析任務中扮演著重要角色。近年來，隨著智能手機等可手持攝像設備的普及，圖像數據大幅提高。在圖像的分類方法中，深度神經網絡扮演著重要的角色[4-5]。但隨著圖像的分辨率及內容復雜度急劇增加，好的神經網絡往往需要復雜的結構以及大量帶標簽的圖像才能 訓練。

針對有效神經網絡結構復雜等問題，提出了大量優秀的圖像分類網絡，如AlexNet[6]、InceptionV3[7]等。現有的分類任務均使用這些成熟的分類網絡初始化自身網絡[8-9]。一般情況下，在使用已有網絡參數進行模型初始化后，會添加針對于任務本身的網絡結構并依據任務目標進行參數優化，如文獻[10]結合了無監督深度卷積生成對抗網絡表示學習算法(unsupervised representation learning with deep convolutional generative adversarial networks, DCGAN)[11]和Resnet[12]完成圖像分類；文獻[13]則對MobileNet[14]進行改進，將標準卷積形式替換為深度可分離卷積進行圖像分類。對于有監督的數據，標簽信息可以指導參數的準確優化，而在一些真實場景中，存在標簽不足、準確標記困難等問題，使獲得具有良好標記訓練集的代價很大。但對于無標簽的復雜圖像，因為缺乏強有力的模型目標，往往難以達到預期效果。

為了解決這些問題，無監督領域適應(unsupervised domain adaptation, UDA)應運而生。它的目的是將源域的帶標簽數據中的知識轉移到無標簽的目標域上，以提高目標域樣本的分類預測性能。現有的無監督域適應算法主要分為兩類：1) 使用深度神經網絡和域之間的距離函數作為損失函數優化網絡，這類方法難以找到合適的域間距離衡量標準，以及受源域樣本量影響，導致模型欠擬合，如文獻[15]用最大平均差異(maximum mean discrepancy,MMD)[16]來計算域間的差異；2) 基于生成對抗網絡的UDA 方法，無監督像素域適應方法(unsupervised pixel-level domain adaptation, PixelDA)[17]使用生成器生成“假”(fake)樣本，并使用判別器來區分這些生成的實例是否來自目標域的樣本。耦合生成對抗網絡(coupled generative adversarial networks, Co-GAN)[18]使用一對生成器，前幾層通過權重共享約束促使來自不同域的實例樣本提取相同的語義，并在生成器的最后幾層中被分解為不同的低層細節。這類模型的缺陷在于GAN 的不穩定性，利用GAN生成復雜圖片需要大量的樣本量以及精細的模型參數優化過程，嚴重影響聚類分類效率。

為此，本文提出了面向特征生成的無監督域適應算法Feature-GAN，結合DAN 方法在特征層完成域適應，模型易訓練，又結合GAN 可用于特征生成，避免尋找特定域間距離衡量標準，解決了現有無監督域適應方法存在的問題。

1 特征生成網絡

文獻[19]提出的生成對抗網絡，是一個利用極小極大博弈來訓練深度生成模型的框架。其目的是學習一個生成器網絡G，從這個生成器中生成的樣本分布PG(x)與 真實數據分布Pdata(x)相匹配。訓練中判別器網絡D最大化生成分布和真實分布的距離，而G致力于生成最小化這個最大距離的數據。它們的最小最大化博弈表達式為：

式(1)可優化為JS 散度[19]，JS 散度衡量兩個分布的相似度，通過生成器的優化，兩個分布的JS 散度降低了，即生成分布接近了真實分布。但當兩個分布本來的重疊度很低時，JS 散度將維持常數[20]，目標函數的梯度為零，即對于接近最優的判別器來說，生成器很可能面臨梯度消失的問題。本文根據圖像分類任務的特點，即在特征空間上進行區分而不是原始數據上進行區分，提出特征生成網絡(Feature-GAN)，將低維高斯噪聲z加入較高維的帶標簽特征fs后，一起輸入生成器網絡中，生成同一維度的特征而不是高維原始數據，判別器網絡則區分真實特征分布和生成特征分布。

2 面向特征生成的無監督域適應模型

對于無監督領域適應問題，通常假設有一個具有Ns個帶標簽樣本的源域，記為Xs=，和一個具有Nt個無標簽樣本的目標域，記為Xt=。任務目標是訓練一個能同時在源域和目標域上都取得良好分類結果的分類器。模型由特征生成對抗網絡和分類器構成，網絡結構如圖1 所示。

圖1 中，源域帶標簽的樣本Xs和目標域不帶標簽的樣本Xt由同一個特征提取器E1提取出特征后，源域特征Fs加入高斯噪聲z經 生成器G映射成符合目標域分布的生成特征Ff，同樣的源域樣本與不同的噪聲可以生成不同的“假”特征，可解決源域樣本不足的問題。判別器D則對生成特征Ff和目標域特征Ft進行區分，經過生成器和判別器的對抗訓練后就可以得到符合目標域分布的生成特征Ff，帶標簽的生成特征和通過另一個特征提取器E2提取的源域特征一起用于訓練分類器C，得到同時適合源域和目標域的分類器。

圖1 模型結構示意圖

該模型可以分為以下3 部分。

1) 特征提取器：E(x;θE)→f，模型中兩個特征提取網絡E1和E2參數分別為 θE1和 θE2，E將源域和目標域的數據x映射成生成特征空間F上的向量f；

2) 特征生成網絡(Feature-GAN)：生成器G(fs,z;θG)→f f，模型參數為 θG，將來自源域特征空間的輸入fs加 入高斯噪聲z后映射成符合目標域特征分布的向量f f；判別器D(f;θD)→d，模型參數為 θD， 該函數輸出給定輸入特征f從目標域中采樣的可能性d。判別器試圖區分生成器產生的“假”特征f f和來自目標域的“真”特征ft；

3) 特征分類器：C(f;θC)→y?， 模型參數為 θC，訓練階段使用源域數據和生成特征訓練C，測試階段分類器C用于預測目標域數據的類別。

本文模型中生成階段和分類階段使用了不同的特征提取網絡E1和E2。在實際訓練中，E1和E2會與特征生成網絡、特征分類網絡一起訓練，因此使用不同的特征提取器可以提取分別適合特征生成對抗網絡和特征分類的特征。在本文使用的兩個特征提取網絡中，源域和目標域共享一個特征提取網絡E1，提取的特征輸入到特征生成對抗網絡。另一個特征提取網絡E2提取適合分類器訓練的源域特征。

模型的目標函數如下：

式中， Ld為生成對抗損失，由式(3)定義； Lc為分類任務的損失，采用交叉熵損失定義；超參數 α控制他們之間的大小關系，有：

值得注意的是，分類器的交叉熵損失的計算同時考慮了源域特征和生成的“假”特征，比起只用生成的“假”特征訓練分類器，源域特征的加入可以加快生成器的訓練并保證“假”特征的類間距離。

將特征提取器加入損失函數后，模型的目標函數變為：

輸出訓練好的Feature-GAN 模型

Feature-GAN 模型訓練好后，將待分類的目標域圖像輸入特征提取器E2后，再通過分類器C計算得到預測標簽，即=C(E2(xt;θE2);θC)。

3 實 驗

3.1 實驗設置

3.1.1 數據集與對比算法

Office-31[21]是一個應用最為廣泛的基于圖片的領域適應的數據集。一共包含4 652 張圖片，分為31 個類別。這些圖片來自3 個不同的領域，分別為 Amazon(A)、DSLR(D)和Webcam(W)。其圖像均為辦公室中的日常物品，分別為amazon 網站上的商品展示圖、數碼單反相機拍攝的圖片、經過webcam 軟件處理后的圖像。由于Office-31 的實例數較少，本文選取其中5 個類(Keyboard, Laptop,Mouse, Printer 和Scissors)做數據增強(即噪聲添加、隨機旋轉和強化)以獲得更多數據。每個領域都有500 個樣本，每個類提供100 個樣本，樣本圖片如圖2 所示。實驗中將基于這3 個領域的數據集設置6 個遷移任務。

圖2 Office-31 數據集樣本圖片

Office-Home[22]：原始的Office-Home 數據集包含來自4 個領域的65 個類別共15500 張圖像，本文選用了其中3 個領域：Clipart(C), Product(P),Real World(R)中數據量較多的7 個類(Candles,Chair, Flowers, Keyboard, Monitor, Scissors, Speaker)。其圖像均為日常生活物品，這3 個域的圖像分別為剪貼畫、無背景的產品圖像、用相機拍攝的常規圖像，樣本圖片如圖3 所示。實驗中將基于這3 個領域的數據集設置6 個遷移任務。

圖3 Office-Home 數據集樣本圖片

數據集設置如表1 所示。

表1 數據集設置

現將Feature-GAN 與以下5 種算法進行比較。

1) InceptionV3[7]： 使 用 源 域 數 據 訓 練 的InceptionV3 網絡進行目標域數據分類，作為對比試驗的基準數據。

2) 最大化類間差異無監督域適應算法(maximum classifier discrepancy for unsupervised domain adaptation, MCD)[23]：通過最大化生成器的分類差異，避免生成器在類邊界生成模糊特征。

3) PixelDA[17]：像素級別領域適應算法，將源域圖像和隨機噪聲輸入進生成器以生成符合目標域圖像分布的數據。

4) 基于偽標簽選擇結構預測的域適應算法(unsupervised domain adaptation via structured prediction based selective pseudo-labeling, SPL)[24]：采用在特征層面完成域適應的方法，其特征提取網絡參數固定，不參與訓練，且在目標域的分類過程中采用了自步技巧。

5) 無監督域適應性搭建域空間的橋梁(bridging domain spaces for unsupervised domain adaptation,FixBi)[25]：引入了一種基于固定比率的混合來增加源域和目標域之間的多個中間域，逐漸將知識從源域遷移到目標域。

3.1.2 實現細節

本文實驗中，MCD、SPL、FixBi 均用原作者公開的代碼，PixelDA 采用github 用戶eriklindernoren復現的代碼。為了公平比較，本文提出的Featrue-GAN 模型中的兩個特征提取網絡和所有對比算法中的特征提取網絡都采用InceptionV3[7]網絡，其初始化參數采用ImageNet 數據集上預訓練的模型參數。所有實驗均在同一環境下完成，計算機處理器 的 配 置 為Intel(R) Core(TM) i7-6800K CPU @3.40 GHz，內存 10 GB，GPU 為 NVIDIA GeForce GTX 1080Ti 11 GB。在 Ubuntu 環境下配置 python環境以及 pytorch 框架。所有實驗均在 python 3.7，CUDA 9.0 以及 pytorch 1.4 的框架下實現。

3.2 實驗結果

模型在Office-31 和Office-Home 兩個數據集上的準確率測試結果分別如表2 和表3 所示，表格中每列的最優值加粗表示。從對比實驗結果可以看出，Feature-GAN 在絕大部分遷移任務上都取得了更好的結果。與InceptionV3 實驗的對比說明，遷移后的特征所訓練的分類器極大地優于未遷移特征所訓練的分類器。與PixelDA 的對比結果說明，將生成器的任務由生成圖像修改為生成特征所能帶來的改善，提升率大多超過10%。與MCD 和FixBi等最新域適應算法的對比也說明了Feature-GAN 的有效性。與SPL 算法比較時，在D→A，W→A 等子實驗中，由于數據集Amazon的噪聲較大，而SPL 算法使用了自步域適應算法，故其精度高于其他對比算法。

表2 Office-31 數據集上的實驗結果 (acc) %

表3 Office-Home 數據集上的實驗結果 (acc) %

為了說明域適應過程使得目標域和源域數據更好區分的結果，圖4 展示了在域適應之前和域適應之后源域及目標域的樣本分布(通過t-SNE[26]進行特征可視化)，可以看到在域適應完成以后，無論是源域還是目標域，不同類別的樣本分界線更明顯，源域與目標域同一類別之間的樣本也趨于同一分布形態。

圖4 源域與目標域樣本特征的分布

另外，Feature-GAN 是面向特征層面的域適應模型，圖5a 展示了域適應操作的不同特征維數變化對模型的影響。在Office-Home 數據集的實驗證明了本文的模型對進行域適應的特征維數的魯棒性。當特征維度在一個較大的范圍內變化時，模型可保持較為平穩的分類精度。超參數 α對模型的影響在Office-31 數據集上進行了對比實驗，結果如圖5b 所示，平衡系數α 的取值對模型準確率的影響較小，進一步驗證了本文模型訓練的穩定性。

圖5 不同參數對模型acc 的影響

4 結 束 語

本文提出了圖像特征層面的無監督域適應方法Feature-GAN，克服了傳統域適應算法域間距離函數難以定義的問題，避免了基于樣本生成的算法中訓練慢、不穩定的問題。具體地，Feature-GAN通過使用源域圖像的特征生成目標域圖像的特征。生成的特征既擁有源域圖像特征的標簽，又擁有目標域的圖像特征的分布。域適應過程和圖像分類過程采用不同的特征提取器，避免域適應過程模糊特征類間差異。該方法參數量少，訓練穩定。