跨域圖像分類中域不變細節特征提取算法

楊海花，應文豪，龔聲蓉,+

(1.蘇州大學 計算機科學與技術學院，江蘇 蘇州 215006；2.常熟理工學院 計算機科學與工程學院，江蘇 常熟 215500)

0 引 言

近年來，基于一個包含大量帶標簽樣本的數據集(源域)，設計一種跨域圖像分類器算法來提高只有少量標記樣本數據集(目標域)上的分類準確率引起了廣泛的關注[1]，跨域圖像分類方法主要分為兩類，一方面是對兩域間樣本數據的邊緣和條件做適配[2-7]，這類方法學習到的特征往往泛化能力較弱。另一方面，許多研究開始將深度學習和跨域圖像分類相結合，旨在學習更魯棒的特征。Rozantsev等[8]提出源域和目標域的網絡框架中部分層使用不同的參數而非共享參數；Zhang等[9]將源域和目標域分別輸入到兩個網絡，并且不分享參數以提取出更多的域特定特征；Shen等[10]利用同一網絡對源域和目標域編碼，并優化兩個編碼的相似性使源域和目標域的數據分布在語義上對齊；Lee等[11]提出Sliced Wasserstein Discrepancy用于捕捉任務特定分類器輸出之間的自然差異；Ganin等[12]通過優化網絡架構最小化域間差異。上述方法都取得了較好的結果，但在提取特征時對兩域中圖像的域不變細節信息缺乏考慮。

綜上，為了充分利用數據中的細節信息，本文提出基于混合池化和樣本篩選機制的域不變細節特征提取方法(fine-tuned hybrid pooling for deep domain adaptation，FHPDDA)。首先，本文基于卷積神經網絡提出混合池化策略，在原先的池化結果上進一步提取全局特征和局部細節特征。其次，本文設計了一種樣本選擇機制，基于聚類思想從源域和目標域中選取具有細節特征的樣本點，以學習兩域間的共有細節特征。

1 相關工作

WDGRL(wasserstein distance guided representation learning)的核心思想是將wasserstein距離作為距離度量函數，并通過減小域間距離來學習域不變特征表示。為了更好闡述該方法中的相關問題，下文中Ds表示源域，Xs表示源域中的樣本集合，Dt表示目標域，Xt表示目標域中的樣本集合。WDGRL的目標函數如下

(1)

其中，Lc為判別器的數據損失部分，λ和γ為平衡參數，Lwd為WDGRL方法中的核心，表示源域和目標域之間的差異程度，Lgrad為梯度懲罰項。

差異程度又可轉化為兩者之間的距離。針對不同的問題，研究人員提出不同的距離度量標準。WDGRL方法采用的wasserstein距離和其它距離相比，它的優越性是，即使兩個分布沒有重疊，wasserstein距離仍然能夠反映它們之間的遠近。給定一個度量空間 (M,ρ)，ρ(x,y) 是兩個樣本x和y間的距離函數，即wasserstein距離，表達式如下

(2)

其中，Phs，Pht是兩個領域中樣本的分布，fg(x) 為特征表示，fw(h) 為一個函數，該函數將特征表示fg(x) 轉換為所屬的類別編號。

如果 {fw} 滿足1 Lipschitz條件，wasserstein距離又可以轉化為求解模型的預測值與真實值之間的差值，即損失值。WDGRL方法中計算差值的損失函數如下

(3)

其中，xs表示源域中的樣本，xt表示目標域中的樣本，ns為源域的樣本數，nt為目標域的樣本數。

由式(3)可以看出，提取特征的好壞直接影響遷移效果。WDGRL模型利用卷積神經網絡對源域和目標域中的樣本分別進行卷積、池化等一系列操作，提取樣本的描述子特征。因為特征中往往編碼了某種模式或概念在特征圖的不同位置是否存在，而觀察不同特征的最大值能夠給出更多的信息[13]，所以WDGRL采用最大池化對卷積特征圖進行處理，剔除無用且造成干擾的特征，僅保留能夠表征圖像內容的全局特征。但是，在實際分類任務中，有些圖片的相似度很低，僅靠全局特征會造成機器的誤判，圖1(a)和圖1(b)可能會被誤判為車輪和眼鏡，但實際上它們和圖1(c)一樣，都屬于耳機這一類別。

圖1 共有特征不明顯的耳機類別

2 基于混合池化和樣本篩選的域不變細節特征提取算法

為了利用樣本數據中的細節信息提高分類器的性能，本文提出了基于混合池化和樣本篩選機制的域不變細節特征提取算法，算法過程見算法1。該算法的思路是首先為了提高分類器對細節特征的感應程度，本文對卷積神經網絡中的池化層進行修改以優化特征分布，使得全局特征和細節特征均勻分布。其次利用篩選算法對細節特征進行聚類分析，挑選具有較強細節特征的樣本，然后將這些新樣本組成正樣本對以學習源域和目標域兩域間的域不變細節特征，提高目標域分類器對域不變細節特征的識別能力，從而提高識別準確率。與其它跨域圖像分類算法相比，本文算法考慮了被忽略了的細節特征且通過適配正樣本對的細節特征以獲取域不變細節特征。具體網絡框架如圖2所示。

圖2 FHPDDA算法框架

2.1 基于混合池化的域間遷移學習

為了獲取圖像中的細節特征，本文首先利用卷積層M分別得到源域和目標域的樣本xs和xt的特征表示fs和ft， 此時的特征存在許多無用特征，如背景特征。本小節提出的基于混合池化的域間遷移學習HPDDA(hybrid pooling for deep domain adaptation)首先對fs和ft進行下采樣

(4)

(5)

其中，Nm是子區域的數量。αi、βi分別為源域和目標域中的子區域。max*表示最大池化。最大池化篩選出了對分類有益的全局特征，同時減少了下一層數據的處理量。此時的特征集合包含的大多是圖像的全局特征，這導致最終用于目標域分類的特征缺失具有關鍵性作用的細節特征，所以本文對特征集合進一步處理并分類，一方面在全局特征中繼續篩選能詮釋全局的特征，一方面在全局特征中提取細節特征，這樣既能提高分類器對細節特征的敏感度，又能保證特征分布的均勻化。之所以會在全局特征的基礎上提取細節特征，是因為如果直接對原始的圖像塊進行細節特征提取，會有很多的干擾特征摻雜進來，這在實驗部分也做了驗證實驗。第二次的特征篩選結果如下

(6)

(7)

(8)

(9)

其中，N1為經過第一次下采樣后的子區域的數量。由于平均池化和最大池化提取的特征對于最終的分類任務的有效程度不一，所以需要平衡兩者的關系。最終，我們通過合并上述池化結果的加權總和來制定最終的池化結果

(10)

(11)

然后將最終池化結果送入全連接層，得到最終的特征表示F(xs)，F(xt)， 并用第一小節提到的wasserstein距離來刻畫源域和目標域之間的相似度，表示為

(12)

通過最小化LDA值來減小領域之間的差異，使得擁有相同標簽但卻屬于不同分布的樣本能夠在映射空間中比較靠近或者分布相似。有許多工作只把焦點放在目標域分類準確率上，使得重新訓練好的模型在目標域上有較好的效果，但往往這些模型不再適用于源域。所以HPDDA在減小域間差異的同時也考慮了分類誤差最小化，實現過程及效果如圖3所示，圖中空心形狀表示源數據，實心形狀表示目標數據。這種情況下模型得到的特征大多具備魯棒性，從而解決遷移中的泛化問題。實現細節是通過減小損失函數Lc來最小化分類誤差

圖3 HPDDA的兩個優化目標

(13)

本文算法創新點之一就是通過改進卷積神經網絡中的池化層，這充分利用了源域和目標域中樣本包含的重要細節信息。本文的實驗分別對集成了最大池化的算法和集成了混合池化的算法進行了實驗，通過實驗及分析，集成了混合池化的算法更能有效提高分類器的準確率。

算法1： hybrid pooling for deep domain adaptation

輸入： source dataXs; target dataXt; learning rate for domain adapatationα; learning rate for classificationβ

輸出： accuracy on target data

(1) Initialize feature extractor, domain critic, discriminator with random weightsθg,θw,θc

(2) repeat

(3) Sample minibatch {xs,ys},{xt,yt} fromXsandXt

(4) fort=1,…,ndo

(5)hs←M(xs),ht←M(xt)

(6)f1(xs)←maxpooling(hs),f1(xt)←maxpooling(ht)

(8)

(10) end for

(13) untilθg,θw,θcconverge

2.2 訓練樣本篩選和微調機制

針對域間細節特征缺失的問題，本小節通過篩選后的正樣本對預訓練模型的參數進行優化，學習出源域和目標域之間的域不變細節特征。

2.2.1 訓練樣本篩選機制

2.1節用于學習細節特征表示的樣本都是隨機選擇的，但是，如果源域和目標域所選擇的樣本不屬于同一類別，那么學習到的細節特征就不是域不變的。為了得到域不變的細節特征，本文提出另一個重要的創新點，對原來的樣本集進行篩選，將符合條件的樣本組成新的樣本集，并利用新的樣本集合對2.1預訓練好的網絡進行微調，詳細的新樣本集篩選算法過程如下：

(1)利用用k均值聚類算法對全連接層的特征進行聚類，得到n個聚類中心 {c1,c2,…,cn};

(2)計算每個特征點與聚類中心點間的距離，記為Sfc， 我們認為，在聚類中心輻射范圍內的特征表示屬于同一特征表示，因它們在映射空間中是不變的，所以包含這些特征的樣本具有相同的標簽。本文將這個輻射范圍定義為λ， 距離小于等于λ的被認為是正樣本，其余樣本則是負樣本；

(3)在篩選的過程中，依然分為源域和目標域2個樣本集，記為Xs,Xt， 并按照標簽將其分為m個子數據集，其中Xs={[Xs1,Xs2,…,Xsm]，Ys=[Ys1,Ys2,…,Ysm]}，Xt={[Xt1,Xt2,…,Xtm]，Yt=[Yt1,Yt2,…,Ytm]}，m表示類別數，將兩個域的樣本集統稱為DC。

至此，域不變細節特征學習中所用到的訓練樣本篩選結束。

2.2.2 微調學習機制

2.1節預訓練的HPDDA模型雖然能夠提取圖像包含的細節特征，但必須保證訓練的樣本對屬于同一類別才能提取域不變的細節特征，這對于隨機選取樣本的策略來說有很大困難。本小節利用篩選后的新樣本集DC對預訓練的模型進行微調，微調后的模型稱作FHPDDA。FHPDDA保留HPDDA的卷積層C1-C2，對剩下的卷積層C3和全連接層FC1,FC2層的參數進行優化，訓練流程如下：①對篩選后的樣本進行數據增強；②每次從源域和目標域數據集中選擇標簽相同的樣本對送入模型進行特征提取；③利用Softmax回歸層進行有監督的學習訓練，迭代微調需要優化層的訓練參數，直至模型趨于收斂。

3 實驗研究

為了驗證所提方法的有效性，本節將在多個具有遷移學習場景的圖像數據集上設計多個學習任務：①討論改進池化方法的有效性；②對超參數γ和聚類中心數n進行了研究；③討論篩選后樣本對提取域不變細節特征的有效性；④在MNIST-USPS和Office-Caltech數據集上進行了對比實驗。

3.1 數據集

MNIST-USPS數據集。該數據集是遷移學習領域里使用較頻繁的數據集，MNIST包含7萬張黑底白字手寫數字圖片，其中55 000張為訓練集，5000張為驗證集，10 000張為測試集。本文將數據輸入神經網絡之前，先將圖像的像素用長度為784的一維數組來代替，再將該數組作為神經網絡的輸入特征輸入神經網絡。USPS數據集中的訓練集有55 000張圖片，測試集有1860張。

Office-Caltech數據集。該數據集是域適配領域的一個標準數據集。它包含了10個類別，橫跨了4個領域：Amazon, Webcam，DSLR和Caltech，分別記作A,W,D,C。本文利用這個數據集做了幾組實驗。

3.2 實驗環境

本文所有的實驗都在TensorFlow框架上實現，所采用的軟硬件環境為：Inter Core I5-4 GHz CPU；3.4 GB RAM，Ubantu16.04；Python 3.5；如無特別說明，在所有實驗中參數學習率lr的初始化為1e-4。所提出網絡框架中的卷積神經網絡M是由3個卷積層組成，提取到的深度特征再送入本文提出的混合池化層，先經由最大池化層得到整張圖像的全局結構信息，然后在后面疊加由最大池化和平均池化級聯而成的級聯池化層。最大池化層能進一步對圖像的全局特征進行抽取，平均池化進一步獲取特征圖中的局部細節特征，使得最終提取的特征既包含全局特征，也沒有忽略具有關鍵細節信息的局部特征。最后連接兩個全連接層，分別有1024和100個神經元。

3.3 實驗結果及分析

3.3.1 融合實驗

為了驗證混合池化的有效性，本部分將對池化部分做一個融合實驗。表1是我們的實驗結果，其中WDGRL表示對原先的特征提取器不做任何改變，WDGRL union mean-pooling表示在原有的最大池化層級聯一層平均池化，并通過一定比例的系數將兩者進行加權得到最后的池化結果；WDGRL+mean-pooling表示在原有的最大池化層后增加一個平均池化層，將平均池化層的輸出作為最后的池化結果；HPDDA則是2.1提出的基于混合池化的域間遷移方法。從表1可以看出，當直接與平均池化層級聯時，分類準確率下降的很快，這是因為對原有的特征圖進行平均池化，會將很多的背景信息當成是主要特征，而這些特征導致機器判斷錯誤，準確率下降。直接在最大池化層后增加平均池化層后，分類準確率得到顯著提升，這是因為通過最大池化后，背景及其它噪聲已被剔除，再利用平均池化對局部特征提取的有效性，提取特征圖的主要特征及細節特征。而對于本文提出的混合池化，它在上一個方法的基礎上又級聯了一層最大池化連接最大池化后的結果，得到的特征既包括全局特征又有細節特征，這使得分類準確率有了進一步的提升。

表1 改進池化方法的有效性評估

3.3.2 超參數的有效性分析

3.3.2.1 混合池化層的權重參數γ

因為要對兩個池化結果進行加權求和，所以本小節的實驗利用MNIST-USPS數據集對權重的選擇進行了討論。如圖4所示，將最后一層為最大池化的權重設為γ， 最后一層平均池化的權重設為1-γ。

圖4 混合池化的過程

表2記錄了權重參數γ選取不同值時的分類準確率。由表2可以看出，當γ=0.6時，準確率達到最高，說明雖然利用最大池化實現下采樣可以提取出圖像的主特征，但對于本文所要處理的任務來說，僅使用一層最大池化提取到的特征并不能使分類器達到最佳狀態，因為缺失了局部細節特征。當γ<0.6時，準確率不斷提升，而且提升最大的達到2%，這說明平均池化雖然可以得到細節信息，但是也會得到很多無用甚至干擾分類結果的信息，直接導致分類準確率的下降。當γ>0.6時，準確率緩緩下降，這說明最大池化和平均池化是相輔相成的，并且最大池化占有主導地位。

表2 混合權重參數對分類準確率的影響

3.3.2.2 聚類中心數n

聚類中心數對篩選后樣本的質量有著直接影響，所以本小節的實驗對聚類中心數n進行了討論。圖5是HPDDA在MNIST-USPS數據集上超參數n取不同值對應的分類精度圖。從圖5可以看出，當聚類數n等于3時，HPDDA在MNIST-USPS數據集上的分類精度達到最高。當n<3時，網絡的分類精度下降。可能的原因是每個類別的樣本都很大，因此會引入更多的噪聲。當n>3時，分類精度也下降。其原因可以歸結為樣本量稀疏問題。

圖5 n值對分類準確率的影響

3.3.3 樣本篩選有效性分析

本文主要是通過提取域間不變細節特征提高目標域分類器的分類性能。2.1節的訓練樣本是以隨機選擇的方式抽取的，這樣無法保證提取到的細節特征是域間不變的，所以2.2節提出利用樣本篩選機制篩選出具有顯著細節特征的樣本，并按標簽從源域和目標域抽取同一類別的樣本，送入卷積神經網絡進行特征提取，為了驗證本文提出的樣本篩選機制的有效性，本小節利用篩選后的樣本對2.1訓練好的模型進行微調，實驗結果如下所示(黑色加粗數據表示精度最高)。

HPDDA是集成了本文改進后的混合池化的分類器模型，FHPDDA是對HPDDA進行微調所得的分類器模型。從表3可以看出，FHPDDA的分類準確率普遍比HPDDA高，因為本文采用樣本篩選機制篩選出的樣本有助于域不變細節特征的提取，從而提高目標域分類器對圖像中細節信息的敏感度。

表3 微調機制對分類準確率的影響

3.3.4 FHPDDA與其它方法的性能比較

進行實驗對比的是近年來具有代表性的研究成果，包括Deep CORAL[3]、DANN[10]、WDGRL[14]。

S-only：制定一個最低的基準。利用源域的標簽數據訓練一個識別網絡，該網絡由兩層卷積、兩層池化和兩層全連接層，再通過反向傳播算法訓練網絡。最后將訓練好的網絡直接用于目標域。

Deep CORAL：通過減少源特征和目標特征的二階統計量之間的距離來最小化域差異。

DANN：通過一個對抗模型來提高特征表示的質量，該模型能夠區分源樣本和目標樣本的學習特征，而特征抽取器試圖混淆域分類器。

WDGRL：將wasserstein距離作為模型的loss函數，并通過迭代對抗訓練減小域間差異提高遷移效果。

從表4的結果可以看出，對于MNIST-USPS，本文提出的策略和其它幾種方法相比有較好的改善因為MNIST和USPS兩個域的差異并不是特別大，所以大部分方法的遷移效果都比較好，而本文提出的混合池化因同時兼顧了全局信息和局部細節特征，使得提取的特征分布更均勻且更具魯棒性，所以最終分類準確率提高了約2%。對于Office-Caltech數據集，與其它方法相比，本文提出的算法在分類效果上都有明顯的提升。其中，Webcam和Amazon兩個域之間的差異很大，以前的方法改善并不是很明顯，原因是對于這種差距比較大的數據集，很難學習到它們之間的共有特征，所以導致分類效果大打折扣。而本文提出的算法的準確率提高了約2%，這表明該方法對于差異比較大的領域提取的特征是具有魯棒性的。

表4 FHPDDA與其它方法的性能比較

圖6、圖7分別為MNIST遷移到USPS的精度方差/標準差曲線圖和損失值曲線圖。圖6中的accvar_source，accvar_target 分別表示源域和目標域中測試樣本的精度方差，accavg_source，accavg_target分別表示源域和目標域

圖6 分類精度的標準差/方差

中測試樣本的精度標準差。可以看到源域和目標域精度方差的波動幅度差不多，前期波動較大，說明該網絡框架并不是很穩定，經過10 000次迭代訓練后，精度方差值趨于平穩，且趨于0，這說明本文提出模型的精度已經達到最好。圖7中源域和目標域的loss值經過10 000次迭代后趨于平穩，這說明模型已經收斂。

圖7 源域及目標域的損失值

4 結束語

本文提出了一種基于混合池化的深度卷積特征提取方法。通過對最大池化后的特征進行最大池化和平均池化的級聯，使得提取的特征在包含全局信息的基礎之上對細節信息更加敏感，并利用篩選后的正樣本提取圖像間的域不變細節特征，以獲取更具魯棒性的細節特征，最終提高分類器在目標域上的準確率。與最近針對域適配問題提出的算法相比，本文提出的策略不僅在目標域上的分類準確率有所提高，在源域上的準確率也有小幅度提高。

實驗結果雖然驗證了混合池化策略的有效性，但依然有待改進的地方，其中一個是可以對源域中的樣本進行預處理，去除一些背景信息較多的圖像樣本；還有一點是實驗中只在最后一個卷積層之后采取了混合池化策略，如果在每一個卷積操作后都采取該策略效果是否會更好。這兩點是以后工作研究的重點。