基于特征遷移的域自適應算法研究進展

葛瑞泉 林強

摘要：域自適應算法及其優(yōu)化是遷移學習中的研究熱點之一，在圖像識別、圖像分類、語義分割等領(lǐng)域有著廣泛的應用并且取得了較好的效果。本文對當前的域自適應算法研究進行總結(jié)，并從深度學習方法和非深度學習方法揭示了域自適應的一般方法和原理。非深度學習方法主要包括遷移成分分析，深度學習方法包括采用非對抗的非對稱三體訓練以及使用對抗網(wǎng)絡的多域?qū)褂蜻m應方法。

關(guān)鍵詞：域自適應;深度學習;語義分割;源域;目標域

當今采用機器學習或者深度學習方法從海量數(shù)據(jù)提取有用信息已經(jīng)成為主流。域自適算法利用已有的帶標簽原始數(shù)據(jù)集訓練一個模型，并且將訓練好的模型用于不帶標簽的目標數(shù)據(jù)集的標注工作。域自適應依據(jù)不同的假設有不同的方法。基于特征遷移的觀點認為發(fā)生域漂移的問題在于源數(shù)據(jù)集和目標數(shù)據(jù)集的分布不一致，可以通過一系列算法對齊它們的分布實現(xiàn)遷移學習。本文以特征遷移的觀點從非深度學習方法和深度學習兩個方面對當下域自適應方法進行闡述。

一、非深度學習的域自適應方法

在深度學習成為主流之前，非深度學習方法一直是域自適應研究方向的主力軍。其中較早提出的遷移成分分析方法及其改進算法適配聯(lián)合分布方法是非深度學習域自適應方法中的經(jīng)典算法。

遷移成分分析方法 縮小了源數(shù)據(jù)集與目標數(shù)據(jù)集特征分布的距離。該方法通過將數(shù)據(jù)投影到學習的傳輸子空間來縮小域之間的差異，在找到子空間之后使用任意方法進行后續(xù)的分類、回歸或聚類。

遷移成分分析方法將源域和目標域的數(shù)據(jù)通過核函數(shù)映射到一個高維的再生核希爾伯特空間，遷移成分分析算法通過找到一種特征映射使得源域與目標域的特征分布近似，通過最小化最大平均差異，拉近這兩個特征分布的距離，在最小化平均差異的過程中求得該映射關(guān)系。

在遷移成分分析算法中認為源域跟目標域的概率分布并不一致，而聯(lián)合分布適配方法進一步認為源域跟目標域的條件概率分布也不一致。聯(lián)合分布適配方法通過尋找一種矩陣變換，使得經(jīng)過變換后的源域與目標域的邊緣概率分布盡可能接近的同時保證它們的條件概率分布也盡可能接近。

二、深度學習方法

深度學習方法已經(jīng)逐漸取代了傳統(tǒng)的非深度學習方法，成為圖像識別、語義分割、遷移學習等領(lǐng)域的主流核心框架。本文主要按照其是否采用對抗方法將其分為對抗學習和非對抗學習。

（一）非對抗方法

在生成式對抗網(wǎng)絡興起之前，人們通常使用非對抗的方法解決域適應問題。最著名的是利用三個分類器按照少數(shù)服從多數(shù)的原則為無標簽的目標域數(shù)據(jù)生成偽標簽。無監(jiān)督域自適應的非對稱三體訓練 就是基于這樣理念的一個算法。

首先使用源域上的數(shù)據(jù)訓練兩個分類器。將目標域的數(shù)據(jù)輸入到網(wǎng)絡中，由這兩個分類器給目標域的數(shù)據(jù)打上標簽。只有當這兩個分類器的預測結(jié)果一致并且至少一個分類器的預測結(jié)果大于設定的閾值時，認為該標簽是準確的。對所有圖片都用這兩個分類器分好類，可以得到置信度比較高的的帶有偽標簽的數(shù)據(jù)集。然后把這些帶標簽的數(shù)據(jù)集輸入第三個分類器中，用帶偽標簽的數(shù)據(jù)集訓練一個分類器。

（二）對抗方法

利用對抗網(wǎng)絡解決域適應問題也成為研究熱點。這里介紹經(jīng)典的利用對抗學習的多域?qū)褂蜻m應方法。

在該方法之前，人們嘗試將源域和目標域的特征對齊，多域?qū)褂蜻m應方法通過對每個類別都設定一個類判別器，實現(xiàn)更細粒度的類別信息匹配。因為提取到的特征不完全與所有類別信息都有關(guān)聯(lián)，這些類判別器的輸入就從特征變成了把特征輸入判別器得到該類別的預測概率和特征的乘積，相當于對特征進行了一個加權(quán)。只提取到與該類別有用的特征信息，這樣使得原有的對抗學習框架的精度提升了一個檔次。

三、結(jié)語

本文從非深度學習以及深度學習兩大方向分別介紹了域適應算法的主流方向。深度學習的發(fā)展在不斷更迭，深度學習的框架也在域適應方向上不斷有新的變化，諸如殘差網(wǎng)絡等深度學習框架正不斷被發(fā)掘并應用于域自適應方向，這使得在不同數(shù)據(jù)集的域自適應精度不斷提升。

參考文獻：

[1] S.J.Pan，Tsang I W，Kwok J T，et al.Domain adaptation via transfer component analysis[J].IEEE Transactions on Neural Networks，2011，22（2）：199-210.

[2] Long M，Wang J，Ding G，et al.Transfer feature learning with joint distribution adaptation[C]//Proceedings of the IEEE International Conference on Computer Vision.2013：2200-2207.