基于特權信息的遷移學習算法研究

劉來望

廣東工業大學/自動化學院 廣東 廣州 510006

引言

在遷移學習中，域是學習的主體，主要包含數據空間和數據分布。遷移學習是從一個源數據（源域）中學習一個分類器并遷移到另一個目標數據（目標域）中進行預測[1]。在之前的研究中，遷移學習主要可以分為四類：基于特征表示的遷移學習、基于實例的遷移學習、基于關聯知識的遷移學習和基于參數的遷移學習[2]。目前，遷移學習廣泛應用到許多場景中，如自然語言處理、圖像處理、情感分類和計算機視覺等[3]。

特權信息是指一些在訓練時可獲得、具有指導意義的信息，常見的特權信息有蛋白質的3D結構、圖像語義描述和事件時序預測等。特權信息具有輔助學習的作用，但在測試樣本中獲取相對困難，因此特權信息只能在訓練時使用，測試階段不可使用。由于在訓練時多了額外的特權信息，故基于特權信息的分類方法可以提升模型的精度[4-5]。

盡管已經有很多研究遷移學習的方法，但是大多數方法都沒有考慮到特權信息。為了解決帶有特權信息的遷移學習問題，本文提出了一個基于特權信息的遷移學習算法。

1 基本定義

在本文提出的方法中，訓練樣本由兩部分組成，源域S和目標域T。源域S可表示為：

式中：n表示源域的樣本數量。目標域T可表示為：

2 研究內容

目前有很多研究方法用來解決遷移學習問題，比如貝葉斯分類器、支持向量機和TrAdaBoost方法。為了在遷移學習中有效地利用特權信息，我們把支持向量機作為基本分類器。相比其他分類方法，支持向量機是基于VC維和結構風險最小化理論，能夠提高分類性能和解決高維度問題。此外，遷移學習的源域和目標域都有各自的分類器和。假設源域的分類器是，目標域的分類器是，其中是兩個域的公共參數，和 是兩個域的各自的特有參數。此外，源域和目標域都包含有特權信息。為了充分利用源域和目標域的特權信息，我們借支持向量機，用特權信息構造松弛變量的函數，以此來提高遷移學習的性能。因此，我們提出一個基于特權信息的遷移學習算法模型：

約束條件：

得到目標域分類器的參數：

通過Karush-Kuhn-Tucker（KKT）條件，我們可以計算出的值。最終，我們可以得到目標域的分類器對于一個新樣本，若，則為正例，否則為負例。

3 實驗結果

為了驗證本方法的分類性能，我們利用兩個帶有特權信息的數據集進行實驗，將分類精度作為評估標準。

我們選擇Human Activity Recognition dataset (HAR)數據集[6]和ILSVRC-2012數據集[7]中的部分數據進行實驗。其中，HAR數據集有6個類的圖片數據集，我們選擇其中3類做遷移實驗，分別是walking，walkingupstairs，walking upstairs。對于ILSVRC-2012數據集，我們選擇三個大類進行實驗，分別是snake，ball，dog，每個大類有若干子類。對于每個數據集，我們對具有關聯特征的類進行數據遷移，因此我們得到了9組實驗設置，具體實驗設置如表1所示。表1中遷移設置一欄表示遷移的方向，比如walking→walking

表1 實驗數據集設置

upstairs表示把walking類作為源域，把walkingupstairs類作為目標域，從walking類遷移到w. upstairs類。

為了充分說明本方法的有效性，我們將本方法和其他遷移學習和特權信息學習方法進行性能比較，其中TrAdaBoost[8]和CSTL[9]是遷移學習方法，L2-SVM+[10]和R-SVM+[11]是特權信息學習方法。

在實驗中，我們選擇高斯核作為核函數。在TrAdaBoost方法中，選擇支持向量機作為基本分類器，基本分類器個數從集合中選擇。在CSTL方法中，懲罰因子從集合中選擇，設置為2表示在實驗中我們選擇的CSTL2。在本方法中，和從集合中選擇，參數和從集合中選擇，參數和從集合中選擇。實驗結果如表2所示。

表2 實驗結果

由實驗結果可知，本方法的分類結果比其他方法所有更精確。和遷移學習方法TrAdaBoost和CSTL比較，本方法在遷移到過程中利用了源域和目標域的特權信息來提升分類性能。和特權信息學習方法L2-SVM+和R-SVM+比較，本方法通過遷移學習利用源域的信息來提升目標域的分類性能。因此，實驗中本方法的分類性能優于其他方法，這說明基于特權信息的遷移學習方法能提升分類精度。這證明在遷移過程中加入了特權信息，能夠提升分類器的性能。

此外，我們還對本方法的收斂性進行了實驗分析，我們選擇從HAR數據集中生成的dataset 1，dataset 2和dataset 3，ILSVRC-2012數據集中生成的dataset 5，dataset 7和dataset 9作為例進行了實驗，實驗結果如圖1所示。圖中橫坐標是迭代次數，縱坐標是分類誤差。由圖可知，分類誤差在前40次迭代中下降的非常快，然后再低40~50次迭代的時候漸漸趨于穩定，最終在迭代50次左右到達收斂。從圖中可以看出，在這些數據集上本方法是有效且收斂的。

4 結束語

在本文中，我們在研究遷移學習的過程中充分考慮了特權信息，提出了基于特權信息的遷移學習算法。我們選擇支持向量機作為基本分類器，提出了算法模型，通過公式推導得到最終的分類器。由實驗結果表明，本文提出的算法比其他方法能夠獲得更好的分類性能。