融合模糊推理和流形正則化的特征遷移學習*

宋儀軒，鄧趙紅，秦 斌

江南大學 數字媒體學院，江蘇 無錫214122

1 引言

在傳統機器學習的分類任務中，為了得到具有高準確性和高可靠性的模型，學習任務往往需要滿足以下兩個條件：首先是用于訓練分類模型的訓練樣本與測試樣本滿足獨立同分布的條件；其次是存在足夠數量的有標簽訓練樣本。而在實際問題中這兩個條件往往無法同時得到滿足，遷移學習作為一種有效的技術能夠有效地緩解上述問題[1]。

遷移學習是運用已有的知識對不同但相關領域問題進行建模的一種有效的機器學習方法[2-4]。它可以將已有的知識進行遷移，用來解決目標領域中僅有少量甚至沒有標簽樣本的學習問題。在實際生活中，隨著時間的變化，原先有標簽的樣本數據可能變得不可用，而且有可能與新的測試樣本的分布產生語義、分布上的差異。例如，銀行或者金融類的行業的數據就是具有時效性的特點，利用過去的一些金融信息訓練出來的模型往往很難準確預測出下一段時間的相關結果。又比如股票、投資等領域，存在很大的不確定性和短暫的信息時效性。除此之外，因為有標簽樣本數據往往較為稀少，而且很難獲得，導致實際生活中沒有足夠多的有標簽數據來訓練模型。如果大批量投入人力來標注樣本，會導致成本在時間和人力上大幅度增加。另外，由于人的主觀因素，被標注樣本不一定正確，這就導致了一個問題：人們如何根據已有的少量的數據來訓練一個穩定可靠的模型。

為了應對上述挑戰，已經有大量文獻從不同角度進行了遷移學習策略的研究。常用的三種遷移策略分別是基于特征選擇的方法、基于特征映射的方法和基于權重的方法。

（1）基于特征選擇的方法是利用源域與目標域中相同的特征進行知識遷移。Dai 等人[5]提出了一種基于聯合聚類（co-clustering）的預測領域外文檔的分類方法CoCC（co-clustering based classification）。該方法通過對類別和特征進行同步聚類，實現了知識與類別標簽的遷移。

（2）基于特征映射的方法是把數據從本來的特征空間映射到新特征空間，使得新特征空間下源域數據與目標域數據分布接近，然后利用新特征空間全新的源域有標記數據進行訓練。Matasci 等人采用半監督傳遞和目標域分量分析[6]，利用最大均值差異[7-8]作為學習新特征空間的遷移策略。Shao 等人[9]討論一種遷移學習方法用于視覺分類。Yeh 等人[10]提出一種新的領域適應性方法以解決跨領域模式識別問題，并提出核典型相關分析方法（kernel canonical correlation analysis）以處理非線性相關子空間的情況。

（3）基于權重的方法就是根據訓練樣本對目標領域分類有利程度來給有標簽數據添加相應權重，即對訓練目標模型有利的訓練樣本加大權重，否則權重被削弱。Jiang 等人[11]提出了一種實例權重框架來解決自然語言處理任務下的領域適應問題。

在這三種方法之中，基于特征映射的方法由于具有較好的遷移能力而受到了廣泛的研究。Pan 等人[8]提出了一種名為傳遞分量分析,即TCA（transfer component analysis）的域不變特征學習算法，它是將兩個域之間的邊緣MMD（maximum mean discrepancy）距離的特征表示最小化。TSL（transfer subspace learning）[12]則是采用Bregman 散度而不是MMD 作為比較分布的距離。JDA（joint distribution adaptation）[13]是基于同時減少邊緣MMD 和條件MMD 的距離來減小域之間差異。TJM（transfer joint matching）[14]則是通過聯合特征匹配和重新加權的方式來減少域之間的差異。而在GFK（geodesic flow kernel）[15]中，子空間維度應足夠小，以確保不同的子空間沿著測地線流動平滑，但是這可能無法準確地表示輸入數據。雖然基于特征映射的方法已經取得了一些令人滿意的效果，但是這些方法往往有如下不足：其一是線性特征遷移方法的遷移能力比較有限，部分算法無法應對非線性場景；其二是現有的非線性特征遷移技術，幾乎都是采用核技巧進行非線性特征遷移，缺少良好的可解釋性。

針對上述不足，本文探討了基于模糊推理系統的具有較好解釋性的特征遷移方法。模糊集理論和模糊系統作為智能計算領域重要的研究分支，已經應用于各種領域[16-21]。研究表明，模糊系統具有高度的可解釋性和強大的學習能力[22]，現已廣泛應用于工業過程控制、財務預測、圖像處理、醫療診斷等領域[23-24]。

基于模糊推理系統，本文提出了基于不確定推理規則的特征遷移方法FIMR-FTL（fuzzy inference and manifold regularization based feature transfer learning）。FIMR-FTL 利用TSK 模糊系統解決了傳統非線性特征遷移方法缺少可解釋性的問題，其利用可解釋的TSK 模糊系統取代非線性核方法，使得特征遷移的過程具有良好的可解釋性。同時，FIMR-FTL還引入了最大均值差異用作分布差異性度量。并且將邊際分布MMD 和條件分布MMD 相結合，減少源域和目標域的分布差異。為了達到遷移過程中保留數據有效信息之目的，FIMR-FTL 還在優化目標中引入了數據分布的流形正則化項，從而保證特征遷移前后的數據流形保持穩定。本文所討論的都是源域和目標域在邊緣和條件分布方面不同，并且目標域沒有標記數據的場景。

2 相關工作

2.1 特征遷移和領域自適應

在無監督領域適應問題中，數據源來自兩個不同的域：源域S和目標域T。從源域中采集有標記數據及其標簽，從目標域中采集無標簽數據nS和nT是源域和目標域樣本個數。

假設源域樣本和目標域樣本屬于相同的特征空間。令PS(XS)和PT(XT)為源域和目標域的邊緣概率分布（下面簡寫為PS和PT）。令QS(YS|XS)和QT(YT|XT)為條件概率分布，下面簡寫為QS和QT。實際上，PS和PT以及QS和QT通常是不相等的，領域自適應遷移學習致力于從原始數據集XS、XT中重構出新的數據集，即進行特征遷移，使得：

MMD 最早被用來進行雙樣本的檢測（two-sample test）問題[25]，以此來判斷a和b的兩個分布是否相同。其基本假設是：對于所有以分布生成的樣本空間為輸入的函數f，如果兩個分布生成的足夠多的樣本在f上的對應的像的均值都相等，那么可以認為這兩個分布是同一個分布。現在MMD 一般用于度量兩個分布之間的相似性，它是基于兩個分布之間的最大平均函數值差的有效非參數分布的距離測量。在判斷兩個分布a和b的時候，需要將觀測樣本首先映射到再生核希爾伯特空間（reproducing kernel Hilbert space，RKHS），然后再判斷。假設Xa和Yb分別是從分布a和b通過獨立同分布采樣得到的兩個數據集，數據集的大小分別為m和n。基于Xa和Yb可以得到MMD 平方的經驗估計為：

針對領域自適應遷移學習，源域和目標域之間的分布差異以經驗MMD 距離作為評估標準。可定義如下的邊緣MMD 和條件MMD 來度量分布之間的差異：

其中，XS、XT分別表示源域和目標域數據集；表示重構出的新數據集；表示重構后的源域的第i個樣本數據；表示重構后的目標域的第i個樣本數據。在條件MMD 中，ySi表示源域第i個樣本的標簽；yTj表示第j個目標域樣本的標簽；K表示樣本的類的總數分別表示源數據和目標域數據第k類樣本的數量。

2.2 流形正則化

流形正則化[26]最早是由Belkin、Niyogi、Sindhwani于2006年提出。在流形正則化中，用到了譜方法來表示幾何信息。流形正則化可用于挖掘數據之間的拓撲結構。可以表示為：

其中，X表示多個樣本組成的數據集；xi、xj表示原樣本的特征；xi′和xj′是特征變換后的新特征；W是圖鄰接矩陣，表示每兩個樣本點之間的相似度。

2.3 經典TSK 模糊系統

模糊系統是基于模糊規則和模糊邏輯推理的非線性建模系統，其中知識庫由if-then 模糊規則組成。模糊系統的顯著特點是引入模糊集和模糊邏輯來模擬人類推理，并將不確定的語言專業知識轉化為精確的數學表達式[27]。經典模糊系統包括Takagi-Sugeno-Kang 模糊系統（TSK-FS）、Mamdani-Larsen 模糊系統（ML-FS）和廣義模糊系統GFS（generalized fuzzy system）[28-29]。其中，TSK-FS 由于其在實際應用中的高效性和靈活性而被廣泛研究[30-31]。

一個有M條模糊規則的規則庫的TSK 模型中，每條規則有p個前件，其中第i條規則可以表示為：

TSK FLS 的第z維輸出yTSK,z(x)可表示為：

其中，fi(x)是規則的強度，定義為：

其中，T表示t-范數，通常取最小或者乘積，在式（6）和式（7）中，x表示應用于TSK FLS 的一個特定的輸入。式（7）可以歸一化為：

最常用的對應的模糊隸屬度函數為高斯函數，即：

其中，k=1,2,…,p,i=1,2,…,M，和是由訓練得到的前件參數。中心參數和寬度參數可以使用不同的方法估計。例如，當采用模糊C 均值（FCM）聚類算法對上述參數進行估計時，和可由下式給出：

這里的i表示數據維度，j表示訓練樣本編號，ujk是由FCM 得到的輸入向量xj屬于第k類的隸屬度值，N是訓練數據的個數。在式（11）中，h是可調參數，其可以手動設置或通過采用某種學習技術確定，例如常用的交叉驗證策略。

當TSK-FLS 的前件參數給定，根據式（6）可以得到TSK 模糊系統的第z維輸出為：

這里g(x)與c都是(p+1)M維向量，其構造過程如下：

令xe=(1,xT)T，則：

基于上述變換，令C=[c1,c2,…,cz]，則模糊系統得到的多輸出向量可表示為：

3 融合模糊推理和流形正則化分布的特征遷移模型

本章將介紹一種具有良好解釋性的方法，即FIMR-FTL，該方法可以在提升性能的同時，為實現非線性遷移提供良好的解釋性，其框架如圖1 所示。算法細節如下。

Fig.1 FIMR-FTL model framework圖1 FIMR-FTL 模型框架圖

3.1 FIMR-FTL 目標函數構造

FIMR-FTL 模型所用數據集為2.1 節所定義的數據集，源域S有標簽，目標域T無標簽，nS和nT是源域和目標域樣本個數。

遷移學習的主要目的就是消除兩個不同域數據的分布差異。基于此，FIMR-FTL 目標函數如下所示:

其中，第一項為分布差異項，函數f是特征映射函數，distance(f(XS),f(XT))表示源域和目標域經過映射后，在新的特征空間的差異，通過最小化該項可以使映射后所得源域及目標域數據盡可能相似。M(XS,XT)為流形正則化項，該項使得目標域進行非線性變換（即TSK 模糊系統輸出）后的數據分布的幾何形狀盡可能小地產生變化，即映射前后數據信息變化盡可能小，最大限度上保留原始信息。為正則化項，降低過擬合的風險。各項具體形式如下。

3.2 TSK-FLS 特征映射

TSK-FLS 特征映射如圖2 所示。圖2 的TSK 模糊系統是一個多輸入多輸出系統，其輸入是原始空間特征，其輸出是通過模糊系統非線性映射得到的新特征。

3.3 最大均值差異約束構建

本文方法的關鍵之一在于構建式（18）中的distance 度量。為了能夠直觀地判斷兩個數據分布的差異，本文將最大均值差異用作此度量，即：

根據式（2）首先定義了源域和目標域在新特征空間的邊緣分布MMD：

Fig.2 Feature mapping with TSK fuzzy system圖2 TSK 模糊系統特征映射流程

這里，φ(xSi)=CTg(xSi),φ(xTj)=CTg(xTj)，均為經模糊映射后所得特征，可由式（17）計算。

定義XN=[x1,x2,…,xN],根據式（13）可以得到GN=[g(x1),g(x2),…,g(xN)]為(p+1)M×N矩陣。

基于XS、XT和式（14），則有：

令X=[XS,XT],G=[GS,GT]，根據式（17）能夠得到TSK 模糊系統的多輸出：

則式（20）可以寫成如下的矩陣形式：

這里O為如下(nS+nT)×(nS+nT)的矩陣：

進一步考慮到僅僅減少域之間的邊緣MMD可能不能全面地減少兩個域之間的差異，因為邊緣MMD并沒有充分利用源域數據的標簽信息。為了充分利用可用的數據集，還應將源域的類標簽知識遷移到目標域以改進數據重構，因此進一步地添加條件MMD 項。

根據式（3）可定義源域和目標域在新特征空間的條件分布MMD，即：

同理，可以將其寫成矩陣的形式：

這里Ok是定義如下的(nS+nT)×(nS+nT)矩陣：

最后將條件MMD 和邊緣MMD 相結合，得到聯合MMD 的近似逼近的矩陣形式為：

3.4 流形正則化約束構建

期望原始空間中的數據點之間的拓撲關系保留在新的特征空間中，即最大程度上保留原始信息。為此，采用流形正則化來保持源域和目標域的流形結構，參考式（4），構造如下流形正則化項：

這里，xSi表示源域的第i個樣本；xTi表示目標域的第i個樣本；φ(xSi)表示樣本xSi經過映射得到的新特征；LS、LT表示兩個域的圖拉普拉斯矩陣，定義如下：

其中，DS、DT是對角矩陣，I是單位矩陣，WS、WT是圖鄰接矩陣，它們表示源域和目標域內每兩個樣本點之間的相似度，令L=diag(LS;LT),D=diag(DS;DT)則有L,D∈R(nS+nT)×(nS+nT)。

其中，Ep(xi)表示樣本xi的P個最近鄰樣本集合。考慮到歐式距離使用最為廣泛，本文亦采用歐式距離作為衡量標準。

3.5 特征遷移優化目標及其求解

根據式（18）、式（27）和式（28），得到最終FIMRFTL 的優化目標函數：

對于式（31），可將其轉化為如下等價的廣義特征值分解[32]問題：

通過式（32）即可獲得TSK 特征變換模型的參數，利用式（21）可對目標域數據和源域數據進行重構，并且將重構后的目標域和源域數據訓練相應的分類器模型，根據分類器可對目標域數據進行標注，然后根據標注結果以迭代的方式對TSK 特征變換模型進行再次學習。

算法1 給出了FIMR-FTL 特征遷移方法的算法流程。

算法1FIMR-FTL 算法

1.初始化：設置規則數M，平衡參數α、β，新特征空間維度Z。

2.構建MMD 矩陣O，令Ok=0,k=1,2,…,K，迭代次數T。

3.Fort=1:Tdo

Ift=1，使用邊緣MMD

else，使用聯合概率分布

4.利用TSK 模糊系統得到矩陣G，根據式（32）求得C，然后重構數據集X′。

5.用重構后的源域樣本訓練分類器，并給目標域XT加上偽標簽。

6.End for

7.得到最終的TSK 特征遷移模型。

4 實驗

本章對特征遷移圖像分類問題進行了大量實驗，以評估提出的融合模糊推理和流形正則化的特征自適應遷移學習方法。

4.1 數據準備

在本文中一共用到了COIL20、MNIST、USPS、Office-Caltech-256 數據集進行訓練和測試（https://github.com/jindongwang/transferlearning/blob/master/data/dataset.md#office+caltech）。這些數據集都是計算機視覺領域自適應問題中廣泛使用的基準數據集。

表1 表示實驗所用的8個基準數據集，包括了它們的樣本數、特征維度、類別數，下面給出數據集的詳細介紹。

Table 1 8 benchmark image datasets表1 8個基準圖像數據集

COIL20 包含了20個物體，1 440個圖像。實驗中，將該數據集分為兩個子集，即COIL1 和COIL2。COIL1 包含象限1 和象限3 上拍攝的所有圖像；COIL2 包含象限2 和象限4 方向拍攝的所有圖像。用這種方法使得子集COIL1 和COIL2 遵循相對不同的分布。然后分別將源域和目標域兩兩設為COIL1、COIL2，組成兩組遷移對，即COIL1-COIL2 和COIL2-COIL1，它們分別表示從COIL1 遷移到COIL2 的過程和從COIL2 遷移到COIL1 的過程。

USPS 和MNIST 是手寫體數據集，為了加快實驗進程，通過在USPS 中隨機采樣1 800個圖像來構建一個新的數據集USPS，然后從MNIST 中隨機采樣2 000個圖像組成新的MNIST 數據集。將所有圖像重新縮放成大小為16×16，并且通過編碼灰度像素值的特征向量來表示每個圖像。這里也將手寫體數據集組成兩組遷移對，即USPS-MNIST 和MNIST-USPS。

Office 數據集是一個用于領域自適應的基準數據集，包括46 522個圖像，這些圖像來自于3個不同的域：（1）AMAZON 是亞馬遜在線商家下載的圖像；（2）Webcam 是通過網絡攝像頭獲取的低分辨率圖像；（3）DSLR 是從數碼單反獲取的高分辨率圖片。Calteh-256 是標準的圖像識別數據集。這4個數據集分別簡寫為A、W、D、C。在實驗中，采用了Gong 等人[15]發布的公共Office+Caltech 數據集。SURF 特征被提取并量化為800-bin 直方圖。通過選擇兩個不同的域作為源域和目標域，來構建12 組跨域數據集，例如C→A，C→W，…，W→D。

4.2 實驗設置

實驗中將提出的方法與5 種現有的特征遷移方法進行了比較，分別是TCA、GFK、TSL、JDA、TJM。為了保證實驗結果的統一性，實驗中采用的分類器均為1NN 最近鄰分類器。

聯合FIMR-FTL 模型設置的參數分兩部分：一部分是經典TSK 模糊系統的參數；另一部分是約束條件的參數。首先，為保持系統的簡潔性和可解釋性，TSK 模糊系統的模糊規則數在區間[2,16]內以2 為步長尋優，根據經驗將用于生成前件參數的高斯模糊隸屬度函數的寬度調節參數h設置為1。生成前件參數的聚類算法使用的是TSK 模糊系統中常用的FCM聚類算法。其次，約束條件的兩個平衡參數是α和β，α表示最大均值分布差異項的權重，β表示流形正則化項的權重，z是新特征空間維度，并且將所有需要迭代的算法迭代次數統一設為10。

按照表2 中所示設置各個算法中的參數。對于TCA、TSL 和JDA 方法，使用了文獻[24]里的參數設置和實驗結果，TCA和TSL其實可以看作是JDA的特例，TCA是沒有考慮條件MMD的JDA，而TSL則是采用Bregman 散度而不是MMD 作為比較分布的距離。

4.3 實驗結果及分析

本文實驗結果指分類準確率均值和標準差。表3給出了不同特征遷移方法結合1NN得到的在不同數據集上的分類準確率。表格中每個數據集上得到的最佳結果以粗體顯示。下面給出分類準確率的計算公式：

表3 給出了各類方法在16個數據對上的平均性能。從中可以看出，聯合FIMR-FTL 方法的平均準確度達到了63.18%，是所有方法中準確率最高的。在16 項數據遷移對中，本文方法在Office-Caltech-256數據集對應的12 項數據遷移對上得到的效果明顯優于其他方法。與最佳基準方法TJM 相比，FIMR-FTL對16 項任務的平均準確率提高了5.82%。可見，將TSK 模糊系統引入到遷移特征學習中不僅使得遷移效果得到不小的改善，而且很好地解決了存在的非線性特征遷移方法在使用核等技巧時面臨的難以理解特征構建過程的問題。除了在USPS 和MNIST 數據對上性能一般外，本文方法在COIL20 數據集對應的遷移數據對上依然保持了較高的準確率。而造成性能一般的原因則可能是由于USPS 和MNIST 數據集都是數字數據集，數字數據集相對于其他數據集來說更加稀疏。在使用TSK 模糊系統進行特征映射的時候，數據集稀疏導致在進行矩陣運算時計算誤差較大，影響了算法的性能。

Table 2 Algorithm parameters setting表2 設置算法參數

Table 3 Comparison of classification accuracy between proposed algorithm and other feature transfer algorithms表3 本文算法與其他特征遷移算法分類正確率比較

表3 中，對比算法由于不存在隨機性且測試數據集是固定的，因此相同參數下得到的結果沒有變化，即標準差為0。對于本文方法，表4 給出了在相同參數設置下，單獨使用邊緣MMD 和單獨使用條件MMD 的FIMR-FTL 模型與聯合FIMR-FTL 的實驗結果。由于本文方法在構造模糊系統時引入的FCM 聚類具有一定的隨機性，因而每次訓練所得模型具有一定的差異性。表中給出了5 次實驗結果的均值和標準差。由于Office-Caltech-256 數據集在TSK 模糊系統映射時，多次實驗得到的映射之后的特征矩陣變化較小，從而導致多次實驗的分類準確率沒有變化，因此在Office-Caltech-256 數據集上，本模型5 次實驗的標準差均為0。這也說明了在該數據集下本模型十分穩定，而在USPS 和MNIST 手寫體數據集和COIL20 數據集上雖然得到了5 次不同的結果，但標準差都很小，體現了本模型應對不同數據集時具有一定的普適性和穩定性。

Table 4 Experimental results of 3 MMD models表4 3 種MMD 模型的實驗結果

與聯合FIMR-FTL 模型不同的是，由于只使用邊緣MMD 的情況下不需要使用源域標簽，因此邊緣FIMR-FTL 模型在實驗過程中不需要進行多次迭代。而在條件FIMR-FTL 模型里，由于需要給目標域添加偽標簽，需要先通過源域數據訓練分類器給目標域添加偽標簽，然后使用條件MMD 進行遷移訓練，不斷迭代更新偽標簽。

從表4 中可以看出，聯合FIMR-FTL 模型的平均準確率實驗效果最優，而在16 組遷移實驗中，聯合FIMR-FTL 模型最優次數也達到了10 次，邊緣FIMRFTL 模型和條件FIMR-FTL 模型則分別是2 次和4次。也就是說，在絕大多數情況下聯合FIMR-FTL 模型的實驗效果要優于邊緣FIMR-FTL 模型和條件FIMR-FTL 模型的，這里也驗證了聯合FIMR-FTL 模型的有效性。

4.4 參數敏感度分析

為了分析參數的敏感度，并考慮到實驗的簡潔性，選擇A-C、W-D 兩組數據對進行了分析。

為了探究規則數M對本文方法的影響，實驗中將其他參數固定，只變化規則數M。圖3 示出了不同規則數下的性能。從圖中可以看出，不論是數據對A-C，還是W-D，實驗的結果都是先隨著規則數的增加，準確率大幅上升，接著隨著規則數變化上下波動，并慢慢趨于平緩。從圖3 中可以看出規則數M對實驗結果的影響很大。

Fig.3 Influence of the number of rules M圖3 規則數M 的影響

圖4 表示新特征空間維數對分類性能的影響。首先從圖中可知，在A-C 數據對上，維度為30 時達到最優效果，在W-D 數據中，維度為20 的時候達到最優，因此在不同數據集下，達到最優準確率的維度是不同的。其次針對數據集W-D，z的影響比較大，但是針對數據集A-C，z的影響相對比較小，也就是說，對不同數據集，新特征空間維數z的影響效果也不同。

Fig.4 Influence of new spatial mapping dimension z圖4 新空間映射維度z的影響

5 總結

本文提出了一種基于不確定推理規則的特征遷移方法。與其他算法不同，為了使提出的方法具有良好的解釋性和良好的非線性特征學習能力，引入了TSK 模糊系統。為了避免信息損失，進一步引入了流形正則化技術來保持數據流形，并通過減少MMD 距離來更好地匹配目標域和源域的分布。實驗證明提出的FIMR-FTL 算法較之一些已有方法具有更好的性能。未來擬對提出方法的參數選擇進行更深入的研究。