基于多核學習的風格正則化最小二乘支持向量機*

沈 浩，王士同

1.江南大學數字媒體學院，江蘇無錫 214122

2.江南大學江蘇省媒體設計與軟件技術重點實驗室，江蘇無錫 214122

1 引言

由于支持向量機[1]（support vector machine，SVM）的提出及其相關理論的發展，核方法成為一種可以有效處理非線性可分數據的方法。由于分類算法的性能很大程度上取決于數據的表示，而核方法利用相對簡單的函數運算將樣本映射到更高的維度,避免了特征空間的設計以及特征空間中復雜的內積計算，得益于此，核方法被應用到機器學習的眾多領域中[2-4]。

然而在一些樣本分布不平坦、特征異構或不規則的數據中，僅利用了單個特征空間的單核方法表現不佳；而且由于不同核函數具有各自的特性，即使在相同的應用場合下，使用不同核函數取得的效果可能差別很大，從而使得核函數及其參數的選擇對于算法的性能具有重要影響。由于僅使用單個核函數并不能滿足一些實際應用場景下的需求，因此產生了將多個核函數進行組合的多核學習方法[5]。

通過多核學習產生的組合可以是同一種核函數取不同參數下的組合，也可以是多個不同種類核函數的組合[6]。經過多年研究，相較于僅使用單個核函數的方法，多核學習在數據降維[7]、文本分類[8]、領域適應學習[9]等多個領域內已被證明是一類靈活性更強、可解釋性更高而且性能更優的基于核的學習方法[10-11]，并且研究出了多種針對支持向量機的多核學習算法及性能優化方法。

雖然多核學習算法充分結合了不同核函數對于數據的映射能力，但其本質上仍然是僅利用了如相似性、距離等在內的樣本的物理特征，并沒有考慮到現實情境中存在的風格化數據集內隱含的信息。在實際應用中，除代表的內容信息之外，數據集中往往包含著各種風格信息，并且具有相同風格的樣本往往會以組的形式存在。例如，對圖1（a）中的字母數據存在兩種劃分形式，分別為圖1（b）中所示的按內容劃分和圖1（c）中所示的按字體劃分。此處每種字體被視為一種風格，此類數據被視為風格化數據。現實情境中更多此類的例子包括：語音數據集中來自不同地域或個體的樣本中往往包含著不同的口音和聲調等特征，人臉圖像樣本中包含著不同的姿態特征等。對風格化數據中所包含的除物理特征之外的風格信息進行挖掘及對于算法性能的提高具有重要意義。

Fig.1 Example of stylistic data圖1 風格化數據示例

為挖掘數據的風格信息，學者們進行了許多研究。文獻[12]提出的二階統計模型應用在數字識別問題中，但僅對服從高斯分布的數據效果較好，導致算法的適用情景受到較大限制。文獻[13]提出的雙線性判別模型在行為識別數據中取得了良好的效果，但算法計算過程開銷較大。文獻[14]提出的域貝葉斯算法改進了樸素貝葉斯算法，對樣本組中的風格信息進行識別，但需要預先為算法指定一種明確的數據分布類型，然而現實情景中數據的分布情況常常是較為復雜且較難事先明確的。文獻[15-16]提出的算法利用單種映射挖掘了樣本的風格信息并在回歸和分類問題中取得了優良的效果，但對樣本物理特征的利用有限。文獻[17]提出的挖掘樣本歷史信息的時間序列風格模型以及文獻[18]提出利用了用戶的年齡和性別信息的雙層聚類模型，在無監督問題中有效利用了數據中的風格信息，但算法僅針對特定的領域，且利用的風格信息有限。

受以上學者工作啟發，本文提出基于多核學習的風格正則化最小二乘支持向量機（style regularized least squares support vector machine based on multiple kernel learning，MK-SRLSSVM）對樣本點之間的物理相似性及樣本中隱含的風格信息進行挖掘和利用。算法在利用了各基本核函數對于數據映射的物理特性來表達樣本之間的相似性之外，使用風格轉換矩陣表示并挖掘數據集中包含的各種風格信息，并將其考慮進目標函數中。在訓練過程中使用交替優化策略，除分類器參數之外，同時更新風格轉換矩陣，并且使用挖掘出的風格信息對核矩陣進行同步更新。為在預測過程中利用訓練得到的樣本風格信息，在傳統多核最小二乘支持向量機的預測方法之上添加了兩個新的預測規則。由于在訓練和預測過程中都有效利用了樣本中包含的風格信息，在多數風格化數據集的實驗中顯示出MK-SRLSSVM較新近以及經典的多核支持向量機算法的有效性。

2 相關算法及概念

2.1 多核學習

設x和z為樣本向量，Φ為從輸入空間到特征空間的映射，若有函數k(·,·)可使：

則稱k(·,·)為核函數。

多核學習期望通過對不同的核函數進行組合，以取得更佳的映射性能，組合的方式有多種[5]。

本文使用如下求組合核函數的方式，設有M個基本核函數ki(·,·)，μi為每個基本核函數的權重系數，則合成核函數為：

由Mercer理論可知，通過以上方法生成的組合核函數仍滿足Mercer條件。

2.2 基于多核學習的最小二乘支持向量機

設D={(x1,y1),(x2,y2),…,(xn,yn)}為訓練樣本集合，xj∈Rd為其中的一個樣本，yj∈{+1,-1}為xj對應的標簽。Suykens[19]在支持向量機（SVM）的基礎上提出的最小二乘支持向量機（least squares support vector machines，LSSVM）的目標函數為：

其中，Φ(xj)為映射到高維后的樣本；w、b為分類超平面參數；ej(j=1,2,…,n)為誤差項；λ為正則化參數。

對式（4）引入拉格朗日乘子α，由Slater約束規范進一步可得其對偶形式：

其中，K∈Rn×n為核矩陣，通過求解式（5）可得:

對式（5）中的核矩陣K引入式（2）和式（3）的多核學習方法[20]，可得基于多核學習的最小二乘支持向量機（least squares support vector machine based on multiple kernel learning，MK-LSSVM）：

此式為半無限線性規劃（semi-infinite linear program，SILP）問題，可用現有的很多成熟的優化工具包來解決，并由2.3節的算法1得出μ和{w,b}。MK-LSSVM對未知樣本x的判別式[21]為：

2.3 MK-LSSVM算法流程

算法1MK-LSSVM

輸入：數據集D，閾值σ，基本核矩陣，算法參數λ。

輸出：基本核矩陣權重和分類器參數{μ,w,b}。

步驟1核函數權重μi=1/M(i=1,2,…,M)。

步驟2初始化循環次數iter=1，循環：

步驟2.1計算合成核矩陣并由式（6）得{α,b}；

步驟2.2固定α，由式（8）更新μ；

步驟2.3判斷是否有|1-fiter(μ,α)/fiter-1(μ,α)|≤σ，若是則跳至步驟3，否則跳至步驟2.1。

步驟3利用{μ,α}計算得分類器參數w。

3 基于多核學習的風格正則化最小二乘支持向量機

3.1 目標函數

為利用不同核函數對于數據映射的不同特性來表達樣本之間物理相似性，同時挖掘數據集中樣本包含的風格信息，將數據集內具有相同風格的樣本劃為一組，使用風格轉換矩陣表示每組內樣本包含的風格信息，并利用風格轉換矩陣對樣本的風格進行轉換以使其接近標準風格，利用風格變換之后的樣本對合成核矩陣進行更新，此時得到的核矩陣中的每個元素由經過了風格轉換后的樣本映射而成，并使用更新后的核矩陣對分類器參數進行學習。為將對樣本進行風格轉換的程度控制在適當范圍內，在目標函數中利用正則化方法對風格轉換矩陣進行限制。根據上述思路，訓練分類器參數和風格轉換矩陣的過程不僅保留了多核學習方法的優點，同時充分挖掘并利用了數據集中包含的風格信息。由以上思想，提出MK-SRLSSVM的模型定義：

JMK-SRLSSVM中的前兩個子式為標準MK-LSSVM表達式，第三個子式為一個使用Frobenius范數的懲罰項，用于控制風格轉化矩陣對樣本的風格變換程度，其中參數γ∈R且γ＞0。顯然，當γ越大時，經過風格轉換之后的樣本與其原始風格偏離越小，否則越大；特別的當設置γ→+∞時，則有

3.2 目標函數優化

算法目標是令JMK-SRLSSVM值最小化，直接對目標函數進行優化較為困難，可以使用交替優化方法得到一個足夠可用的局部最優解。當分別給定Aj和{wi,b,μi}時，則目標函數分別為關于{wi,b,μi}和Aj的優化問題，重復以上兩個過程，直到收斂或超過最大迭代次數。具體步驟為：

（1）當優化{wi,b,μi}時：固定Aj(j=1,2,…,N)，則式（10）的優化問題轉化為：

（2）當優化Aj(j=1,2,…,N)時：固定{μi,wi,b}時，則式（10）的優化問題轉化為：

上式是關于Aj的線性約束的二次規劃問題，可以轉化為N個分別關于每個Aj的獨立問題進行求解。此時合成核矩陣與分類器參數已經固定，與原始LSSVM相似，對式（12）引入拉格朗日乘子后可得其對偶形式：

令?L/?Aj=0可得：

通過交替優化的過程可知，在訓練分類器參數的過程中，將經風格轉換矩陣轉換后的樣本作為訓練數據。在第一輪迭代中，風格轉換矩陣被初始化為單位矩陣，此時被風格轉換之后的樣本與原始樣本相同，并沒有產生風格變換，因此MK-SRLSSVM首輪訓練得到的分類器參數與原始MK-LSSVM得到的分類器參數相同。在之后的迭代過程中，由于風格轉換矩陣的優化，各風格組中的樣本經過風格轉換矩陣的變換，逐漸逼近標準風格，此時訓練出的分類器參數充分考慮了樣本整體包含的風格信息。同時，從式（14）可得求解風格轉換矩陣的過程不僅利用了訓練得出的樣本的物理特性，且有效利用了數據中的風格信息，此時訓練出的風格轉換矩陣包含了各風格組中的風格信息。根據以上分析，訓練分類器參數和風格轉換矩陣的過程都充分利用了樣本包含的風格信息，且兩個過程相互促進。

3.3 樣本風格轉換

由于樣本被映射到高維空間之后的維度可能是無窮的，導致無法直接得到經過風格轉換后的樣本值，此時可以借助核方法，對合成核矩陣中的每個元素進行更新，得到風格轉換后的合成核矩陣。

3.4 算法框架

MK-SRLSSVM算法的框架如圖2所示。先使用多個預定義的基本核函數訓練出權重系數μ，并生成合成核矩陣，使用合成核矩陣訓練得到分類器參數{w,b}與風格轉換矩陣{Aj}(j=1,2,…,N)，將未知樣本進行風格轉換之后使用分類器得到最終的預測結果。

Fig.2 Algorithm framework圖2 算法框架

3.5 算法訓練步驟

算法2MK-SRLSSVM

輸入：訓練數據集D，最大迭代次數maxIter，收斂閾值ε，算法參數λ和γ。

輸出：權重μi、分類器參數{w,b}、風格轉換矩陣{Aj}。

步驟1初始化風格轉換矩陣Aj=I(j=1,2,…,N)，核函數權重μi=1/M(i=1,2,…,M)。

步驟2初始化循環次數iter=1。

步驟3循環：

步驟3.1計算目標函數值Viter；

步驟3.2由式（11）更新μi和{w,b}；

步驟3.3由式（14）更新Aj并由式（17）更新合成核矩陣；

步驟3.4計算目標函數值Viter+1并判斷是否達到收斂條件或超過最大迭代次數，若是則停止循環；否則令iter=iter+1，循環繼續。

3.6 算法訓練過程的時間復雜度

MK-SRLSSVM使用交替優化方法對問題進行求解，可以分為兩個步驟。第一步優化核矩陣權重系數和分類器參數的步驟又可以分為兩個子過程，分別為求解核權重的SILP問題和求解分類器參數的線性規劃問題，同時更新合成核矩陣，二者的時間復雜度分別為O(M2n3)和O(n)，由于M≥1，故這一步總的時間復雜度可視為O(M2n3)。第二步為優化風格標準化矩陣的過程，這一步的時間復雜度為O(N2n2)。因此算法訓練過程總的時間復雜度為O(iter·(M2n3+N2n2))，其中M為預定義的基本核矩陣的個數，n為樣本總數，N為數據集中的風格數量，iter為算法迭代次數。

相比典型的多核支持向量機（multiple kernel support vector machine，MKL-SVM）算法，MK-SRLSSVM在訓練過程中雖然用風格轉換矩陣對樣本進行了風格正則化處理，但多核支持向量機類算法在求解基本核函數權重系數的過程中需要調用原始SVM進行求解，而本文算法則使用原始LSSVM進行求解，由于SVM的訓練過程本質上是在求解二次規劃問題，而LSSVM的訓練過程的本質為線性規劃問題的求解，故MK-SRLSSVM在此步驟的計算復雜度遠小于典型MKL-SVM算法。本文算法通過求解SILP問題優化權重系數，優于通過求解SDP（semi-definite programming）問題或QCQP（quadratical constraint quadratic programming）等問題優化權重系數的支持向量機類算法，與使用SILP等問題求解權重系數的多核支持向量機算法相當。故MK-SRLSSVM具有與典型支持向量機類算法相當的復雜度。

3.7 樣本預測規則

為利用訓練得到的權重和分類器參數{μi,w,b}以及風格轉換矩陣Aj(j=1,2,…,N)，在MK-LSSVM的基礎上定義了兩種新的預測規則。由于在現實應用中，樣本的風格可能已在訓練過程中出現過，也可能未在訓練過程中出現，因此在傳統的預測方法之上增加了兩條新的預測規則規則2和規則3分別處理這兩種情況。

規則1傳統預測方法

傳統預測方法僅使用權重μi和分類器參數w和b對測試集中的樣本進行預測，得到對應的標簽

規則2測試樣本風格已知

若測試樣本的風格已在訓練集中存在，則可以直接利用訓練過程中學習得到的對應的風格轉換矩陣對樣本進行風格轉換處理，使樣本接近標準風格。然后對已處理的樣本使用傳統預測規則得到預測標簽，即:

規則3測試樣本風格未知

若樣本組X0的風格不存在于訓練集中，為有效利用訓練所得的風格信息，使用直推式學習的思想，將同風格的樣本組中包含的信息視為新的風格，在預測過程中使用訓練集得到的分類器參數對樣本標簽進行初步預測，并在迭代過程中逐步修正分類器參數，同時優化新的風格轉換矩陣。使用最終得到的優化后的新分類器參數和新風格轉換矩陣對樣本組標簽進行最終預測。詳細步驟如下：

步驟1使用預測規則1得到測試集X0的臨時標簽

步驟2將樣本組X0及其臨時標簽Ytemp與訓練數據集合并后進行訓練，得到新的權重、分類器參數及風格轉換矩陣

步驟3使用對測試集X0進行預測，得到正式的預測標簽

由于現實場景中的大多數據均隱含或明顯地包含一定的風格特征，而MK-SRLSSVM中增加的新預測方法考慮到了風格已知和風格未知的情況。直接使用與預測樣本對應的風格信息對已知風格的樣本進行預測；利用直推式方法對未知風格的樣本進行預測，均有效地利用了訓練出的風格信息，因此算法有較好的普適性。

3.8 算法性能特點分析

與傳統支持向量機類算法僅根據原始數據的物理分布尋找最優分類超平面不同，MK-SRLSSVM算法不僅考慮了數據中包含的物理特征，同時挖掘了數據的風格特征。本文算法利用整體訓練樣本優化分類器參數的同時，對具有不同風格的數據組分別進行處理。借助于多核學習對數據映射的優勢，本文算法可以對包含較為復雜風格的數據進行表示和處理，并在訓練和測試方法中都充分利用了訓練出的風格信息對原始樣本進行風格正則化處理，使經風格轉換后的數據分布更易于劃分。較傳統支持向量機及多核支持向量機類算法，MK-SRLSSVM可對風格化數據中包含的信息更加充分地利用以提高分類性能。

4 實驗

4.1 實驗數據和參數設置

為檢驗本文算法的分類效果，在4個風格化數據集中進行了多個實驗，分別為：在來自劍橋大學（http://www-prima.inrialpes.fr/Pointing04/data-face.html）的人臉（Face Pointing）數據集中進行人臉分類實驗；在來自UCI數據庫（http://archive.ics.uci.edu/ml/index.php）的語音（Parkinson Speech）數據集中進行語音分類實驗；在來自CASIA（http://www.nlpr.ia.ac.cn）的英文手寫字母（English Handwriting）數據集中進行字母分類實驗；在來自波恩大學（http://www.meb.uni-bonn.de/epileptologie/science/physik/eegdata.html）的癲癇腦信號（Epileptic EEG）數據集中進行EEG信號識別實驗。

為了檢測算法相對于多核學習算法的效果，對于所有數據集，選取8個包括新近以及經典的多核學習SVM算法進行比較，分別為GMKL（more generality MKL）[22]、非線性組合算法NLMKL（non-linear MKL）[23]、LMKL（localized MKL）[24]、RBMKL（rule-based MKL）[25]、GLMKL（group Lasso MKL）[26]、CABMKL（centered-alignment-based MKL）[27]、simpleMKL[28]以及新近的easyMKL[29]。另對于Epileptic EEG數據集，增加了兩種常用于EEG檢測的算法進行對比，分別是樸素貝葉斯算法（naive Bayes，NB）和決策樹算法（decision tree，DT）。

對所有多核算法設置3種基本核函數，具體為：1個線性核函數k(x,z)=xTz，11個核帶寬分別為σ={e-5,e-4,…,e5}的高斯核函數k(x,z)=exp(-||x-z||2/2σ2)，3個次數分別為d={1,2,3}的多項式核函數k(x,z)=(xTz+r)d，其中r=1。

在運行算法之前，需要對參數進行設置，所有算法的參數設置方法如下：先參考對應文獻中推薦的參數設置，為選取最優參數，采用網格尋優策略在推薦值附近進行尋優。為保證對比公平性，對MKSRLSSVM的正則化參數λ和對比算法的正則化參數C設置相同的尋優范圍均為{e-5,e-4,…,e5}，MKSRLSSVM中另一個參數γ的尋優范圍為{e-5,e-4,…,e5}，easyMKL算法參數λe的尋優范圍為{0.1,0.2,…,1.0}。所有多核學習算法的收斂閾值均設置為0.01，最大迭代次數設置為200。對于需要設置核組合規則的算法均采用默認值，具體為：RBMKL為平均組合，CABMKL為線性組合，LMKL為softmax。GMKL和NLMKL均取默認的L1范數。所有實驗均在選取樣本的全部特征的情況下進行。

由于大多數多核學習算法聚焦于二分類問題，對于多分類數據集，本文選取廣泛使用的“一對一”（one vs.one，OvO）策略將多分類任務分解為多個二分類任務進行實驗。

所有實驗進行之前對數據進行兩項預處理，分別為對原始數據的線性歸一化處理和對基本核矩陣進行的標準化處理。線性歸一化方法為：

核矩陣標準化方法為：

所有實驗均在Matlab平臺下進行，詳細實驗環境為：處理器CoreTMi5，2.80 GHz，內存12 GB，硬盤500 GB，操作系統為Windows 10專業版，Matlab版本為R2016b。

4.2 實驗結果和分析

4.2.1 Face Pointing人臉數據集

Face Pointing數據集采集了不同姿態下的人臉圖像，本小節選取垂直角度為0的圖像進行實驗。數據集中共有15個參與者的人臉數據，對每個人在水平角度下從-90°到90°每間隔15°采集一張圖片，即包括每個人的各13張不同角度姿態的照片，因此實驗數據集中總共包括195張人臉圖像。

為體現出數據集中樣本的風格差異，將部分代表性樣本提取在圖3中，圖中共有10人，每人有3種姿態，每種姿態被視為一種風格，即每行的樣本擁有同一種風格，圖中共有3種風格的10類樣本。

Fig.3 Part of face samples圖3 部分人臉樣本示例

實驗中首先將每張圖片縮放至36×48像素，再經過主成分分析[30]（principal component analysis，PCA）技術保留95%的信息后，將維度降到67維。選取每個人前7個姿態共105個樣本作為訓練數據，后6個姿態共90個樣本作為測試數據。由于測試數據的風格相對于訓練數據是未知的，因此使用規則3進行預測，實驗結果如表1所示。

Table 1 Experimental results of Face Pointing dataset表1 Face Pointing數據集實驗結果

從表1的實驗結果中可以得出，在對比算法中NLMKL、RBMKL以及新近的easyMKL取得了精確度為0.893 3的良好效果，較其他多核學習算法在本數據集中的效果較好。而本文算法MK-SRLSSVM在與多核學習SVM算法的比較中取得了最好的分類效果，這是由于算法不僅利用了各基本核函數組成的合成核的映射優勢學習得到分類器參數，而且挖掘了不同姿態的圖像中包含的風格信息，并在對未知樣本的預測過程中使用了學習得到的風格信息，相比只利用了數據集中的樣本物理相似性信息的算法，MK-SRLSSVM有效提高了分類的效果。

4.2.2 Parkinson Speech語音數據集

本小節實驗的語音數據集Parkinson Speech中包含了由帕金森患者和健康者提供的兩類語音數據。其中訓練集包含了來自于40個參與者的共1 040條語音數據，包括字母、數字、單詞和短句；測試集中的數據全部來自帕金森患者，其中有168個元音樣本，每個樣本有28個維度，出自每個語音提供者的樣本被視為具有同一種風格，實驗結果如表2所示。

Table 2 Experimental results of Parkinson Speech dataset表2 Parkinson Speech數據集實驗結果

根據表2的實驗結果可得，在所有對比算法中NLMKL取得了較好的效果，而CABMKL相對較差，體現出多核學習算法中不同的核權重系數優化算法在性能上的差別。本文算法MK-SRLSSVM在所有算法中取得最好的分類效果，可見算法有效利用了各核函數在樣本映射方法中對于樣本物理相似性關系的不同表示的特點，而且挖掘了患者和健康人的語音樣本中包含的不同的風格特征，分類效果的提高體現出本文算法對于語音數據中的風格信息進行挖掘利用的有效性。

4.2.3 English Handwriting手寫英文字母數據集

本實驗中English Handwriting數據集中的樣本出自不同書寫者，每個樣本包含有筆跡、筆尖朝向、筆觸壓力等信息。由于每個書寫者有著不同的書寫習慣，這些書寫習慣均體現在樣本數據中，實驗中來自每個書寫者的樣本被視為具有同一種風格。由于數據集中不同書寫者的樣本采集自不同的時間段（TIME），而書寫者的時間段信息為無關因素，因此在本實驗中不選取此屬性。

為體現出數據集中包含的不同風格，提取了如圖4所示的部分書寫者的筆跡，圖中包括3個書寫人的手寫樣本，從中可以看出不同書寫者具有不同的書寫風格。

Fig.4 Examples of English Handwriting dataset圖4 部分手寫英文字體數據集示例

本小節選取數據集中前5個（no.1～5）書寫者的各前1 000個樣本點共20個類別的數據進行實驗，其中前80%為訓練數據，后20%為測試數據。即數據集中共有5 000個樣本，其中訓練集的樣本數量為4 000，測試集的樣本數量為1 000，共20個類別，樣本維度為6。

從表3的實驗結果中可以得出，本文算法相對于傳統多核學習SVM算法的有效性。在對比算法中NLMKL和GLMKL取得了較好的效果，但相對于其他對比算法的優勢較小，在本小節的實驗中表現出相似的性能。而本文的MK-SRLSSVM算法則有效地挖掘了手寫字母樣本中的包括筆跡以及筆尖朝向等風格信息，并且在預測方法中有效利用預測規則對經過風格轉換后的樣本進行預測。而傳統的多核學習方法雖然將多個核函數進行了結合，有效利用了樣本之間的物理相似性，但是由于沒有考慮到樣本風格特征，因此較本文算法在分類精確度上有所差距。

Table 3 Experimental results of English Handwriting dataset表3 English Handwriting數據集實驗結果

4.2.4 Epileptic EEG數據集

本小節中的EEG數據集由5組采集自2類人群的樣本組成，詳細信息如表4所示，從每組中隨機抽取的樣本如圖5所示。從圖5中可以看出，來自不同組別的樣本的波動性具有很大差別，例如A組中的患者和E組中的健康者的信號波動性差異明顯；同為患者的C、E兩組在不同情況下的信號波動性也相差較大。

Table 4 Description of Epileptic EEG dataset表4 Epileptic EEG數據集描述

Fig.5 Raw EEG signal圖5 原始EEG信號

研究[31]表明，預先對原始EEG數據進行特征提取可以有效提高分類性能，本文使用核主函數分析技術（kernel principal component analysis，KPCA）[4]對原始數據進行特征提取工作，提取后的樣本維度為70，隨機選取提取后的樣本如圖6所示。

Fig.6 Extracted featured EEG signal圖6 抽取的特征EEG信號

本小節使用降維后的數據進行實驗，由上述可知數據集中樣本數為500，類別數為2，樣本維度為70，來自于同一組的樣本被視為具有相同的風格。

為驗證本文算法的有效性，對不同組別的數據進行選擇以構成兩種類型的數據集。第一類數據為測試集中包含的所有風格同時存在于訓練集中；第二類數據為測試集存在訓練集中所沒有的風格，構造數據集的詳細信息如表5所示。

數據集DS.1和DS.2為第一類數據，DS.3和DS.4為第二類數據，所有數據均為隨機選取，并在同一組參數下進行10次實驗，對結果取均值。對于兩類數據結合使用規則2和規則3進行預測，實驗結果及所有算法的參數如表6所示，同時在圖7中繪出各算法在兩類數據集中分類精確度的波動性。

Table 5 Detail of experimental datasets表5 實驗數據集的詳細信息

Fig.7 Accuracy volatility of EEG datasets圖7 EEG數據集精確度波動

從表6的實驗結果可以得出，在數據集DS.1中決策樹算法取得最好的波動信號識別效果，在數據集DS.2中NLMKL算法有著最好的分類精度，領先于包括本文算法在內的其他所有的算法。而本文算法在前兩個數據集中取得的效果雖然不如DT和NLMKL，但是相差較小。

從圖7可以得出，在第二類數據集DS.3和DS.4中，當測試集中的樣本風格未在訓練集中出現時，對比算法中無論是多核學習算法還是常用于EEG信號識別的兩種非多核學習算法的識別精確度相對于在第一類數據中的分類效果都有較大的降低，而MKSRLSSVM算法則保持了較高的分類精確度，在兩類數據中的分類精度波動較小。通過以上結果可以看出本文算法對于各組樣本中包含的不同波動特征的挖掘和利用對EEG信號識別精確度提高的有效性和穩定性。

4.2.5 參數敏感性分析

為進一步了解參數取值對于本文算法性能的影響，以在Epileptic EEG數據集中進行的4個實驗為例，研究正則化參數λ和風格轉換矩陣懲罰參數γ對算法性能的影響，如圖8所示。

從圖8中可得，當固定參數γ、λ取不同值時，算法的精確度在0.55～1.00之間波動，波動范圍較大。在數據集DS.1和DS.2中算法的精確度隨λ的增加而增加，而對于數據集DS.3和DS.4，算法的精確度在λ＜1時呈現遞增的趨勢，但是在之后逐漸降低。當固定參數λ,γ取不同值時，本文算法取得的精確度在0.75～0.95之間且隨γ的增大而降低，波動幅度較小。可見相對于γ，λ的取值對于本文算法性能的影響較大，需要利用交叉驗證結合網格搜索對其進行尋優。

Table 6 Experimental results of Epileptic EEG dataset表6 Epileptic EEG數據集實驗結果

Fig.8 Sensitivity analysis of parameters圖8 參數敏感性分析

5 結束語

為利用樣本中包含的風格信息，本文提出基于多核學習的風格正則化最小二乘支持向量機（MKSRLSSVM）。該算法在利用了多核學習對于樣本之間物理相似性表達的優勢之外，同時挖掘并利用了樣本包含的風格信息以提升算法的分類精確度。MK-SRLSSVM將樣本包含的風格信息考慮進目標函數中，使用風格轉換矩陣對樣本進行標準化處理，并利用正則化方法對風格轉換的程度進行限制，在訓練過程中同時優化分類器參數和風格轉換矩陣。并在傳統的預測方法之上添加了可以利用訓練出的風格信息的新預測規則。通過風格化數據集中的實驗表明了算法的有效性和一定的實用性。