基于自適應雙正則化支持向量機的群體基因選擇

陳留院， 穆曉霞， 李鈞濤

(1．河南師范大學學報編輯部 河南新鄉(xiāng)453007;2．武漢理工大學信息工程學院 湖北武漢430070;

3．河南師范大學計算機與信息工程學院 河南新鄉(xiāng)453007;

4．河南師范大學數(shù)學與信息科學學院 河南新鄉(xiāng)453007)

0 引言

以支持向量機為核心內容的統(tǒng)計學習理論是由Vapnik等人在20世紀90年代提出的，目前仍處在不斷發(fā)展階段［1－4］．支持向量機一經(jīng)提出，就被成功地應用于微陣列基因表達數(shù)據(jù)的分類與基因選擇中［5］．由于癌癥、艾滋病等復雜疾病是由一些基因的共同作用引起的，所以群體基因選擇在最近幾年引起了廣泛關注［2－4，6］．文獻［2］通過結合彈性網(wǎng)絡懲罰與平方誤差損失函數(shù)，提出了在分類的同時能成群選擇相關基因的彈性網(wǎng)絡模型．文獻［3］通過結合彈性網(wǎng)絡懲罰與huberized損失函數(shù)提出了混雜huberized的支持向量機．文獻［4］通過結合彈性網(wǎng)絡懲罰與hinge損失函數(shù)提出了雙正則化支持向量機．上述彈性網(wǎng)絡懲罰方法雖然均能成群地選擇基因，但卻無法消除被選擇的基因群內存在的冗余基因．為了解決該問題，Li等人通過引入數(shù)據(jù)驅動權重到懲罰項，提出了改進的彈性網(wǎng)絡模型［7］和部分自適應彈性網(wǎng)絡模型［8］，但上述兩種方法均是回歸方法．

受文獻［7－9］中數(shù)據(jù)驅動思想的啟發(fā)，本文通過結合自適應彈性網(wǎng)絡懲罰和性能優(yōu)越的hinge損失函數(shù)，構建自適應雙正則化支持向量機并證明了其具有自適應群體基因選擇性能．

1 問題描述

給定一個具有p個基因表達水平的n個微陣列訓練樣本(x1，y1)，(x2，y2)，…，(xn，yn)，其中xi=(xi1，xi2，…，xip)是樣本輸入，yi∈{+1，－1}是樣本標簽，學習問題是尋找一個決策函數(shù)f:Rp→{+1，－1}來預測新樣 本的 標簽．令 Y=(y1，y2，…，yn)T，X=(x1;x2;…;xn)=(x(1)，x(2)，…，x(n))，其 中 x(j)=(x1j，x2j，…，xnj)T被稱為預測子．根據(jù)正則化理論框架，支持向量機可表示為如下的損失+懲罰形式，

其中，［*］+表示hinge損失函數(shù)，λ＞0是正則化參數(shù)，相當于調諧參數(shù)C，對于輸入向量x，分類規(guī)則由(sgn(f(x))=sgn+xT))給出．需要指出的是，支持向量機的優(yōu)越性能不僅體現(xiàn)在(1)式中的2－范數(shù)懲罰項，其分類性能的優(yōu)越性很大程度上依賴于所采用的hinge損失函數(shù)．正如Hastie等人所證明的那樣，hinge損失函數(shù)的優(yōu)越性能，確保了支持向量機分類器滿足Bayesian分類準則，進而展現(xiàn)出良好的分類性能［10］．基于上述考慮，通過結合hinge損失函數(shù)與彈性網(wǎng)絡懲罰，Wang等人［4］提出雙正則化支持向量機，

其中λ1，λ2≥0是正則化參數(shù)．雙正則化支持向量機采用的彈性網(wǎng)絡懲罰是1－范數(shù)懲罰和2－范數(shù)懲罰的一個線性組合，從而使其既具有1－范數(shù)懲罰學習機的自動變量選擇性能，還具有群體變量選擇的性能．和其他彈性網(wǎng)絡懲罰方法一樣，雙正則化支持向量機雖然能成群地選擇基因，但卻無法消除被選擇的基因群內存在的冗余基因．

2 自適應雙正則化支持向量機

給定一個訓練樣本集{(xi，yi)}ni=1和參數(shù) α0(一般地，令 α0≤0．05)，類似于文獻［8］，令)表示給定參數(shù)α=α0時彈性網(wǎng)絡的解，其分量(α0)的大小表示基因j對分類器的貢獻．不失一般性，假設有如下排列順序:．令mδ為數(shù)據(jù)集的最大下標max通過采用加權懲罰的方法，文獻［8］提出部分自適應彈性網(wǎng)絡懲罰，

其中，

本文將部分自適應彈性網(wǎng)絡懲罰(3)引入到hinge損失函數(shù)中，提出自適應雙正則化支持向量機，

其中 φ(yi，f(xi))表示 hinge損失函數(shù)，f(xi)=β0+xTiβ．由(4)式解出的)來構造決策函數(shù) f(x)=+xT，進而可由其符號函數(shù)來判別新樣本的標簽，即 sgn(f(x))=sgn+x)為其分類器．

與雙正則化支持向量機［4］相比，所提自適應雙正則化支持向量機由于把數(shù)據(jù)驅動權重引入到懲罰函數(shù)里，進而能取得更好的基因選擇性能．與部分自適應彈性網(wǎng)絡［8］相比，自適應雙正則化支持向量機采用了性能優(yōu)越的hinge損失函數(shù)，更適用于處理分類問題．此外，由于hinge損失函數(shù)φ(t)是Lipschitz連續(xù)的，所以存在Lipschitz常數(shù)M＞0，使得(5)式成立，

接下來將證明自適應雙正則化支持向量機能自適應地成群選擇基因，即激勵一種自適應群體基因選擇效應．

定理1 給定數(shù)據(jù)集(Y，X)和正則化參數(shù)(λ1，λ2)，假設是自適應雙正則化支持向量機(4)的解，那么，對任意的 j，l≤mδ有不等式(6)成立，

如果輸入變量x(j)，x(l)是零均值和標準化的，那么有

其中

利用(5)式可得

由W的構造，可得

當 l，j≤mδ時，

考慮到

將(9)、(10)、(11)式帶入到(8)式可得

移項整理后可得

如果x(j)，x(l)是零均值和標準化的，則

進而有

定理證畢．

應該指出，對于j≥m和l≤m的情況，定理1仍然成立，唯一不同的地方是用δ代替(α0)．當j，l≥m

δδδ時，由W的構造可知道也發(fā)生了變化，即

類似于定理1的過程可得

如果輸入變量x(j)，x(l)是零均值和標準化的，那么有

3 結束語

考慮到hinge損失函數(shù)的優(yōu)良分類性能和部分自適應彈性網(wǎng)絡優(yōu)良的基因選擇性能，本文提出了自適應雙正則化支持向量機模型，從理論上證明了其具有自適應群體基因選擇性能，并給出了具體的數(shù)學表達形式．

［1］ 王紅蔚，席紅旗，孔波．一種新的半監(jiān)督支持向量機［J］．鄭州大學學報:理學版，2012，44(3):66－68．

［2］ Zou H，Hastie T．Regularization and variable selection via the elastic net［J］．J Royal Statistical Society B，2005，67(2):301－320．

［3］ Wang L，Zhu J，Zou H．Hybrid huberized support vector machines for microarray classification and gene selection［J］．Bioinformatics，2008，24(3):412–419．

［4］ Wang L，Zhu J，Zou H．The doubly regularizrd support vector machine［J］．Statistica Sinica，2006，16(2):589 －615．

［5］ Guyon I，Weston J，Barnhill S，et al．Gene selection for cancer classification using support vector machines ［J］．Machine Learning，2002，46(1):389 －422．

［6］ 王小玉，李鈞濤，陳留院．稀疏對數(shù)回歸及其在基因選擇中的應用［J］．河南師范大學學報:自然科學版，2012，40(5):153–156．

［7］ Li J，Jia Y．An improved elastic net for cancer classification and gene selection［J］．Acta Automatica Sinica，2010，36(7):976－981．

［8］ Li J，Jia Y，Zhao Z．Partly adaptive elastic net and its application to microarray classfication［J］．Neural Comput and Applic，2013，22(6):1193 －1200．

［9］ 高建來，運士偉，張永勝．融合粗糙集與球形支持向量機的多分類識別［J］．河南科技大學學報:自然科學版，2011，32(5):77－80．

［10］ Hastie T，Rosset S，Tibshirani R，et al．The entire regularization path for the support vector machine［J］．Journal of Machine Learning Research，2004，5:1391 －1415．