最優(yōu)間隔分布脊回歸

陳加略 姜 遠(yuǎn)

(計(jì)算機(jī)軟件新技術(shù)國家重點(diǎn)實(shí)驗(yàn)室(南京大學(xué)) 南京 210023) (軟件新技術(shù)與產(chǎn)業(yè)化協(xié)同創(chuàng)新中心 南京 210023) (chenjl@lamda.nju.edu.cn)

最優(yōu)間隔分布脊回歸

陳加略 姜 遠(yuǎn)

(計(jì)算機(jī)軟件新技術(shù)國家重點(diǎn)實(shí)驗(yàn)室(南京大學(xué)) 南京 210023) (軟件新技術(shù)與產(chǎn)業(yè)化協(xié)同創(chuàng)新中心 南京 210023) (chenjl@lamda.nju.edu.cn)

脊回歸(ridge regression, RR)是經(jīng)典的機(jī)器學(xué)習(xí)算法之一，廣泛應(yīng)用于人臉識別、基因工程等諸多領(lǐng)域.其具有優(yōu)化目標(biāo)凸、存在閉合解、可解釋性強(qiáng)以及易于核化等優(yōu)點(diǎn)，但是脊回歸的優(yōu)化目標(biāo)并沒有考慮樣本之間的結(jié)構(gòu)關(guān)系.監(jiān)督流形正則化學(xué)習(xí)是最具代表性的、最成功的脊回歸正則化方法之一，其通過最小化每類類內(nèi)方差來考慮樣本之間的類內(nèi)結(jié)構(gòu)關(guān)系，可是單純地只考慮類內(nèi)結(jié)構(gòu)仍然不夠全面.以一種全新的視角重新審視最近提出的“最優(yōu)間隔分布學(xué)習(xí)”原理，發(fā)現(xiàn)了最優(yōu)間隔分布的目標(biāo)可以同時(shí)優(yōu)化類內(nèi)間隔方差和類間間隔方差，從而同時(shí)優(yōu)化了局部的類內(nèi)結(jié)構(gòu)和全局的類間結(jié)構(gòu).基于此提出了一種充分考慮數(shù)據(jù)結(jié)構(gòu)化特征的脊回歸算法——最優(yōu)間隔分布脊回歸(optimal margin distribution machine ridge regression, ODMRR)算法，該算法具有RR以及MRRR(manifold regularization ridge regression)的各種優(yōu)勢.最后通過實(shí)驗(yàn)驗(yàn)證了該方法具有優(yōu)越的性能.

脊回歸；流形正則化；最優(yōu)間隔分布；間隔方差；全局結(jié)構(gòu)

脊回歸(ridge regression, RR)[1]的優(yōu)化目標(biāo)致力于最小化模型輸出以及樣本標(biāo)記之間的二次誤差，在人臉識別[2]、基因工程[3]、肝臟致癌預(yù)測[4]等諸多領(lǐng)域[5]有著廣泛的應(yīng)用.脊回歸具有優(yōu)化目標(biāo)凸、存在閉式解、可解釋性強(qiáng)以及易于核化等優(yōu)點(diǎn).但其優(yōu)化目標(biāo)并沒有體現(xiàn)出數(shù)據(jù)的結(jié)構(gòu)(structral)特征，這就意味著原始的脊回歸算法沒有考慮分類樣本之間存在的潛在相互關(guān)系.在分類模型的優(yōu)化目標(biāo)中加入正則化約束來假設(shè)數(shù)據(jù)之間的結(jié)構(gòu)關(guān)系通常可以有效地提升性能.流形正則化(manifold regularization, MR)[6]是一種常見的做法，在諸多領(lǐng)域得到了廣泛應(yīng)用，如多標(biāo)記學(xué)習(xí)[7]、集成學(xué)習(xí)[8]、特征提取[9]、譜圖理論[10]、網(wǎng)頁圖像標(biāo)記[11]等.MR是一種基于半監(jiān)督[12]流形假設(shè)的適用于有標(biāo)記和無標(biāo)記樣本學(xué)習(xí)的正則化框架，它的優(yōu)化目標(biāo)是最小化每類樣本的類內(nèi)方差，即要求分類器輸出類內(nèi)緊湊.將MR加入到有監(jiān)督RR后的優(yōu)化目標(biāo)也是凸的，并且存在閉合解，因此具備脊回歸算法所具有的各種優(yōu)勢.

相比于最大化最小間隔[13]，最優(yōu)間隔分布學(xué)習(xí)理論[14-15]的核心思想在于通過優(yōu)化“間隔分布”來有效提升模型的泛化性能.由此提出的ODM[16],LDM[17]和cisLDM[18]算法都取得了很好的性能*此類方法以往被稱為“大間隔分布學(xué)習(xí)”方法[17-18],但由于“間隔分布”本身并沒有“大小”之別，因此“最優(yōu)間隔分布”這個(gè)稱謂比“最大間隔分布”更合適[16]..在最優(yōu)間隔分布學(xué)習(xí)理論中，優(yōu)化間隔分布是通過最大化間隔均值并同時(shí)最小化間隔方差[13]來實(shí)現(xiàn)的.本文選擇了一種嶄新的視角，從優(yōu)化數(shù)據(jù)結(jié)構(gòu)特征的角度重新分析了最優(yōu)間隔理論中優(yōu)化間隔分布的目標(biāo)，并發(fā)現(xiàn)最小化間隔方差這個(gè)目標(biāo)可以拆解成最小化類內(nèi)間隔方差和最大化類間間隔方差2項(xiàng).針對分類模型進(jìn)行分析，可以發(fā)現(xiàn)，MR中最小化類內(nèi)方差的目標(biāo)和最優(yōu)間隔分布學(xué)習(xí)理論中最小化間隔方差的目標(biāo)是相同的，都要求類內(nèi)緊湊，即兩者都是在優(yōu)化數(shù)據(jù)的局部類內(nèi)結(jié)構(gòu).進(jìn)一步對最優(yōu)間隔學(xué)習(xí)理論中最大化間隔均值和最小化類間間隔方差這2項(xiàng)的目標(biāo)進(jìn)行分析，可以發(fā)現(xiàn)兩者共同作用的目的都是為了使分類器輸出類間松散.而類間松散可以看成是優(yōu)化一種全局的結(jié)構(gòu)關(guān)系.所以，MR的優(yōu)化目標(biāo)只優(yōu)化了類內(nèi)緊湊這一種局部分類特性，而最優(yōu)間隔分布學(xué)習(xí)理論不僅考慮了類內(nèi)緊湊，還進(jìn)一步優(yōu)化了類間松散這一種全局分類特性.換句話說，相比于MR，最優(yōu)間隔分布學(xué)習(xí)理論考慮了更加全面的數(shù)據(jù)結(jié)構(gòu)信息.

在本文中，我們借鑒了最優(yōu)間隔分布學(xué)習(xí)理論思想，并提出了一種新的正則化方法即最優(yōu)間隔分布正則化.流形正則化方法可看作為最優(yōu)間隔正則化方法的特例.我們將其應(yīng)用于脊回歸中得到了最優(yōu)間隔分布脊回歸(optimal margin distribution machine ridge regression, ODMRR)算法，ODMRR算法的優(yōu)化目標(biāo)也是凸的，并且具有解析解，在多個(gè)真實(shí)數(shù)據(jù)集上取得很好效果.

1 研究背景

S={(x1,y1),(x2,y2),…,(xn,yn)}.

機(jī)器學(xué)習(xí)的目標(biāo)就是通過訓(xùn)練集S學(xué)習(xí)一個(gè)分類器，使其能夠預(yù)測未來從未見過的樣本標(biāo)記.

假設(shè)f(x)=wTφ(x)+b是一個(gè)線性判別模型.其中w是線性分類面，b是截距，φ(x)是x在核k上的一個(gè)特征投影，并滿足k(xi,xj)=φ(xi)Tφ(xj).樣本(xi,yi)的間隔可以定義為

γi=yi(wTφ(xi)+b), ?i=1,2,…,n.

為了方便表示，可以將分類面w以及截?fù)?jù)b拼接成一個(gè)增廣的向量：w′=[w;b]，將所有樣本的特征尾部拼上一個(gè)常數(shù)1形成增廣的特征φ(xi)′=[φ(xi);1].令X′=[φ(x1)′,φ(x2)′,…,φ(xn)′]，y=[y1,y2,…,yn]T.

對于線性判別分類器，其解w*通常存在表示形式：

φ(xi)=Xα，

(1)

其中，α=[α1,α2,…,αn]T是系數(shù)向量.可以將系數(shù)向量α和截距b拼成一個(gè)增廣的向量：α′=[α;b].

為了方便將算法推廣到核空間上，我們用K表示n×n的核矩陣，其第(i,j)個(gè)位置的元素為k(xi.xj)，可以發(fā)現(xiàn)K=XTX.在K的最后一行拼上K′=[K;11×n]，其中1m×n表示維度為m×n的全1矩陣.

1.1脊回歸和流形正則化

脊回歸(rigde regression, RR)的優(yōu)化目標(biāo)是找到一個(gè)分類面w和截距b，使得樣本輸出f(xi)和樣本標(biāo)記yi之間的二次誤差之和盡量小.其優(yōu)化目標(biāo)可以形式化為

(2)

式(2)中的目標(biāo)可以通過式(1)的表示定理轉(zhuǎn)化成等價(jià)的形式：

(3)

式(3)的優(yōu)化目標(biāo)是凸的，并且具有閉合的解析解，其解的形式為

α′=(λB+K′K′T)-1K′y，

流形假設(shè)數(shù)據(jù)采樣于高維歐式空間的一個(gè)低維流形，處于局部領(lǐng)域的示例具有相似的性質(zhì)，即它們的標(biāo)記也應(yīng)該相似.對于分類問題,流形正則化的目標(biāo)是減小2類樣本的類內(nèi)方差.所以，監(jiān)督型流形正則化的脊回歸(manifold regularization ridge regression, MRRR)的優(yōu)化目標(biāo)表示為

(4)

其中，λ1和λ2是正則化因子，C1和C2分別代表第1和第2類樣本.式(4)中最后2項(xiàng)就是流形正則化項(xiàng)，它們分別優(yōu)化了第1,2類樣本的類內(nèi)方差.可以發(fā)現(xiàn)，如果式(4)中的λ2=0,MRRR將會退化為RR算法，即RR是MRRR的特例.

式(4)中的目標(biāo)也可以通過式(1)中的表示定理轉(zhuǎn)化成等價(jià)形式：

(5)

其中，In表示維度為n的單位陣，而:

n1和n2分別表示第1,2類樣本的數(shù)目.

式(5)的目標(biāo)也是凸的，并且也具有閉合的解析解，其解的形式為

α′=(λ1B+K′(In+2λ2M)K′T)-1K′y.

1.2最優(yōu)間隔分布學(xué)習(xí)理論

相比于最大化最小間隔，最優(yōu)間隔分布學(xué)習(xí)理論揭示了優(yōu)化間隔分布對于提升模型的泛化性能將更加顯著.最優(yōu)間隔分布學(xué)習(xí)理論指出優(yōu)化間隔分布具體表現(xiàn)為最大化間隔均值和最小化間隔方差.其中，間隔均值定義為

間隔方差定義為

根據(jù)間隔方差的定義可以發(fā)現(xiàn)，當(dāng)yi=yj時(shí)，間隔方差的形式和流形正則化項(xiàng)的形式相同，即對于分類模型，類內(nèi)方差即是類內(nèi)的間隔方差.兩者的目的都是為了使分類器輸出類內(nèi)緊湊.

當(dāng)yi≠yj時(shí)，間隔方差的形式為

φ(xi)′+w′Tφ(xj)′)2，

經(jīng)過分析可以發(fā)現(xiàn)，這一項(xiàng)實(shí)際上代表了類間間隔方差.最小化間隔方差和最大化間隔均值兩者共同作用的目標(biāo)是為了使分類器輸出類間分散.

所以最優(yōu)間隔分布學(xué)習(xí)理論既考慮了使分類器輸出類內(nèi)緊湊這一局部分類特性，還考慮了使分類器輸出類間分散這一全局分類特性.

2 最優(yōu)間隔分布脊回歸

最優(yōu)間隔分布(ODM)的主要思想就是利用最優(yōu)間隔分布學(xué)習(xí)理論中同時(shí)考慮分類器輸出類內(nèi)緊湊、類間松散這2個(gè)分類特性的優(yōu)勢.將最大化間隔均值和最小化間隔方差作為正則化項(xiàng)加入到分類模型的優(yōu)化目標(biāo)中.

脊回歸的二次誤差項(xiàng)表示為等價(jià)的矩陣形式：

可以發(fā)現(xiàn)，最小化-2yTX′Tw′的目標(biāo)就是最大化間隔均值，即脊回歸的優(yōu)化目標(biāo)中本身就包含了最大化間隔均值.所以，對于脊回歸問題，最優(yōu)間隔分布只需要考慮最小化間隔方差一項(xiàng)正則化項(xiàng)就可以了.于是，我們將ODM運(yùn)用于脊回歸問題，并得到了ODMRR的優(yōu)化目標(biāo)：

w′TX′(In+2λ2(D°diag(yyT)-

S°yyT))X′Tw′+λ1w′TAw′，

(6)

定理1. 優(yōu)化目標(biāo)(6)中的最優(yōu)解w*存在式(1)的表示形式.

證明.w*可以分解成有φ(xi)伸張以及和φ(xi)正交2個(gè)部分，形式為

φ(xi)+v=Xα+v，

其中，XTv=0.可以發(fā)現(xiàn)：

X′Tw′=XTw+b=XT(Xα+v)+b=XTXα+b，

所以，在優(yōu)化目標(biāo)式(6)中，只有w′TAw′與v相關(guān)，其他項(xiàng)都與v獨(dú)立，可以證明：

w′TAw′=wTw=(Xα+v)T(Xα+v)=
αTXTXα+vTv≥αTXTXα

且不等式當(dāng)且僅當(dāng)v=0時(shí)才成立.

所以，設(shè)置v=0不會影響到優(yōu)化目標(biāo)式(6)的最優(yōu)值，即w*可以表示成式(1)的表示形式.

證畢.

于是，通過定理1，可以將優(yōu)化目標(biāo)式(6)轉(zhuǎn)換為等價(jià)的形式：

(7)

式(7)的優(yōu)化目標(biāo)是凸的，也具有閉合和解析解，其解的形式為

α′=(λ1B+K′(In+2λ2(D°diag(yyT)-
S°yyT))K′T)-1K′Ty.

為了能夠控制類內(nèi)間隔方差和和類間間隔方差的權(quán)重，也可以把優(yōu)化目標(biāo)等價(jià)表示為

(8)

其中，λ1，λ2，λ3全是正則化因子，式(8)中第2項(xiàng)是第1類的類內(nèi)間隔分布，第3項(xiàng)是第2類的類內(nèi)間隔分布，最后一項(xiàng)是2類樣本的類間間隔分布,我們將式(8)的優(yōu)化目標(biāo)記為ODMRR-3h.可以發(fā)現(xiàn)，如果λ3=0，式(8)的優(yōu)化目標(biāo)就會退化為式(4)流形正則化方法的優(yōu)化目標(biāo)，如果λ2=0和λ3=0，式(8)的優(yōu)化目標(biāo)將會退化為式(2)的脊回歸的優(yōu)化目標(biāo).所以脊回歸算法以及流形正則化的脊回歸算法都可以看作最優(yōu)間隔正則脊回歸算法的特例.

根據(jù)定理1的證明，式(8)也存在等價(jià)的表示形式：

(9)

其中，

式(9)的優(yōu)化目標(biāo)為凸，其解也為解析解，其形式為

α′=(λ1B+K′(In+P+Q)K′T)-1K′y.

4 實(shí)驗(yàn)測試

本節(jié)將先介紹實(shí)驗(yàn)的設(shè)置，然后給出實(shí)驗(yàn)的結(jié)果，并對結(jié)果進(jìn)行簡單地分析.

4.1實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)共選擇了14個(gè)數(shù)據(jù)集，其中digit1和g241n是半監(jiān)督數(shù)據(jù)集.austra，isolet，vehicle和wdbc都是UCI數(shù)據(jù)集.Letter是多標(biāo)記數(shù)據(jù)集，從中選出8對相對比較難分類的字符組成了8組2分類數(shù)據(jù)集，分別記為DvsP，EvsF，IvsJ，IvsL，MvsN，UvsY，VvsY，DvsO.表1中列出了所有數(shù)據(jù)集的樣本和特征維度.并且所有數(shù)據(jù)集都通過隨機(jī)采樣以1∶1的比例平分成訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù).

實(shí)驗(yàn)1共選擇了6組對比算法：RR，MRRR，ODMRR，ODMRR_3h，ODMRR_S1，ODMRR_S1_3h.其中，在ODMRR算法中，帶有_S1后綴代表相似性矩陣S采用全1矩陣，沒有_S1后綴的相似性矩陣S則采用高斯距離矩陣.帶有_3h的后綴表示優(yōu)化目標(biāo)采用式(9)的表示形式，否則采用式(6)的表示形式.

Table 1 Dataset and the Dimension of Its Instances and Features

4.2實(shí)驗(yàn)結(jié)果

表2中的實(shí)驗(yàn)結(jié)果是在每個(gè)數(shù)據(jù)集上進(jìn)行10次實(shí)驗(yàn)所得到平均精度和方差.其中，深色背景都是我們算法的實(shí)驗(yàn)結(jié)果.我們使用加粗字體來標(biāo)明每個(gè)數(shù)據(jù)集中測試精度最高的一組算法的結(jié)果.

在每輪實(shí)驗(yàn)中，所有參數(shù)全部都是采用固定其余所有參數(shù)，然后通過10次交叉驗(yàn)證的方法選出的最優(yōu)值.在交叉驗(yàn)證的過程中，選擇80%的訓(xùn)練數(shù)據(jù)用于訓(xùn)練模型，用剩下的20%的數(shù)據(jù)來驗(yàn)證模型參數(shù).10次交叉驗(yàn)證又包含先粗調(diào)后細(xì)調(diào)的過程，粗調(diào)的參數(shù)取值為[10-5,10-4,…,105]，細(xì)調(diào)的參數(shù)取值為[2-4,2-3,…,24].而ODMRR和ODMRR_3h算法中使用到的高斯距離矩陣中的σ參數(shù)則采用σ=1的默認(rèn)值設(shè)置.

Table 2 Experiment Result表2 實(shí)驗(yàn)結(jié)果

由于3個(gè)脊回歸的算法都需要計(jì)算一次矩陣的求逆計(jì)算，所以這3個(gè)算法的速度都不是特別快.在這3個(gè)算法中，RR包含一個(gè)參數(shù)，MRRR包含2個(gè)參數(shù)，而ODMRR算法包含3個(gè)參數(shù).為了減少調(diào)參的時(shí)間，我們采用固定其余參數(shù)，只調(diào)整一個(gè)參數(shù)的方法.從表2的實(shí)驗(yàn)結(jié)果中可以發(fā)現(xiàn)，即便在如此簡單的調(diào)參方法下，ODMRR算法在14個(gè)數(shù)據(jù)集中有10個(gè)達(dá)到最優(yōu)結(jié)果，其中2個(gè)和最優(yōu)結(jié)果打平.并且可以很明顯地發(fā)現(xiàn)對于給類內(nèi)間隔分布和類間間隔分布分配不同參數(shù)的ODMRR_3h方法相比使用相同參數(shù)的ODMRR方法取得了更多的最優(yōu)結(jié)果.所以這也一定程度上說明，類內(nèi)結(jié)構(gòu)關(guān)系和類間結(jié)構(gòu)關(guān)系在對于分類器的貢獻(xiàn)在部分?jǐn)?shù)據(jù)集上可能是不同的.

5 結(jié)束語

脊回歸算法及其流形正則化算法是機(jī)器學(xué)習(xí)領(lǐng)域的經(jīng)典方法.這2種算法都沒有充分考慮數(shù)據(jù)全局的結(jié)構(gòu)化關(guān)系.我們以一種全新的視角分析了最優(yōu)間隔分布學(xué)習(xí)理論對于優(yōu)化間隔分布的優(yōu)化目標(biāo)、提出了了一種充分考慮類內(nèi)結(jié)構(gòu)關(guān)系和類間結(jié)構(gòu)關(guān)系的正則化脊回歸算法——最優(yōu)間隔分布脊回歸算法(ODMRR).由于脊回歸算法和流形正則化的脊回歸算法都是ODMRR算法的特例，所以O(shè)DMRR算法保有了脊回歸和流形正則化的脊回歸算法中所共有的優(yōu)化目標(biāo)為凸函數(shù)、有解析解、易于核化等優(yōu)勢.考慮到類內(nèi)結(jié)構(gòu)關(guān)系和類間結(jié)構(gòu)關(guān)系對于模型的貢獻(xiàn)不同，我們也提出了ODMRR算法的一種簡單變形ODMRR_3算法方便用戶調(diào)節(jié)兩者之間的權(quán)重.最后，我們在真實(shí)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)且在大部分?jǐn)?shù)據(jù)集上取得了最優(yōu)的結(jié)果.

[1] Hoerl A E, Kennard R W. Ridge regression: Biased estimation for nonorthogonal problems[J].Technometrics, 1970, 12(1): 55-67

[2] Xue Hui, Zhu Yulian, Chen Songcan. Local ridge regression for face recognition[J].Neurocomputing, 2009, 72(4): 1342-1346

[3] Cule E, Vineis P, De Iorio M. Significance testing in ridge regression for genetic data[J]. BMC Bioinformatics, 2011, 12(1): 372-378

[4] Liu Shujie, Kawamoto T, Morita O, et al. Discriminating between adaptive and carcinogenic liver hypertrophy in rat studies using logistic ridge regression analysis of toxicogenomic data: The mode of action and predictive models[J]. Toxicology and Applied Pharmacology, 2017, 318(9): 79-87

[5] Marquardt D W, Snee R D. Ridge regression in practice[J].The American Statistician, 1975, 29(1): 3-20

[6] Belkin M, Niyogi P, Sindhwani V. Manifold regularization: A geometric framework for learning from labeled and unlabeled examples[J]. Journal of Machine Learning Research, 2006, 7(11): 2399-2434

[7] Luo Yong, Tao Dacheng, Xu Chang, et al. Multiview vector-valued manifold regularization for multilabel image classification[J]. IEEE Trans on Neural Networks and Learning Systems, 2013, 24(5): 709-722

[8] Geng Bo, Tao Dacheng, Xu Chao, et al. Ensemble manifold regularization[J].IEEE Trans on Pattern Analysis and Machine Intelligence, 2012, 34(6): 1227-1233

[9] Xu Zenglin, King I, Lyu M R T, et al. Discriminative semi-supervised feature selection via manifold regularization[J]. IEEE Trans on Neural Networks, 2010, 21(7): 1033-1047

[10] Luo Siwei, Zhao Lianwei. Manifold learning algorithms based on spectral graph theory[J].Journal of Computer Research and Development, 2006, 43(7): 1173-1179 (in Chinese)(羅四維, 趙連偉. 基于譜圖理論的流形學(xué)習(xí)算法[J]. 計(jì)算機(jī)研究與發(fā)展, 2006, 43(7): 1173-1179)

[11] Liu W, Liu H, Tao D, et al. Manifold regularized kernel logistic regression for Web image annotation[J]. Neurocomputing, 2016, 172(C): 3-8

[12] Zhu Xiaojin. Semi-supervised learning literature survey[J].Computer Science, University of Wiscousin-Madison, 2006, 2(3): 4-64

[13] Vapnik V. The Nature of Statistical Learning Theory[M]. Berlin: Springer, 1995

[14] Zhou Zhihua. Large margin distribution learning[C] //Proc of the Workshop on Artificial Neural Networks in Pattern Recognition. Berlin: Springer, 2014: 1-11

[15] Gao Wei, Zhou Zhihua. On the doubt about margin explanation of boosting[J].Artificial Intelligence, 2013, 203(5): 1-18

[16] Zhang Teng, Zhou Zhihua. Multi-class optimal distribution machine[C] //Proc of the 34th Int Conf on Machine Learning. 2017 [2017-04-01]. http://cs.nju.edu.cn/zhouzh/zhouzh.files/publication/icml17mcODM.pdf

[17] Zhang Teng, Zhou Zhihua. Large margin distribution machine[C] //Proc of the 20th ACM SIGKDD Int Conf on Knowledge Discovery and Data Mining. New York: ACM, 2014: 313-322

[18] Zhou Yuhang, Zhou Zhihua. Large margin distribution learning with cost interval and unlabeled data[J]. IEEE Trans on Knowledge and Data Engineering, 2016, 28(7): 1749-1763

OptimalMarginDistributionRidgeRegression

Chen Jialüe and Jiang Yuan

(NationalKeyLaboratoryforNovelSoftwareTechnology(NanjingUniversity),Nanjing210023) (CollaborativeInnovationCenterofNovelSoftwareTechnologyandIndustrialization,Nanjing210023)

Ridge regression (RR) has been one of the most classical machine learning algorithms in many real applications such as face detection, cell prediction, etc. The ridge regression has many advantages such as convex optimization objection, closed-form solution, strong interpretability, easy to kernelization and so on. But the optimization objection of ridge regression doesn’t consider the structural relationship between instances. Supervised manifold regularized (MR) method has been one of the most representative and successful ridge regression regularized methods, which considers the instance structural relationship inter each class by minimizing each class’s variance. But considering the structural relationship interclasses alone is not a very comprehensive idea. Based on the recent principle of optimal margin distribution machine (ODM) learning with a novel view, we find the optimization object of ODM can include the local structural relationship and the global structural relationship by optimizing the margin variance interclasses and the margin variance intraclasses. In this thesis, we propose a ridge regression algorithm called optimal margin distribution machine ridge regression (ODMRR) which fully considers the structural character of the instance. Besides, this algorithm can still contain all the advantages of ridge regression and manifold regularized ridge regression. Finally, the experiments validate the effectiveness of our algorithm.

ridge regression (RR); manifold regularization; optimal margin distribution machine (ODM); margin variance; global structure

n, born in 1976.

her PhD degree in computer science from Nanjing University in 2004. Currently professor and PhD supervisor at the Department of Computer Science & Technology, Nanjing University. Her main research interests include machine learning and data mining.

Chen Jialüe, born in 1991. PhD. His main research interests include machine learning and data mining.

2017-05-23；

：2017-06-25

國家自然科學(xué)基金項(xiàng)目(61673201) This work was supported by the National Natural Science Foundation of China (61673201).

姜遠(yuǎn)(jiangy@lamda.nju.edu.cn)

TP181