基于在線半監(jiān)督學(xué)習(xí)的故障診斷方法研究?

尹 剛,張英堂,李志寧,任國(guó)全,范紅波

(軍械工程學(xué)院七系,河北 石家莊 050003)

引 言

監(jiān)督學(xué)習(xí)模式下的分類(lèi)方法以及非監(jiān)督學(xué)習(xí)的聚類(lèi)方法在故障檢測(cè)和診斷領(lǐng)域得到了廣泛的應(yīng)用[1,2]。但監(jiān)督學(xué)習(xí)必須利用專(zhuān)家知識(shí)對(duì)所有的故障樣本做類(lèi)別標(biāo)記,且為獲得較好的泛化性能,通常需要大量的已標(biāo)記故障樣本作為訓(xùn)練集。而故障樣本的類(lèi)別標(biāo)記對(duì)專(zhuān)家知識(shí)以及人工故障的設(shè)置提出了較高的要求,耗費(fèi)了大量的人力和物力,且機(jī)械故障的類(lèi)別標(biāo)記易出現(xiàn)瓶頸及標(biāo)記不準(zhǔn)確等問(wèn)題。根據(jù)數(shù)據(jù)的相似性進(jìn)行分組的聚類(lèi)方法雖不需要對(duì)故障樣本進(jìn)行標(biāo)記,但由于其對(duì)專(zhuān)家先驗(yàn)知識(shí)的忽略導(dǎo)致分類(lèi)準(zhǔn)確率明顯低于有監(jiān)督的分類(lèi)方法。

半監(jiān)督學(xué)習(xí)在少量不精確標(biāo)記樣本的基礎(chǔ)上,利用大量廉價(jià)的未標(biāo)記樣本進(jìn)行訓(xùn)練,可有效提高分類(lèi)器的性能,在文本、圖像、網(wǎng)絡(luò)流量等領(lǐng)域的分類(lèi)問(wèn)題中得到了較好的應(yīng)用[3～5]。但當(dāng)前半監(jiān)督學(xué)習(xí)存在學(xué)習(xí)速度慢、不確定性遞增、批量式訓(xùn)練等問(wèn)題[6],影響了其在故障診斷領(lǐng)域中的進(jìn)一步發(fā)展。在線貫序極限學(xué)習(xí)機(jī)(Online Sequential Extreme Learning Machine,OS-ELM)為單隱層前饋神經(jīng)網(wǎng)絡(luò)的快速增量式監(jiān)督學(xué)習(xí)算法[7],其將網(wǎng)絡(luò)的訓(xùn)練問(wèn)題轉(zhuǎn)化為求解線性方程組的最小二乘解,極大地提高了網(wǎng)絡(luò)的學(xué)習(xí)速度和泛化能力。因此本文基于改進(jìn) Tri-training算法將OS-ELM從監(jiān)督學(xué)習(xí)模式擴(kuò)展到半監(jiān)督學(xué)習(xí)模式,提出可用于故障診斷領(lǐng)域的在線半監(jiān)督學(xué)習(xí)方法(Online Semi-supervised Learning,OSSL)。

1 在線貫序極限學(xué)習(xí)機(jī)的監(jiān)督學(xué)習(xí)

對(duì)于任意的N個(gè)訓(xùn)練樣本Z0=(xi,ti),其中xi=

[xi1,xi2,… ,xin]T∈ Rn,ti= [ti1,ti2,… ,tim]T∈ Rm,若隱層節(jié)點(diǎn)數(shù)為P,激活函數(shù)為g(x)時(shí),單隱層前饋神經(jīng)網(wǎng)絡(luò)?的實(shí)際輸出以零誤差接近期望輸出,即

式中 βj為連接第j個(gè)隱層節(jié)點(diǎn)和輸出節(jié)點(diǎn)的權(quán)值向量 ,ωj= [kj1,… ,kji,… ,kjn]為連接輸入節(jié)點(diǎn)和第個(gè)隱層節(jié)點(diǎn)的輸入權(quán)值向量,bj為第個(gè)隱層節(jié)點(diǎn)的閾值。

將式(1)寫(xiě)成矩陣形式

文獻(xiàn) [7]嚴(yán)格證明了當(dāng)g(x)無(wú)窮可微且網(wǎng)絡(luò)具有合適的隱層節(jié)點(diǎn)數(shù)時(shí),輸入權(quán)值向量ω和隱層節(jié)點(diǎn)閾值b可隨機(jī)賦值,單隱層前饋神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程轉(zhuǎn)化為求解式(2)的最小二乘解

式中 H*為隱層輸出矩陣H的 Moore-Penrose廣義逆。當(dāng)rank(H)=P時(shí),由正交投影法可得

HTH為奇異陣時(shí),可適當(dāng)調(diào)整參數(shù)P使其成為非奇異陣。則式(3)轉(zhuǎn)化為

式中 K0=HTH。

給定N1個(gè)新的訓(xùn)練樣本Z 1={(xi,ti)}N+N1i=N+1,則網(wǎng)絡(luò)訓(xùn)練問(wèn)題轉(zhuǎn)化為

由式(3),(4),(5)可得上式的最小二乘解為

其中

又式(7)中

故貫序?qū)W習(xí)時(shí)網(wǎng)絡(luò)輸出權(quán)值的迭代公式為

由式(8)可知,OS-ELM對(duì)第k+1組樣本進(jìn)行訓(xùn)練時(shí),克服了傳統(tǒng)監(jiān)督學(xué)習(xí)中必須將此組樣本加入到所有已訓(xùn)練樣本中進(jìn)行批量學(xué)習(xí)的缺點(diǎn),僅需將已訓(xùn)練得到的β(k)與第k+ 1組樣本對(duì)應(yīng)的Hk+1,Tk+1代入公式(8)更新分類(lèi)器即可。

2 在線半監(jiān)督學(xué)習(xí)方法流程

半監(jiān)督學(xué)習(xí)在傳統(tǒng)監(jiān)督學(xué)習(xí)的基礎(chǔ)上,將大量的未標(biāo)記樣本加入訓(xùn)練集用于分類(lèi)器的訓(xùn)練,且Zhang等已證明未標(biāo)記樣本可有效提高分類(lèi)器的學(xué)習(xí)性能[8]。因此本文將OS-ELM擴(kuò)展為半監(jiān)督學(xué)習(xí)模式,利用大量的未標(biāo)記故障樣本輔助提高故障分類(lèi)器的泛化性能。

2.1 Tri-training訓(xùn)練過(guò)程

Tri-training算法為半監(jiān)督學(xué)習(xí)中協(xié)同訓(xùn)練的擴(kuò)展算法[9],在聚類(lèi)假設(shè)或流形假設(shè)的基礎(chǔ)上,構(gòu)造3個(gè)不同的分類(lèi)器挑選若干個(gè)置信度較高的未標(biāo)記樣本進(jìn)行相互標(biāo)記,最后通過(guò)集成學(xué)習(xí)的思想對(duì)各個(gè)分類(lèi)器進(jìn)行更新。其學(xué)習(xí)過(guò)程可以描述為:

假設(shè)標(biāo)記訓(xùn)練樣本集為L(zhǎng),x為未標(biāo)記訓(xùn)練樣本集U內(nèi)任一訓(xùn)練樣本。

通過(guò)對(duì)樣本集L進(jìn)行可重復(fù)取樣得到3個(gè)有標(biāo)記的訓(xùn)練樣本集L1,L2,L 3,進(jìn)而訓(xùn)練得到3個(gè)不同的初始分類(lèi)器C1,C2,C3。

若C1,C2,C3中的任意兩個(gè)分類(lèi)器對(duì)樣本x的預(yù)測(cè)相同,則x被認(rèn)為具有較高的標(biāo)記置信度,將其標(biāo)記后加入 3個(gè)分類(lèi)器的標(biāo)記樣本集,形成新的訓(xùn)練樣本集L1',L2',L 3';然后再利用擴(kuò)充后的標(biāo)記樣本集重新訓(xùn)練各自從屬的分類(lèi)器,如此重復(fù)迭代對(duì) 3個(gè)分類(lèi)器進(jìn)行更新。

分類(lèi)器訓(xùn)練結(jié)束后,對(duì)于需要進(jìn)行類(lèi)別標(biāo)記的測(cè)試樣本集,Tri-training算法將 3個(gè)分類(lèi)器組成一個(gè)集成器,并采用集成學(xué)習(xí)中的投票法實(shí)現(xiàn)對(duì)未標(biāo)記樣本的類(lèi)別預(yù)測(cè)。

Tri-training算法通過(guò)判斷 3個(gè)分類(lèi)器對(duì)未標(biāo)記樣本的預(yù)測(cè)一致性,對(duì)未標(biāo)記樣本的標(biāo)記置信度進(jìn)行判斷,進(jìn)而實(shí)現(xiàn)多個(gè)分類(lèi)器的協(xié)同訓(xùn)練,克服了傳統(tǒng)協(xié)同訓(xùn)練中使用統(tǒng)計(jì)測(cè)試技術(shù)判斷標(biāo)記置信度時(shí)間耗費(fèi)較長(zhǎng)的缺點(diǎn)[10],但若初始分類(lèi)器泛化性能較差,大量未標(biāo)記樣本將會(huì)被錯(cuò)誤標(biāo)記,進(jìn)而影響分類(lèi)器性能的提高。另一方面,Tri-training算法采用的集成策略對(duì)構(gòu)造具有較大差異性的初始分類(lèi)器提出了較高的要求。

2.2 初始分類(lèi)器的離線學(xué)習(xí)

OS-ELM將神經(jīng)網(wǎng)絡(luò)的訓(xùn)練問(wèn)題轉(zhuǎn)化為線性方程組的求解問(wèn)題,克服了傳統(tǒng)算法訓(xùn)練速度慢、泛化能力不高的缺點(diǎn)。由文獻(xiàn)[11～ 13]可知,OS-ELM分類(lèi)器的泛化性能優(yōu)于 BP、支持向量機(jī)等算法,由文獻(xiàn)[14]可知,采用不同的激活函數(shù)g(x)可以構(gòu)造得到差異性較大的分類(lèi)器。因此本文從 rbf,hardlim,sigmoid,sine,morlet中選擇不同的函數(shù)構(gòu)造差異性較大且泛化性能較高的 3個(gè)初始分類(lèi)器

已知標(biāo)記樣本集L,選擇 3個(gè)不同的激活函數(shù),將輸入樣本映射到隱層核空間,計(jì)算隱層輸出矩陣并由式(5)計(jì)算各分類(lèi)器的輸出權(quán)值β01,以及相對(duì)應(yīng)的

2.3 標(biāo)記樣本在線擴(kuò)充

將大量的未標(biāo)記故障樣本分為若干組,采用增量式學(xué)習(xí)的方式對(duì)分類(lèi)器進(jìn)行更新學(xué)習(xí)。假設(shè)Uk+1為第k+1組需要學(xué)習(xí)的未標(biāo)記樣本集,分別采用分類(lèi)器Ck1,Ck2和Ck3選擇的輸入權(quán)值向量ω、隱層節(jié)點(diǎn)閾值b和激活函數(shù)g(x)將其映射到隱層核空間,計(jì)算得到隱層輸出矩陣則分類(lèi)器對(duì)未標(biāo)記樣本集Uk+1的預(yù)測(cè)標(biāo)記可由式(5)求得

2.4 分類(lèi)器的在線更新學(xué)習(xí)

Tri-training算法在得到預(yù)標(biāo)記樣本集Lk+1后,將其與所有已得到的標(biāo)記樣本組合,采用監(jiān)督學(xué)習(xí)的模式對(duì)分類(lèi)器進(jìn)行再學(xué)習(xí),極大地增加了分類(lèi)器的迭代更新時(shí)間。若此時(shí)網(wǎng)絡(luò)隱層節(jié)點(diǎn)數(shù)為P,總的標(biāo)記樣本數(shù)為N,采用增量式學(xué)習(xí)時(shí)每組擴(kuò)充標(biāo)記得到的樣本數(shù)為Nk,則批量式學(xué)習(xí)的計(jì)算復(fù)雜度約為O(4NP2+ 8P3)[15],遠(yuǎn)遠(yuǎn)大于增量更新時(shí)的計(jì)算復(fù)雜度O(4NkP2+8P3)。因此本文采用增量式更新的方式,在分類(lèi)器的第k+1次更新中,僅采用預(yù)標(biāo)記樣本集Lk+1更新網(wǎng)絡(luò)參數(shù)。則由式(8)可得3個(gè)分類(lèi)器的輸出權(quán)值分別為

令k=k+1,返回標(biāo)記樣本在線擴(kuò)充階段,繼續(xù)對(duì)新的未標(biāo)記故障樣本進(jìn)行在線學(xué)習(xí)。

分類(lèi)器訓(xùn)練結(jié)束后,將 3個(gè)分類(lèi)器組成一個(gè)集成器,采用集成學(xué)習(xí)中常用的投票法對(duì)未標(biāo)記故障樣本進(jìn)行分類(lèi),實(shí)現(xiàn)設(shè)備的故障診斷。

3 半監(jiān)督基準(zhǔn)數(shù)據(jù)試驗(yàn)

為驗(yàn)證本文所提算法的有效性,選取半監(jiān)督學(xué)習(xí)基準(zhǔn)數(shù)據(jù)集中的 COIL,Digit1以及g241c數(shù)據(jù)集進(jìn)行試驗(yàn)[16]。 3個(gè)數(shù)據(jù)集的樣本總數(shù)和特征維數(shù)均為1 500和 241,類(lèi)別數(shù)分別為 6,2和 2,按照 3∶1的比例將樣本分為訓(xùn)練集和測(cè)試集,其樣本數(shù)分別為1 126和 374。為測(cè)試半監(jiān)督學(xué)習(xí)中未標(biāo)記樣本對(duì)分類(lèi)器性能的改善狀況以及標(biāo)記樣本與未標(biāo)記樣本不同比例對(duì)分類(lèi)器的影響,將訓(xùn)練樣本集中的數(shù)據(jù)按照 2∶ 3,3∶ 2和 4∶ 1的比例進(jìn)行分配 ,則 2∶ 3,3∶ 2和 4∶1三種分配對(duì)應(yīng)的標(biāo)記樣本數(shù)分別為 450,676,900,分別測(cè)試不同分配情況下的分類(lèi)器分類(lèi)精度及訓(xùn)練時(shí)間,并將其與僅采用標(biāo)記樣本訓(xùn)練得到的分類(lèi)器對(duì)比研究。

采用增量式學(xué)習(xí)的方式,將未標(biāo)記樣本分為若干組進(jìn)行試驗(yàn),每組20個(gè)未標(biāo)記樣本。OSSL在3個(gè)數(shù)據(jù)集訓(xùn)練時(shí)的隱層節(jié)點(diǎn)數(shù)分別為:260,270和200,隱層激活函數(shù)均選擇 rbf,sine和sigmoid。所有試驗(yàn)均在 MATLAB 7.11.0平臺(tái)運(yùn)行 20次,計(jì)算機(jī)CPU為 AMD 2.2 GHz,內(nèi)存為 1 G。OSSL算法在 3個(gè)數(shù)據(jù)集上的平均訓(xùn)練時(shí)間和平均分類(lèi)精度如表 1所示。

表 1 OSSL對(duì) 3組試驗(yàn)數(shù)據(jù)的訓(xùn)練時(shí)間和分類(lèi)精度Tab.1 Training time and classification accuary for three dif f erent benchmark data sets based on the OSSL algorithm

通過(guò)對(duì)比試驗(yàn)結(jié)果可以看出,未標(biāo)記樣本的加入使得分類(lèi)器的分類(lèi)準(zhǔn)確率提高 1%～6%;訓(xùn)練樣本總數(shù)相同但標(biāo)記樣本數(shù)與未標(biāo)記樣本數(shù)比例不同時(shí),分類(lèi)器分類(lèi)準(zhǔn)確率平均相差小于2%且訓(xùn)練時(shí)間相差小于1s。由此可知:OSSL算法對(duì)標(biāo)記樣本的依賴(lài)程度較低且分類(lèi)準(zhǔn)確率受未標(biāo)記樣本比例變化的影響較小,一定程度上解決了半監(jiān)督學(xué)習(xí)中標(biāo)記樣本擴(kuò)充帶來(lái)的不確定性增加的缺陷;隨著未標(biāo)記樣本比例的上升,訓(xùn)練時(shí)間并沒(méi)有明顯的增加。

4 柴油機(jī)的診斷應(yīng)用

4.1 診斷對(duì)象及特征提取

以 F3L912型三缸四沖程柴油機(jī)為故障診斷對(duì)象,驗(yàn)證本文所提OSSL算法的可行性。柴油機(jī)失火及氣閥機(jī)構(gòu)的故障會(huì)引起其燃燒狀況的變化,進(jìn)而導(dǎo)致排氣噪聲的不同,因此本文采用20 Hz～ 20 k Hz頻響范圍的聲傳感器測(cè)量排氣管出口處排氣噪聲的原始聲壓用于柴油機(jī)故障診斷,測(cè)量時(shí)柴油機(jī)轉(zhuǎn)速為 1 200 r/min,傳感器與排氣管垂直,距離排氣管口10 cm。第三缸高壓油管上的外卡式油壓傳感器信號(hào)與排氣噪聲同步采集,以準(zhǔn)確指示柴油機(jī)各缸的工作相位,采樣頻率為 40 k Hz。為貼近實(shí)際應(yīng)用,實(shí)驗(yàn)在空間較大的車(chē)間內(nèi)進(jìn)行,信號(hào)采集時(shí)未采用任何消聲措施。

試驗(yàn)在正常工況、1缸失火、1和2缸同時(shí)失火、2缸失火、排氣門(mén)間隙過(guò)大(0.7 mm)、進(jìn)氣門(mén)間隙過(guò)大(0.5 mm)、排氣門(mén)漏氣、進(jìn)氣門(mén)漏氣共 8種工況下進(jìn)行。 8種工況下排氣噪聲的時(shí)域波形及功率譜圖如圖1,2所示。為較清楚地顯示排氣噪聲時(shí)域與頻域的波形,圖 1,2僅截取了一個(gè)整工作周期噪聲信號(hào)用于分析,在后續(xù)的 AR建模時(shí),本文截取了10個(gè)整工作周期的噪聲信號(hào)。

分析圖 1,2可知,不同工況下的排氣噪聲時(shí)域波形的差別較小,但其功率譜卻有較大的差別。又AR譜估計(jì)易反映功率譜圖中的峰值信息且頻率定位準(zhǔn)確。因此,為提取能夠較好反映不同故障狀態(tài)的特征向量,本文對(duì)不同工況下的排氣噪聲建立 AR模型,并將 AR模型的主要自回歸參數(shù)作為故障特征向量,用于下一步的故障模式識(shí)別。圖3為對(duì)8種工況下的排氣噪聲信號(hào)建立8階AR模型,取自回歸參數(shù)hi2,hi4,hi5作為特征參數(shù)得到的三維數(shù)據(jù)點(diǎn)分布圖。

圖1 工況 1～ 4排氣噪聲的時(shí)域波形及功率譜圖Fig.1 Signal in time domain and power spectrum on four working conditions

圖2 工況 5～ 8排氣噪聲的時(shí)域波形及功率譜圖Fig.2 Signal in time domain and power spectrum on four working conditions(another)

圖3 排氣噪聲主要自回歸參數(shù)的三維分布圖Fig.3 Three-dimensional graph about main parameters of auto regressive beyond exhaust noise

由圖 3可知,不同工況提取得到的故障特征向量具有一定的類(lèi)內(nèi)聚性和類(lèi)間差異性,可用于下一步的故障模式識(shí)別。

4.2 應(yīng)用結(jié)果

為較好地反映不同工況間的差異,對(duì)排氣噪聲建立8階 AR模型,并將得到的8個(gè)自回歸參數(shù)作為故障特征向量。每種工況提取 75個(gè)特征向量組成600個(gè)特征向量,并以 5∶1的比例隨機(jī)分為訓(xùn)練集和測(cè)試集。為研究未標(biāo)記樣本在設(shè)備故障診斷中的重要性,將標(biāo)記樣本與未標(biāo)記樣本分為不同比例進(jìn)行對(duì)比試驗(yàn),試驗(yàn)時(shí)選擇隱層激活函數(shù)選擇rbf,sine和sigmoid,隱層節(jié)點(diǎn)數(shù)為150,試驗(yàn)結(jié)果如表2所示。

表 2 標(biāo)記樣本和未標(biāo)記樣本不同比例下 OSSL算法訓(xùn)練所得故障分類(lèi)器的性能Tab.2 Result of fault classification based on the OSSL algorithm in the different ratio between labeled samples and unlabeled samples

由表2中標(biāo)記樣本和未標(biāo)記樣本不同比例時(shí)的對(duì)比試驗(yàn)可知,在僅有少量不精確的標(biāo)記故障樣本和大量未標(biāo)記故障樣本下,OSSL算法可以取得較好的故障分類(lèi)準(zhǔn)確率,且故障分類(lèi)準(zhǔn)確率隨著未標(biāo)記樣本的增加而增加;另外,該算法的訓(xùn)練時(shí)間并未隨未標(biāo)記樣本的增多而大幅度增加。當(dāng)未標(biāo)記樣本數(shù)為零時(shí),OSSL算法退化為 3個(gè) OS-ELM算法的加權(quán)平均,因此第1,6,12組試驗(yàn)為OS-ELM算法的輸出結(jié)果。但對(duì)比第5,9,10,11,12等5組試驗(yàn)可知,當(dāng)總的訓(xùn)練樣本相同時(shí),OSSL算法對(duì)標(biāo)記樣本具有一定的依賴(lài)性,其故障分類(lèi)準(zhǔn)確率仍略低于監(jiān)督學(xué)習(xí)模式下的OS-ELM算法。

5 結(jié) 論

監(jiān)督學(xué)習(xí)模式下的故障分類(lèi)方法不能有效地利用大量的未標(biāo)記故障樣本,而機(jī)械設(shè)備的故障診斷中難以獲得大量標(biāo)記精確的故障樣本。因此為有效利用大量低成本的未標(biāo)記故障樣本提高故障分類(lèi)準(zhǔn)確率,本文在OS-ELM的基礎(chǔ)上提出了OSSL算法。該算法通過(guò)標(biāo)記樣本的在線擴(kuò)充和分類(lèi)器的增量更新,在提高樣本空間稠密度的基礎(chǔ)上改善了分類(lèi)器的泛化性能。半監(jiān)督基準(zhǔn)數(shù)據(jù)的驗(yàn)證試驗(yàn)表明了OSSL算法的有效性,柴油機(jī)8種故障的診斷應(yīng)用進(jìn)一步證明了OSSL算法用于故障診斷的可行性。

[1] 李學(xué)軍,蔣玲莉,楊大煉,等.基于雙譜分布區(qū)域的齒輪聚類(lèi)分析與故障診斷 [J].振動(dòng)工程學(xué)報(bào).2011,24(3):304—308.LI Xuejun,JIANG Lingli,YANG Dalian,et al.Custer analysis and fault diagnosis for gear based on bispectrum distribution[J].Journal of Vibration Engineering,2011,24(3):304—308.

[2] 廖廣蘭,史鐵林.GTM算法在齒輪箱狀態(tài)監(jiān)測(cè)中的應(yīng)用 [J].振動(dòng)、測(cè)試與診斷,2004,24(1):11— 14.LIAO Guanglan,SHI Tielin.Condition monitoring of gearbox based on generative topographic mapping[J].Journal of Vibration,Measurement& Diagnosis,2004,24(1):11—14.

[3] 張博峰,白冰,蘇金樹(shù).基于自訓(xùn)練 EM算法的半監(jiān)督文本分類(lèi) [J].國(guó)防科技大學(xué)學(xué)報(bào),2007,29(6):65—69.ZHANG Bofeng,BAI Bing,SU Jinshu.Semi-supervised tex t classification based on self-training EM algorithm[J].Journal of National University of Defense Technology,2007,29(6):65—69.

[4] 祁亨年,楊建剛,方陸明.基于多類(lèi)支持向量機(jī)的遙感圖像分類(lèi)及其半監(jiān)督式改進(jìn)策略 [J].復(fù)旦大學(xué)學(xué)報(bào)(自然科學(xué)版),2004,43(5):781— 784.QI Hengnian,YANG Jiangang,FANG Luming.Multi-class SVM based remotesensing imageclassification and their semi-supervised improvement scheme[J].Jouranl of Fudan University(Natural Science),2004,43(5):781—784.

[5] 柳斌,李之棠,涂浩.一種基于半監(jiān)督學(xué)習(xí)的應(yīng)用層流量分類(lèi)方法 [J].微電子學(xué)與計(jì)算機(jī),2008,25(10):113—116.LIU Bin,LI Zhitang,TU Hao.Network application classificatin method based on semi-supervised learning[J].Microelectronics& Computer,2008,25(10):113—116.

[6] 唐曉亮,韓敏.一種基于極端學(xué)習(xí)機(jī)的半監(jiān)督學(xué)習(xí)方法[J].大連理工大學(xué)學(xué)報(bào),2010,50(5):771— 776.TANG Xiaoliang,HAN Min.A semi-supervised learning method based on extreme learning machine[J]. Journal of Dalian University of Technology,2010,50(5):771—776.

[7] Liang Nan-Ying,Huang Guang-Bin,SARATCHANDRAN P,et al.A fast and accurate online sequential learning algorithm for feedforward networks[J].IEEE Transactions on Neural Networks,2006,17(6):1 411—1 423.

[8] Tong Zhang,Frank JOles.A probability analysis on thevalue of unlabeled data for classification problems[A].Proceedings of the 17th International Conference on Machine Learning(ICML’00)[C].San Francisco,CA,2000:1 191—1 198.

[9] Zhi-Hua Zhou,Ming Li.Tri-training:Exploiting unlabeled data using threeclassifiers[J].IEEE Transactions on Knowledge and Data Engineering,2005,17(11):1 529—1 541.

[10]周志華,王玨.機(jī)器學(xué)習(xí)及其應(yīng)用 [M].北京:清華大學(xué)出版社,2007.

[11]Ying Liu,Han Tong Loh,Shu Beng Tor.Comparison of extreme learning machine with support vector machine for text classification[J].Lecture Notes in Computer Science,2005,3 533(1):390—399.

[12]Feng-Chia Li,Peng-Kai Wang,Gwo-En Wang.Comparison of the primitive classifiers with Extreme Learning Machine in credit scoring[A].IEEE International Conference on Industrial Engineering and Engineering Management[C].Hongkong,China,2009:685—688.

[13]Xun-Kai Wei,Ying-Hong Li,Yue Feng.Comparative study of extreme learning machine and support vector machine[A].Third International Symposium on Neural Networks[C].Chengdu,China,2006:1 089—1 095.

[14]Suresh S,Saraswathi S,Sundararajan N.Performance enhancement of extreme learning machine for multi-category sparse data classification problems[J].Engineering Applications of Artificial Intelligence,2010,23(7):1 149—1 157.

[15]Xiaoliang Tang,Min Han.Partial Lanczos extreme learni-ng machine for single-output regression problems[J].Neurocomputing,2009,72(13-15):3 066—3 076.

[16]CHAPELLE O,SCHOLKOPF B,ZIEN A.Semi-supervised Learning[M].Cambridge:MIT Press,2006.