基于自組合核的增量分類方法

馮　林, 張　晶, 吳振宇

(1. 大連理工大學電子信息與電氣工程學部計算機科學與技術學院, 遼寧 大連 116024;2. 大連理工大學創新創業學院, 遼寧 大連 116024)

?

基于自組合核的增量分類方法

馮林1,2, 張晶1,2, 吳振宇2

(1. 大連理工大學電子信息與電氣工程學部計算機科學與技術學院, 遼寧 大連 116024;2. 大連理工大學創新創業學院, 遼寧 大連 116024)

在線極端學習機(online sequential extreme learning machine,OSELM)模型在解決動態數據實時分類問題時,無需批量計算,僅保留前一時刻訓練模型,根據當前時刻樣本調整原有模型即可。然而,該增量方法在離線訓練階段隨機指定隱層神經元使模型魯棒性差,且求解過程難以拓展于核方法,降低了分類效果。針對上述問題,提出一種基于自組合核的在線極端學習機(self-compounding kernel online sequential extreme learning machine,SCK-OSELM)模型。首先,提出一種新的自組合核(self-compounding kernel,SCK)方法,構建樣本不同核空間的非線性特征組合,該方法可被應用于其他監督核方法中。其次,以稀疏貝葉斯為理論基礎將訓練數據的先驗分布作為模型權值引入,并利用超參調整權值后驗分布,從而達到對當前時間點參數稀疏的目的。最后,將稀疏得到的參數并入下一時刻運算。對動態數據的實時分類實驗表明,該方法是一種有效的增量學習算法。相比于OSELM,該方法在解決動態數據實時分類問題時獲得更穩定、準確的分類效果。

動態數據; 在線極端學習機; 自組合核; 稀疏貝葉斯

0　引　言

在互聯網時代,各個領域每一時刻均產生大量數據,如網絡流量數據、金融交易數據、醫學診斷數據、移動終端數據等。如何實時、準確地獲得數據并更新已有知識,成為研究熱點。模式分類是數據挖掘領域的重要分支,廣泛應用于圖像識別、故障排查、醫療檢測等領域。上述應用中數據由時序動態更新,后續到來的數據對已有知識更新、補充。傳統的模式分類模型需要對所有時刻累積的數據進行學習,該方法將耗費大量的時間與空間資源,并難以拓展于動態數據實時分類問題。因此,如何實時高效處理這些按時間序列動態到來的數據,同時保持訓練速度與數據更新速度的平衡,成為亟待解決的問題。早在1962年,文獻[1]就提出增量學習方法,該方法在保持對已有模型可追溯的基礎上,直接對新數據進行學習,進而得到新的訓練模型。研究者們將增量算法的研究重點放在算法的穩定性與可追溯性兩個方面,本文的研究主要與第二點相關。

從算法穩定性方面,每批次到來的動態數據難以預測,其性態是不穩定的,稱為非穩定環境(non-stationary environment,NSE)[1-2]。因此,可能出現數據分布改變甚至產生“概念漂移現象”。文獻[3-4]對上述NSE現象進行了定義并對其漂移程度進行了評價。早期的研究均從如何發現該現象的產生以及如何保證算法的穩定性出發,這些方法普遍存在較高的時空復雜度。文獻[5]較早提出時間窗識別概念漂移的方法,該方法將導致對之前時刻數據的遺忘,使學習效果降低。文獻[6]通過自適應調節時間窗寬度保證對產生漂移的類別進行學習。文獻[7-9]分別利用控制圖、JIT分類器與信息論等方法解決該問題。集成分類算法在文獻[10]中被用于解決動態數據增量分類問題。文獻[11]提出Learning++算法,該方法為一種增量學習算法,可與各種監督學習分類器相組合,其主要思想是:對一批新到來的樣本學習得到多個弱分類器后將其加權組合得到分類結果。該方法天生具有解決概念漂移的能力,通過弱分類器對已有數據類別空間記憶,后續一些學者對該方法進行了改進[12-13]。以上方法針對動態數據增量學習過程中產生的非漸進概念漂移檢測有較好效果,當動態數據中出現漸進概念漂移時[14],上述方法為保證較小的空間復雜度,丟失了原有數據信息,增量學習能力被減弱。

在模型的可追溯性方面,文獻[15-16]提出樣本選擇方法,通過保留之前的部分樣本,當新數據到來時,結合保留的樣本重新訓練得到新的分類器。該方法由于保留了前序時間點的有用信息,有效提高了分類效果。單隱層前饋神經網絡(single hidden layer neural network,SLNF)可通過學習連續函數達到任意精度的擬合效果,從而被應用于解決模式分類問題與增量學習方法。文獻[17]提出自適應增量神經網絡(self-organizing incremental neural network,SOINN),利用原樣本與新樣本近鄰關系移除多余的樣本,并利用兩層神經網絡訓練得到分類器實現增量分類。該方法采用類內插入機制處理新來的樣本,由于實現過程中用到過多參數,使得算法難以控制且非常復雜。為增強算法的穩定性,文獻[18]對上述方法進行改進。SLNF雖然有諸多優點,但在求解過程中采用迭代方式,使得求解速度緩慢,且解容易陷入局部極小值。文獻[19]提出極端學習機模型(extreme learning machine, ELM),將求解過程轉化為簡單的線性系統,可以任意指定輸入層參數,且無需迭代調整。該方法不僅簡化了求解過程,且不會陷入局部極小解,自提出以來被廣泛應用于模式分類[20-21]與時間序列預測[22-23]等領域。為了推廣算法的應用,文獻[24-25]對ELM模型進行改進。

在對動態數據適應性方面,文獻[26]在ELM基礎上推導了增量學習模型。當新數據按照時間先后分批到來時,該方法無需對所有累積數據重新訓練,僅訓練新到來數據,調整分類模型即可。該方法是一種速度很快的增量學習算法,其改進算法在圖像分類、預測等應用領域取得了很好效果[27-28]。在離線訓練階段采用ELM方法,通過最小化經驗風險調整隱層結點。為避免過擬合,文獻[29]引入結構風險,利用正則化參數平衡經驗風險。文獻[30]受LS-SVM算法啟發,在ELM上進行推導得到LS-IELM算法,但該方法在不同應用背景下,仍存在隱層參數難以確定的問題,且隨機指定的輸入隱層參數無法保證算法的穩定性。文獻[30]提出KB-IELM算法,在原有LS-IELM中引入核方法,避免了上述隱層參數選擇等問題。文獻[31-32]提出OS-ELMK方法和KOSELM方法。然而,上述方法中均存在兩個問題:①復雜的推導與大量的矩陣運算,使得算法效率偏低;②算法需根據數據分布對核函數選擇預判,當無法預先得知數據分布時,難以對核函數進行合適的選擇從而降低分類效果。

針對上述問題,本文提出一種自組合核在線極端學習機模型(self-compounding kernels online sequential kernel extreme learning machine,SCK-OSELM)。首先,在每批動態數據到來的訓練階段將樣本映射到不同核空間,并將其特征進行非線性融合得到核矩陣。之后,利用稀疏貝葉斯方法對其后驗概率進行估計從而代替擬合數據的方法訓練得到隱層輸出權值,并對當前時刻參數進行稀疏以便于后續的增量學習。本文在3類數據集上驗證了SCK-OSELM算法的有效性,存在以下優點:

(1) 該方法避免了人為選擇隱層參數,增強了算法的魯棒性。通過對當前時間點計算將參數進行稀疏,不僅保留了已有的判別信息,且降低了下一時刻的計算復雜度,實現了增量學習。

(2) 提出自組合核方法,實現了不同高維空間特征融合,同時避免了需根據樣本分布選擇核函數的問題。該方法可被拓展應用于其他監督的組合核方法中。

1　OSELM算法及本文算法思路

1.1OSELM算法回顧

ELM模型為SLNF的改進算法,避免了其求解速度慢,容易陷入局部極小值的問題,可描述如下:N個不同樣本

(1)

式中,ξi=[ξi,1,…,ξi,m]T為訓練誤差向量。根據KKT理論,由拉格朗日乘子法有

(2)

式中,τ為拉格朗日乘子。此處g(xi)g(xj),可轉化為K(xi,xj)=g(xi)g(xj)。式(2)可寫為

(3)

式中,K(xi,xj)為ELM的核函數,可為徑向基函數等任意核函數。

上述模型針對靜態數據,采用批量分類方法。文獻[26]提出了增量分類模型OSELM,其為ELM模型的在線求解方法,能快速處理在線分類問題。對ΔN(ΔN≥1)個新樣本學習得到模型后與原有模型進行矩陣計算即可得到新的輸出權值βN+ΔN。當ΔN個新樣本到達時,隱層輸出矩陣為

(4)

(5)

從而,可得到

(6)

(7)

結合式(6)和式(7)，可得到輸出權值的增量表達式為

(8)

由上述求解過程可知,新數據動態到來時,式(7)和式(8)僅需在原有模型基礎上進行調整,即可實現增量學習。

1.2OSELM增量學習問題與本文思路

OSELM僅在當前時間點對已得到的分類器進行調整,無需對全部累積數據重新訓練即可獲得適應于新數據的分類器。該方法雖然在保證計算精度的前提下,提高了計算速度,但由式(5)可知矩陣需通過隨機指定參數的方法獲得,這種操作將產生較差的魯棒性。同時,由式(3)可知核ELM難以直接拓展于式(7)和式(8)成為基于核方法的增量極端學習機,或需通過復雜矩陣計算將OSELM拓展成核方法。如文獻[30-32]指出,該方法不僅計算復雜,且存在難以針對輸入數據分布特點選擇合適核函數的問題。

稀疏貝葉斯分類方法利用先驗概率使部分參數值趨于0,這些參數對判別模型的影響較小,從而達到參數稀疏的目的。上述特性恰好可被用于增量模型中。本文受其啟發,提出一種基于核的增量學習算法。通過保留當前時刻約減后參數,降低下一時刻計算復雜度。同時,為避免原始核映射方法對核函數選擇人為干預問題,提出一種新的組合核方法SCK,該方法同時可被用于其他監督的核方法中。

SCK-OSELM可簡述如下:首先,將輸入樣本映射到不同核空間,利用SCK方法獲得高維特征的非線性融合;其次,利用稀疏貝葉斯方法對高維特征訓練并保留在分類中貢獻大的參數;最后,將之前得到的稀疏參數并入下一時刻與新樣本共同訓練。

算法原理如圖1所示。圖中紅色結點為經過稀疏后得到的參數結點,同時加入到下一次的運算。該操作保持了之前訓練模型可追溯性,降低了算法下一時刻計算復雜度。

圖1　SCK-OSELM算法基本原理

2　SCK算法

(9)

式中,β為模型權值向量。

(10)

式中,ηc為權值,用于控制不同核函數的權值。對ηc的求解可根據監督算法,通過獲得樣本訓練誤差范數得到優化方程:

(11)

(12)

式中,p>1。該監督學習中,判別模型獲得了多個不同核對學習過程產生的不同貢獻。根據式(12),方程需求解一個非線性、非凸優化問題。根據優化理論,無法直接找到該問題的全局最優解,本文根據文獻[33]中的交替優化形式,采用迭代求解方法,獲得方程局部最優解。該方法通過交替更新tj與ηc值優化求解。首先,tj值被固定更新ηc值,利用拉格朗日乘子法,得到

式中,λ為拉格朗日乘子,通過求偏導,并使其變量值為0,可得到

式中，i=1,…,m。

經推導后可得到ηc的值為

(13)

求得當前ηc后,固定該值,交替迭代求解tj值。同時,由式(13)可知,p值可影響ηc。當p→∞時ηc值將彼此相近,p值的選取應獲得所有互補的核空間。

3　增量分類

(14)

式中,g(·)為Sigmod激活函數,g[f(x;β)]=1+e-f(x;β),且f(x;β)=xβ。為避免模型訓練過擬合,在稀疏貝葉斯學習中β的求解不直接利用最大似然估計求解,此處引入β的高斯先驗分布對其約束:

(15)

式中,α為超參數,該參數最終決定了參數的稀疏性。由自相關性判定理論可知，先驗概率會使神經元中影響較小的神經元對應的β值趨于0值。對于任意x對應的t均獨立,得到以α為條件的邊際似然函數:

在訓練過程中通過最大化該似然函數求解α。為了簡化求解過程,將式(14)和式(15)代入,有如下拉普拉斯近似:

(16)

式中,B為N×N的對角矩陣,元素βi=fi(1-fi)且dg/df=g(1-g)。利用牛頓法可以求解β為

(17)

(18)

(19)

(20)

分類方法通過似然函數調整輸出權值,使得部分權值為0,從而達到當前時刻參數稀疏的目的。SCK-OSELM算法的具體步驟如下,其中包含離線訓練部分與在線訓練部分:

(1) 離線訓練部分

步驟 1隨機初始化ηc為1/c,βi與αi為任意值,指定組合核函數(多個核函數,指定核函數參數)與最大迭代次數;

步驟 2計算輸入離線樣本的不同核矩陣與組合核矩陣;

(2) 在線訓練部分

步驟 7計算輸入在線樣本的多個核矩陣與組合核矩陣;

步驟 9計算tj并計算更新后的ηc;

步驟 11如果在線數據到來結束則利用最終約減后的參數集訓練得到分類模型,反之則轉到步驟6繼續訓練。

4　實驗結果與分析

4.1實驗設置

實驗運行在2.93GHzCPU,8GBRAM的PC上,計算平臺為Matlab213a。為更加全面地評價本文提出算法的效果,選擇3類數據集進行驗證:12個UCI數據集、3組MNIst手寫體數據集與一組手工數據集。

4.2數據集描述

UCI數據集被廣泛用于驗證分類算法效果的實驗中,本文選擇6個二分類、6個多分類數據集。數據集的具體描述見表1。本文設置增量算法的滑窗大小為訓練樣本數量的10%。

MNIst數據集為手寫體圖像數據集,其維度較高。在該數據集上進行了實驗對比,驗證了算法在高維度數據集上的效果。其包含10類60 000個樣本,每個樣本為28×28的灰度圖像,圖2為測試集示意圖。為測試算法的穩定性本文隨機選擇3組樣本進行實驗,3組實驗數據的具體描述被總結在表2中。

表1　UCI數據集描述

圖2　MNIst數據測試集實例

實驗訓練集/每批次樣本數測試集樣本數實驗1386/39193實驗28660/8664330實驗319500/19509730

增量學習中除了數據量的增加,同時面臨不同類別樣本分布非平衡的問題。本文利用手工數據集,對算法對類別敏感性進行了測試。該數據集包含5個類別,共1 000個樣本,維度為2。該數據集的散點如圖3所示,數據集的數據分布為單位面積均勻分布,但不同類別樣本分布不同。實驗中隨機選擇訓練集樣本為667,測試集樣本為334。

圖3　手工數據集散點圖

4.3參數選擇

本文所用核函數參數采用遍歷的方式獲得,Linear,Gaussian,Laplacian的參數選擇為2γ,(γ∈{-2,-1,0,1,2}),polynomial的參數選擇為γ(γ∈{1,2,3})。分別選擇UCI數據集中的二分類數據集Heart與多分類數據集Iris對以上參數遍歷選擇。此時,固定p=2,且迭代次數為500。由圖4可知,當為(2-2,2-2,20,3),(2-2,22,20,3)等參數時,兩個數據集的分類準確率均較高,本文在后續試驗中選擇核函數參數為(2-2,2-2,20,3)。

圖4　核函數參數選擇

SCK-OSELM利用牛頓法求解似然方程。為保證算法收斂,本文采用平凡收斂條件,需對迭代次數進行設置。算法中p值的選擇對分類效果有較大影響,此處選擇p=2,p=5,后續本文將對不同p(p∈{2,3,4,5,6,7,8,9,10})值進行遍歷并討論分類效果。圖5(a)和圖5(b)所示分別為二分類UCI數據集Heart與多分類UCI數據集Iiris的分類效果,隨著迭代次數的增加，曲線在迭代次數為200時趨于穩定。為確保算法收斂同時盡量減少算法運行時間,后續實驗中設置迭代次數為200。

對比算法中的參數設置如下,OSELM與LS-IELM中,隱層神經元為Sigmod:(G(a,b,x)=1/(1+exp(-(ax+b)))),參數a在[-1,1]隨機選取,b在[0,1]隨機選取。參數a與b選取對算法分類效果有一定影響,本文實驗均采用10次運算后取均值的方式。由文獻[26]可知,OSELM中隱層神經元的選擇對算法效果有嚴重影響,個數過多模型訓練將產生過擬合,過少則模型訓練不足。該參數的普遍選擇方式是交叉驗證或指定范圍內遍歷,本文中采用后一種方式,在[1,5,10,50,80,100,200,300, 400,500,800, 1 000]范圍內遍歷隱層結點。圖6(a)為UCI二分類數據集中Heart和Cx1在不同隱層結點下的分類效果統計,圖6(b)為UCI多分類數據集Iirs和PageBlocks在不同隱層結點下的分類效果統計(數據集詳細描述見表1)。如圖可見,隨著隱層結點個數的上升，識別率隨之提高,到200時趨于穩定,超過400后模型處于過擬合狀態,分類準確率有所下降。由此,本文設置OSELM與LS-IELM中隱層結點個數為200。

圖5　算法迭代次數設置

圖6　OSELM隱層參數選擇

4.4實驗結果

4.4.1UCI數據集

表3給出在不同p值下所有UCI數據集的分類識別率。從表中可知不同數據集對應不同的p值獲得的分類效果不同,例如,Segment數據集對應p=3時獲得較高的分類效果,而Glass數據集中p=8,9時獲得較高的分類效果。由本文第3.1節分析可知，p越大所有的組合核函數權值越為平均,算法對所有特征空間平均融合。在該組實驗中多數數據集在p為2時效果較好,后續實驗中本文選擇p=2時的不同數據集實驗效果對比。

表3　不同p值時UCI數據集分類效果對比

為測試算法的增量學習能力與穩定性,圖7給出了不同算法在UCI二分類數據集上的分類效果對比。從圖中可看到隨著數據量的增加,所有算法的分類準確率均有所上升,在大部分數據集上本文算法獲得了較好的分類效果,在Banana與Au數據集上SKC-OSELM算法在初期樣本量較少的情況下效果較差,但隨著樣本量的增加分類效果有所上升。從識別率曲線可見,對比算法,特別是OSELM算法曲線的波動較大,說明該算法對動態增量數據識別過程不穩定。

圖7　UCI二分類數據集實驗對比結果

圖8為不同算法在UCI多分類數據集上的分類準確率對比曲線,由圖可見本文算法在多數數據集上獲得了較好的分類效果,且隨數據量的增加平穩上升。本文算法在數據集Glass上表現不如單核方法,該類樣本可能趨于單一分布,在多空間特征融合的情況下反而效果不佳。

圖8　UCI多分類數據集實驗對比結果

表4　Iris數據集算法運行時間對比

表5　Banana數據集算法運行時間對比

4.4.2MNIst數據集

表6給出了針對MNIst數據集的第一組實驗中隨著p值的不同分類效果隨之改變,當p=7時分類效果最好。對比實驗中仍然選擇p=2的結果對比,表7中統計了3組實驗中4種算法分別運行10次分類準確率的均值與方差。由表可知,針對于3組實驗數據,OSKELM的單核分類效果在實驗1中優于其他算法,當樣本數量增加時SCK-OSELM與OSKELM算法效果相當。SCK-OSELM在數據集維度較高且樣本量較小時,效果不如單核算法。同時,由于SCK-OSELM、OSKELM與KB-IELM算法無需隨機指定隱層參數,獲得了較好的穩定性。

表6　不同p值時MNIst-test1數據集分類效果對比

表7　MNIst數據集3組實驗10次實驗結果的均值與方差

4.4.3手工數據集

本文在手工數據集上對OSELM,OSKELM與SCK-OSELM的10次運行均值與方差進行了對比。從表8中可看到OSKELM與SCK-OSELM的方差為均較低,說明兩種算法的穩定性遠好于OSELM算法。同時,由表9可見無論p為何值,SCK-OSELM算法的分類效果在該類非均勻樣本數據集中均高于其他兩種算法。

表8　手工數據集10次實驗結果均值與方差

表9　不同p值時手工數據集分類效果對比

5　結　論

實際應用中每一時刻涌入的動態數據量越來越多,增量學習成為學者研究的熱點。本文針對有時間特性的增量數據分類問題,基于稀疏貝葉斯學習理論,提出了SCK-OSELM算法。首先,提出自組合方法對不同核空間特征進行融合,這種新的組合核方法可被拓展應用于其他監督學習中。同時,對未知標簽數據輸出的概率分布進行估計,自動使某些輸出權值調整為0,達到參數稀疏的目的。由于每次增量學習的過程僅需要將上次稀疏后的參數加入本次計算,不僅使得原有分類模型具有可追溯性,且降低了算法的空間復雜度。在每一次單獨計算中,利用最大化邊緣似然函數代替最小化模型訓練誤差的方式,降低了模型的過擬合,提高了模型的泛化性。本文利用3組不同的數據集對模型的性能進行驗證,取得了較好的效果。但在實際應用中無標簽樣本越來越多,如何對半監督的數據集進行有效的增量分類將成為一個值得研究的問題。

[1] Coppock H W, Freund J E. All-or-none versus incremental learning of errorless shock escapes by the rat[J].Science, 1962, 135(3500): 318-319.

[2] O′Reilly C, Gluhak A, Imran M A, et al. Anomaly detection in wireless sensor networks in a non-stationary environment[J].IEEECommunicationsSurveys&Tutorials,2014,16(3):1413-1432.

[3] Helmbold D P, Long P M. Tracking drifting concepts by minimizing disagreements[J].MachineLearning, 1994, 14(1): 27-45.

[4] Kuh A, Petsche T, Rivest R L. Learning time-varying concepts[C]∥Proc.oftheAdvancesinNeuralInformationProcessingSystems,1991: 183-189.

[5] Klinkenberg R, Renz I. Adaptive information filtering: learning drifting concepts[C]∥Proc.oftheAAAIWorkshoponLearningforTextCategorization,1998: 33-40.

[6] Widmer G, Kubat M. Learning in the presence of concept drift and hidden contexts[J].Machinelearning,1996, 23(1): 69-101.

[7] Hamker F H. Life-long learning cell structures—continuously learning without catastrophic interference[J].NeuralNetworks, 2001, 14(4): 551-573.

[8] Eslami S M A, Tarlow D, Kohli P, et al. Just-in-time learning for fast and flexible inference[C]∥Proc.oftheAdvancesinNeuralInformationProcessingSystems,2014: 154-162.

[9] Tsai C J, Lee C I, Yang W P. Mining decision rules on data streams in the presence of concept drifts[J].ExpertSystemswithApplications, 2009, 36(2): 1164-1178.

[10] Liu J C, Miao Q G, Cao Y. Ensemble one-class classifiers based on hybrid diversity generation and pruning[J].JournalofElectronics&InformationTechnology, 2015, 37(2):386-393.(劉家辰, 苗啟廣, 曹瑩. 基于混合多樣性生成與修剪的集成單類分類算法[J]. 電子與信息學報,2015, 37(2): 386-393.)

[11] Polikar R, Upda L, Upda S S, et al. Learn++: an incremental learning algorithm for supervised neural networks[J].IEEETrans.onSystems,Man,andCybernetics,PartC:ApplicationsandReviews, 2001, 31(4): 497-508.

[12] Zheng F, Shao L, Brownjohn J, et al. Learn++ for robust object tracking[C]∥Proc.oftheBritishMachineVisionConference, 2014: 1342-1346.

[13] Chen B, Meng B. Power transformer fault diagnosis system based on learn++[C]∥Proc.oftheAppliedMechanicsandMaterials,2014: 2053-2056.

[14] Ditzler G, Polikar R. Incremental learning of concept drift from streaming imbalanced data[J].IEEETrans.onKnowledgeandDataEngineering, 2013, 25(10): 2283-2301.

[15] Maloof M A, Michalski R S. Incremental learning with partial instance memory[J].ArtificialIntelligence, 2004, 154(1): 95-126.

[16] Klinkenberg R. Learning drifting concepts: example selection vs. example weighting[J].IntelligentDataAnalysis, 2004,8(3): 281-300.

[17] Furao S, Hasegawa O. An incremental network for on-line unsupervised classification and topology learning[J].NeuralNetworks, 2006, 19(1): 90-106.

[18] Friedman J, Hastie T, Tibshirani R.Theelementsofstatisticallearning[M]. Berlin：Springer, 2001:605-624.

[19] Huang G B. An insight into extreme learning machines: random neurons, random features and kernels[J].CognitiveComputation, 2014, 6(3): 376-390.

[20] Zhang J, Feng L, Wang L. Real-time big data classification under mapreduce[J].JournalofComputer-AidedDesign&ComputerGraphics, 2014, 26(8): 1263-1271. (張晶, 馮林, 王樂. MapReduce 框架下的實時大數據圖像分類[J]. 計算機輔助設計與圖形學學報, 2014, 26(8): 1263-1271.)

[21] Liu X, Wang L, Huang G B, et al. Multiple kernel extreme lear-ning machine[J].Neurocomputing, 2015(149): 253-264.

[22] Wong P K, Wong H C, Vong C M, et al. Model predictive engine air-ratio control using online sequential extreme learning machine[J].NeuralComputingandApplications, 2014: 1-14.

[23] Wong P K, Vong C M, Gao X H, et al. Adaptive control using fully online sequential-extreme learning machine and a case study on engine air-fuel ratio regulation[J].MathematicalProblemsinEngineering, 2014.DOI: 10.1155/2014/246964.

[24] Horata P, Chiewchanwattana S, Sunat K. Robust extreme learning machine[J].Neurocomputing, 2013(102): 31-44.

[25] Zong W, Huang G B, Chen Y. Weighted extreme learning machine for imbalance learning[J].Neurocomputing, 2013(101): 229-242.

[26] Liang N Y, Huang G B, Saratchandran P, et al. A fast and accurate online sequential learning algorithm for feedforward networks[J].IEEETrans.onNeuralNetworks, 2006, 17(6): 1411-1423.

[27] Yin J C, Zou Z J, Xu F, et al. Online ship roll motion prediction based on grey sequential extreme learning machine[J].Neurocomputing, 2014(129): 168-174.

[28] Zou H, Jiang H, Lu X, et al. An online sequential extreme learning machine approach to WiFi based indoor positioning[C]∥Proc.oftheIEEEWorldonForumInternetofThings, 2014: 111-116.

[29] Deng W, Zheng Q, Chen L. Regularized extreme learning machine[C]∥Proc.oftheIEEESymposiumonComputationalIntelligenceandDataMining, 2009: 389-395.

[30] Guo L, Hao J, Liu M. An incremental extreme learning machine for online sequential learning problems[J].Neurocomputing, 2014(128): 50-58.

[31] Wang X, Han M. Online sequential extreme learning machine with kernels for nonstationary time series prediction[J].Neurocomputing, 2014(145): 90-97.

[32] Scardapane S, Comminiello D, Scarpiniti M, et al. Online sequential extreme learning machine with kernels[J].IEEETrans.onNeuralNetworksandLearningSystems, 2015, 26(9): 2214-2220.

[33] Bezdek J C, Hathaway R J.Somenotesonalternatingoptimization[M]. Heidelberg: Berlin, 2002: 288-300.

Incremental classification based on self-compounding kernel

FENG Lin1,2, ZHANG Jing1, WU Zhen-yu2

(1. School of Computer Science and Technology, Faculty of Electronic Information and Electrical Engineering, Dalian University of Technology, Dalian 116024, China; 2. School of Innovation Experiment, Dalian University of Technology, Dalian 116024, China)

Online sequential kernel extreme learning machine (OSELM) is an increment classification algorithm, and it only keeps training model at last time, then adjusts the original model from the current samples. However, it does not batch calculation when solving the problem of real-time dynamic data classification. This method by minimizing the empirical risk leads to the over-fitting, and randomly assigns hidden layer neurons in offline training, which makes the model have poor robust. Moreover, the solving process is difficult to be extended to the kernel method, which reduces the classification accuracy. Pointing to above-mentioned problems, a new online classification method, self-compounding kernels OSELM (SCK-OSELM), is proposed based on the kernel method. Firstly, inputted samples are mapped to multi-kernel spaces to obtain different features, and the nonlinear combination of features are calculated. Proposed self-compounding kernels method is used to others supervised kernel methods. Secondly, the prior distribution of training samples as model weights are introduced to maintain the model generalization, and by using the super weight to make the posterior distribution of weights to zero, thus sparse parameter is achieved. Finally, the parameter of sparse are incorporated into the next moment common operations. Numerical experiments indicate that the proposed method is effective．In comparison with OSELM, the proposed method has better performance in the sense of stability and classification accuracy, and is suitable for real-time dynamic data classification.

dynamic data; online sequential extreme learning machine; self-compounding kernel; sparse Bayesian

2015-10-26；

2016-03-16；網絡優先出版日期：2016-07-06。

國家自然科學基金(61173163，61370200)資助課題

TP 319

A

10.3969/j.issn.1001-506X.2016.08.36

馮林(1969-),男,教授,博士,主要研究方向為智能圖像處理、機器學習、數據挖掘。

E-mail:fenglin@dlut.edu.cn

張晶(1984-),女,博士研究生,主要研究方向為數據挖掘、機器學習、計算機視覺。

E-mail:zhangjing_0412@mail.dlut.edu.cn

吳振宇(1971-),男,副教授,博士,主要研究方向為嵌入式系統應用、工業電源及傳感器。

E-mail: zhenyuwu@dlut.edu.cn

網絡優先出版地址：http://www.cnki.net/kcms/detail/11.2422.TN.20160706.1030.004.html