基于支持向量機(jī)在線(xiàn)訓(xùn)練算法的研究

摘 要：支持向量回歸機(jī)算法運(yùn)用于在線(xiàn)訓(xùn)練環(huán)境下效率很高，因?yàn)椋?dāng)每次訓(xùn)練集改變后，它不需要從頭開(kāi)始對(duì)樣本進(jìn)行重新學(xué)習(xí)。本文研究的一種增量與減量式的支持向量回歸機(jī)在線(xiàn)訓(xùn)練算法，當(dāng)在訓(xùn)練集中添加或刪除樣本時(shí)，該算法就可以有效更新回歸函數(shù)，并通過(guò)逐步改變樣本的系數(shù)，運(yùn)用拉格朗日乘子法，從而進(jìn)行迭代，最終訓(xùn)練完整個(gè)樣本集。仿真結(jié)果表明該算法具有較高的訓(xùn)練效率。

關(guān)鍵詞：支持向量機(jī)；在線(xiàn)訓(xùn)練；增量式訓(xùn)練；減量式訓(xùn)練

1 緒論

支持向量機(jī)（SVM）不僅有著統(tǒng)計(jì)學(xué)習(xí)理論[1]（Statistical Theory Learning，STL）的堅(jiān)實(shí)理論基礎(chǔ)作為基墊，而且具有十分直觀(guān)的幾何解釋和接近完美的數(shù)學(xué)形式，并且適合在小樣本條件下進(jìn)行運(yùn)用。

本文主要是研究一種增量與減量式[2]支持向量回歸機(jī)在線(xiàn)訓(xùn)練算法，目的為解決傳統(tǒng)算法在極端情況下每次新樣本添加后，需要全部開(kāi)始從頭重新訓(xùn)練整個(gè)樣本集的問(wèn)題。該算法依據(jù)Lagrange乘數(shù)法和Karush-Kuhn-Tucker（KKT）條件，[3-4]通過(guò)在有限次數(shù)迭代[5]下從而改變樣本的系數(shù)，并保持原先的樣本在執(zhí)行每一步時(shí)，依然滿(mǎn)足KKT條件，以至于最后得出訓(xùn)練結(jié)果。

仿真結(jié)果表明，支持向量回歸機(jī)在線(xiàn)訓(xùn)練算法具有較高的訓(xùn)練效率。

5 結(jié)語(yǔ)

當(dāng)在訓(xùn)練集中添加或刪除樣本時(shí)，支持向量回歸機(jī)在線(xiàn)訓(xùn)練算法就可以有效更新回歸函數(shù)，并通過(guò)逐步改變樣本的系數(shù)，運(yùn)用拉格朗日乘子法，從而進(jìn)行迭代，最終訓(xùn)練完整個(gè)樣本集。且仿真結(jié)果表明該算法具有較高的訓(xùn)練效率。

參考文獻(xiàn)：

[1]張一凡，馮愛(ài)民，張正林.支持向量回歸增量學(xué)習(xí)[J].計(jì)算機(jī)科學(xué)，2014，41（6）：166-170.

[2]顧斌，鄭關(guān)勝，王建東增.量和減量式標(biāo)準(zhǔn)支持向量機(jī)的分析[J].軟件學(xué)報(bào)，2013，24（7）：1601-1613.

[3]張文興，樊捷杰.基于KKT和超球結(jié)構(gòu)的增量SVM算法的云架構(gòu)入侵檢測(cè)系統(tǒng)[J].計(jì)算機(jī)應(yīng)用，2015，35（10）：2886-2890.

[4]王建，陳穎，黃少偉.基于KKT條件分解的互聯(lián)電網(wǎng)分布式狀態(tài)估計(jì)算法[J].電力系統(tǒng)自動(dòng)化，2010，34（19）：32-36.

[5]易校石，劉念.基于支持向量機(jī)中分離超平面求取的算法[J].重慶工商大學(xué)學(xué)報(bào)（自然科學(xué)版），2018，35（3）：66-69.

作者簡(jiǎn)介：劉曉舟（1994-），女，漢族，碩士，主要研究領(lǐng)域?yàn)闊o(wú)線(xiàn)傳感器網(wǎng)絡(luò)，信息處理。