一種新的基于乘性規則的支持向量機

廣東工業大學 周 燁

一種新的基于乘性規則的支持向量機

廣東工業大學 周 燁

由于傳統的二次規劃運算速度慢，已推出適用于二次規劃問題的乘性規則。在本文中，推導出新的求解支持向量機中和約束二次規劃的乘性規則，同樣使得二次規劃的目標函數單調下降到全局的最小點，同時又顯著提高其優化速度。該方法是構造出新的輔助函數，推導出乘性規則，是一種直接優化的方法，所有變量都可以并行迭代，在本文中會給出完整的證明和給出仿真實驗驗證其有效性。

二次規劃；和約束；乘性規則

1 引言

2 非負二次規劃

首先，我們研究的基本問題是非負約束的二次規劃。考慮二次規劃目標函數的最小化問題：

乘性規則：

非負二次規+劃的乘性更新法則是用矩陣A的正數和負數的部分來表示的，特別是，讓A—和A表示為非負矩陣，它們包含的元素可以表示為：

這個規則能夠簡單的實現出來，v的各個分量可以并行參與運算。而且都是非負的，式（3）右端經迭代運算后仍為非負的，因此迭代運算始終滿足非負約束。

3 新的乘性規則

在文獻【1】中，我們都可以查閱到式（3）推導方法，新的乘性規則也是延續這種推導思路，使得目標函數收斂到全局的最小值。

引理1：

有時候他又從一個極端跑到另一個極端，對女兒寵得沒邊兒沒沿兒。豆豆想養狗，一看見別的小朋友養狗就哭著來找我申請。我告訴她：“豆豆，媽媽特別怕狗，所以咱們家不能養狗。”

式（14）相較與式（3）同樣能夠保證右端迭代運算后為非負的，所以迭代運算也是始終滿足非負的約束。

證明的思路是依據構造一個輔助函數為目標函數提高提供上界，該證明方法已在論文中【1】被證明。

單調收斂：

4 和約束

由于式（15）僅適用于非負二次規劃問題，不能直接求解下面目標函數，因為它不僅有非負約束還有和約束問題，因此我們將式（14）中的乘性規則作進一步的推廣。

由于規劃：

對應的Lagrange函數為：

則新的更新法則為：

具體證明見論文[2-3]

5 仿真實驗

（1）通過仿真實驗我們來驗證本文算法的優越性，我們兩種二分類的數據進行實驗，一類是自動生成的數據，一類是真實的數據集。三個數據集是機器學習常用的數據集。

6 結束語

SVMs在機器學習中是被運用的最廣泛的結構之一。在本文中，我們已經推導出一種簡單形式的乘性更新，解決支持向量機中求解具有和約束的二次規劃。這種規則能夠直接并行運行并且保證收斂到全局最小值。在文章中我們已經給出了理論證明，仿真實驗說明本文算法能夠極大地提高優化速度。

[1]F.Sha,L.K.Saul,and D.D.Lee.Multiplicative updates for nonnegative quadratic programming in support vector machines.In S.Becker,S.Thrun, and K. Obermayer, editors, Advances in Neural and Information Processing Systems,volume 15,Cambridge,MA.

[2]F.Sha,L.K.Saul,and D.D.Lee.Multiplicative updates for large margin classifiers.In Proceedings of the Sixteenth Annual Conference on Computational Learning Theory(COLT-03)(pp.188-202).Berlin:Springer.2003.

[3]F.Sha,L.K.Saul,and D.D.Lee.Multiplicative updates for nonnegative quadratic programming[J].Neural Computation,19(8):2004-2031,2014.