NewtonRaphson算法Logistic分類器性能提升應用研究

葉曉波+秦海菲

摘要：Logistic分類算法中，通常使用梯度上升算法求解權值矩陣，NewtonRaphson算法是另一種求解權值矩陣的算法。選用UCI機器學習倉庫中3個數(shù)據(jù)集，實驗研究了Logistic梯度上升算法與Logistic NewtonRaphson算法的分類正確率、權值矩陣迭代求解次數(shù)。實驗結果表明，相比Logistic梯度上升算法，Logistic NewtonRaphson算法具有更高分類正確率與較少權值矩陣迭代求解次數(shù)，該結論為Logistic分類過程中權值矩陣求解算法提供了參考依據(jù)。

關鍵詞關鍵詞：模式識別；Logistic；NewtonRaphson

DOIDOI：10.11907/rjdk.171823

中圖分類號：TP319

文獻標識碼：A文章編號文章編號：16727800（2017）011014103

0引言

模式識別是一門以應用為基礎的學科，目的是將對象進行分類[1]。根據(jù)分類算法訓練學習與測試數(shù)據(jù)集類別標簽情況，模式識別可分為有監(jiān)督模式識別、無監(jiān)督模式識別及半監(jiān)督模式識別[1]。監(jiān)督學習算法中，Logistic分類算法是廣泛使用的簡單二分類算法，相對于感知器算法，Logistic函數(shù)對于輸入的任意值，值域為（0，1），完全滿足分類算法中概率為（0，1）的要求，且Logistic函數(shù)為單調上升函數(shù)，沒有不連續(xù)點。Logistic分類算法中，大部分文獻給出求解權值矩陣算法是梯度上升算法，鮮見提及NewtonRaphson算法。這兩種算法，哪種具有更快收斂速度與更高分類準確性，本文通過實驗研究給出了答案。

3實驗研究

實驗軟件環(huán)境為Windows 7（64bit）、Matlab 2016b，硬件環(huán)境為Intel I53570K 、8G內存。實驗程序設計均在Matlab 2016b下完成，以下是整個實驗過程。

3.1數(shù)據(jù)詳情

實驗所用數(shù)據(jù)來自UCI機器學習倉庫（http：//archive.ics.uci.edu/ml/）較流行的3個數(shù)據(jù)集，分別為Breast Cancer Wisconsin （Diagnostic）數(shù)據(jù)集中Wisconsin Diagnostic Breast Cancer （WDBC.data）數(shù)據(jù)集[8]與Breast Cancer Wisconsin（BCW.data）數(shù)據(jù)集[9]、SPECT Heart（Data on cardiac Single Proton Emission Computed Tomography images）數(shù)據(jù)集中SPECTF.train（用于訓練學習）與SPECTF.test（用于正確率檢測）數(shù)據(jù)集[10]。實驗用數(shù)據(jù)集數(shù)據(jù)數(shù)量、屬性、類別數(shù)如表1所示。

所有數(shù)據(jù)集類別標簽分別用數(shù)字1、2表示，有缺失值

的數(shù)據(jù)不參與本次實驗，數(shù)據(jù)預處理情況如下：

WDBC.data數(shù)據(jù)集第一列屬性值為ID number，實驗之前應刪除該值；第二列屬性值為相應類別標簽，分別為M、B，實驗之前應將數(shù)據(jù)集中相應類別標識用數(shù)字1、2替換。

BCW.data數(shù)據(jù)集第一列屬性值是ID number，實驗前應刪除該值；最后一列為類別標簽，分別為2、4，實驗前應將數(shù)據(jù)集中相應類別標識用數(shù)字1、2替換。實驗前刪除數(shù)據(jù)集中16條有缺失值的數(shù)據(jù)。

實驗采用UCI數(shù)據(jù)集的優(yōu)勢在于：UCI數(shù)據(jù)倉庫創(chuàng)建于1987年，是全世界從事機器學習理論研究的學生、教育者、研究人員主要數(shù)據(jù)源，用UCI數(shù)據(jù)集得到的實驗結果具有一定權威性。

3.2實驗思路與方法

3.2.1實驗數(shù)據(jù)采樣方法

分類算法分類正確率與實驗數(shù)據(jù)采樣比例密切相關，通常訓練數(shù)據(jù)量越大，分類精確度越高。實驗中WDBC.data數(shù)據(jù)集與BCW.data數(shù)據(jù)集取出每個類別總數(shù)量70%數(shù)據(jù)作為訓練學習數(shù)據(jù)集，余下30%數(shù)據(jù)作為分類正確率檢測數(shù)據(jù)集；SPECT Heart數(shù)據(jù)集中的SPECTF.train用于訓練學習，SPECTF.test用于分類正確率檢測。

3.2.2分類效率比較方式

分別用Logistic梯度上升算法與Logistic NewtonRaphson算法對實驗數(shù)據(jù)進行分類正確率檢測，在達到指定分類正確率基礎上，對比兩種算法的訓練學習數(shù)據(jù)與測試數(shù)據(jù)分類正確率及迭代求解權值矩陣次數(shù)。訓練學習數(shù)據(jù)與測試數(shù)據(jù)分類正確率高，迭代求解權值矩陣次數(shù)少的就是最優(yōu)算法。

3.3程序設計

3.3.1Logistic梯度上升算法程序設計步驟

（1）load數(shù)據(jù)集名稱；

（2）p=0.7；%提取訓練學習數(shù)據(jù)比例

（3）i=1；%計數(shù)器

（4）按比例p提取訓練學習數(shù)據(jù)X；

（5）按比例1-p提取測試數(shù)據(jù)TX；

（6）w=zeros（size（X，2），1）；%初始化權值矩陣w

（7）按照式（3）計算出梯度上升改變權值矩陣；

（8）EXT=1./（1+exp（-w′*X′））；%代入式（1）計算分類值

（9）X_cor（i） =sum（XT==（EXT>=0.5））/size（XT，2）；%計算分類正確率

（10）while （X_cor（i）<0.9）%迭代求解的條件是分類正確率小于90%

（11）i=i+1；%迭代次數(shù)計數(shù)

（12）按照式（10）計算出梯度上升改變權值矩陣；

（13）EXT=1./（1+exp（-w'*X'））；%代入式（1）計算分類值

（14）X_cor（i）=sum（XT==（EXT>=0.5））/size（XT，2）；%計算分類正確率endprint

（15）end

3.3.2Logistic NewtonRaphson算法程序設計步驟

（1）load數(shù)據(jù)集名稱；

（2）p=0.7； %提取訓練學習數(shù)據(jù)比例

（3）i=1；%計數(shù)器

（4）按比例p讀取訓練學習數(shù)據(jù)X；

（5）按比例1-p讀取測試數(shù)據(jù)TX；

（6）w=zeros（size（X，2），1）； %初始化權值矩陣w

（7）按照式（4）計算出梯度上升改變權值矩陣；

（8）EXT=1./（1+exp（-w′*X′））；%代入式（1）計算分類值

（9）X_cor（i） =sum（XT==（EXT>=0.5））/size（XT，2）；%計算分類正確率

（10）while （X_cor（i）<0.9）%迭代求解的條件是分類正確率小于90%

（11）i=i+1；%迭代次數(shù)計數(shù)

（12）按照式（13）計算出梯度上升改變權值矩陣；

（13）EXT=1./（1+exp（-w′*X′））；%代入式（1）計算分類值

（14）X_cor（i）=sum（XT==（EXT>=0.5））/size（XT，2）；%計算分類正確率

（15）end

3.4實驗結果分析

實驗結果見表2、表3。

分析表2、表3可知，Logistic NewtonRaphson算法訓練數(shù)據(jù)與測試數(shù)據(jù)分類正確率都高于Logistic梯度上升算法；在迭代求解次數(shù)方面Logistic NewtonRaphson算法僅需2次迭代就求出符合要求的權值矩陣，明顯少于Logistic梯度上升算法，說明Logistic NewtonRaphson算法在分類正確率與迭代求解次數(shù)兩方面都優(yōu)于Logistic梯度上升算法。

提高測試數(shù)據(jù)分類正確率，如要求測試數(shù)據(jù)分類正確率高達96%（可能會出現(xiàn)過擬合現(xiàn)象），Logistic梯度上升算法無法收斂，而Logistic NewtonRaphson算法卻能快速收斂，這充分說明兩種算法存在效率差別。

4結語

本文從分類正確率、權值矩陣迭代求解次數(shù)兩方面對Logistic梯度上升算法與Logistic NewtonRaphson算法進行了研究。實驗用數(shù)據(jù)源自權威UCI機器學習倉庫，實驗數(shù)據(jù)除SPECTF數(shù)據(jù)集已經(jīng)分配好訓練數(shù)據(jù)與測試數(shù)據(jù)集外，另外兩個數(shù)據(jù)集（WDBC.data與BCW.data）均選取每個類別70%數(shù)據(jù)作為訓練學習數(shù)據(jù)，余下30%數(shù)據(jù)作為模型測試數(shù)據(jù)。實驗結果如下：①Logistic NewtonRaphson算法訓練數(shù)據(jù)與測試數(shù)據(jù)分類正確率均高于Logistic梯度上升算法；②LogisticNewtonRaphson算法僅2步迭代就求解出權值矩陣，而Logistic梯度上升算法需要更多迭代次數(shù)才能求解。以上說明，相比Logistic梯度上升算法，Logistic NewtonRaphson算法分類準確率高、運行效率優(yōu)越。

參考文獻參考文獻：

[1]SERGIOSTHEODORIDIS， KONSTANTINOS KOUTROUMBAS.模式識別 [M].李晶皎，王愛俠，王驕，等，譯.北京：電子工業(yè)出版社，2011.

[2]王德輝，楊帆，楊凱.具有LOGISTIC回歸結構的幾何分布參數(shù)貝葉斯估計及應用[J].遼寧師范大學學報：自然科學版， 2016 （3） ：1316.

[3]萬會芳，杜彥璞.K近鄰和LOGISTIC回歸分類算法比較研究[J].洛陽理工學院學報：自然科學版，2016（3）：8386.

[4]百度百科.牛頓迭代法[EB/OL].https：//baike.baidu.com/item/%E7%89%9B%E9%A1%BF%E8%BF%AD%E4%BB%A3%E6%B3%95/10887580.

[5]云磊.牛頓迭代法的MATLAB實現(xiàn)[J].信息通信，2011（6）：26.

[6]ANDREW NG.Lecture notes 1[EB/OL].http：//cs229.stanford.edu/materials.html.

[7]ANDREW NG.Homework 1： solutions[EB/OL].http：//cs229.stanford.edu/materials.html.

[8]O L MANGASARIAN，W N STREET，W H WOLBERG.Breast cancer diagnosis and prognosis via linear programming [J].Operations Research，1995， 43（4）：570577.

[9]O L MANGASARIAN，W H WOLBERG.Cancer diagnosis via linear programming [J].SIAM News，1990（23）：118.

[10]LA KURGAN， KJ CIOS， R TADEUSIEWICZ， et al. Knowledge discovery approach to automated cardiac SPECT diagnosis[J].Artificial Intelligence in Medicine， 2001，23（2）： 149169.

責任編輯（責任編輯：何麗）endprint