基于L2正則化的邏輯回歸求解設(shè)計(jì)

摘 要：本文通過對L2正則化邏輯回歸進(jìn)行分析，使用隨機(jī)梯度下降（SGD）和限制內(nèi)存擬牛頓法（L-BFGS）來求解回歸參數(shù)使得條件對數(shù)似然函數(shù)最大。在手寫數(shù)字圖像數(shù)據(jù)集USPS-N和HTML網(wǎng)頁數(shù)據(jù)集上的兩分類結(jié)果表明，隨機(jī)梯度下降求解方法在兩數(shù)據(jù)集上有較高的測試錯(cuò)誤率。因此，在設(shè)計(jì)L2正則化邏輯回歸求解方法時(shí)，可使用限制內(nèi)存擬牛頓法作為缺省求解方法。

關(guān)鍵詞：邏輯回歸；隨機(jī)梯度下降法；限制內(nèi)存擬牛頓法

中圖分類號：TP302.2 文獻(xiàn)標(biāo)識碼：A 文章編號：2096-4706（2018）03-0016-02

Design of Logical Regression Solving Based on L2 Regularization

HUANG Xiongpeng

（School of International Education，Guizhou Normal University，Guiyang 550001，China）

Abstract：By analyzing the L2 regularized logistic regression，this paper uses random gradient descent （SGD） and limited memory quasi Newton method （L-BFGS） to solve the regression parameter to make the maximum of the conditional log likelihood function. The two classification results on the handwritten digital image data set USPS-N and the HTML web data set show that the random gradient descent method has a higher test error rate on the two data set. Therefore，when designing L2 regularized logistic regression method，the restricted memory quasi Newton method can be used as the default solution.

Keywords：logical regression；stochastic gradient descent method；restricted memory quasi Newton method

0 引 言

機(jī)器學(xué)習(xí)（Machine Learning，ML）是人工智能（Artificial Intelligence，AI）的分支，它是以數(shù)據(jù)為學(xué)習(xí)對象，通過對數(shù)據(jù)的分析開發(fā)出數(shù)據(jù)的模型，從而發(fā)現(xiàn)數(shù)據(jù)中的知識以協(xié)助分析、理解以及預(yù)測未知的新數(shù)據(jù)。ML方法已經(jīng)被成功應(yīng)用于解決各種現(xiàn)實(shí)問題，如對微軟Kinect傳感器進(jìn)行對象檢測[1]、光伏電力輸出預(yù)測[2]等。

邏輯回歸是一種實(shí)數(shù)值輸入、二值（伯努利）輸出的機(jī)器學(xué)習(xí)算法。例如，在棒球運(yùn)動中，可以通過（擊球率、高度、重量）統(tǒng)計(jì)量集合來判斷棒球員是否擊中。顯然，（擊球率、高度、重量）統(tǒng)計(jì)量集合構(gòu)成了實(shí)數(shù)輸入，棒球運(yùn)動員某一次是否擊中是二值輸出（1表示擊中，0表示未擊中），棒球運(yùn)動員是否擊中的概率可使用邏輯回歸來刻畫。

本文通過比較隨機(jī)梯度下降（Stochastic Gradient Descent，SGD）和限制內(nèi)存擬牛頓（Limited-memory Broyden-Fletcher-Goldfarb-Shannon，L-BFGS）兩種基于梯度的優(yōu)化方法分析邏輯回歸的分類性能。

1 算法設(shè)計(jì)和分析

本研究給出SGD和L-BFGS兩種方法對條件對數(shù)似然函數(shù)最大化進(jìn)行求解的算法設(shè)計(jì)和分析。簡而言之，SGD方法通過引入固定學(xué)習(xí)率λ控制在對數(shù)似然函數(shù)上的變化。……