L1-正則的最小二乘回歸的加速隨機梯度逼近算法

程一元 費經泰

（1.巢湖學院 數學與統計學院，安徽 巢湖 238000；2.安徽建筑大學城市建設學院 基礎部，安徽 合肥 238076）

0 引言

1 算法的提出

在本研究中考慮L1正則化的最小二乘回歸加速梯度算法。其創新之處在于，可以得到非漸近速率為Ο（1n n/n）的收斂結果。為了給出隨機加速梯度的收斂性質，對于回歸問題的算法，提出以下假設：

假設（A—D）是隨機逼近里的基本假設，與文獻[8]假設相似。但與文獻[8]比較本研究沒有方差算子 H=E（xk?xk）的假設條件：E（ξi?ξi）?σ2H。||θ||1是不可微函數，借助stoklev函數去逼近它。對于 δ>0，有

這里的 ω（||θ||，d）代表函數||θ||1的光滑模型。函數光滑模型的性質有

根據上面的分析，給出最小二乘的加速隨機梯度算法：

算法1 最小二乘的加速隨機梯度算法已知：θ0=α0=1，第 1 步：θag 0=θ0第 2步：θmd k=（1-αk）θag k-1+αkθk-1，第 3 步：zk=（▽g（θmd k ）+，▽h（θmd k ））/α2 k第 4 步：θk=θk-1-λkzk，第 5 步：θag k=θmd k-βkzk，第6步：k=k+1，返回到第二步直到滿足精度要求。

2 算法的收斂性分析

為了研究加速隨機梯度算法的收斂速度，借助文獻[9]引理2.1，得到定理1。在定理1的基礎上，分析研究最小二乘回歸加速梯度算法的收斂性。

3 數值實驗

通過在兩個不同噪聲水平的合成噪聲數據集上進行比較。圖1是沒有噪音下的，圖2在噪音σ=0.1的水平下。從圖中的比較可以看出，算法1的收斂速度要快于文獻[4]和[8]的收斂速度。

圖1 無噪音下收斂速度的比較

4 結語

圖2 有噪音σ=0.1下收斂速度的比較