Elastic Net方法在縱向數據模型中的應用*

許麗慶田凱熊琴

（1.廣西大學數學與信息科學學院，南寧，530004；2.廣西科技大學醫學院，柳州，545006）

Elastic Net方法在縱向數據模型中的應用*

許麗慶1田凱1熊琴2

（1.廣西大學數學與信息科學學院，南寧，530004；2.廣西科技大學醫學院，柳州，545006）

將Elastic Net方法（EN方法）運用于平衡縱向數據模型的變量選擇中，建立了相應的縱向數據模型，證明了平衡縱向數據模型的EN估計具有組效應性質，通過數值模擬比較EN方法和Lasso方法，表明EN方法在處理強相關變量時因其能將強相關變量全部選入縱向數據模型而優于Lasso方法.

Elastic Net方法 縱向數據模型 變量選擇 組效應性質

1　引言

縱向數據自提出以后在社會科學，心理學，生物醫學，計量經濟學等領域普遍存在.通過對觀測對象中的每一個受試個體或者每一個受試單位在不同時間點上重復觀測得到的數據稱為縱向數據.因此數據即包含同一時間點上不同樣本的數據，也包含不同時間點上的觀測數據.所以，縱向數據把截面數據和時間數據有效的結合在一起，既能夠很好地分析出個體隨時間變化的趨勢，又能很好的反映個體間的差異及個體內的變化趨勢.

關于縱向數據的研究一直是統計研究的熱點，其中變量選擇問題一直受到廣泛的關注.為了選擇重要的變量和增強預測精度，統計學家們經常應用不同的方法，例如逐步回歸法和子集選擇法，但是由于這兩種方法算法的不穩定性［1-2］，導致它們的理論性不強.1970年，由Hoerl和Kennard［3］提出的嶺回歸雖然增加了穩定性可是它并不能將任何系數設置為零，所以其不能給出一個簡單的解析模型.1996年，Tibshirani［4］提出的Lasso方法，它可以同時做到變量的選擇和參數估計.2005年，Zou和Hastie［5］提出的Elastic Net（EN）方法，它是Lasso方法的一種有效改進，它在處理變量間存在組效應的數據方面要顯著優于Lasso法.

當每個受試個體重復觀測的次數和時刻相同就得到了平衡縱向數據，平衡縱向數據模型要求自變量之間相互獨立，至少不允許出現很強的相關性，同時還要求所研究的樣本量n大于預測變量個數p，但是現實生活中往往出現p?n的情形，所以在處理高維度且變量間有強相關性的縱向數據時，傳統的縱向數據就不再適用了.本文將EN方法用于縱向數據模型，建立相應的縱向數據模型，對高維度強相關的變量選擇問題進行了有益的探索.

2　平衡縱向數據模型和EN方法

2.1平衡縱向數據模型

平衡縱向數據要求對每個個體重復觀測的次數相同，因此每個個體內部數據的個數相同且同分布，對第i個個體的響應變量和p個預測變量重復觀測n次可得到：

多數的縱向數據分析都是基于回歸模型基礎上的，如線性模型.對于平衡縱向數據，考慮線性模型：其中，β=β1，β2，…，βp

（）′是一個p維向量，表示待估計的回歸系數，εij為隨機誤差項，表示響應變量與x′β的偏差.不失一般性，對于任意的i和j，令xij1=1，即β1為線性模型中的截距項.利用矩陣描述，其第i個回歸方程有下面的形式：

2.2EN方法

Elastic Net，又稱彈性網技術，它是在Lasso的基礎上，通過引入系數的二次懲罰項而得到的［5］，它比Lasso方法［6，11］更能有效的處理高維小樣本數據的方法.

假設數據的樣本量為n，預測變量個數為p，響應變量y=y1，…，y n（

）T，預測變量xj=，X是由p個預測變量組成的矩陣，首先對響應變量和預測變量分別進行中心化處理和標準化處理.

對于普通線性模型，EN方法定義如下：

3　EN方法在平衡縱向數據模型中的應用

3.1平衡縱向數據EN估計的方法

通過對每個實驗個體的重復觀測，可以獲得相應變量Yi和預測變量Xi，i=1，…，m.利用極大似然函數估計方法來估計系數，其極大似然函數定義如下：

對上式取e為底的對數，得到似然函數［8］：

參數β的估計為：

3.2平衡縱向數據模型EN估計的性質

EN估計具有組效應性質［6.7］，對于強相關變量組的數據，能將其全部選入模型而不是只選擇一個，彌補了Lasso方法只能選擇變量組中的一個變量的不足.現研究在平衡縱向數據模型下，EN估計的組效應性質.

所以

同理，

定理1從理論上揭示了平衡縱向數據模型的EN估計具有組效應性質，對于具有強相關性的變量，EN估計能將強相關變量全部選入模型，而并非只選擇其中一個，且系數估計的差距隨著相關系數的增大而減小.

3.3數值模擬

現通過數值模擬加以驗證EN方法在處理具有強相關變量組的數據上更具有有效性.由于EN方法的解經轉換后可表達為Lasso方法的解的形式，故可以利用最下角回歸算法解決其算法問題.結合Lars算法［12］，在R軟件［9，10］中進行變量篩選.應用R軟件產生m組平衡縱向數據，Xi的每一列都是獨立同分布于Nn×10，I（），隨機誤差εi=εi1，εi2，…，εin（

）′～Nn×10，Σ（）.對于任意給定的β=β1，β2，…，βp（

）′，應用線形模型Yi=Xiβ+εi，可以獲得Y= Y1，Y2，…，Ym（）′.這里用來仿真模擬的平衡縱向數據形式如（1）式所示.現假設在模型中的變量關系如下：

表1　數值模擬得到的系數估計值

由表1可知：兩種方法均可以準確估計出參數值，如xij4真實值為1，EN方法和Lasso方法估計的參數值分別為0.9994和1.但在變量強相關條件下，兩種方法結果不同.例如：對于存在強相關的變量組xij1與xij2，EN 方法把xij1與xij2都選入了模型，而Lasso方法只選擇了變量xij1；同樣，對于強相關變量xij9和xij10，EN方法把xij9與xij10都選入了模型，而Lasso方法只選擇了變量xij9；這是由于EN方法具有組效應性質.同時這也表明，對于數據中存在強相關變量組的情形，運用EN方法選擇出的變量更接近于真實模型.

綜上，在將平衡縱向數據模型與EN方法結合后，EN方法仍然在處理具有強相關變量組的數據上顯著優于Lasso方法.

4　結論

本文鑒于EN方法能有效處理強相關數據的事實，將EN方法運用于縱向數據模型中，證明縱向數據模型的EN估計具有組效應性質，并通過數值模擬驗證了EN方法能將強相關變量全部選入縱向數據模型而Lasso方法并沒有這方面的作用.

綜上可知，EN方法能有效克服傳統縱向數據參數估計方法的不足，使縱向數據變量估計的擬合效果和預測能力得到改善.

［1］BREIMAN L.Heuristics of instability and stabilization in model selection［J］.Ann Statist，1996，24（6）：2350-2383.

［2］FAN Jian-qing，LI Run-ze.Variable selection via nonconcave penalized likelihood and its oracle propertrices［J］.Journal of the American Statistical Association，2001，96：1348-1360.

［3］A.E.Hoerl，R.W.Kennard.（1970）Ridge regression：biased setimation for nonorthogonal probled.Technometrics 12（1）：55-67.

［4］TIBSHIRANI R.Regression shrinkage and selection via the Lasso［J］.Journal of the Royal Statistical Society，Series B，1996，58：267-288.

［5］Zou H，HASTIE T.Regularization and Variable Selection via the Elastic Net［J］.Journal of the Royal Statistical Society，Series B.2055，67（1）：301-320.

［6］TIBSHITANI R.Regression Shrinkage and Selection via the Lasso［J］.Journal of the Royal Statistical Society，Series B，1996，58：267-288.

［7］盧穎.廣義線性模型基于Elastic Net的變量選擇方法研究［D］.北京：北京交通大學，2001.

［8］李春紅，韋新星.Elastic Net方法在COX模型變量選擇中的研究［J］.重慶：西南大學學報，2015.

［9］吳喜之.復雜數據統計方法——基于R的應用［M］.北京：中國人民大學出版社，2010.

［10］薛毅，陳立萍.R語言實用教程［M］.北京：清華大學出版社，2014.

［11］曲婷，王靜.基于Lasso方法的平衡縱向數據模型變量選擇［J］.哈爾濱：黑龍江大學自然科學學報：2012.

［12］Efron B，Hastie T，Johnstone I，et al.Least Angle Regression Model［J］.Biometrika，1982，69（1）：239

-241.

Application of Elastic Net Method in Balanced Longitudinal Data Models

Xu Liqing1Tian Kai1Xiong Qin2
（1.Guang Xi University，Academy of Mathematics and Information Sciences，Nan Ning 530004，China；2.Guangxi University of Science Technology，Medical College，Liu Zhou 545006，China）

We apply the Elastic Net method to select variables so as to establish the corresponding longitudinal data model.It is found that the Elastic Net method possesses a group effect property.The numerical simulations on the Elastic Net method and the Lasso method show that the former is superior to the latter in dealing with strong correlated variables in longitudinal data models.

Elastic Net method Longitudinal data model Model selection Group effect property

國家自然科學基金（71462002）和廣西自然科學基金（2013GXNSFAA019340）資助

2016年01月14日