相依誤差線性模型中的主成分s-K估計

周 玲,何道江

(安徽師范大學 數學計算機科學學院,安徽 蕪湖 241003)

?

相依誤差線性模型中的主成分s-K估計

周 玲,何道江

(安徽師范大學 數學計算機科學學院,安徽 蕪湖 241003)

為同時克服線性回歸模型的自相關性和回歸變量間的復共線性,通過融合主成分回歸估計和s-K估計,提出一類新估計,稱為主成分s-K估計;并在均方誤差陣意義下,得到了這類估計分別優于廣義最小二乘估計、主成分估計、r-k和s-K估計的充要條件.Monto Carlo數值模擬表明,新估計是一種同時克服自相關性和復共線性的有效方法.

自相關性;復共線性;主成分回歸估計;s-K估計;均方誤差陣

為了克服統計學中線性模型的復共線性問題,常用的方法是使用有偏估計.如Stein估計[1]、主成分回歸(PCR)估計[2]、普通嶺(ORR)估計[3]、Liu估計[4]和s-K估計[5]等.此外,融合兩種不同估計可能會保留這兩種估計的優點.Baye等[6]將PCR估計與ORR估計融合,提出了r-k估計;Chang等[7]將PCR估計與兩參數估計[8]融合,提出了主成分兩參數估計(PCTP).為了克服模型中自相關的影響,Aitken[9]運用OLS技術引入了廣義最小二乘(GLS)估計;吳燕等[10]基于模型的參數信息提出了一類新的s-K估計.但此時模型中的復共線性可能仍然存在,進而GLS估計由于具有很大的方差而給出不可靠的估計.目前,同時解決自相關和復共線性問題的研究已有許多結果[11-17].本文為同時克服自相關誤差和復共線性問題,通過融合PCR估計和s-K估計,提出一類新的估計,稱為主成分s-K估計,并進一步考察新估計相對于這些現有估計的優良性.

1 新估計量的定義

考慮如下線性回歸模型:

(1)

其中:Y是n×1維可觀測隨機向量;X是n×p維列滿秩陣;β是p×1維未知參數向量;ε是n×1維誤差向量;V是一個已知的n×n階正定矩陣.于是,存在一個n×n階非奇異陣P,使得P′P=V-1.用P左乘式(1),則模型(1)可寫成

(2)

記Y*=PY,X*=PX,ε*=Pε,則式(2)可表達為

(3)

式(3)即為轉換模型[11].

Λr=diag(λ1,λ2,…,λr),Λp-r=diag(λr+1,λr+2,…,λp).

對于轉換模型,由文獻[18]可知,r-k估計[6]可寫為

(4)

(5)

其中k≥0和0

(6)

將X*和Y*分別代換成X和Y的關系式,則模型(1)的s-K估計可寫成

(7)

其中:s≥1;K=diag(k1,k2,…,kp),且ki≥0,i=1,2,…,p.

下面給出β的一個新估計,它由PCR估計和s-K估計融合而成,形式如下:

(8)

(9)

(10)

(11)

(12)

2 新估計量在均方誤差陣意義下的優良性

(13)

(14)

(15)

(16)

(17)

(18)

(19)

(20)

(21)

證明:由式(14),(15)得

(22)

且C可寫為

(23)

因此,有

(24)

(25)

等價于式(21).證畢.

在式(21)中,取r=p,可得:

(26)

(27)

此為文獻[16]的結論.

(28)

此為文獻[11]的結論.

這里(U?v)是一個酉矩陣(U可能不存在),Δ是一個正定對角陣(當U存在時才出現),且λ是一個正數.進一步,條件1)～3)均不依賴于廣義逆D-∈G(D)的選擇.

(29)

有時候也會想，其實現實世界并不是全然美好的，而是曲折、復雜的，要不要把這樣的面貌如實呈現在小人兒面前呢？可就好像蓋樓房，首先要做的是打地基，你可以說樓房是高高地往上去蓋的，可是地基卻得深深地向下去打啊！2歲多的孩子，還處于主要是模仿、重復大人的語言，而自己的思考能力才剛剛起步的階段，我選擇先用那些光明、美好、積極的材料為他打下地基，為他將來面對世界的復雜性準備下基本的心理和情感資源。

(30)

另一方面,

因此,充分條件化為

類似地,可得:

3 數值模擬

為了進一步考察所提估計類的均方誤差,下面進行Monte Carlo數值模擬.設計矩陣X=(xij)n×p由下式給出:

(31)

其中ωij(i=1,2,…,n;j=1,2,…,p+1)是獨立的標準正態偽隨機數,且γ是給定的數,γ2表示任意兩個解釋變量之間的相關系數.響應變量由下式給出:

(32)

這里ε=(ε1,ε2,…,εn)′是均值為0、協方差陣為σ2V的正態隨機變量.

(33)

分別取ρ=0.5,0.8.與文獻[12,16]一致,取β的真實值為X′V-1X最大特征值所對應的標準化特征向量.此外,取s=1.01,1.001.為方便,K=diag(k1,k2,k3,k4,k5)分別取為A1,A2,A3,B1,B2,B3,其中:

A1=diag(0.1,0.1,0.1,0.1,0.1);A2=diag(0.1,0.1,1,1,1);A3=diag(0.1,1,1,1,1);

B1=diag(1.5,1.5,1.5,1.5,1.5);B2=diag(1.5,1.5,15,15,15);B3=diag(1.5,15,15,15,15).

表1 當s=1.01,ρ=0.5,k=0.1時各估計的均方誤差Table 1 Estimated MSE values with s=1.01,ρ=0.5,k=0.1

表2 當s=1.01,ρ=0.5,k=1.5時各估計的均方誤差Table 2 Estimated MSE values with s=1.01,ρ=0.5,k=1.5

表3 當s=1.01,ρ=0.8,k=0.1時各估計的均方誤差Table 3 Estimated MSE values with s=1.01,ρ=0.8,k=0.1

表4 當s=1.01,ρ=0.8,k=1.5時各估計的均方誤差Table 4 Estimated MSE values with s=1.01,ρ=0.8,k=1.5

表5 當s=1.001,ρ=0.5,k=0.1時各估計的均方誤差Table 5 Estimated MSE values with s=1.001,ρ=0.5,k=0.1

表6 當s=1.001,ρ=0.5,k=1.5時各估計的均方誤差Table 6 Estimated MSE values with s=1.001,ρ=0.5,k=1.5

表7 當s=1.001,ρ=0.8,k=0.1時各估計的均方誤差Table 7 Estimated MSE values with s=1.001,ρ=0.8,k=0.1

表8 當s=1.001,ρ=0.8,k=1.5時各估計的均方誤差Table 8 Estimated MSE values with s=1.001,ρ=0.8,k=1.5

綜上,本文提出了一個新的估計量同時克服模型的自相關性和復共線性.在均方誤差陣意義下,比較了新估計量與GLS,PCR,r-k和s-K估計量,并給出了新估計量優于其他估計量的條件.數值模擬表明,新估計是一種同時克服自相關性和復共線性的有效方法.

[1] Stein C.Inadmissibility of the Usual Estimator for the Mean of Multivariate Normal Distribution [C]//Proceedings of the Third Berkley Symposium on Mathematical and Statistics Probability.[S.l.]:University of Califorinia Press,1956,1:197-206.

[2] Massy W F.Principal Components Regression in Exploratory Statistical Research [J].Journal of the American Statistical Association,1965,60(309):234-256.

[3] Hoerl A E,Kennard R W.Ridge Regression:Biased Estimation for Nonorthogonal Problems [J].Technometrics,1970,12(1):55-67.

[4] LIU Kejian.A New Class of Biased Estimate in Linear Regression [J].Communications in Statistics:Theory and Methods,1993,22(2):393-402.

[5] 許瑩,何道江.混合系數線性模型參數的一類新估計 [J].數學物理學報,2013,33A(4):702-708.(XU Ying,HE Daojiang.A New Class of Estimators for Coefficients in Mixed Effect Linear Model [J].Acta Mathematica Scientia,2013,33A(4):702-708.)

[6] Baye M R,Parker D F.Combining Ridge and Principal Component Regression:A Money Demand Illustration [J].Communications in Statistics:Theory and Methods,1984,13(2):197-205.

[7] CHANG Xinfeng,YANG Hu.Combining Two-Parameter and Principal Component Regression Estimators [J].Statistical Papers,2012,53(3):549-562.

[8] YANG Hu,CHANG Xinfeng.A New Two-Parameter Estimator in Linear Regression [J].Communications in Statistics:Theory and Methods,2010,39(6):923-934.

[9] Aitken A C.On Least Squares and Linear Combinations of Observations [J].Proceedings of the Royal Society of Edinburgh,1936,55:42-48.

[10] 吳燕,何道江.線性模型參數一類新的s-K估計 [J].吉林大學學報:理學版,2014,52(1):45-50.(WU Yan,HE Daojiang.A New Class ofs-KEstimators in the Linear Model [J].Journal of Jilin University:Science Edition,2014,52(1):45-50.)

[11] Trenkler G.On the Performance of Biased Estimators in the Linear Regression Model with Correlated or Heteroscedastic Errors [J].Journal of Econometrics,1984,25(1/2):179-190.

[12] Firinguetti L L.A Simulation Study of Ridge Regression Estimators with Autocorrelated Errors [J].Communications in Statistics:Simulation and Computation,1989,18(2):673-702.

[13] Bayhan G M,Bayhan M.Forecasting Using Autocorrelated Errors and Multicollinear Predictor Variables [J].Computers &Industrial Engineering,1998,34(2):413-421.

[14] Güler H,Kaciranlar S.A Comparison of Mixed and Ridge Estimators of Linear Models [J].Communications in Statistics:Simulation and Computation,2009,38(2):368-401.

[15] ?zkale M R.A Stochastic Restricted Ridge Regression Estimator [J].Journal of Multivariate Analysis,2009,100(8):1706-1716.

[17] HUANG Jiewu,YANG Hu.On a Principal Component Two-Parameter Estimator in Linear Model with Autocorrelated Errors [J].Statistical Papers,2015,56(1):217-230.

[18] XU Jianwen,YANG Hu.On the Restrictedr-kClass Estimator and the Restrictedr-dClass Estimator in Linear Regression [J].Journal of Statistical Computation and Simulation,2011,81(6):679-691.

[19] Trenkler G,Trenkler D.A Note on Superiority Comparisons of Homogeneous Linear Estimators [J].Communications in Statistics:Theory and Methods,1983,12(7):799-808.

[20] Baksalary J K,Trenkler G.Nonnegative and Positive Definiteness of Matrices Modified by Two Matrices of Rank One [J].Linear Algebra and Its Applications,1991,151:169-184.

[21] Judge G G,Griffiths W E,Hill R C,et al.The Theory and Practice of Econometrics [M].2nd ed.New York:John Wiley and Sons,1985.

(責任編輯：趙立芹)

PrincipalComponentss-KClassEstimatorintheLinearModelwithCorrelatedErrors

ZHOU Ling,HE Daojiang

(SchoolofMathematicsandComputerScience,AnhuiNormalUniversity,Wuhu241003,AnhuiProvince,China)

To combat autocorrelation in errors and multicollinearity among the regressors in linear regression model,we proposed a new estimator by combining the principal components regression (PCR)estimator and thes-Kestimator.Then necessary and sufficient conditions for the superiority of the new estimator over the GLS,the PCR,ther-kand thes-Kestimators were derived by the mean squared error matrix criterion.Finally,a Monte Carlo simulation study was carried out to investigate the performance of the proposed estimator.

autocorrelation;multicollinearity;principal components regression estimator;s-Kestimator;mean squared error matrix

10.13413/j.cnki.jdxblxb.2015.03.17

2014-07-16.

周 玲(1989—),女,漢族,碩士研究生,從事數理統計的研究,E-mail:lingzhou1989@163.com.通信作者:何道江(1980—),男,漢族,博士,教授,從事數理統計的研究,E-mail:djheahnu@163.com.

安徽省自然科學基金(批準號:1308085QA13).

O212.2

：A

：1671-5489(2015)03-0444-07