約束泛最小二乘估計及其Cook距離

盧冬暉，江秉華，伍 麗

(湖北師范學院 數學與統計學院， 湖北 黃石 435002)

0 引言

對普通線性模型

y=Xβ+e,E(e)=0,Cov(e)=σ2I

胡宏昌教授從兩方面推廣得到泛最小二乘估計。一是統計上的自然推廣，在X不是滿秩時，人們為了得到唯一解，必然增加新的求解條件，比如在β′β=min的條件下，得到最小二乘范數估計。還有作者用過β′Pβ=min 的條件。第二個方面是20世紀初，Hadamard觀察到求解算子方程Wf=F的問題是不適定的。20世紀60年代中期，人們發現，如果極小化正則化泛函：R(β)=λρ(e)+kf(β)=min,則可以得到一個解序列，它在δ→0 時收斂于所希望的解。將此正則化思想用于上面的線性模型，即尋求使R*(β)=‖y-Xβ‖2+k‖β‖2最小化的參數。這樣得到條件e′Pe+kβ′Qβ=min .把上面兩個同樣的條件進一步一般化，可以得到R(β)=λρ(e)+kf(β)=min[1].但是實際應用中通常還是考慮e′Pe+kβ′Qβ=min.

影響分析是統計診斷的一種重要方法，目的是探測數據中對既定模型的統計推斷影響特別大的點。[2]1977年Cook定義了Cook距離，提出了點刪除法這種經典影響分析方法[3]。這種方法已經被用于許多模型的影響分析，如普通線性模型的影響分析，增長曲線的影響分析等[4]。影響分析也可能會出現“淹沒”或“掩蓋”現象[5～6]。還有一些研究致力于對Cook距離的推廣和化簡。

下面用條件極值法得到約束泛最小二乘估計，再定義其Cook距離并進行化簡。

1 約束泛最小二乘估計

對普通線性模型:

y=Xβ+e,E(e)=0,Cov(e)=σ2I

(1)

其中y為n維觀測列向量，X為n×p已知設計矩陣,β為p維未知參數列向量，e為隨機誤差列向量。

作函數φ(β)=e′Pe+kβ′Qβ，k是非負實數，P,Q是給定正定矩陣。

在一些場合，我們需要求帶一定線性約束的泛最小二乘估計。

定理1 對線性模型(1)假設:

Rank(A)=k

(2)

是一個線性相容方程組，A為k×p已知矩陣，且Rank(A)=k，b為k×1 已知向量， 則模型(1)在約束條件(2) 下的泛最小二乘估計為：

證明：為了用Lagrange乘子法求模型(1)滿足Aβ=b的泛最小二乘估計，作輔助函數：

L(β,λ)=e′Pe+kβ′Qβ+2λ′(Aβ-b)

其中λ=(λ1,λ2…λk)′為Lagrange乘子。

對函數L(β,λ) 求對β的偏導，并令其為零，得：

-2X′P(y-Xβ)+2kQβ+2A′λ=0

即X′Py-X′PXβ-kQβ-A′λ=0

(3)

(X′PX+kQ)β=X′Py-A′λ

兩邊左乘 (X′PX+kQ)-1得：

(4)

2 約束泛最小二乘估計的Cook距離

因為P是正定矩陣，故存在可逆矩陣T，使得P=T′T，把y=Xβ+e兩邊同時左乘T，得Ty=TXβ+Te，令Y=Ty,Z=TX,e*=Te,則得到

Y=Zβ+e*

(5)

(6)

(7)

先引入以下記號，Y(i)，y(i)分別表示從矩陣Y刪除第i行后的矩陣和被刪除的第i行向量。后面以此類推，不再逐一說明。

從模型(5)刪除第i組數據后的n-1組數據的線性回歸模型為：

其約束泛最小二乘估計為：

定義：基于約束泛最小二乘估計的回歸模型(5)的Cook距離為：

(8)

注：當k=0時上述定義即Cook在文獻[2]中所定義的距離，說明此處定義是合理的。

引理 令S=Z′Z+kQ，H=ZS-1Z′=Z(Z′Z+kQ)-1Z′,M=A′(AS-1A′)A,N=ZS-1MS-1Z′,設hii,nii分別為H、M的對角元，則：

證明：設K為n×n可逆矩陣，u,v均為n×1向量。則有恒等式：

(9)

同樣利用(9)式得：

(10)

把上式代入下面可得：

{S(i)-1A′(AS(i)-1A′)-1-S-1A′(A-1A′)-1}b=

(11)

為繼續化簡，用文獻[7]p.p50定理3.4.2中同樣的方法可以得出以下公式：

(12)

將(12)代入(11)，得：

(13)

定理2 約束泛二乘最小估計的Cook距離可以化簡為：

(14)

其中fii為F=ZS-1MS-1MS-1Z′ 的第i個對角元，lii為L=ZS-1(QM+MQ)S-1Z′ 的第i個對角元，gii為G=ZS-1QSQS-1Z′ 的第i個對角元。

證明 將(13)式代入(8)式得：

利用公式(14)，在計算Cook統計量時，就不需要對每一個不完全數據的線性模型進行計算，而只需要計算出H,N,W的對角元即可。

注：對k,P,Q取特定值和矩陣時，可以得到相應估計的Cook距離化簡公式。

3 結論與進一步的問題

我們得到約束泛最小二乘估計，但是對更一般的情況，比如目標函數取R(β)=λP(e)+kf(β)的情況的討論，目前結果不多[1]。用迭代算法或泰勒公式，也可以得到Cook統計量的近似簡化公式，而且可以有明確的統計意義。[9]當然通常情況下若是能得到非近似公式還是更有利于理論推導和實際計算。

參考文獻：

[1]胡宏昌,崔恒建,秦永松,等.近代線性回歸分析方法[M].北京:科學出版社,2013.

[2]Cook R D. Dectection of Influential Observation in Linear Regression[J]. Tochnometrics, 1977,19(1):15～18.

[3]Pan J X,Fang K T.Growth Curve Models and Statistical Diagnostics[M].New York:Spring,2002.

[4]Rousseeuw P J,Zomeren B C. Ummasking multivariate outliers and leverage points[C] . Journal of the Amercian Statistical Association, 1990,85:633～639.

[5]Jose A Diaz-Gracia , Grciela Gonzalez-Farias . A note on the Cook's distance[C] . Journal of Statistical Planning and Inference, 2004,120:119～136.

[6]Choongrak Kim.Cook's distance in local polynomial regression[C].Statistical &Probability Letters,2001,54:33～40.

[7]王松桂.線性統計模型[M].北京:高等教育出版社,1999.

[8]費 宇,潘建新.線性混合效應模型影響分析[M].北京:科學出版社,2005.