線性回歸模型偏F檢驗(yàn)與t檢驗(yàn)等價(jià)性的一種證明方法

盧躍奇

(洛陽師范學(xué)院 數(shù)學(xué)科學(xué)學(xué)院,河南 洛陽 471934)

1 線性回歸模型偏F檢驗(yàn)與t檢驗(yàn)等價(jià)性原理

經(jīng)典均值線性回歸理論模型的一般形式[1]為

y=β0+β1x1+β2x2+…+βpxp+,

等價(jià)的樣本形式為

yi=β0+β1xi1+β2xi2+…+βpxip+i,

(1)

設(shè)估計(jì)參數(shù)β所需的n個訓(xùn)練樣本為(xi1,xi2,…,xip;yi),i=1,2,…,n,這些樣本可表述為自變量觀測值構(gòu)成的n×(p+1)設(shè)計(jì)矩陣

和因變量觀測值構(gòu)成的向量Y=(y1,y2,…,yn)′,其中1n=(1,1,…,1)′表示元素全為1的n維列向量,Xj=(x1j,x2j,…,xnj)′表示變量xj在n次觀測中的取值,x′i=(1,xi1,xi2,…,xip)表示第i個樣本中所有自變量(包括截距項(xiàng))的觀測值。

2 偏F檢驗(yàn)與t檢驗(yàn)等價(jià)性的證明

注意到

調(diào)整線性回歸模型(1)中變量的順序,把變量xj調(diào)整到第一個位置,從而模型改寫為

yi=βjxij+β0+β1xi1+β2xi2+…+βj-1xi,j-1+βj+1xi,j+1+…+βpxip+i,

(2)

由于只是改變了模型中變量的先后順序,模型本身不變,所以本質(zhì)上模型(2)和原模型(1)完全等價(jià),即參數(shù)的極大似然估計(jì)和顯著性檢驗(yàn)統(tǒng)計(jì)量等都保持不變。模型(2)的設(shè)計(jì)矩陣仍記為X=(Xj,1n,X1,X2,…,Xj-1,Xj+1,…,Xn)=(Xj,X-j),其中X-j表示從p元線性回歸模型(2)移除變量xj后的p-1元線性回歸模型

yi=β0+β1xi1+β2xi2+…+βj-1xi,j-1+βj+1xi,j+1+…+βpxip+i

(3)

的設(shè)計(jì)矩陣。

為敘述方便,不失一般性,下面以j=1為例證明偏F檢驗(yàn)與t檢驗(yàn)的等價(jià)性。

X=(X1,X-1),

從而

利用分塊矩陣逆的一般表示形式(分塊矩陣的逆有很多形式,此處取其形式之一,其中要求D和A-BD-1E可逆)[3],

記H=X(X′X)-1X′,H-1=X-1(X′-1X-1)-1X′-1,分別表示模型(2)和模型(3)的帽子矩陣[4-7]。

記In表示n階單位陣,則

其中

c11=(X′1X1-X′1X-1(X′-1X-1)-1X′-1X1)-1=(X′1(In-H-1)X1)-1。

由于

故

從而

2)考慮ΔSSR1,注意到帽子矩陣H可表示為

X1c11X′1-H-1X1c11X′1-X1c11X′1H-1+H-1+H-1X1c11X′1H-1=(In-H-1)X1c11X′1(In-H-1)+H-1。

同時,注意到模型(2)的回歸平方和可以表示為

從而,模型(2)與模型(3)的回歸平方和之差ΔSSR1為

3 結(jié)束語

對經(jīng)典的均值線性回歸模型中的變量進(jìn)行統(tǒng)計(jì)顯著性檢驗(yàn),是應(yīng)用線性回歸模型之前的必須步驟。為了逐個檢驗(yàn)線性回歸模型中每個自變量對因變量影響程度的統(tǒng)計(jì)顯著性,可使用偏F統(tǒng)計(jì)量和t統(tǒng)計(jì)量進(jìn)行分析,不同的統(tǒng)計(jì)軟件可能會使用不同的檢驗(yàn)統(tǒng)計(jì)量進(jìn)行計(jì)算,給出不同的結(jié)果,但其中給出的p值總是相同的,即本質(zhì)上這兩種檢驗(yàn)是等價(jià)的。本文給出的證明偏F檢驗(yàn)與t檢驗(yàn)等價(jià)的分塊矩陣方法,原理簡單易懂,特別適合于課堂教學(xué)和學(xué)生自學(xué),為相應(yīng)的回歸分析課程教學(xué)提供一種思路和方法。