一元線性回歸分析中三種檢驗的等價性研究

王天營

（南京審計學院 數學與統計學院，南京 210029）

一元線性回歸分析中三種檢驗的等價性研究

王天營

（南京審計學院 數學與統計學院，南京 210029）

在研究兩個變量是否線性相關時，要對線性相關系數進行統計檢驗；在建立線性回歸模型時，既要對回歸模型中的參數進行統計檢驗，又要對模型本身進行統計檢驗。然而，在一元線性回歸分析中，盡管對變量線性相關性的檢驗、模型參數和模型本身檢驗的目的各不相同，所選統計量也不同，但是，三種檢驗卻具有檢驗效果的等價性。文章將對此進行研究、證明。

統計量；統計檢驗；線性相關

在對社會、經濟、科技等相關問題進行定量研究的過程中，經常要考察兩個變量聯系的密切程度及其聯系的具體形式，以便通過改變其中一個變量的取值而測定另一個變量的變動，即對兩個變量進行相關和回歸分析。另一方面，從理論上說，不僅所有非線性回歸問題均可以轉化為線性回歸問題，而且多元線性回歸分析的基本機理也與一元線性回歸分析的基本機理完全相同。因此，在回歸分析中研究最多、最基本的是一元線性回歸問題。

1 一元線性回歸分析中的三種統計檢驗

1.1 兩變量間線性相關性統計檢驗

從兩變量線性相關及其與回歸分析關系看，確立兩個變量相關的方向及其聯系的密切程度是建立一元線性回歸模型的前提，即只有當兩個變量存在線性相關關系，或者只有存在高度線性相關關系時，考慮建立兩個變量的一元線性回歸模型才有意義。所以，當通過樣本數據計算出兩變量間的線性相關系數之后，通常要對其線性相關程度進行統計檢驗，即選取適當的統計量，在給定顯著性水平下，檢驗統計量取值的顯著性。由此產生了一元回歸模型分析中的第一種統計檢驗——相關系數檢驗。

假定變量X與變量Y之間的線性相關系數為ρ，-1≤ρ≤1。 通過樣本數據(x1，y1)，(x2，y2)，…，(xn，yn)計算變量 X 與變量Y的樣本相關系數（即Pearson系數）為

1.2 一元線性回歸方程回歸系數的統計檢驗

從一元線性回歸方程的建立看，當變量X與變量Y之間存在高度線性相關關系，且進行回歸分析時，必須先通過定性分析，在變量X與變量Y之間區分出自變量和因變量。不妨以變量X為自變量、變量Y為因變量，并設它們之間的線性表達式為y=a+bx+ε（為表述方便起見，后文中均用y替代變量 Y，以 x替代變量 X），并假定 ε~N(0，δ2)。 再通過統計調查獲得相應的樣本數據(x1，y1)，(x2，y2)，…，(xn，yn)，且假定滿足條件:

在此假定下，可以推出 yi~N(a+bxi，δ2)，以及 y1，y2，…，yn相互獨立。再利用普通最小二乘法（OLS）或極大似然估計法，均可求得線性表達式y=a+bx+ε中參數a，b的點估計為

從而，根據樣本數據(x1，y1)，(x2，y2)，…，(xn，yn)求出一元線性回歸方程

顯然，只要y=a+bx+ε中變量x的系數b≠0，就表明變量x和變量y線性相關。然而，從實際調查的數據來看，對于變量x和變量y的任意一組取值，甚至當變量x和變量y不存在任何關系時，利用式（1）求出參數b的點估計值b贊=0的可能性也非常小。也就是說，一旦通過樣本計算出參數b的點估計值b贊≠0，還不能由此推出變量x和變量y真的線性相關，還必須對其作進一步的統計檢驗。由此產生了一元線性回歸模型分析中的第二種統計檢——對一元線性回歸模型中變量系數（參數）的統計檢驗。

根據假設檢驗的基本理論，設原假設與備擇假設分別為H0：b=0；H1：b≠0。

1.3 一元回歸模型整體統計顯著性檢驗

從多元線性回歸模型，不妨設為y=β0+β1x1+β2x2+…+βkxk+ε，k≥2，對于任意一組樣本數據(x11，x21，…，xk1)，（x12，x22，…，xk2），…，(x1n，x2n，…，xkn)，采用普通最小二乘法或極大似然估計法，同樣可以分別求得模型中參數 β0，β1，β2，…，βk的點而且它們都幾乎不會為零。 也就是說，同一元線性回歸一樣，必須對模型中每一個變量xi（i=1，2，…，k）的系數（參數）βi進行統計檢驗。

即假定其它變量取值不變， 檢驗 H0：βi=0；H1：βi≠0，i=1，2，…，k，并以為統計量，且在 H0：βi=0 為真時，統計量其中，δ贊為多元線性回歸分析中的估計標準誤差。

但是，在多元線性回歸分析中，僅對回歸方程中的參數進行獨立的統計檢驗是不夠的，還必須對方程本身（或者說把所有自變量看作一個整體）進行統計檢驗。這是因為即使多元線性回歸方程中的每一個自變量均與因變量線性相關，即均能通過單個參數的檢驗，也并不能保證所選自變量整體對因變量的解釋程度顯著（或者說也不能保證所選自變量的整體能對因變量作出較為全面的解釋）。因此，還必須對因變量與所選自變量的整體間的關系進行檢驗，并由此產生了第三種檢驗——一元回歸模型整體顯著性檢驗

根據假設檢驗的基本理論，設原假設與備擇假設分別為

選取F=(n-k-1)Sr/Se為檢驗統計量， 且在H0：β1=β2=…=βk=0 為真時，可以證明：F=(n-k-1)Sr/Se~F(k，n-k-1)。

事實上，對于一元線性回歸方程y=a+bx+ε也必須對方程的整體顯著性進行統計檢驗，檢驗自變量x對因變量y的解釋程度如何，它們之間僅僅存在線性相關只是問題的一個方面。為此設原假設與備擇假設分別為H0:b=0；H1:b≠0。

選取F=(n-2)Sr/Se為檢驗統計量，可以證明：在 H0：b=0為真時，F=(n-2)Sr/Se~F(1，n-2)。

由以上不難看出，一元線性回歸分析中的三種統計檢驗，其檢驗的出發點有著質的區別：相關系數檢驗是為了檢驗兩個變量之間是否存在線性相關關系，回歸方程中變量系數的檢驗是為了檢驗單個自變量與因變量間是否存在線性相關關系，方程整體顯著性檢驗是為了檢驗所選定的自變量作為一個整體對因變量的解釋程度。但是，這三種統計檢驗不僅都與線性相關有關，而且這三個統計量之間還具有相應的數量相等或轉化關系。因此，在一元線性回歸分析中，它們僅是從不同的角度解決同一個問題，具有檢驗效果的等價性。但是，對于多元線性回歸分析而言，這三種統計檢驗的效果并不完全相同。

2 一元線性回歸分析中三種統計檢驗的等價性

2.1 線性相關系數與回歸系數統計檢驗的等價性

線性相關系數統計檢驗與回歸系數統計檢驗的等價性主要體現在如兩方面：

（1）在 H0:ρ=0 與 H0:b=0 為真時，統計量與 統 計 量都服從自由度為n-2的t分布。這是這兩個檢驗具有等價性的一個方面，即檢驗統計量分布的等價性。

（2）可以證明兩變量間線性相關和回歸系數檢驗統計量，對于同一樣本數據，具有取值上的等同性，即

事實上，對于樣本數據(x1，y1)，(x2，y2)，…，(xn，yn)，根據式（1）、（2）及一元線性回歸方程y贊=a贊+b贊x，并在 H0:ρ=0 與 H0:b=0都為真時，可得證畢。

由此可見，對于同一樣本數據(x1，y1)，(x2，y2)，…，(xn，yn)，統計量的值相同，且均服從自由度為的分布，因此，對兩變量線性相關系數的統計檢驗與對一元回歸方程回歸系數的統計檢驗效果完全相同。也就是說，如果兩變量線性相關系數能通過統計檢驗，則相應的回歸系數也能通過統計檢驗；如果兩變量線性相關系數不能通過統計檢驗，則相應的回歸系數也不能通過統計檢驗，反之亦然。由此表明，在解決實際問題時，并不需要既對變量線性相關系數進行統計顯著性檢驗，又對相應的回歸系數進行統計顯著性檢驗，只需選擇其一進行檢驗即可。

2.2 回歸系數及線性相關系數統計檢驗與一元線性回歸方程整體顯著性檢驗的等價性

（1）可以證明，若隨機變量X~t(n)，則隨機變量函數Y=X2~F(1，n)。

因為當隨機變量X~t(n)時，其概率函數為

將其與隨機變量X~F(m，n)的概率函數相比較可知，Y=X2~F（1，n）。這表明自由度為n的t分布可以轉化為相應的F分布。證畢。

（2）在一元線性回歸分析中，對于同一樣本數據有如下數量關系

由此可見，對于同一樣本數據(x1，y1)，(x2，y2)，…，(xn，yn)有因此，盡管線性相關系數與回歸系數的檢驗統計量，在相應原假設為真時，所服從的分布與檢驗方程整體顯著性性的統計量所服從的分布不同，但是，如果兩變量線性相關系數能通過統計檢驗，或相應回歸系數能通過統計檢驗，則相應方程整體顯著性也能通過統計檢驗；如果兩變量相關系數不能通過統計檢驗，或相應回歸系數不能通過統計檢驗，則相應方程整體顯著性也不能通過統計檢驗，反之亦然。由此表明，在解決一元線性回歸的實際問題中，并不需要既對線性相關系數或相應回歸系數進行統計顯著性檢驗，又對相應方程整體進行統計顯著性檢驗，只要在三種統計檢驗中，任選其一進行統計顯著性檢驗就可達到三種檢驗的不同目的。

但是，值得注意的是，在多元線性回歸分析中，對方程各變量系數（偏回歸系數）的統計檢驗并不能代替對方程整體顯著性的統計檢驗，反之亦然。也就是說，對多元線性回歸方程各變量系數（偏回歸系數）與方程整體線性分別進行相應的統計檢驗才能達到不同的目的。

3 驗證案例

按照凱恩斯絕對收入消費理論，消費是居民可支配收入水平的函數。消費函數最簡單形式為y=a+bx+ε，其中y為居民消費支出；a為居民自發性消費支出，即在收入為0時的消費支出；x為居民可支配收入；b為居民邊際消費傾向，即居民可支配收入每改變1個單位所引起居民消費支出的平均改變量。

為研究中國農村居民家庭人均生活消費支出與農村居民家庭人均純收入之間的關系，本案例收集了1993~2007年中國農村居民家庭人均生活消費支出與其人均純收入的數據（見表1），并以中國農村居民家庭人均純收入為自變量、以農村居民家庭人均生活消費支出為因變量，建立1993~2007年中國農村居民生活消費支出一元回歸模型。

將上述數據分別代入式（1）、（2）可以求出 1993~2007年中國農村居民家庭人均消費支出對家庭人均純收入的一元線性回歸方程贊=24.5902+0.7575x，以及用于一元線性回歸方程系數檢驗和方程整體顯著性檢驗的統計量t=30.5629，F=934.0876。同樣可以求相應時期中國農村居民家庭人均消費支出與其相應人均純收入之間的相關系數r=0.993113，以及用于變量線性相關性檢驗的統計量，由此可見

表1 1993~2007年中國農村居民家庭人均生活消費支出與其人均純收入及計算

而且變量線性相關性與方程回歸系數檢驗的p值為

因此，三種檢驗的p值相等再一次表明，在一元線性回歸分析中，對于同一樣本數據和同一顯著性水平，三種統計檢驗的效果具有等價性。其實踐意義在于：在有關一元線性回歸模型統計檢驗中，完全不必拘泥于選擇哪一種統計檢驗，任選三種統計檢驗中的一種均可以做出相同的統計判斷。

[1]雷奧奇·卡塞拉（George Casella）(美)，羅杰 L.貝耶（Roger L.Berger）(美).統計推斷（英文版·原書第二版）[M].北京：機械工業出版社,2005.

[2]華伯泉.簡明數理統計學[M].天津：天津人民出版社，1988.

[3]莊楚強，何春雄.應用數理統計（第三版）[M].廣州：華南理工大學出版社，2006.

[4]何燦芝，羅漢.應用統計學[M].長沙：湖南大學出版社，2004.

（責任編輯/亦 民）

O212

A

1002-6487（2011）03-0008-04

王天營（1963-），男，安徽固鎮人，博士，副教授，研究方向：統計理論和方法。