多元回歸分析的逐步回歸預測模型

摘 要： 回歸分析方法是多元統計分析的各方法中應用最廣泛的一種，也是數理統計中最成熟最常用的方法，主要是研究變量間的相互依賴關系。本文對多元線形回歸模型的逐步回歸，最優模型的檢驗、評價及預測作出了討論。

關鍵詞： 多元線形回歸模型 逐步回歸 最優模型

回歸分析是一種古典又充滿生機的模型，是數理統計中最成熟、最常用的方法。它可廣泛應用于社會、經濟、科技各個領域的數據分析，建立經驗公式，作定理預測預報等，如氣象預報、地震預報、病蟲預報、股市行情分析，等等。

建立逐步回歸多因子回歸方程是基于最小二乘法原理，通過逐步回歸剔除對因變量不起作用或作用極小的因子，挑選出顯著性因子，最終得出最優回歸模型，但最優模型是否適用于預測，還得根據實際情況和要求進行模型的假設性檢驗才能作出評價。另外，對模型的預測精度也應有一個比較正確的認識，不能要求過高。現就多元線形回歸模型的逐步回歸，最優模型的檢驗、評價及預測作些討論。

1.多元線形回歸的數學模型

設隨機變量y隨著m個自變量x，x，…，x變化，且有如下的線形關系式：

y=β+βx+…+βx+ε

此式稱為回歸方程。其中β，β，…，β稱為回歸系數，是m+1個待估計的參數，ε是隨機變量（剩余參數）。

回歸分析的主要問題是根據x，x，…，x，y的n組觀測數據（x，x…，x，y），k=1，2，…，n給出各回歸系數β的估計值β，同時對β（i=0，1，2，…，m）各作統計檢驗，以便說明估計值的可靠性。將觀測值代入回歸方程可得：

y=β+βx+…+βx+ε……y=β+βx+…+βx+ε

其中ε，…，ε是n個相互獨立且服從同一正態分布N（0，σ）的隨機變量。

假設Y=yy，X=1 x…x1 xx，β=ββ，ε=εε，

則可得對應的矩陣方程：Y=Xβ+ε。

2.回歸系數的最小二乘估計

設β，β，…，β分別是參數β，β，…，β的最小二乘估計，則y的觀測值可表示為：y=β+βx+…+βx+e，其中k=1，2，…，n，e是誤差ε的估計值。又令y為y的估計值，有：y=β+βx+…+βx，e=y-y。根據最小二乘法，β，β，…，β應使得全部觀測值y與回歸值y的誤差平方和達到最小，即：Q=［y-（β+βx+…+βx）］有最小值。

由于Q是β，β，…，β的非負二次式，最小值一定存在。根據數學分析的極值原理，β，β，…，β應滿足下面的方程組：=-2（y-y）=0=-2（y-y）x=0=-2（y-y）x=0，稱為正規方程組。

通過整理可知正規方程組的系數矩陣是對稱矩陣。將其寫為矩陣形式的方程為：（X′X）=X′Y，若系數矩陣X′X滿秩，求解上述矩陣方程得：=（X′X）X′Y。

3.逐步回歸建立最優回歸模型

多元逐步回歸分析的基本步驟可歸納如下：

（1）對已知數據進行中心化處理，得A陣：A=［（X-）（X-）］，=，=（i，j=1，2，…，m+1）。

（2）計算偏回歸平方和P并求出其中最大值。各自變量（未引入的）偏回歸平方和按①計算，其中偏回歸平方和最大值按②選出。①P=A×A/A，②P=max（P），i=1，2，…，m。

（3）檢驗是否引入第h個自變量因子。采用F檢驗進行檢驗：F=。根據給定的顯著性水平α，查F分布分位數表，可查出F（1，n-r-2）的值。r為已引入自變量的個數，初值為0，當引入一個自變量因子時r加1，當剔除一個自變量因子時r減1，n為記錄數。如果F≤F（1，n-r-2），說明所選的自變量因子均不合適，需另選自變量因子，重新分析該問題；反之，則引入該自變量因子，進入下一步驟。

（4）對A陣按下面各式施行消元變換，得一新A陣。其中：A=（i=h，j=h）；A=（i≠h，j=h）；A=AA（i=h，j≠h）；A=A-（i≠h，j≠h）。

（5）從新的A陣出發，計算偏回歸平方和，并從中選出未引入的自變量因子中對應的最大值。計算公式與前面相同只是值不同。

（6）檢驗是否引入第h個自變量因子，同樣應用F檢驗進行檢驗。若F≤F（1，n-r-2），不引入該自變量因子，篩選完畢；若F＞F（1，n-r-2），則引入該自變量因子，進入下一步驟。

（7）重復步驟（4）和（5），只是在計算出偏回歸平方和P時，從中選出已引入自變量因子中對應的最小值：P=min（P）。

（8）檢驗是否可剔除自變量因子。采用F檢驗進行檢驗：

F=。

根據給定的顯著性水平α，查F分布分位數表，可查出F（1，n-r-1）的值。r為已引入自變量的個數，n為記錄數。若F≤F（1，n-r-1），剔除該自變量因子，然后返回步驟（7）；若F＞F（1，n-r-1），不剔除該自變量因子，然后返回步驟（5）。

重復循環步驟（5）—（8），直到篩選完畢，則最優回歸模型建立。最終所確定的回歸系數可根據下式計算：β=Aβ=-（β#8226;）。應當注意的是，上式中的i均在1，2，…，m中取值，但并非所有值，只取引入的自變量的因子對應的序號值。

4.預測模型的檢驗

回歸模型建立后，當前回歸系數反映了自變量和因變量的結構關系，這種變動關系是否可預測未來還需進行檢驗。對預測模型的檢驗一般包括下面5個方面。

（1）t檢驗：t檢驗是對回歸系數的顯著性檢驗。

（2）F檢驗：F檢驗是對回歸方程的顯著性檢驗。

（3）D.W檢驗：D.W檢驗是對回歸余項服從正態分布的假設檢驗。

（4）回歸標準差的檢驗：回歸標準差越接近于0，說明模型對樣本數據的偏差越小，預測的可靠性越高。但實際上S往往較大，因此一般采用相對指標來評價。

（5）擬合優度的檢驗：擬合優度R越接近1則說明擬合得越好。一般認為當R在0.8以上可認為擬合優度較高。

5.模型預測

模型的預測可分為點預測和區間預測。

（1）點預測：給定未來某時刻t的自變量X值（x，…，x），代入回歸方程，得到因變量Y的Y，稱為點預測。

（2）區間預測：以一定的概率1-α（或給定的顯著性水平α下）預測因變量在點預測值附近的變動范圍，稱為區間預測。

以上各步，我們都可通過SAS軟件來實現，只要編制出適當的SAS程序，把觀測數據輸入到程序中，就可以得出我們想要的結果。

參考文獻：

［1］易丹輝.統計預測——方法與應用［M］.北京：中國統計出版社，2001.

［2］朱凱等.逐步回歸多元統計預測模型研究及其程序設計［J］.統計與決策，2005.

［3］劉嚴.多元線形回歸的數學模型［J］.沈陽工程學院學報，2005.

（作者系山西大學數學科學學院2007級碩士）