方差分析法的線性回歸建模重構

陳崇雙，唐家銀，何 平

（西南交通大學 數學學院，成都 611756）

0 引言

回歸分析與方差分析是數理統計學中廣泛應用的兩種統計分析方法。回歸分析是用統計推斷的方法研究變量之間可能存在的相關關系。相關關系表現在，因變量（也稱預測變量）不能隨自變量（也稱響應變量）的確定而完全確定，但在統計平均意義下仍有一定的定量關系。根據相關關系形式的不同，可分為線性回歸和非線性回歸。其中，線性回歸模型是數理統計學中重要的統計模型[1]。方差分析（Analysis of Variance，ANOVA），能夠鑒別可控因素（可以定量控制或者直接測定）對試驗結果是否有顯著影響以及影響大小，常見有單因素方差分析和雙因素方差分析。

現有教材[1-3]關于回歸分析與方差分析的敘述，基本都單獨介紹而沒有強調二者間的內在關聯。期刊論文方面，文獻[4]對比了二者在概念、假設條件、方法等方面的聯系與區別。文獻[5-7]都通過引入虛擬變量建立回歸模型來刻畫方差分析，闡述出二者都是線性統計模型，但仍存在一些不足：一是，只分析了雙因素無重復試驗或簡單特殊情形的等重復試驗；二是，沒有分析單因素和雙因素試驗（無重復和等重復）之間的關聯。為此，本文通過合理引入虛擬變量，采用多元線性回歸理論分析一般情形的單因素和雙因素試驗。

1 多元線性回歸模型

多元線性回歸模型所刻畫的對象為，因變量（記為Y）受到兩大類因素共同影響，其一是確定性的自變量（記為X1，X2，…，Xp），影響效果為線性疊加；其二是隨機因素（記為ε），影響效果可正可負，一般假定為零均值的隨機變量。即有數學模型：

其中待定參數β0，β1，β2，…，βp稱為回歸系數，需以觀測數據進行估計。記因變量和自變量的觀測值為(xi1，xi2，…，xip;yi)，i=1，2，…，n，滿足：

其 中εi為 隨 機 波 動 項 ，一 般 有 假 設

引入矩陣：

從而可以表示成矩陣形式：

回歸系數的最小二乘估計：

回歸方程的顯著性檢驗，即考察因變量與自變量之間是否存在線性關系，相當于檢驗假設β1=β2=…=βp=0是否成立。樣本離差分解是突破口。

對于給定的顯著性水平α，若n-p-1)，則認為Y與X1，X2，…，Xp之間存在顯著的線性相關關系；否則無顯著的線性相關關系。

2 方差分析模型

可控因素既可以是定量的，也可是定性的。一般而言，方差分析需將可控因素取值嚴格控制在有限的幾個狀態或等級（稱為水平）。

2.1 單因素試驗方差分析模型

先考慮單因素方差分析模型，即僅關注一個可控因素（記為U）而保持其他可控因素相同。設該因素共有u個水平。假設：（1）同一水平下的觀測結果為來自同一正態總體的隨機樣本；（2）隨機因素對所有水平下結果的影響程度都相同，即方差齊性。記第i個水平下第j個試樣為Yij，相應觀測值為yij，i=1，2，…，u，j=1，2，…，ni。故Yij～N(μi，σ2)，其中μi為第i個水平的均值，σ2為方差。

從而，鑒別因素U水平差異是否對結果產生顯著影響的問題，就轉化為檢驗假設μ1=μ2=…=μu是否成立。試驗結果的差異直接體現在觀測結果的波動上，這也正是檢驗該假設的關鍵。全部樣本的離差滿足分解：

單因素試驗的方差分析，其運算步驟可在表1中方便進行。若比值F＞Fα(u-1，n-u)，則認為U對試驗有顯著影響；否則無顯著影響。

表1 單因素方差分析表

2.2 雙因素試驗方差分析模型

在兩個可控因素的試驗中，單獨每一個都可能對結果起作用。除此之外，二者搭配可能還會產生一定的合作效應，ANOVA稱之為交互效應。

不妨設因素U有u個水平，因素V有v個水平，對兩種因素的任意組合都觀測K次。假設：（1）同一水平組合下的觀測結果為來自同一正態總體的隨機樣本；（2）方差齊性。記因素U的第i個水平、因素V的第j個水平組合下的均值為μij，第k次觀測為試樣Yijk，相應觀測值yijk，i=1，2，…，u，j=1，2，…，v，k=1，2，…，K，則Yijk～N(μij，σ2) 。

帶交互效應的雙因素方差分析，可按表2進行計算。若FU＞Fα(u-1，uv(K-1))，則推斷U對試驗有顯著影響；若FV＞Fα(v-1，uv(K-1))，則推斷對V有顯著影響；若FU×V＞Fα((u-1)(v-1)，uv(K-1))，則U和V存在顯著的交互效應。

表2 有交互效應的雙因素方差分析表

3 單因素試驗線性回歸建模

單因素方差分析能夠解決可控因素水平的差異是否會顯著影響試驗結果的問題。該問題也可表述為，試驗結果與可控因素之間是否存在顯著的相關關系。若考察線性的相關形式，為此引入虛擬變量（Dummy Variable）[2,3]。

其中i=1，2，…，u-1。

需要說明的是，含有u個水平的因素只需u-1個變量。若引入u個變量X1，X2，…，Xu分別對應u個水平，由于可控因素每次觀測當且僅當取其中一個水平，即X1+X2+…+Xu≡1，從而導致自變量間線性相關，也意味著回歸系數最小二乘估計將不唯一。

試驗結果與可控因素之間有線性回歸模型：

觀測數據符號仍與2.1節相同，則滿足：

引入矩陣：

從而觀測數據也有形如式（3）的矩陣形式：

經計算有：

代入式（4）有回歸系數的估計：

式（12）表明，引入的u-1個虛擬變量相當于，將某個水平（根據本文的定義，為第u個）作為參照或基準，其余u-1個水平都與其進行比較。

將式（12）代入式（5）有因變量的估計：

根據式（7）有多元線性回歸模型中樣本離差分解：

對比單因素方差分析的樣本離差分解有：

4 雙因素試驗線性回歸建模

除了隨機因素，雙因素試驗的結果（Y）不僅受到兩個可控因素（U有u個水平，V有v個水平）各自單獨影響，可能還包括二者共同影響。共需引入三類變量分別表述，定義如下。

其中i=1，2，…，u-1，j=1，2，…，v-1。試驗結果與可控因素之間有線性回歸模型：

其中δ，αi，βj，γij為回歸系數。觀測數據符號仍與2.2節相同，則滿足：

引入矩陣：

算子Vec將矩陣重排成一個列向量，即矩陣γ的元素γij排在向量Vec(γ)的第 (i-1)(v-1)+j個位置。并記1K為元素全為1的K維列向量，0K×u元素全為0的K行u列矩陣，IK1×K2(K3)表示K1行K2列的矩陣，其中第K3列為1，其余全為0。

式（15）可分別表示成矩陣形式：

其中i=1，2，…，u-1，j=1，2，…，v-1。再引入分塊矩陣

則式（16）可在形式上統一表示為：

容易得到回歸系數的最小二乘估計：

具體地：

式（19）表明，引入的uv-1個虛擬變量相當于，將某個水平組合（根據本文的定義，為因素U的第u個水平因素V的第v個水平）作為參照，其余都與其進行比較。

從而有因變量的估計：

將式（19）代入到上式并整理有：

根據式（7）有多元線性回歸模型的樣本離差分解：

進一步地，回歸平方和還可繼續分解：

從而，回歸方程顯著性檢驗也細分為三部分：

（1）若檢驗因素U對應系數αi，i=1，2，…，u-1的顯著性，需判斷是否成立；

（2）若檢驗因素V對應系數βj，j=1，2，…，v-1的顯著性，需判斷是否成立；

（3）若檢驗交互效應對應系數γij，i=1，2，…，u-1，j=1，2，…，v-1的顯著性，需判斷是否成立。

顯然，上述結論與帶交互效應雙因素方差分析的F檢驗完全一致。

事先根據實踐經驗和相關專業知識，如果知道兩可控因素間不存在或者不具有明顯的交互效應，則每種因素組合只需安排一次試驗，也可按照此思路建立多元線性回歸模型。只需令交互效應項對應的系數恒取零即可。具體過程此處不予贅述。

5 結論

本文針對方差分析中常見的單因素試驗和雙因素試驗，通過引入必要的虛擬變量描述可控因素的水平，從線性回歸角度重構方差分析模型，并進一步得到以下結論：

（1）回歸系數的最小二乘估計，常數項系數為某個水平（或水平組合）下因變量的均值，因素單獨效應項的系數為相應水平下因變量均值與常數項之差，而交互效應項的系數需減掉該水平組合下兩因素各自的單獨效應項系數和常數項系數。

（2）水平或水平組合下因變量的均值即為相應因變量的估計。

（3）可控因素的單獨影響或與組合影響之和都為樣本總變差分解中的回歸平方和。

（4）因素顯著性的F檢驗等價于回歸方程的顯著性檢驗。

參考文獻：

[1]王松桂,陳敏,陳立萍.線性統計模型:線性回歸與方差分析[M].北京:高等教育出版社，1999.

[2]Fox J.Applied Regression Analysis and Generalized Linear Models[M].California:SAGE Publications Incorporated,2016.

[3]Kleinbaum D G,Kupper L L,Nizam A,et al.Applied Regression Anal?ysis and Other Multivariable Methods[M].California:Thomson Learn?ing Incorporated,2008.

[4]白雪梅,趙松山.回歸分析與方差分析的異同比較[J].江蘇統計,2000,(10).

[5]陳凌宇,王桂明.虛擬變量在方差分析中的應用[J].統計與決策,2009,(11).

[6]甘倫知.虛擬變量回歸與方差分析的聯系[J].統計與決策,2011,(8).

[7]劉曉華,許啟發.方差分析與虛擬變量回歸模型的比較研究[J].統計與決策,2012,(7).