提高多重線性回歸分析實踐技能的實證分析

羅文海，張慶鳳

（1.濱州醫學院煙臺校區,山東 煙臺 264003；2.煙臺毓璜頂醫院,山東 煙臺 264003）

多重線性回歸是常用的統計分析方法,然而在多重線性回歸分析中有時會出現一些問題,如由于多重線性回歸的實踐技能不強,致使多重線性回歸分析的結論不夠準確和合理。因此,應當不斷增強多重線性回歸分析的實踐技能,以獲得更加準確和合理的統計分析結果。

1 多重線性回歸分析的習慣做法

許多人在進行多重線性回歸分析時,有習慣做法,以案例1進行說明。案例1：隨機抽取27名糖尿病病人的血清總膽固醇（mmol/L）、甘油三酯（mmol/L）、空腹胰島素（μU/ml）、糖化血紅蛋白（%）、空腹血糖（mmol/L）的測量值（見表1）,試分析血糖的影響因素。

以血糖作為因變量y,血清總膽固醇、甘油三酯、空腹胰島素、糖化血紅蛋白作為自變量 X1、X2、X3、X4。逐步法是多重線性回歸分析的常用方法,采用軟件SPSS19.0進行統計,取檢驗水準的默認值α入=0.05、α出=0.10,逐步法的模型檢驗有統計學意義（P＜0.001）,其偏回歸系數及其檢驗結果見表2。

由表2可見,按α=0.05的水準,只有X4和X1被選入多重線性回歸方程,這是許多人習慣做法的結果。從專業知識上講,空腹胰島素是公認的能夠對血糖產生重要影響的因素,為何沒有被選入回歸方程？而在專業上認為對血糖沒有重要影響的血清總膽固醇卻為何被選入回歸方程？因此,該結果不夠合理,應該進一步探討其原因。

表1 27名糖尿病病人的血糖及有關變量測量結果

表2 逐步法偏回歸系數估計及其檢驗結果

2 多重線性回歸分析的常見問題

使用多重線性回歸模型需要一定的前提條件,其前提條件包括多個自變量之間無多重共線性。使用多重線性回歸分析的常見問題是不重視審查多重線性回歸分析的前提條件,從而導致許多問題,甚至會導致錯誤的分析結果和結論。如可以導致專業上認為非常重要的自變量無統計學意義而不能進入方程；偏回歸系數估計值大小或符號與專業知識不符；自變量對因變量作用的實際意義難以解釋,有悖常識而產生悖論。

3 多重線性回歸分析的高級技能分析

為了便于評價上述逐步法的結果,給出強制法全模型的結果。取檢驗水準的默認值α入=0.05、α出=0.10。強制法模型檢驗有統計學意義（P＜0.001）,說明4個自變量對血糖有作用。其偏回歸系數及檢驗結果見表3。

表3 強制法偏回歸系數估計及其檢驗

由表3可見,按α=0.05水準,強制法的結果只有X3、X4有統計學意義（P＜0.05）,而 X1、X2均無統計學意義（P＞0.05）。從標準化偏回歸系數 bj'絕對值可見,X4、X3、X2、X1對因變量 y的作用依次減小。X1對因變量y的作用最小,這與專業解釋的血清總膽固醇X1不是對血糖有重要影響的因素相吻合,說明上述逐步法的結果將X1選入多重線性回歸方程不合理。

導致多重線性回歸分析結論不合理的常見原因是自變量多重共線性所致。上述逐步法的不合理結論可能是由于自變量多重共線性所致[1],現試著進行分析。

3.1 自變量多重共線性診斷

案例1的自變量多重共線性診斷結果見表4。

表4 案例1多重共線性診斷結果

在表4中第4、第5維度的條件指數均大于10,第4維度含有方差分量＞0.5的自變量X1和X4,因此認為多重共線性嚴重存在[2]。有多重共線性嚴重存在,因此可能導致在逐步法結果中對y作用比較大的X3不能被選入而對y作用最小的X1反而被選入模型的不合理情況。為了消除多重共線性的影響,需要先確定主要的多重共線性變量,分別從一個自變量與另一個自變量的簡單相關系數rx、一個自變量與其他自變量的決定系數R2和校正決定系數R2adj進行分析[3],結果見表5～8。注：*為P＜0.01

表5 主要多重共線性變量分析1

表6 主要多重共線性變量分析2

表7 主要多重共線性變量分析3

表8 主要多重共線性變量分析4

表 5～8 表明,從 rx、R2、R2adj、假設檢驗的 F、P 值幾個方面均說明 X1與 X2、X3、X4的多重線性回歸關系比 X2與 X1、X3、X4,X3與 X1、X2、X4,X4與 X1、X2、X3的多重線性回歸關系更強,提示X1與X2、X3、X4的多重共線性最強。在表4中X1對應的VIF和方差分量最大（0.74）,并達到了多重共線性嚴重存在的程度,也提示X1與X2、X3、X4的多重共線性最強。因此,X1是導致多重共線性的主要變量。

3.2 自變量多重共線性處理

3.2.1 刪掉主要多重共線性變量 當自變量多重共線性嚴重存在時,常見的處理方法是刪掉導致多重共線性的變量,因此案例1應當刪掉X1。刪掉X1的逐步法回歸模型檢驗有統計學意義（P＜0.001）,說明甘油三酯、空腹胰島素和糖化血紅蛋白對血糖有作用。刪掉X1逐步法的偏回歸系數及其檢驗結果見表9。

表9 刪掉X1逐步法偏回歸系數估計及其檢驗

由表9可見,刪掉X1逐步法的X2、X3、X4偏回歸系數均有統計學意義（P＜0.05）,從標準化偏回歸系數bj'絕對值可見,X4、X3、X2對因變量y的作用依次減小。對血糖有重要影響的空腹胰島素等因素均被選入回歸模型,符合專業解釋,該分析結果和結論合理。這樣就消除了在保留X1時對血糖有重要影響的空腹胰島素未被選入而對血糖沒有重要影響的血清總膽固醇反而被選入回歸模型的不合理情形。

刪掉X1的逐步法結果與含有4個自變量時的強制法、逐步法結果比較見表10（均取默認值α入=0.05,α出=0.10）。

表10 刪掉X1逐步法結果與含有4個自變量時的強制法、逐步法結果比較

在表10中,因全模型含有無統計學意義的X1、X2,一般不會選用。通常逐步法能夠彌補向前法和向后法的不足,其結果常被選用。但是案例1由于自變量多重共線性的影響,使得4個自變量的逐步法結果R2adj比全模型小、剩余標準差比全模型大,說明回歸效果比較差,該模型不滿意而不宜采用[4]。而刪去X1逐步法的結果R2adj比全模型和4個自變量逐步法模型均大、剩余標準差比全模型和4個自變量逐步法模型均小,說明刪去X1逐步法回歸效果比較合理,模型比較滿意,應該采用。

3.2.2 嶺回歸分析 當自變量多重共線性嚴重存在時另一種常見處理方法是嶺回歸分析。嶺回歸是處理多重共線性比較的專用方法,尤其是當多重線性回歸分析結果不合乎專業解釋時,嶺回歸分析常能給出比較合理的結果[5]。

案例 2：現測得 22例胎兒的身長（cm）、頭圍（cm）、體重（g）和胎兒的受精周齡[4]。多重線性回歸分析主要結果見表11。

表11 22例胎兒受精周齡影響因素分析

表11表明,頭圍與受精周齡呈負相關關系,有統計學意義（P＜0.01）,這顯然有悖醫學常識。分析其原因,是由于自變量身長、頭圍、體重的多重共線性所致。經嶺回歸分析得到的多重線性回歸方程為=8.836+0.220身長+0.111頭圍+0.005體重。可見,頭圍的回歸系數已由原來的負值轉化為正值,這符合醫學常識,回歸分析結果比較合理。案例1當刪去X1后在α入=0.05,α出=0.10的水準下逐步法的回歸方程為：=6.500+0.402X2-0.287X3+0.663X4；而相應嶺回歸方程為：=7.817+0.291X2-0.213X3+0.504X4。同樣說明了嶺回歸方法能夠使多重線性回歸的回歸系數發生改變,從而有利于獲得符合專業解釋的結果。

綜上所述,在進行多重線性回歸分析時,應當做多重線性回歸分析前提條件的判定分析。若判定分析的結果是所分析數據的特征不符合多重線性回歸分析前提條件,則必須采用多重線性回歸分析的高級技術才能得出正確的分析結論。如案例1的習慣性分析沒有將重要變量空腹胰島素X3選入回歸方程,而是將不太重要的變量血清總膽固醇X1選入回歸模型,而運用自變量多重共線性診斷技術、確定主要共線性自變量技術和消除自變量多重共線性的刪除主要共線性自變量技術,才得到了符合專業解釋的合理結果和結論。只有具備良好的實踐技能,才能擁有更強的創新能力[6]。因此,與其他良好的實踐技能一樣[7-8],培養和提高多重線性回歸分析的高級技能,對于及時、準確發現科研和管理領域的內在規律具有十分重要的意義。