異方差和多重共線性的影響

嚴(yán)威

摘要：通過(guò)蒙特卡洛實(shí)驗(yàn)，在計(jì)量經(jīng)濟(jì)學(xué)軟件R中實(shí)現(xiàn)數(shù)據(jù)生成過(guò)程，當(dāng)古典線性回歸模型基本假定中的同方差假定和無(wú)多重共線性假定被違背時(shí)，參數(shù)的顯著性檢驗(yàn)是否依然有效。

關(guān)鍵詞：線性回歸；異方差；多重共線性；參數(shù)的顯著性檢驗(yàn)

中圖分類號(hào)：F830 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1005-913X（2014）08-0026-02

Abstract： This paper uses a Monte Carlo experiment to study the effect of heteroscedasticity and multicollinearity on the availability of significance test of parameters， the data generating process is running in econometric software R.

Keywords： Linear Regression； Heteroscedasticity； Multicollinearity； Significance Test of Parameter

一、引言

在計(jì)量經(jīng)濟(jì)學(xué)中，古典線性回歸模型的基本假定是對(duì)參數(shù)和模型進(jìn)行顯著性檢驗(yàn)的基礎(chǔ)，如果違背了其中任意一條或多條假定，假設(shè)檢驗(yàn)的結(jié)果將不再有效，甚至可能會(huì)得到完全錯(cuò)誤的結(jié)論。

許多計(jì)量經(jīng)濟(jì)學(xué)教科書對(duì)此給出了嚴(yán)謹(jǐn)?shù)臄?shù)學(xué)證明，這里不再贅述。筆者試圖從另一個(gè)角度，即運(yùn)用數(shù)據(jù)生成過(guò)程，以參數(shù)的顯著性檢驗(yàn)為研究對(duì)象，探討存在異方差和多重共線性時(shí)，檢驗(yàn)結(jié)果是否有效。

第二章，簡(jiǎn)單地介紹一下古典線性回歸模型的基本假定中的“同方差”假定和“無(wú)多重共線性”假定，為后續(xù)的論述打下基礎(chǔ)。第三章，介紹數(shù)據(jù)生成過(guò)程，利用一個(gè)簡(jiǎn)單的二元回歸模型，生成所有需要的變量，用來(lái)進(jìn)行回歸和檢驗(yàn)。第四章分別討論不同條件下的檢驗(yàn)結(jié)果和結(jié)論。

二、同方差假定和無(wú)多重共線性假定

可以看出，由于假定方差σ2為常數(shù)，隨機(jī)誤差項(xiàng)是“同方差的”，每個(gè)Y是以相同的方差分布在其均值周圍，這就是古典線性模型中的“同方差”假定，如果該假定被違背，則稱“存在異方差”。

另外，古典線性回歸模型還假定，解釋變量X2與解釋變量X1之間沒(méi)有較強(qiáng)的線性關(guān)系，即“無(wú)多重共線性”假定。如果該假定被違背，則稱“存在多重共線性”。

三、數(shù)據(jù)生成過(guò)程

這里，隨機(jī)誤差項(xiàng)εi的方差被設(shè)置為x1iα，只有當(dāng)α=0時(shí)，該模型才不存在異方差，否則就會(huì)存在異方差。

第四，將生成的解釋變量Y對(duì)解釋變量X1和X2進(jìn)行二元回歸，采用普通最小二乘法估計(jì)每一個(gè)參數(shù)，并依次對(duì)各個(gè)參數(shù)進(jìn)行顯著性檢驗(yàn)，檢驗(yàn)其在5%顯著水平下是否顯著。

第五，重復(fù)以上步驟1～步驟4，為了增加研究結(jié)論的準(zhǔn)確性和可靠性，重復(fù)次數(shù)設(shè)置為3000。

第六，統(tǒng)計(jì)在這3000次回歸分析中，參數(shù)的顯著性檢驗(yàn)結(jié)果顯著的比例。

在整個(gè)數(shù)據(jù)生成過(guò)程中，存在異方差與否，取決于選擇的參數(shù)α是否為0，例如當(dāng)α=0時(shí)，不存在異方差，而當(dāng)α=1時(shí)，則存在異方差。

存在多重共線性與否，取決于選擇的參數(shù)θ是否足夠大，例如當(dāng)θ=5，不存在多重共線性，而當(dāng)θ=0.01時(shí)，則存在多重共線性。

四、結(jié)論

由于被解釋變量Y是由兩個(gè)解釋變量X1和X2共同生成，也就是說(shuō)，X1和X2對(duì)Y均有顯著性影響，參數(shù)的顯著性檢驗(yàn)結(jié)果應(yīng)該為顯著，這是“真實(shí)情況”。

下面依次來(lái)看，在不同條件下，檢驗(yàn)結(jié)果是否與“真實(shí)情況”一致，據(jù)此推斷：在不同條件下，參數(shù)的顯著性檢驗(yàn)是否依然有效。

（一）不存在異方差和多重共線性

為了方便比較，首先考察古典線性回歸模型基本假定成立的情形，即，不存在異方差也不存在多重共線性，令α=0，θ=5。

結(jié)果見(jiàn)下表：

由此可以看出，當(dāng)不存在異方差和多重共線性時(shí)，參數(shù)的顯著性檢驗(yàn)結(jié)果全部為顯著，這與“真實(shí)情況”完全吻合，說(shuō)明此時(shí)參數(shù)的顯著性檢驗(yàn)完全有效。

（二）存在異方差

由此可以看出，當(dāng)存在多重共線性時(shí)，參數(shù)的顯著性檢驗(yàn)結(jié)果顯著的比例非常低，這與“真實(shí)情況”不符，說(shuō)明此時(shí)參數(shù)的顯著性檢驗(yàn)失效。值得注意的是，對(duì)常數(shù)項(xiàng)進(jìn)行顯著性檢驗(yàn)的結(jié)果似乎依然有效，這是由于X2的生成函數(shù)中缺少截距項(xiàng)造成的。

綜上所述，當(dāng)存在異方差或多重共線性時(shí)，參數(shù)的顯著性檢驗(yàn)結(jié)果顯著的比例大幅降低，說(shuō)明在此條件下，參數(shù)的顯著性檢驗(yàn)失效。

參考文獻(xiàn)：

[1] Gujarati and Porter， Basic Econometrics， 5th ed.， McGraw-Hill， New York， 2009.

[2] Jan Kmenta， Elements of Econometrics， 2nd ed.， Macmillan， New York， 1986， p.431.

[責(zé)任編輯：金永紅]

摘要：通過(guò)蒙特卡洛實(shí)驗(yàn)，在計(jì)量經(jīng)濟(jì)學(xué)軟件R中實(shí)現(xiàn)數(shù)據(jù)生成過(guò)程，當(dāng)古典線性回歸模型基本假定中的同方差假定和無(wú)多重共線性假定被違背時(shí)，參數(shù)的顯著性檢驗(yàn)是否依然有效。

關(guān)鍵詞：線性回歸；異方差；多重共線性；參數(shù)的顯著性檢驗(yàn)

中圖分類號(hào)：F830 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1005-913X（2014）08-0026-02

Abstract： This paper uses a Monte Carlo experiment to study the effect of heteroscedasticity and multicollinearity on the availability of significance test of parameters， the data generating process is running in econometric software R.

Keywords： Linear Regression； Heteroscedasticity； Multicollinearity； Significance Test of Parameter

一、引言

在計(jì)量經(jīng)濟(jì)學(xué)中，古典線性回歸模型的基本假定是對(duì)參數(shù)和模型進(jìn)行顯著性檢驗(yàn)的基礎(chǔ)，如果違背了其中任意一條或多條假定，假設(shè)檢驗(yàn)的結(jié)果將不再有效，甚至可能會(huì)得到完全錯(cuò)誤的結(jié)論。

許多計(jì)量經(jīng)濟(jì)學(xué)教科書對(duì)此給出了嚴(yán)謹(jǐn)?shù)臄?shù)學(xué)證明，這里不再贅述。筆者試圖從另一個(gè)角度，即運(yùn)用數(shù)據(jù)生成過(guò)程，以參數(shù)的顯著性檢驗(yàn)為研究對(duì)象，探討存在異方差和多重共線性時(shí)，檢驗(yàn)結(jié)果是否有效。

第二章，簡(jiǎn)單地介紹一下古典線性回歸模型的基本假定中的“同方差”假定和“無(wú)多重共線性”假定，為后續(xù)的論述打下基礎(chǔ)。第三章，介紹數(shù)據(jù)生成過(guò)程，利用一個(gè)簡(jiǎn)單的二元回歸模型，生成所有需要的變量，用來(lái)進(jìn)行回歸和檢驗(yàn)。第四章分別討論不同條件下的檢驗(yàn)結(jié)果和結(jié)論。

二、同方差假定和無(wú)多重共線性假定

可以看出，由于假定方差σ2為常數(shù)，隨機(jī)誤差項(xiàng)是“同方差的”，每個(gè)Y是以相同的方差分布在其均值周圍，這就是古典線性模型中的“同方差”假定，如果該假定被違背，則稱“存在異方差”。

另外，古典線性回歸模型還假定，解釋變量X2與解釋變量X1之間沒(méi)有較強(qiáng)的線性關(guān)系，即“無(wú)多重共線性”假定。如果該假定被違背，則稱“存在多重共線性”。

三、數(shù)據(jù)生成過(guò)程

這里，隨機(jī)誤差項(xiàng)εi的方差被設(shè)置為x1iα，只有當(dāng)α=0時(shí)，該模型才不存在異方差，否則就會(huì)存在異方差。

第四，將生成的解釋變量Y對(duì)解釋變量X1和X2進(jìn)行二元回歸，采用普通最小二乘法估計(jì)每一個(gè)參數(shù)，并依次對(duì)各個(gè)參數(shù)進(jìn)行顯著性檢驗(yàn)，檢驗(yàn)其在5%顯著水平下是否顯著。

第五，重復(fù)以上步驟1～步驟4，為了增加研究結(jié)論的準(zhǔn)確性和可靠性，重復(fù)次數(shù)設(shè)置為3000。

第六，統(tǒng)計(jì)在這3000次回歸分析中，參數(shù)的顯著性檢驗(yàn)結(jié)果顯著的比例。

在整個(gè)數(shù)據(jù)生成過(guò)程中，存在異方差與否，取決于選擇的參數(shù)α是否為0，例如當(dāng)α=0時(shí)，不存在異方差，而當(dāng)α=1時(shí)，則存在異方差。

存在多重共線性與否，取決于選擇的參數(shù)θ是否足夠大，例如當(dāng)θ=5，不存在多重共線性，而當(dāng)θ=0.01時(shí)，則存在多重共線性。

四、結(jié)論

由于被解釋變量Y是由兩個(gè)解釋變量X1和X2共同生成，也就是說(shuō)，X1和X2對(duì)Y均有顯著性影響，參數(shù)的顯著性檢驗(yàn)結(jié)果應(yīng)該為顯著，這是“真實(shí)情況”。

下面依次來(lái)看，在不同條件下，檢驗(yàn)結(jié)果是否與“真實(shí)情況”一致，據(jù)此推斷：在不同條件下，參數(shù)的顯著性檢驗(yàn)是否依然有效。

（一）不存在異方差和多重共線性

為了方便比較，首先考察古典線性回歸模型基本假定成立的情形，即，不存在異方差也不存在多重共線性，令α=0，θ=5。

結(jié)果見(jiàn)下表：

由此可以看出，當(dāng)不存在異方差和多重共線性時(shí)，參數(shù)的顯著性檢驗(yàn)結(jié)果全部為顯著，這與“真實(shí)情況”完全吻合，說(shuō)明此時(shí)參數(shù)的顯著性檢驗(yàn)完全有效。

（二）存在異方差

由此可以看出，當(dāng)存在多重共線性時(shí)，參數(shù)的顯著性檢驗(yàn)結(jié)果顯著的比例非常低，這與“真實(shí)情況”不符，說(shuō)明此時(shí)參數(shù)的顯著性檢驗(yàn)失效。值得注意的是，對(duì)常數(shù)項(xiàng)進(jìn)行顯著性檢驗(yàn)的結(jié)果似乎依然有效，這是由于X2的生成函數(shù)中缺少截距項(xiàng)造成的。

綜上所述，當(dāng)存在異方差或多重共線性時(shí)，參數(shù)的顯著性檢驗(yàn)結(jié)果顯著的比例大幅降低，說(shuō)明在此條件下，參數(shù)的顯著性檢驗(yàn)失效。

參考文獻(xiàn)：

[1] Gujarati and Porter， Basic Econometrics， 5th ed.， McGraw-Hill， New York， 2009.

[2] Jan Kmenta， Elements of Econometrics， 2nd ed.， Macmillan， New York， 1986， p.431.

[責(zé)任編輯：金永紅]

摘要：通過(guò)蒙特卡洛實(shí)驗(yàn)，在計(jì)量經(jīng)濟(jì)學(xué)軟件R中實(shí)現(xiàn)數(shù)據(jù)生成過(guò)程，當(dāng)古典線性回歸模型基本假定中的同方差假定和無(wú)多重共線性假定被違背時(shí)，參數(shù)的顯著性檢驗(yàn)是否依然有效。

關(guān)鍵詞：線性回歸；異方差；多重共線性；參數(shù)的顯著性檢驗(yàn)

中圖分類號(hào)：F830 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1005-913X（2014）08-0026-02

Abstract： This paper uses a Monte Carlo experiment to study the effect of heteroscedasticity and multicollinearity on the availability of significance test of parameters， the data generating process is running in econometric software R.

Keywords： Linear Regression； Heteroscedasticity； Multicollinearity； Significance Test of Parameter

一、引言

在計(jì)量經(jīng)濟(jì)學(xué)中，古典線性回歸模型的基本假定是對(duì)參數(shù)和模型進(jìn)行顯著性檢驗(yàn)的基礎(chǔ)，如果違背了其中任意一條或多條假定，假設(shè)檢驗(yàn)的結(jié)果將不再有效，甚至可能會(huì)得到完全錯(cuò)誤的結(jié)論。

許多計(jì)量經(jīng)濟(jì)學(xué)教科書對(duì)此給出了嚴(yán)謹(jǐn)?shù)臄?shù)學(xué)證明，這里不再贅述。筆者試圖從另一個(gè)角度，即運(yùn)用數(shù)據(jù)生成過(guò)程，以參數(shù)的顯著性檢驗(yàn)為研究對(duì)象，探討存在異方差和多重共線性時(shí)，檢驗(yàn)結(jié)果是否有效。

第二章，簡(jiǎn)單地介紹一下古典線性回歸模型的基本假定中的“同方差”假定和“無(wú)多重共線性”假定，為后續(xù)的論述打下基礎(chǔ)。第三章，介紹數(shù)據(jù)生成過(guò)程，利用一個(gè)簡(jiǎn)單的二元回歸模型，生成所有需要的變量，用來(lái)進(jìn)行回歸和檢驗(yàn)。第四章分別討論不同條件下的檢驗(yàn)結(jié)果和結(jié)論。

二、同方差假定和無(wú)多重共線性假定

可以看出，由于假定方差σ2為常數(shù)，隨機(jī)誤差項(xiàng)是“同方差的”，每個(gè)Y是以相同的方差分布在其均值周圍，這就是古典線性模型中的“同方差”假定，如果該假定被違背，則稱“存在異方差”。

另外，古典線性回歸模型還假定，解釋變量X2與解釋變量X1之間沒(méi)有較強(qiáng)的線性關(guān)系，即“無(wú)多重共線性”假定。如果該假定被違背，則稱“存在多重共線性”。

三、數(shù)據(jù)生成過(guò)程

這里，隨機(jī)誤差項(xiàng)εi的方差被設(shè)置為x1iα，只有當(dāng)α=0時(shí)，該模型才不存在異方差，否則就會(huì)存在異方差。

第四，將生成的解釋變量Y對(duì)解釋變量X1和X2進(jìn)行二元回歸，采用普通最小二乘法估計(jì)每一個(gè)參數(shù)，并依次對(duì)各個(gè)參數(shù)進(jìn)行顯著性檢驗(yàn)，檢驗(yàn)其在5%顯著水平下是否顯著。

第五，重復(fù)以上步驟1～步驟4，為了增加研究結(jié)論的準(zhǔn)確性和可靠性，重復(fù)次數(shù)設(shè)置為3000。

第六，統(tǒng)計(jì)在這3000次回歸分析中，參數(shù)的顯著性檢驗(yàn)結(jié)果顯著的比例。

在整個(gè)數(shù)據(jù)生成過(guò)程中，存在異方差與否，取決于選擇的參數(shù)α是否為0，例如當(dāng)α=0時(shí)，不存在異方差，而當(dāng)α=1時(shí)，則存在異方差。

存在多重共線性與否，取決于選擇的參數(shù)θ是否足夠大，例如當(dāng)θ=5，不存在多重共線性，而當(dāng)θ=0.01時(shí)，則存在多重共線性。

四、結(jié)論

由于被解釋變量Y是由兩個(gè)解釋變量X1和X2共同生成，也就是說(shuō)，X1和X2對(duì)Y均有顯著性影響，參數(shù)的顯著性檢驗(yàn)結(jié)果應(yīng)該為顯著，這是“真實(shí)情況”。

下面依次來(lái)看，在不同條件下，檢驗(yàn)結(jié)果是否與“真實(shí)情況”一致，據(jù)此推斷：在不同條件下，參數(shù)的顯著性檢驗(yàn)是否依然有效。

（一）不存在異方差和多重共線性

為了方便比較，首先考察古典線性回歸模型基本假定成立的情形，即，不存在異方差也不存在多重共線性，令α=0，θ=5。

結(jié)果見(jiàn)下表：

由此可以看出，當(dāng)不存在異方差和多重共線性時(shí)，參數(shù)的顯著性檢驗(yàn)結(jié)果全部為顯著，這與“真實(shí)情況”完全吻合，說(shuō)明此時(shí)參數(shù)的顯著性檢驗(yàn)完全有效。

（二）存在異方差

由此可以看出，當(dāng)存在多重共線性時(shí)，參數(shù)的顯著性檢驗(yàn)結(jié)果顯著的比例非常低，這與“真實(shí)情況”不符，說(shuō)明此時(shí)參數(shù)的顯著性檢驗(yàn)失效。值得注意的是，對(duì)常數(shù)項(xiàng)進(jìn)行顯著性檢驗(yàn)的結(jié)果似乎依然有效，這是由于X2的生成函數(shù)中缺少截距項(xiàng)造成的。

綜上所述，當(dāng)存在異方差或多重共線性時(shí)，參數(shù)的顯著性檢驗(yàn)結(jié)果顯著的比例大幅降低，說(shuō)明在此條件下，參數(shù)的顯著性檢驗(yàn)失效。

參考文獻(xiàn)：

[1] Gujarati and Porter， Basic Econometrics， 5th ed.， McGraw-Hill， New York， 2009.

[2] Jan Kmenta， Elements of Econometrics， 2nd ed.， Macmillan， New York， 1986， p.431.

[責(zé)任編輯：金永紅]