自變量?jī)?yōu)化的一元線性回歸

韓小慧，葛永慧

（太原理工大學(xué) 礦業(yè)工程學(xué)院，山西 太原030024）

自變量?jī)?yōu)化的一元線性回歸

韓小慧，葛永慧

（太原理工大學(xué) 礦業(yè)工程學(xué)院，山西 太原030024）

一元線性回歸是應(yīng)用最為廣泛的參數(shù)估計(jì)方法之一。文中提出一元線性回歸的自變量在等差級(jí)數(shù)的基礎(chǔ)上進(jìn)行雙向黃金分割，提高兩端點(diǎn)觀測(cè)值的多余觀測(cè)分量，縮小觀測(cè)值之間多余觀測(cè)分量的差異，在不增加觀測(cè)值數(shù)量和不改變觀測(cè)值精度的前提下，提高穩(wěn)健估計(jì)方法消除或減弱粗差的能力。

一元線性回歸；穩(wěn)健估計(jì)；自變量?jī)?yōu)化；雙向黃金分割

一元線性回歸是測(cè)量實(shí)際應(yīng)用中最為廣泛的參數(shù)估計(jì)方法之一。但是傳統(tǒng)的一元線性回歸不具備抵抗粗差的能力，當(dāng)測(cè)值中包含粗差時(shí)，傳統(tǒng)的一元線性回歸的結(jié)果便會(huì)受到歪曲［1］。而生產(chǎn)實(shí)踐和科學(xué)實(shí)驗(yàn)所采集的數(shù)據(jù)中粗差的出現(xiàn)是不可避免的。為了減弱或消除粗差對(duì)參數(shù)估計(jì)的影響，G．E．P．BOX于1953年提出了穩(wěn)健估計(jì)的概念。穩(wěn)健估計(jì)是將估計(jì)理論建立在符合于數(shù)據(jù)實(shí)際情況的分布模式而不是建立在某種理想的分布模式［2］，許多學(xué)者就此進(jìn)行了卓有成效的研究，構(gòu)造了很多不同的穩(wěn)健估計(jì)方法。常用的穩(wěn)健估計(jì)方法有殘差絕對(duì)和最小法、Danish法、Huber法、Tukey法和IGGⅢ方案等。

一元線性回歸的自變量通常為等差級(jí)數(shù)。由于回歸方程本身的特點(diǎn)和自變量的設(shè)定方式?jīng)Q定了觀測(cè)值之間的多余觀測(cè)分量有著較大的差異，兩端點(diǎn)觀測(cè)值的多余觀測(cè)分量較小而中間點(diǎn)觀測(cè)值的多余觀測(cè)分量較大。當(dāng)相同的粗差包含在不同的觀測(cè)值中時(shí)，穩(wěn)健估計(jì)方法減弱或消除粗差的能力是不同的，下面用例子具體說明。

觀測(cè)值的真值（xi，yi）分別為（10，6．50），（28，15．50），（46，24．50），（64，33．50），（82，42．50），（100，51．50）。xi和yi的單位均為 m，觀測(cè)值個(gè)數(shù)n＝6，將5．0 cm粗差分別加到第1和第3個(gè)觀測(cè)值，用Danish方法計(jì)算觀測(cè)值的改正數(shù)，結(jié)果見表1。

表1中，x為自變量，y為因變量。Δ1和Δ3為真誤差。Y1和Y3分別為第1和第3個(gè)包含5．0 cm粗差的觀測(cè)值，V1和V3分別為觀測(cè)值Y1和Y3的改正數(shù)。

表1 第1和第3個(gè)觀測(cè)值包含粗差時(shí)觀測(cè)值的改正數(shù)

由表1可知，當(dāng)?shù)?個(gè)觀測(cè)值包含5．0 cm的粗差時(shí)，觀測(cè)值的改正數(shù)V1與真誤差Δ1不相同，Danish方法不能完全消除粗差對(duì)參數(shù)估計(jì)的影響。當(dāng)?shù)?個(gè)觀測(cè)值包含5．0 cm的粗差時(shí)，觀測(cè)值的改正數(shù)V3與真誤差Δ3相同，Danish方法完全消除了粗差對(duì)參數(shù)估計(jì)的影響［3］。

本文提出了自變量在等差級(jí)數(shù)的基礎(chǔ)上進(jìn)行雙向黃金分割（通常自變量是可以人為設(shè)定的），提高了最小多余觀測(cè)分量的數(shù)值。在不增加觀測(cè)值數(shù)量和不改變觀測(cè)精度的前提下，顯著提高了一元線性回歸穩(wěn)健估計(jì)方法減弱或消除粗差的效率。

1 一元線性回歸的可靠性矩陣

觀測(cè)值包含粗差時(shí)能否被發(fā)現(xiàn)和定位，與觀測(cè)值的多余觀測(cè)分量有著緊密的聯(lián)系，觀測(cè)值的多余觀測(cè)分量是觀測(cè)值可靠性矩陣的主對(duì)角線元素［4］。

2 自變量等差級(jí)數(shù)時(shí)的可靠性矩陣

設(shè)自變量為等差級(jí)數(shù)，公差為q，x1為首項(xiàng)，

設(shè)自變量x與因變量y間直線相關(guān)。觀測(cè)值為（xi，yi），i＝1，2，…，n。xi為非隨機(jī)變量，yi為隨機(jī)變量。vi為yi的殘差，＾a和＾b 為回歸系數(shù)的估值。n為觀測(cè)值個(gè)數(shù)，t＝2為參數(shù)個(gè)數(shù)，r＝n－2為自由度。

用估值表示的觀測(cè)方程為

由式（13）可知，當(dāng)自變量為等差級(jí)數(shù)時(shí)，可靠性矩陣與自變量的數(shù)值大小和公差的取值無關(guān)，只與觀測(cè)值的個(gè)數(shù)有關(guān)。

3 自變量雙向黃金分割時(shí)的可靠性矩陣

表2 5到9個(gè)點(diǎn)的自變量雙向黃金分割

當(dāng)n＝6時(shí)，自變量雙向黃金分割為

x1，x1＋q－λq，x1＋q，x1＋4q，

x1＋4q＋λq，x1＋5q．

表3 自變量等差級(jí)數(shù)和自變量雙向黃金分割的可靠性矩陣主對(duì)角線元素

表3中，AP表示自變量等差級(jí)數(shù)，GS表示自變量雙向黃金分割，n表示觀測(cè)值的個(gè)數(shù)，rii表示可靠性矩陣的主對(duì)角線元素。

由表3可知，對(duì)于一定的觀測(cè)值個(gè)數(shù)，兩端點(diǎn)的多余觀測(cè)值分量小于中間點(diǎn)的多余觀測(cè)值分量，即兩端點(diǎn)和中間點(diǎn)發(fā)現(xiàn)和定位粗差的能力是不相同的。對(duì)于相同的觀測(cè)值個(gè)數(shù)，自變量雙向黃金分割兩端點(diǎn)的多余觀測(cè)值分量相對(duì)于等差級(jí)數(shù)的多余觀測(cè)值分量增加大約為0．1，減小了各個(gè)觀測(cè)值多余觀測(cè)分量之間的差異，自變量雙向黃金分割提高了兩端點(diǎn)發(fā)現(xiàn)和定位粗差的能力。

4 算 例

設(shè)直線回歸的理論方程為y＝~a＋~b~x。

取a＝1．5，b＝0．5（a和b的取值不影響計(jì)算結(jié)果），觀測(cè)值的真值為（xi，yi）（x＝1，2，…，n）。自變量xi的取值范圍為10～100。因變量yi根據(jù)自變量xi計(jì)算。xi和yi的單位均為m，自變量不同取值方式的觀測(cè)值（xi，yi）的真值如下：

自變量等差級(jí)數(shù)：（10，6．50），（28，15．50），（46，24．50），（64，33．50），（82，42．50），（100，51．50）。

自變量雙向黃金分割：（10，6．50），（17，10．00），（28，15．50），（82，42．50），（93，48．00），（100，51．50）。

對(duì)于第1個(gè)和第3個(gè)觀測(cè)值包含粗差的情況，用Danish方法計(jì)算觀測(cè)值的改正數(shù)，結(jié)果見表1和表4。用IGGⅢ方案計(jì)算觀測(cè)值的改正數(shù)，結(jié)果見表5和表6。用Tukey方法計(jì)算觀測(cè)值的改正數(shù)，結(jié)果見表7和表8。

表4 第1和第3個(gè)觀測(cè)值包含粗差時(shí)觀測(cè)值的改正數(shù)（黃金分割）

由表4可知，自變量雙向黃金分割：當(dāng)?shù)?個(gè)觀測(cè)值包含5．0 cm的粗差時(shí)，觀測(cè)值的改正數(shù)V1與真誤差Δ1相同，Danish方法完全消除了粗差對(duì)參數(shù)估計(jì)的影響。當(dāng)?shù)?個(gè)觀測(cè)值包含5．0 cm的粗差時(shí)，觀測(cè)值的改正數(shù)與真誤差相同，Danish方法完全消除了粗差對(duì)參數(shù)估計(jì)的影響。

表5 第1和第3個(gè)觀測(cè)值包含粗差時(shí)觀測(cè)值的改正數(shù)（等差數(shù)列）

由表5可知，自變量等差級(jí)數(shù)：當(dāng)?shù)?個(gè)觀測(cè)值包含5．0 cm的粗差時(shí)，觀測(cè)值的改正數(shù)V1與真誤差Δ1不相同，IGGⅢ方案不能完全消除粗差對(duì)參數(shù)估計(jì)的影響。當(dāng)?shù)?個(gè)觀測(cè)值包含5．0 cm的粗差時(shí)，觀測(cè)值的改正數(shù)與真誤差相同，IGGⅢ方案完全消除了粗差對(duì)參數(shù)估計(jì)的影響。

表6 第1和第3個(gè)觀測(cè)值包含粗差時(shí)觀測(cè)值的改正數(shù)（黃金分割）

由表6可知，自變量雙向黃金分割：當(dāng)?shù)?個(gè)觀測(cè)值包含5．0 cm的粗差時(shí)，觀測(cè)值的改正數(shù)V1與真誤差Δ1相同，IGGⅢ方案完全消除了粗差對(duì)參數(shù)估計(jì)的影響。當(dāng)?shù)?個(gè)觀測(cè)值包含5．0 cm的粗差時(shí)，觀測(cè)值的改正數(shù)與真誤差相同，IGGⅢ方案完全消除了粗差對(duì)參數(shù)估計(jì)的影響。

表7 第1和第3個(gè)觀測(cè)值包含粗差時(shí)觀測(cè)值的改正數(shù)（等差數(shù)列）

由表7可知，自變量等差級(jí)數(shù)：當(dāng)?shù)?個(gè)觀測(cè)值包含5．0 cm的粗差時(shí)，觀測(cè)值的改正數(shù)V1與真誤差Δ1不相同，Tukey方法不能完全消除粗差對(duì)參數(shù)估計(jì)的影響。當(dāng)?shù)?個(gè)觀測(cè)值包含5．0 cm的粗差時(shí)，觀測(cè)值的改正數(shù)與真誤差相同，Tukey方法完全消除了粗差對(duì)參數(shù)估計(jì)的影響。

表8 第1和第3個(gè)觀測(cè)值包含粗差時(shí)觀測(cè)值的改正數(shù)（黃金分割）

由表8可知，自變量雙向黃金分割：當(dāng)?shù)?個(gè)觀測(cè)值包含5．0 cm的粗差時(shí)，觀測(cè)值的改正數(shù)V1與真誤差Δ1不相同，Tukey方法不能完全消除粗差對(duì)參數(shù)估計(jì)的影響。當(dāng)?shù)?個(gè)觀測(cè)值包含5．0 cm的粗差時(shí)，觀測(cè)值的改正數(shù)與真誤差不相同，Tukey方法同樣不能完全消除粗差對(duì)參數(shù)估計(jì)的影響。

對(duì)于自變量等差級(jí)數(shù)，當(dāng)相同的粗差包含在不同的觀測(cè)值中時(shí)，穩(wěn)健估計(jì)方法減弱或消除粗差的能力是不同的。例如當(dāng)觀測(cè)值數(shù)量等于6和兩端點(diǎn)的觀測(cè)值包含粗差時(shí)，穩(wěn)健估計(jì)方法不能有效地消除粗差對(duì)參數(shù)估計(jì)的影響。對(duì)于自變量雙向黃金分割，當(dāng)觀測(cè)值數(shù)量等于6時(shí)，無論哪個(gè)觀測(cè)值中包含粗差，Danish方法、IGGⅢ方案和Tukey方法都能有效地消除粗差對(duì)參數(shù)估計(jì)的影響。

5 結(jié)束語

本文提出了一元線性回歸中自變量雙向黃金分割。在不改變觀測(cè)值數(shù)量和觀測(cè)值精度的前提下，自變量雙向黃金分割與自變量等差級(jí)數(shù)相比縮小了觀測(cè)值多余觀測(cè)分量之間的差異。相對(duì)于自變量等差級(jí)數(shù)，當(dāng)自變量雙向黃金分割時(shí)，穩(wěn)健估計(jì)方法能夠更有效地消除或減弱粗差對(duì)參數(shù)估計(jì)的影響。

［1］陳軻，歸清明，柳麗，等．Gauss－Markov模型的t型抗差估計(jì)［J］．測(cè)繪學(xué)報(bào)，2008，37（3）：280－284．

［2］王新洲 ，陶本藻，邱衛(wèi)寧，等．高等測(cè)量平差［M］．北京：測(cè)繪出版社，2006：73－89．

［3］黃幼才．?dāng)?shù)據(jù)探測(cè)與抗差估計(jì)［M］．北京：測(cè)繪出版社，1990：287－309．

［4］邱衛(wèi)寧，陶本藻，姚宜斌，等．測(cè)量數(shù)據(jù)處理理論與方法［M］．武漢：武漢大學(xué)出版社，2008：58－72．

［5］周江文．經(jīng)典誤差理論與抗差估計(jì)［J］．測(cè)繪學(xué)報(bào)，1989，18（2）：115－120．

［6］M．I．Griep，I．N．Wakeling，P．Vankeerberghen，et al．Comparison of semirobust and robust partial least squares procedures［J］．Chemom．Intell．Lab．Syst．1995，29（1）：37－50．

［7］Peter J．Huber．Robust statistics［M］．New York：John Wiley and Sons．1981：229－236．

［8］Zioutas，G．，Avramidis，A．Deleting Outliers in Robust Regression with Mixed Integer Programming［J］．Acta Math．Appl．Sin．Engl．Ser．2005，21（2）：323－334．

［9］Peter J．Huber Robust Estimation of a Location Parameter［J］．Ann．Math．Statist．．1964，35（1）：73－101．

［10］James K．G．Watson，Robust weighting in least－squares fits［J］．J．Mol．Spectrosc．2003，219（2）：326－328．

［11］Antonia López Villavicencio，Nonlinearities or outliers in real exchange rates［J］．Economic Modelling 2008，25（4）：714－730．

Simple linear regression with independent variables optimized

HAN Xiao－h(huán)ui，GE Yong－h(huán)ui
（College of Mining Engineering，Taiyuan University of Technology，Taiyuan 030024，China）

Simple linear regression is one of the most widely used methods of parameter estimation．The paper proposes a bidirectional golden section based on independent variables according to arithmetical progression，which increases the redundant observations of the observations at both endpoints and narrows the difference of redundant observations among the observations．Under the premise of not increasing the number of observations and changing observation accuracy，this method improves the capability of robust estimate method eliminating and weakening gross errors．

simple linear regression；robust estimation；independent variables optimization；bidirectional golden section

P228

A

1006－7949（2012）03－0013－05

2011－05－22

國(guó)家高技術(shù)研究發(fā)展計(jì)劃（863計(jì)劃）資助項(xiàng)目（2008AA06A415－06A4）

韓小慧（1986－），女，碩士研究生．

［責(zé)任編輯劉文霞］