常用穩健估計方法在多元線性回歸中的有效性比較

□劉君 余哲

（太原理工大學測繪科學與技術系，山西太原030024）

常用穩健估計方法在多元線性回歸中的有效性比較

□劉君 余哲

（太原理工大學測繪科學與技術系，山西太原030024）

多元線性回歸是一種在測量中應用廣泛的參數估計方法，其回歸參數通常基于LS法求得，但LS法不具備抵抗粗差的能力。在粗差不可避免的情況下，穩健估計能達到減弱粗差對參數估計的影響。本文就多元線性回歸在測量中的應用進行研究，當觀測值的不同位置含有不同數量的粗差時，探討和比較常用穩健估計方法（Huber法、Tukey法、Danish法和IGGⅢ方案）在多元線性回歸模型中的有效性，結果表明IGGⅢ方案比LS法和其他三種常用穩健估計方法更為有效。

多元線性回歸；穩健估計；有效性比較

引言

多元線性回歸是處理變量間相關關系的參數估計方法，在生產實踐與科學實驗中應用較為廣泛，其回歸參數通常基于最小二乘法（LS法）求得[1]。在數據采集時，觀測值不可避免地會帶有粗差。而LS法在計算過程中對每個觀測值都賦予相同的權重，由此帶來對粗差的處理不當，使回歸系數估值產生較大偏差，從而影響了回歸模型的有效性[2]。

為了消除或減弱粗差對參數估計的影響，1953年，G.E.P.BOX提出了穩健估計的概念。1964年，Huber發表的論文《定位參數的穩健估計》為穩健估計理論奠定了基礎。1968年，Relles[3]提出了改進最小二乘穩健回歸。1973年，Huber[4]提出把M-估計引入到回歸分析中，并對最大似然估計回歸的定義及其漸近性進行了理論與實證。1977年，Holland和Welsch[5]提出了選權迭代法。吳健平和張立[1]通過對LS法和穩健估計方法進行比較，指出穩健估計方法是LS法的改進，以地理數據中的一元線性回歸為例，說明穩健估計能有效地減弱粗差對回歸系數估值的影響，并且在回歸過程中不用去判斷哪些數據含有粗差。本文通過在算例中改變粗差的位置與數量來探討和比較不同穩健估計方法在多元線性回歸模型中的有效性。

1.多元線性回歸模型

假設某一因變量受個自變量（x1，x2，…，xm）的影響，其 組觀測值為yi，xi1，xi2，…，xim，（i=1，2，…，n）。則多元線性回歸模型為：

y?=β0+β1xi1+β2xi2+…+βmxim+εi

式中：β0，β1，…，βm是未知參數，εi是隨機誤差，xi1，xi2，…，xim是m個可測量并可控制的非隨機變量[6]。

2.常用的穩健估計方法

四種常見穩健估計方法的權函數如下。其中，u代表標準化的殘差（ui=vi/σ），ω（u）表示權函數；a、b和c表示調和系數，均采用有關文獻的推薦值。

（1）Huber法[7]：

（2）Tukey法[8]：

（3）Danish法[9]：

（4）IGGⅢ方案[10]：

3.算例

多元線性回歸在測量中有著廣泛的應用，如：利用LTS獲得的點云數據采用切片分割法所得的株冠體積與冠高和冠高直徑滿足二元線性關系[11]；井下三角高程測量中鋼尺丈量誤差與高差、水平距和測站數滿足三元線性關系[12]；福建半日潮區理論深度基準面值與分潮M2，S2，K1，O1四個主要分潮的平均振幅滿足四元線性關系[13]等。本文主要以二元線性回歸和四元線性回歸為例，進行探討和分析。

3.1二元線性回歸的算例

用切片分割法所得的紫穗槐株冠體積y（dm3）與冠高x1（cm）、冠高直徑x2（cm）滿足二元線性關系。有15組觀測數據如表1。

由LS法得觀測值的單位權中誤差為1.9，選擇10倍左右的單位權中誤差（+ 20dm3）作為粗差。下面設計了三種方案分別進行試驗。其中，用n表示觀測值的數量，g表示粗差的數量，i、j和k分別表示在第i個、第j個和第k個觀測值中加入粗差（+ 20dm3）。

A1：在不同的位置加入一個粗差（n=15，g=1），結果見表2。

A2：在不同的位置加入兩個粗差（n=15，g=2），結果見表3。

A3：加入三個粗差（n=15，g=3），結果見表4。

表1 二元線性回歸算例的觀測值Tab.1 The observations of binary linear regression

表2 二元線性回歸LS法、Huber法、Tukey法、Danish法和IGGIII方案的殘差（n=15，g=1）Tab.2 Residual of LS，Huber，Tukey，Danish and IGGIII robust estimation methods of binary linear regression（n=15，g=1）

表3 二元線性回歸LS法、Huber法、Tukey法、Danish法和IGGIII方案的殘差（n=15，g=2）Tab.3 Residual of LS，Huber，Tukey，Danish and IGGIII robust estimation methods of binary linear regression（n=15，g=2）

表4 二元線性回歸LS法、Huber法、Tukey法、Danish法和IGGIII方案的殘差（n=15，g=3）Tab.4 Residual of LS，Huber，Tukey，Danish and IGGIII robust estimation methods of binary linear regression（n=15，g=3）

將表2、表3和表4中各參數估計方法所得的殘差與粗差相比較可知，在二元線性回歸模型中，當g=1時，穩健估計方法（Huber法、Danish法、Tukey法和IGGIII方案）比LS法都能更有效地消除或減弱粗差對參數估計的影響，且四者有效性相差不大。當g=2時，穩健估計方法依然優于LS法，而且Huber法、Danish法和IGGIII方案比Tukey法更為有效。當g=3時，Huber法和IGGIII方案比LS法、Tukey法和Danish法能夠更有效地消除或減弱粗差對參數估計的影響。

3.2四元線性回歸的算例

福建半日潮區理論深度基準面值y與分潮M2，S2，K1，O1四個主要分潮的平均振幅x1，x2，x3，x4滿足四元線性關系。有15組觀測數據如表5。

由LS法得觀測值的單位權中誤差為3.2，選擇10倍左右的單位權中誤差（-30cm）作為粗差。下面設計三種方案分別進行試驗。其中，用n表示觀測值的數量，g表示粗差的數量，i、j和k分別表示在第i個、第j個和第k個觀測值中加入粗差（-30cm）。

B1：在不同的位置加入一個粗差（n=15，g=1），結果見表6。

B2：在不同的位置加入兩個粗差（n=15，g=2），結果見表7。

B3：加入三個粗差（n=15，g=3），結果見表8。

表5 四元線性回歸算例的觀測值Tab.5 The observations of quadruple linear regression

表6 四元線性回歸LS法、Huber法、Tukey法、Danish法和IGGIII方案的殘差（n=15，g=1）Tab.6 Residual of LS，Huber，Tukey，Danish and IGGIII robust estimation methods of quadruple linear regression（n=15，g=1）

表7 四元線性回歸LS法、Huber法、Tukey法、Danish法和IGGIII方案的殘差（n=15，g=2）Tab.7 Residual of LS，Huber，Tukey，Danish and IGGIII robust estimation methods of quadruple linear regression（n=15，g=2）

表8 四元線性回歸LS法、Huber法、Tukey法、Danish法和IGGIII方案的殘差（n=15，g=3）Tab.8 Residual of LS，Huber，Tukey，Danish and IGGIII robust estimation methods of quadruple linear regression（n=15，g=3）

將表6、表7和表8中各參數估計方法所得的殘差與粗差相比較可知，在四元線性回歸中，當g=1和g=2時，穩健估計方法（Huber法、Tukey法、Danish法和IGGIII方案）比LS法能夠更有效地消除或減弱粗差對參數估計的影響，且Danish法、Tukey法和IGGIII方案相對Huber法更為有效。當g=3時，Danish法和IGGIII方案比LS法、Huber法和Tukey法能夠更為有效地消除或減弱粗差對參數估計的影響。

4.結論

本文以二元和四元線性回歸在測量中的應用為例，當觀測值的不同位置有不同數量的粗差時，分析穩健估計方法（Huber法、Tukey法、Danish法和IGGIII方案）所得觀測值的殘差，結果表明四種常用穩健估計方法比LS法能更有效地在多元線性回歸中消除或減弱粗差對參數估計的影響，其中，IGGIII方案比Huber法、Tukey法和Danish法在多元線性回歸中消除或減弱粗差對參數估計的影響更為有效。

【1】吳健平，張立.地理數據線性回歸中的穩健估計方法[J]．干旱區地理，1994，3（1）：83-88.

【2】陳艷國.回歸預測模型的穩健性分析[J].工程地質計算機應用，2005，3（39）：22-25.

【3】Relies，D.A.Robust Regression by Modified Least[M].Ph.D.thesis，Yale Univ.1968.

【4】Peter J.Huber.Robust Regression：Asymptotics Conjectures and Monte Carlo[J].The Annals of Statistics，1973，（5）：799-821.

【5】P.W.Holland AND R.E.Welsch，Robust Regression Using Iteratively Reweighted Leastsquares[J].Commun Statist-Theor.Meth，A6（1977），pp.813-827.

【6】王新洲，陶本藻，邱衛寧等，高等測量平差[M]．測繪出版社，2006，4.

【7】Baselga，S.Global optimization solution of robust estimation[J].Journal of Surveying Engineering，2007，133（3）：123-128.

【8】Pennacchi，P.Robust estimate of excitations in mechanical systems using M-estimators-Theoretical background and numerical applications[J].Journal of Sound and Vibration，2008，310：923-946.

【9】Nathan L.Knight and Jinling Wang.A Comparison of Outlier Detection Procedures and Robust Estimation Methods in GPS Positioning[J].Journal of Navigation，2009，62：699-709.

【10】Chang，Z.Q.，Hao，J.M.，Zhang，C.J.，and Cui，J.Y.（2008）.'Regularization combined with robust estimation and its application for GPS rapid positioning.'J.G.G.，28（3），83-86.

【11】畢銀麗，齊禮帥，陳書琳等，基于點云數據的株冠體積測量方法[J].科學報，2013，1（27）：31-36.

【12】王帥，高井祥，胡洪等，多元線性回歸算法在井下三角高程測量中的應用研究[J].測繪與空間地理信息，2011.2：63-66.

【13】陳楠，福建半日潮去理論深度基準面值回歸方程的建立[J].測繪通報，1999，9：28-29.

余哲(1963年——)，男，高工，碩士，畢業于太原理工大學，主要從事測量數據處理和開采沉陷。

P207

A

2095-7319（2014）03-0044-05

劉君（1990年——），女，畢業于太原理工大學測繪科學與技術系，碩士研究生，研究方向為空間數據采集方法和數據處理。