最小二乘法及其應用

姜偉，付佳媛

(中國傳媒大學 數據科學與智能媒體學院，北京 100024)

最小二乘法最早出現在勒讓德發表的論著《計算彗星軌道的新方法》的附錄中，在這本書中，勒讓德利用最小二乘法使各方程的誤差之間建立了一種平衡，從而防止了極端情況所施加的過多影響，并且有利于系統更加接近真實情況。然而，勒讓德并沒將最小二乘法在誤差分析方面進行進一步的研究。而高斯則對此方法進行了更深一步的研究，他通過誤差函數推出此方法并詳盡地給出了其理論依據，并且將其應用于天體運動中。在1829年，高斯還提供了最小二乘法的優化強于其他方法的證明。隨著最小二乘法的出現，它逐漸在統計學的回歸分析及方差分析等上被廣泛地應用，是一種非常重要的統計方法。如今，隨著矩陣理論的深入研究及計算機技術的不斷發展，最小二乘法應用于更多領域的數據優化處理中，如系統辨識、傳感器、支持向量機等。

1 最小二乘法

最小二乘法是一種數值優化技術，通過使誤差平方和最小化，從而得到最佳匹配函數。下面從微分、幾何及概率論的三個角度來闡述最小二乘法的原理。

1.1 微分角度分析

利用多元微分法，使s最小化，即s對各參數進行求偏導等于0，得

解這個線性方程組(此方程組也稱正規方程組)，可得k+1個參數的估計值αj(j=1，2，…，k)。當n=1時，則退化為一元線性回歸。

1.2 幾何角度分析

以求上述一元線性回歸的參數為例，即求

(1)

模的平方。那么，要使s最小化，即(1)向量的長度最短。為了更直觀，下面以二維空間為例說明：

圖1

1.3 從概率論角度分析

在n組相互獨立的實驗中，所得數據為{(xi，yi)|i=1，2，…，n} ，且數據點分布在直線y=ax+b附近。根據概率論知識，在干擾項服從零均值、同方差的正態分布假設下：

yi～N(axi+b，σ2)

那么，yi的概率密度函數為

由于yi是相互獨立的，則y的聯合密度函數為

在求參數估計值時，根據最大似然原理，使L最大，即使∑(yi-axi-b)2最小，則就轉化為最小二乘法問題。也就是說，雖然兩個方法出發原理不同，但在隨機量滿足正態分布時，可將最大似然法轉化為最小二乘法。

2 最小二乘法的應用

2.1 最佳逼近解

設A∈Cm×n，b∈Cm，線性方程組為AX=b。當此線性方程組不相容時，希望求其近似解μ，使得對歐幾里得范數‖?‖2，誤差‖Aμ-b‖2達到最小。若?μ∈Cn，使 ‖Aμ-b‖2≤‖AX-b‖2(?X∈Cn)，則稱μ是方程組AX=b的一個最小二乘解。根據矩陣的Moore-Penrose廣義逆的性質知，設A∈Cm×n，b∈Cm，A+是矩陣A的廣義逆，X=A+b是AX=b的最佳的最小二乘解。

例 設一個質點運動的軌跡是橢圓，觀測的點

(1，1) (0，2) (-1，1) (-1，-2)

在同一平面上，求擬合的最佳橢圓方程。

解 設橢圓方程α1x2+α2y2=1，將所觀測到的代入得

可看出矩陣A滿秩，則A+=(ATA)-1AT，可得

則可得最小二乘解

2.2 參數估計

參數估計，即根據已知模型的輸入輸出數據，對模型參數進行估計的過程。參數估計的方法有許多，最常用的方法可分為：矩法、最小二乘法、最大似然法。最小二乘法是以樣本數據與估計值之差平方和最小來估計參數值的一類參數估計方法。

2.2.1 線性回歸的參數估計

首先，介紹最小二乘法在一元線性回歸中參數估計：

(2)

利用微分方法求解，s對求一階偏導為0，即得到正規方程組

多元線性回歸中的正規方程組的矩陣形式如下：

2.2.2 非線性回歸的參數估計

在實際的生活問題中，由于研究問題中的變量之間常見的是非線性關系。在這些非線性關系中，有些非線性通過一定的方法可轉化成線性，如指數型Y=abX可轉化為對應的線性模型lnY=lna+Xlnb，然后根據最小二乘法原理進行回歸分析。

(3)

(4)

從最小二乘法用于非線性回歸模型的過程，可以看出，最小二乘法還是對線性回歸模型進行參數估計。

2.3 曲線擬合

曲線擬合，用連續曲線去擬合離散點的數據處理方法，即用近似函數逼近原函數。

其中h(x)=a1φ1(x)+a2φ2(x)+…+amφm(x) (m

在解決實際問題時，一般數據中不同點的所占的比重不同，因此考慮對εi加權重，即

使∑ωi[h(xi)-yi]2最小，利用微分法求解，

2.4 實際應用

2.4.1 在系統辨識中的應用

系統辨識是現代控制理論的一個分支。隨著控制理論應用日益廣泛，控制過程復雜程度也在不斷增大，并且其實際應用需要被控對象的數學模型。這些模型大多情況下是不知道的，或在正常運行下模型參數會發生變化。因此，在控制理論的應用中，首先需要建立被控對象的數學模型，系統辨識正是來解決此問題。

系統辨識是根據系統輸入、輸出時間函數，從一組給出的模型類中，確立一個能模仿被測系統真實行為的數學模型。經典的系統辨識的方法已經發展得較完善，如相關分析法、譜分析法、最小二乘法等，其中最小二乘法是最基礎的、應用廣泛的一種對于系統模型進行參數估計的方法，可以廣泛地應用于動態、靜態、線性、非線性系統。應用最小二乘法對系統模型參數進行辨識的方法有離線辨識和在線辨識。離線辨識是需要在得到模型的全部輸入輸出數據之后，用最小二乘法對其進行集中處理，從而可以得到系統模型的參數估計值。在線辨識是在系統運行中的一種遞推辨識方法，由于占據計算機存儲量小，從而得到廣泛應用。

對于不同的系統進行辨識，它所對應的模型表達不同，以SISO系統為例，

其中u(k)、y(k)、z(k)分別為系統第k次輸入值、輸出真值、輸出觀測值，e(k)為不相關的白噪聲且均值為0，G(z)為傳遞函數。輸入輸出關系為z(k)=u(k)G(z)+e(k)，其中

將系統方程代入輸入輸出關系式，可得z(k)=φT(k)θ+e(k)，其中θ為參數向量。對系統參數進行估計，利用最小二乘法，得

使J(θ)最小，即J對θ求偏導等于0，從而得最小二乘估計值θ=(φφT)-1φZ。

最小二乘法進行系統辨識也有一定的局限性，當系統噪聲為有色噪聲時，最小二乘估計值不是無偏一致的，因此會在最小二乘的基礎上進行改進，從而會有廣義最小二乘法、遞推最小二乘法等進行系統辨識的參數估計。

2.4.2 在傳感器上的應用

傳感器是一種將感受到的信息按一定規律轉化成便于處理和傳輸的信息的檢測裝置。根據感知功能不同，傳感器可分為溫度傳感器、力傳感器及光傳感器等。由于感受器在輸入到輸出過程中會受到外界除所要接受信息以外信息的影響，從而對于結果的精確度會有一定的影響。因此，制作高精度的傳感器，需要對其進行誤差補償。本文介紹利用最小二乘法對壓阻式壓力傳感器進行溫度誤差補償。

壓阻式壓力傳感器是利用半導體的電阻率隨應力變化的性質而制成的半導體器件。在被測壓力作用時，電阻率發生變化，從而產生電壓輸出。在壓力值不變的情況下，外界的一些其他因素會對輸出的電壓產生影響，其中由于半導體受溫度較大，從而環境溫度變化較大會使誤差較大。因此，需要對傳感器進行溫度誤差補償。對于壓阻式壓力傳感器的溫度補償，有硬件補償和軟件補償，其中硬件補償存在調試不變、精度不足等缺陷，而軟件補償會克服這些不足，因此會受到越來越多人的關注。軟件補償的方法有神經網絡、插值法、最小二乘法等。

除以上應用外，它還會應用于其他許多領域，如高光譜圖像數據處理、經濟預測、農業實驗分析等領域。不過，每一種方法都會有它的局限性存在，最小二乘法的局限性在于：對異常值很敏感；沒有考慮自變量的誤差；存在不可求解的情況等。因此，許多研究者會對最小二乘法進行進一步的改進，從而可以使它應用于更多領域，即會出現基于普通最小二乘法的廣義最小二乘法、加權最小二乘法、兩階段最小二乘法等。在實際的應用中，還會結合實際情況與其他方法相結合進行應用。