最小二乘法的初等解釋

摘要：通過對最小二乘法的系數確定、相關指數、首發權等問題提供初等解釋，加深對最小二乘法的理解，體會統計思想的數學基礎。

關鍵詞：最小二乘法;線性回歸;首發權。

對兩個線性相關變量做回歸分析時，我們會用最小二乘法。看似平常的最小二乘法，實則來之不易，高斯憑借法國子午線弧測算而生與勒讓德的首發權之爭，延續數年。即便是回歸方程的系數的推算，究竟是用微分方法、偏差理論還是矩陣法，亦是值得推敲的。離開了這些思考，單純把結論告訴學生，那當然就不會重視散點圖、殘差分析、相關指數等與統計思想有關的概念，聽者就只能如墜五里云中。

在最小二乘法的學習中，如果只重視公式和結論，掐頭去尾燒中段，就會失去深入領會統計學思想的契機，在大學后續學習最小二乘法的改進方法，比如嶺回歸估計、主成分回歸、穩健回歸等時就產生困難。統計思想才是統計學習中最為重要的。

下面以高中生的關切度為序，談幾個問題。

一 系數公式重要嗎？

對于具有線性相關關系的兩個變量的一組數據，對它們做線性回歸，由最小平方法，得到

的公式究竟是怎么得到的？首先得明白：需要考察“差異”的總和，而且它越小越好。但是為啥要考察“差異”的平方和，而不是直接考察呢？這當然是從大量計算的方便性來考慮的：不需要進行符號判斷，就可以直接進行計算，避免了進行符號判斷的麻煩。還有一個原因。舉個例子：如果實際值與估計值的差是20（或-20），差異較大，平方后會被放大20倍，變為400;如果這一差異較小，是0.2，那么它平方后就變為0.04.。我們發現，對實際值與估計值的差異平方后，意外地收到了“放大大錯誤，縮小小誤差”的效果。所謂“人非圣賢，孰能無過”？大錯不放過，小錯看不見，這不也是我們經常做的嗎？

一般的高等數學教材，是把 視作二元函數，分別求偏導，得到駐點。以中學生能夠理解的寫法，簡略表達如下：

在未學習導數時，如何證明呢？選修2-3的推導如下：

上式中，后兩項與無關，前兩項為非負數，因此當前兩項為0時，最小。

如果按照這個方式來講，其中最大的問題是

這里，一減一加 “”的原因是什么？技巧性太強、太突兀。

還有一種解釋方法，與大學里的偏差理論有關。其實，在現行課本里已經做了暗示，只是很少有人注意到了。這就是選修2-3課本里章節復習里的一道題：

其中，為總偏差平方和，記為;為殘差平方和，記為;為回歸平方和，記為。

可以說，這個問題是進入偏差理論的一個重要契機，而且回歸分析最后的殘差分析環節就要用到。如果能理解這個思想，處理下面的非典型的線性回歸問題就很輕松了：

例 關于與有以下數據：

有如下兩個線性模型：（1）;（2），試比較哪一個擬合效果比較好？

由于，所以方程（1）的擬合效果比較好！

統計學上刻劃回歸效果的量是相關指數，其計算公式為：，的值越大，說明殘差平方和越小，回歸效果越好。在本題中，分母實際上就是總偏差平方和，對兩個回歸方程都是一樣的，所以沒有必要計算相關指數，而直接考慮殘差平方和即可，這其實就是最小二乘法的實質所在。

回到前面的問題：一加一減“”的原因是什么？咋突然從帽子里跑出來一只兔子了呢？其實，這只是二次函數的最值問題而已！先確定，再求：

是一個二元函數，先把它看成關于的函數，它是二次的，形如

又由二次函數的知識知：當 時，取得最小值。至此，都確定出來了。本質上，這是一個初中的二次函數最值問題，用不著“你記住，這是技巧”，或者騙學生說“到了大學再學習”。

不知大家注意到沒有：在上述過程中，“回歸直線通過樣本中心點（）”這一結果是先得到的，這跟用（偏）導數的方法時得到的順序是恰好相反的。世人都知道“回歸直線必然通過樣本中心點（）”，但是理由是什么呢？不同的方法會得到不同的解釋，看來還遠不是“記住”那么簡單。

二 散點圖與相關指數

一般的教科書或者教師在講授線性回歸時，都熱衷于引用現實案例中的數據，在輸入后用Excel，SPSS，TI圖形計算器等軟件得到回歸直線。這樣的處理，美其名曰“建模”、“數學實驗室”，但是不得不說是一種莫大的遺憾：難道來了數據就一定可以做（線性）回歸？絕不是！這種做法忽略了線性回歸的前提條件是“線性相關”！因此，首先應該是作散點圖。

高考里對此已經做了考察，2007年廣東高考第17題是一道解答題，開了高考解答題考察“兩個統計案例”的先河。這道題第一問是根據所提供的數據畫散點圖。當年好多學生不費吹灰之力就描出了那4個點，然后就把它們用折線圖或者直線連接起來，導致煮熟的鴨子飛了，一分也得不到（散點圖是不能把這些點連起來的）。這與不重視“散點圖”有沒有關系？可想而知！

對于一組數據，根據散點圖判斷出成線性相關關系后，用最小二乘法得到回歸直線，是不是就完事了？沒有！還要對這種回歸進行評估，要作殘差分析，算算相關指數，在此不展開講。

三 首發權之爭

最后說說最小二乘法的首發權之爭。

1805年初，法國數學家阿德里安·瑪麗·勒讓德發現并公布了最小二乘法（當時稱為最小平方法）。后來，美國人羅伯特·艾德里安在1808年末或1809年初發表了這種方法，德國數學家卡爾·弗里德里希·高斯則于1809年發表了這種方法。照此說來，最小二乘法的首發者就是勒讓德。事實上，也只有一位科學家使該方法變成了普通大眾都可以理解的方法，那就是勒讓德。

但是，在1809年高斯發表他的最小二乘法時，他在概念和技術發展方面已經遠遠超出了勒讓德，這使高斯堅信自己的方法才是真正的最小二乘法，他更是宣稱自己從1795年起就一直使用這種方法。因為高斯在世界數學界享有無與倫比的崇高的地位，他的這番話導致了科學史上最著名的首發權糾紛。

后人通過對高斯提出的證據的著作《世界星歷概論》的考察，尤其是通過對高斯用最小二乘法測算法國子午線弧的復盤，認為高斯確實是在早于1800年就獨立想出了最小二乘法。但是，享有“數學王子”美譽的高斯實在太牛了，他沒有認為這個方法有多重要，就沒把它發表出來，也沒跟任何人交流過。可以說，正是因為太過于聰明，使得高斯錯過了像勒讓德那樣讓最小二乘法產生直接和廣泛效果的機會。

【參考文獻】

[1] 茆詩松，周紀薌. 概率論與數理統計[M].北京：中國統計出版社，2000：359-362.

[2] （美）斯蒂格勒 著，李金昌 等譯.統計探源：統計概念和方法的歷史[M].杭州：浙江工商大學出版社，2014：248-256，287-288.

[3] 高惠璇.統計計算[M].北京：北京大學出版社，1995：297-343.

廣東省深圳中學 張紅兵