統計思維

[日]西內啟 李晨/譯

在統計學上，把不是因數據分散而偶然產生的差異，叫作統計學上的顯著性差異，或直接稱為顯著性差異。統計功效則是指“在存在差異的假設成立的情況下，認為顯著性差異存在的概率”。

“冒失鬼”的錯誤與“糊涂蟲”的錯誤

并不是說一味地提高統計功效就是好的。有簡單的方法可以將統計功效最大化，也就是“當差異存在的假設成立時，百分之百能發現顯著性差異”。但這種做法是無益的，甚至很多時候是有害的。

這種做法其實是“不依賴任何數據，不負責任地主張自己想到的東西”。如果假設成立，你百分之百可以發現有意義的差異。自己的想法毫無根據卻堅持認為其正確的人有很多，我們可以說這種人是最大化統計功效的生物。馬克·吐溫有句名言說“壞掉的時鐘每天也至少有兩次指向正確的時刻”。經常預測“經濟馬上就要衰退了”的經濟評論家，在經濟衰退的前一年，也一定說過這句話。

這種做法之所以有害，是因為它雖然不會“拒絕正確的假設”，但并未考慮“認為錯誤的假設正確”（明明不存在任何差異，卻主張差異存在）的風險。在統計學上，把這種“明明不存在差異卻認為差異存在”的錯誤稱為α錯誤，把“明明存在差異卻沒有發現”的錯誤稱為β錯誤。在很多教科書上，對應首字母，將α錯誤稱為“冒失鬼的錯誤”、β錯誤稱為“糊涂蟲的錯誤”（日語中二者發音分別與α和β的第一個音相同。——譯者注）。基于這種說法，堅持毫無根據假設的人，是為了將糊涂的風險降為零，而表現得太過冒失了。

另一方面，社會上也有很多完全相反的、為了將“冒失鬼的錯誤”降為零而運用著簡單方法的人。這種人的做法是，不論是誰、基于什么證據主張什么，他們都只會說“因為我們未能做周密的了解，接下來讓我們謹慎地討論吧”。

簡單來說，這種人完全不主張任何假設，更不用說相信假設并采取行動了。這樣做雖然能將冒失地主張錯誤假設的風險降低為零，但無論何種真相擺在他們面前，他們都會糊涂地避開。

為什么說“統計學是最強的學問”

統計學最出色之處，在于它系統化了在“冒失鬼”和“糊涂蟲”之間做出正確判斷的方法。

統計學在兩種錯誤之間權衡取舍。面對不是每次都會發生同樣情況、存在變動的事物，不可能同時將兩種錯誤降為零，因此統計學上首先會決定在何種范圍內允許“冒失鬼的錯誤”發生。慣例是假設發生的概率為5%，也就是所主張的假設在20次中有1次真的錯了。不過，在追求更嚴密的決策時，有時候會考慮選取1%或者0.1%這種更低的水平。相反，有時也會允許“冒失鬼的錯誤”風險在10%。像5%或1%這樣對錯誤的允許程度，叫作顯著性水平。

確定了顯著性水平之后，在給定的顯著性水平范圍之內，就要想辦法將“糊涂蟲的錯誤”最小化，或者將統計功效最大化。雖然單純地增加分析所用的數據也能增大統計功效，但即使數據有限，也有方法不錯過真相，即根據數據的分布方式以及想要檢驗的假設，來選擇不同的方法。這種用來判斷是否可以認為假設成立的方法，在統計學上一般稱為檢驗（或者叫作統計性假設檢驗）。

在給定的顯著性水平之下統計功效最高的檢驗方法，在統計學上稱為最強檢驗或者最大功效檢驗。

說起來，在統計學家J.內曼和E.皮爾森將檢驗系統化以前，大多數人不是憑借自己的直覺或曖昧不明的根據來提出假設的冒失鬼，就是單純呼吁慎重討論的糊涂蟲。

能在冒失鬼和糊涂蟲之間、在理論的正確性和現實問題之間，考慮最優的判斷應該是什么的學問，只有統計學。正因如此，統計學才被用來實證各種學術領域的理論，支撐各種不允許失敗的現實決策。

統計性假設檢驗的思維方式

哲學是深刻思考萬事萬物的學問，但因為哲學對任何假設都故意質疑，所以許多一般人難以想象的例子會在哲學中出現。其中一個就是“亨普爾的烏鴉”。

這是德國的卡爾·亨普爾在20世紀40年代提出的例子。考慮“亨普爾的烏鴉”問題，我們會發現自己連“所有的烏鴉都是黑色的”這種理所當然的假設是真是假都無法證明。

“烏鴉是黑色的”是無法用“看見了一只黑色的烏鴉”來證明的。即使某只烏鴉是黑色的，但只要其他的烏鴉是紅色的，或者有烏鴉是藍色的，“烏鴉就不一定是黑色的”。

“烏鴉是黑色的”主張的是“所有的烏鴉都是黑色的”。這種“所有的……都是……”的表達方式，因為是“對所有東西而言”，所以具有全稱性。對具有全稱性的假設進行反證是簡單的，只要能找出一只不是黑色的烏鴉，就能證明“并不是所有烏鴉都是黑色的”。然而，想要證明“所有烏鴉都是黑色的”，卻要費很大力氣。不管你找到了多少烏鴉，糊涂蟲們都可以說“這并不能說是全部烏鴉”“不能證明沒有其他不是黑色的烏鴉”……反對的理由不計其數。

這樣嚴密地思考下來，我們根本無法主張烏鴉到底是黑色的還是白色的。《心經》教給了我們“色即是空”的道理，看來我們只能認為烏鴉的顏色是沒有實體的空虛之物，微睜著眼睛糊涂下去了。不過，前提是我們并不知道何為統計性假設檢驗。

雖然統計性假設檢驗也無法證明“全稱性”，但通過引入概率，我們可以不考慮“所有”，而考慮“大部分”。面對糊涂地搞不清烏鴉是黑色還是白色的B，學會了統計性假設檢驗方法的S可以與其進行這樣的對話：

B：嚴格來說，我們無法主張烏鴉是黑色的還是白色的……

S：我們確實不知道是不是全部烏鴉都是黑色的，但可以證明“認為我們見過的烏鴉大多是黑色的是合理的”。

B：真的嗎？這也能證明？

S：沒錯。最近你見過的烏鴉是什么顏色的？

B：黑色的。

S：迄今為止你見到多少黑色的烏鴉？

B：至少應該有100只吧……

S：不是黑色的呢？

B：雖然我沒見過，但也不能證明就沒有啊。

S：你說得沒錯，但我們假設烏鴉中黑色的和白色的各占一半，你認為偶然連續看到100只黑色烏鴉的概率是多少？這其實就是擲100枚硬幣全部出現正面的概率。

B：這個……

S：計算0.5的100次方，會得到比一萬億分之一的一萬億分之一更小的數字。順便告訴你，即使烏鴉中有9成是黑色的，0.9的100次方也只有0.0027%。這種奇跡怎么可能出現呢？

B：即使概率再低，也不是零，所以沒辦法完全否定“確實出現了這種奇跡”。

S：這樣，我們以后在一起的時候就一直打賭吧：如果看到的烏鴉不是黑色的，我就請你喝你喜歡的飲料；如果是黑色的，你就請我喝罐裝咖啡吧。

B：哎呀，這個……

S：你看，你已經在想“認為烏鴉大多是黑色的是合理的”了吧。

總結一下S的思考方法就是：

為了能實際取得數據，首先要確定“討論的范圍”。并不是考慮全世界如何、全人類如何，而是將焦點集中在“當前能收集到的數據范圍”中假設是否妥當。不這么做，糊涂蟲們就會反對說“你的數據中沒有包括某些東西，所以……”。

接下來，既不考慮100或者0這種全稱性命題，也不考慮自己想要主張的“大多數烏鴉是黑色的”這一假設，而是考察完全顛覆自己主張的“黑色和非黑色烏鴉各占一半”的假設。根據實際數據，如果能證明這個“完全顛覆自己主張的假設”只能在非常不可能的概率下成立，就能證明自己的主張很難被完全顛覆了。

再進一步，并不僅僅考慮完全顛覆自己主張的“黑色和非黑色烏鴉各占一半”的假設，對“如果9成烏鴉是黑色的”這一和自己的主張相近的假設也進行考察。如果這個“9成烏鴉是黑色的”主張也只是在非常不可能的概率下才成立，考慮9成以上的烏鴉是黑色的就是很自然的了。

最后，問題會歸結到得失上。將統計性假設檢驗的思考方法用在不會給任何人帶來得失的、對永恒真理的探索上，意義并不是很大。而得失在醫學上就是人命，在教育學上就是學生的學習能力，在商業上就是金錢。若是不會產生任何得失，就算糊涂下去，不去斷定烏鴉是黑色的還是白色的，也沒問題。但如果見到了黑色的烏鴉就要請人喝一罐咖啡，也就是說要賭上得失，糊涂蟲也不得不將自己的決策轉向在概率上講更合理的一方了。

理解p值和置信區間的本質

如果想要主張“烏鴉大多數是黑色的”，就要故意檢驗完全顛覆自己主張的假設，即“黑色和非黑色的烏鴉各占一半”，這個假設被稱為原假設（也被稱為零假設），意味著將所主張的假設“歸零”。

在假定原假設成立的情況下，出現該數據或更極端數據的概率稱為p值。p來自于“概率”（probability）。也就是說，我們得到的（假設烏鴉中黑色的和白色的各占一半）“連續看到100只黑色烏鴉”這一觀察結果所對應的比一萬億分之一的一萬億分之一更小的概率，就是這次的例子中的p值。p值足夠小，認為“原假設不可能發生”就是合理的。

要得到多小的p值才能認為“不可能”呢？雖然在不同領域p值并不相同，但標準大約是5%以下。也就是說，在原假設基礎上，該情況20次中只能發生1次，習慣上就會認為“不可能”。

至于為什么將5%作為界線，其實并沒有數學上的根據，似乎只是因為偉大的統計學家費希爾曾經寫道“用5%來判斷p值很方便”。

無論是何種類型的原假設，我們都可以說明該假設在哪種范圍以外是可以推翻的，在哪種范圍之內是無法否定的。這就是置信區間的真正含義。J.內曼等人定義的置信區間，表示“不可能的原假設”與“無法否定的原假設”到底處于何種范圍。

實際計算一下，在“97.0%的烏鴉是黑色的”這一假設下偶然遇到100只黑色烏鴉的概率是4.8%，而在“97.1%的烏鴉是黑色的”這一假設下，該概率變為5.3%。也就是說，如果用p值是否小于5%來判斷假設，從“97.1%的烏鴉是黑色的”到“100%的烏鴉是黑色的”的假設都是無法否定的。這就是置信區間的思維方式。

像這樣通過統計性假設檢驗的思考方法，利用p值和置信區間，我們得到了似乎可以認為“在如今的數據范圍之內97.1%～100%的烏鴉是黑色的”的結論。在東南亞有灰色的烏鴉，也存在因為突然變異而有著純白羽毛的白烏鴉，因此不能說“全部烏鴉都是黑色的”。但我們至少證明了，作為現實的決策，“認為我們接下來遇到的烏鴉是黑色的可能更合理”。

（摘自《統計思維》）