大數據時代下統計學有何意義

王子鑒

摘 要：通過探討大數據時代背景下大數據與統計學之間的關系，并分別從概念與應用角度選取不同的案例對兩者進行對比，發現大數據時代給統計學帶來了發展空間的同時，也使得統計學受到了不小的挑戰。如何把握這一發展契機以及如何應對這一挑戰在當今已變得十分重要。在大數據時代下，統計學究竟有什么意義與價值是一個很值得思考的問題。

關鍵詞：統計學;大數據時代;數據分析

中圖分類號：F202? ? ? 文獻標志碼：A? ? ? 文章編號：1673-291X（2020）08-0155-03

引言

“大數據”這個詞想必大家都很熟悉，因為它已經成為當代的最熱門的詞匯之一。我們身邊許許多多發生著的事情被記錄著，這些都成為了“大數據”的一部分;我們自身也被“大數據”所包圍著。那么說到“大數據”，我們首先需要探討一下什么是數據。我們常見的阿拉伯數字是數據嗎？我們所看到的圖片、聲音是數據嗎？大數據也是數據嗎？其實這些都屬于數據，而數據真正的含義遠不止這些，各種數字符號、字母的組合、語音、圖像、圖形等都可以稱為數據。數據可以分為連續型數據以及離散數據。而在計算機系統中，數據是以0，1這種二進制進行表示與儲存的。我們也可以將數據理解為一種信息載體，記錄著某種信息，可以利用它們進行分析，得出有用的結論。

在了解完“數據”的概念后，對于“大數據”這一概念應該就不難理解了。“大數據”的出現可以追溯到Apache的一個開源項目Nutch。那時大數據僅僅是用來描述海量的數據，隨著谷歌MapReduce的發布，大數據不僅僅用來描述數據的量，還涵蓋了處理數據的速度。隨著互聯網技術的發展，世界上各種工業電子設備都被裝載了數碼傳感器，可以記錄各式各樣的時空信息，產生了大量的數據信息，“大數據時代”也因此而到來。據統計，互聯網上每年的數據增長率都呈指數上升的，每兩年數據量便可翻一番，世界上90%以上的數據都是近幾年所產生出來的。“大數據”也可被定義為承載了巨大的信息量數據，在一定時間內其很難被常規軟件所獲取與處理的數據集合。其具有五大特點：大量、高速、多樣、真實、低價值密度。“大數據”真正的意義并不是我們掌握了多么龐大的數據體量，而是在于我們如何通過處理這些數據得出有價值的結論，通過對數據的加工處理實現數據自身的“增值”。

一、統計學的意義

“統計”可以追溯到人類早期的計數活動，雖然其起源很早，但一直停留在統計實驗階段，并沒有人將其科學地進行定義，上升至理論科學層面。直到概率論的出現，統計研究才因此變得更加深入。法國數學家拉普拉斯最早將古典概率論與統計進行了融合，因此才有了“統計學”這一概念的產生。

隨著統計學的不斷發展，這一學科的科學性得到充分體現，應用也已變得越來越廣泛。理解并掌握一些常用的統計學知識對于大眾來說已變得十分必要。其實我們身邊遇到的很多事情多多少少都可以統計學的方法和思維進行解決，比如預測天氣、選擇股票等等。從科學的角度，統計學目前已經被列為了一級學科，這一點足以看出其對當代社會的重要程度。

了解完統計學的發展史，接下來我們可以給統計學下個定義了。統計學可以被認為是處理數據的一門科學，具體來說是收集、處理、分析、解釋數據并從數據中得出結論的科學。統計研究的對象就是來自各個領域的數據，而數據分析就是利用合適的統計方法對數據進行研究，從數據中挖掘出有用的信息。統計學的方法主要可以分為描述統計和推斷統計。描述統計是將數據進行匯總，利用圖表進行概括分析;推斷統計則是利用樣本數據推斷總體特征。

二、統計數據不僅僅是大數據

統計學是一門古老的學科，至今已經有300多年的歷史了，無論在政府決策還是經濟預測都起到了舉足輕重的作用，在社會科學與自然科學中都保有較高的地位。但隨著“大數據”的產生以及“大數據時代”的到來，統計學面臨著嚴重的挑戰。有些人已經懷疑，在大數據時代是否還需要基于抽樣設計的統計學？他們認為，現在的計算機科學已經足夠發達，可以借助各種渠道與媒介收集大量的數據信息，如果我們可以將全部數據收集到，那么統計學是否已變得不再重要了呢？事實確實如此嗎？的確，大數據時代的到來給統計學帶來發展機遇的同時也帶來了不小的挑戰，但其實這兩種科學是相輔相成的，統計學在當今這個大數據時代仍起到了極為重要的作用。

（一）統計學是收集數據的藝術

我們說統計學是一門收集數據的藝術，那么藝術性究竟體現在哪里呢？讓我們利用一個實驗來進行分析。

早在17世紀初，英國海軍由于長時間在海上作業，經常會患有壞血病。這種病的癥狀是皮膚上出現灰色的斑點，以及牙齦大量出血。他們試圖找出患病原因，發現可能是由于缺乏柑橘類水果所引發的。為了驗證這一想法，英國海軍做了一個實驗。恰好那時有四艘海軍軍艦要離開英國在海上做長期航行，海軍部的實驗人員安排其中一艘軍艦上的海軍每天喝柑橘汁，而其他三艘軍艦則未供應柑橘汁。還未等到航行結束，三艘沒有喝柑橘汁船上的海軍就成批的出現壞血病，而每天喝柑橘汁的海軍們則幾乎沒有患病。

在這項實驗中我們不難發現，實驗人員利用了統計學收集數據的方法設置了實驗組和對照組，每天喝柑橘汁的海軍與未喝柑橘汁的海軍被分別定義為實驗組和對照組，進而形成對比。如果在實驗中未安排對照組，則無法斷定柑橘汁這一因素對壞血病發病的影響。設計一個好的實驗都需要安排一個實驗組以及多個對照組。

但若仔細分析上述實驗設計，仍存在一些不足之處。主要體現在以下兩點：（1）由于四艘軍艦航行路線并不相同，導致實驗組和對照組所處的外部環境有差異，應該在每一艘軍艦上都安排每天喝柑橘汁和不喝柑橘汁的海員，這樣就排除了軍艦與外部環境的影響。（2）各個海員的身體條件不一定相同，所以實驗者應該隨機的安排在各艘軍艦上，這樣同一艘軍艦上健康與不健康的海員數量相差不大，可以排除海員身體情況的差異，使得實驗結果更加令人信服。

想要設計一個好的實驗并不是件容易的事情，特別在搜集數據方面。實驗組和對照組的產生要是完全隨機的，并在相同的條件背景下進行實驗。例如，在收集一種新藥或者新療法是否有效的數據過程中，可以先將實驗對象按照年齡、性別、身體條件等因素進行相應的分組，并將分組結果分別對患者與醫生保密，構成一種雙盲法實驗。這樣才會使得收集數據的結果更加準確與可信。由此不難看出統計學是一門收集數據的藝術。

（二）統計學是分析數據的藝術

通過設計嚴謹科學的數據收集方案并實施后，我們獲得了為研究某一問題所需的數據。但僅僅擁有這些數據是遠遠不夠的，我們很難從紛繁復雜的數據中直接找到有價值的信息，所以還需要對收集上來的數據進行數據分析以獲得有用的信息。

在數據分析中，我們首先需要明確兩個概念：相關與因果。之所以說到這兩個概念，是因為人們常常會混淆這兩個概念。尤其在當今這個大數據時代，我們可以收集到海量的數據，相關關系似乎已經代替了因果關系，但對于絕大多數科學研究與政策制定，往往人們更加依靠因果關系。但當兩個事物呈現相關關系時，我們可能誤將這種關系理解為因果關系。下面通過一個例子來理解這一點。

利用統計數據，我們發現每年短褲、短裙銷量增加的同時，各地區溺水身亡的人數也在不斷增加，那么我們可以說這是一種因果關系嗎？仔細分析一下，就能發現其中的緣由。每年短褲、短裙銷量增加的季節都為夏天，夏天由于天氣炎熱，有更多的人會選擇去戶外游泳，不幸溺水身亡的人數自然就會增加。這兩個事件其實都是受到季節影響，呈現出一種相關關系，而并不是我們想要追求的因果關系。

相關關系可以被定義為：如果有兩個事物，當一個事物發生變化時，另一個事物也會隨著發生規律變化，我們就說這兩個事物存在相關性。而因果關系則是：一個事物的發生會直接影響另一個事物的發生。比如，商品價格上升會導致銷量的下降，則可以認為價格和銷量之間存在著一種因果關系。若兩件事物存在著因果關系，那么它們之間也一定存在著相關關系，而反之則不一定成立。

下面再來看一個案例。康奈爾大學曾經做過一個有關上大學對保持獨身有什么影響的調查，調查了1 500名中年畢業生，發現其中男性93%已經結婚，而同年齡段的已婚比例為83%。但是女性只有65%已經結婚，未婚女性是同年齡段女性的3倍之多。當我們看到這段文字的時候，特別對于女性來說，她們會認為上大學會減少未來獲得丈夫的概率，而文章也的確是這么說的。更何況這項統計數據是來自于世界知名學府，其真實性是毋庸置疑的。但需要我們注意的是，上述結論并不是康奈爾大學得出的，一些不了解統計學的粗心讀者往往會這么認為。這同樣是利用一個真實的相關關系以得到未經證實的因果關系，而這種因果關系有可能還是恰恰相反的，被調查的女性如果不上大學可能依舊保持單身，說不定單身數目還會更多。所以上述所得出的“結論”未必是真實的。

事實上，上面那個案例可以用金西博士發現的性欲與教育之間的相關關系進行解釋。想要保持單身這一想法會促使他們上大學，而這種想法在他們上大學之前就已定型。若這一論斷為真，那么上大學會阻礙女性結婚的觀點就更缺乏依據。

由此我們可以發現，即使擁有了多方面的數據，如果缺少統計知識的話，依舊有可能掉入統計陷阱。目前許多科學研究以及政策制定幾乎都是依賴于因果關系，而不是相關關系，而真正的因果關系又大多是建立在統計學基礎上的，這也是統計學分析藝術性的體現。

三、大數據時代下統計學的價值

人們常說，一種新生事物的誕生必將導致舊事物的滅亡或革命。而大數據時代的到來對傳統統計學會帶來何種影響呢？如果大數據時代真的可以將各式各樣的數據全部收集到，那么還需要基于抽樣的統計學嗎？

首先，我們需要明確，大數據不可能將所有數據全部進行采集;或許隨著科技的提升，我們真的有能力收集到全部的數據，但其實這些數據也是一種被選擇的數據，并不一定揭露本質。而在這些數據中存在著各種隨機的與非隨機的誤差，很難進行衡量;采集這些數據也需要大量的人力、物力、財力。而數據也不是越多越好，數據的量越大其所含的信息量就越大，反而會增加在數據中尋找規律的難度。與之相比，統計學是基于合理概率抽樣的科學，有著較深的理論基礎與科學性，可以通過抽樣設計搜集到為了某一特定研究目所需要的優質數據，從而實現數據的化繁為簡。歷史上也存在著這樣的案例。羅斯福是美國歷史上唯一一位連任四屆的總統，而在他第二次參與競選前，美國遭到了嚴重的經濟危機，羅斯福也面臨著極大的壓力。與他競爭的候選人是蘭登，也是位很有聲譽的政治家。當時美國本土有兩家機構都對這次大選的結果進行了預測。其中一家是《文學文摘》雜志，這家雜志的影響力與聲譽都很高，因為在以往的大選中它都可以準確預測到大選結果。這一次該雜志在大選前又做了一次統計調查，調查方式是通過雜志上的調查問卷，最后收集到了240萬份問卷反饋。通過對這240萬份問卷進行分析，文學文摘宣布蘭登將會贏得此次大選。而還有一個人名叫蓋洛普的年輕人也在一家機構中對這次大選結果進行了預測。相比文學文摘的財大氣粗，蓋洛普通過實驗設計僅僅調查了5 000人，最終發現羅斯福會在大選中繼續連任。最后的結果想必大家都清楚，羅斯福再次贏得了大選，而文學文摘由于在此次預測中失敗，名譽受損，最終關門倒閉。那么，為什么5 000條數據會比240萬條數據得到的結論更加準確呢？其實文學文摘在調查方式上已經為自己的失敗埋下了伏筆，它調查的群眾都是訂閱期刊的讀者，而訂閱這份期刊的讀者都是當時家境較為富裕的群體，那么調查結果想必會有偏頗。雖然搜集到的數據量足夠海量，但缺少了嚴謹的實驗設計，最終還是會造成調查的失敗。有時數據數量并不是越多越好，數據搜集的質量其實更為重要，利用有代表性的數據進行分析才能得到準確的結論。

但是不得不說，在大數據時代可獲得的數據量確實是巨大的，可以說樣本即總體，具有一定的數據搜集優勢。在這種情況下，一些傳統的小樣本統計學方法可能不再適用了。我們也需要適應這種潮流，改變傳統的統計學思維，使其可以找到可以有效獲取、處理、分析大數據，獲得更為準確可靠的結論。可以說，大數據時代給統計學帶來了發展機遇，統計學的地位仍然是不可撼動的，其依舊是處理分析數據的有效方法。與此同時，大數據也給統計學帶來了一定的挑戰，如何轉換傳統統計學思維，使之可以更好地適應與解決大數據問題并不是件易事，需要統計學家與社會各界人士的不斷努力。但無論如何，統計學都在當今這個大數據時代仍具有極強的價值與意義。

參考文獻：

[1]? Patricia L. Mabry. Making Sense of the Data Explosion[J].American Journal of Preventive Medicine，2011，40（5）.

[2]? 姜奇平.大數據時代到來[J].互聯網周刊，2012，（1）：6.

[3]? 耿直.大數據時代統計學面臨的機遇與挑戰[J].統計研究，2014，31（1）：5-9.

[4]? 冷加起.大數據帶來哪些大變革[J].中國統計，2014，（12）：19-20.

[5]? 張海健.大數據時代下數據分析理論探討[J].文理導航（中旬），2016，（8）：8-74.