【摘要】大數據對統計學的發展帶來了巨大的機遇與挑戰。文章分析了大數據與統計學之間的基本關系,并針對大數據環境下的統計學課程教學提出了對策與建議。
【關鍵詞】大數據 統計學 挑戰 機遇 教學
【基金項目】貴州省科技廳、貴州民族大學聯合基金(黔科合J字LKM[2011]09號)
【中圖分類號】G642 【文獻標識碼】A 【文章編號】2095-3089(2014)08-0235-01
1.引言
“大數據”時代的來臨和“大數據”處理技術的發展深深的影響著統計學的發展。能否利用傳統的統計理論和統計方法對海量的數據做出快速、準確的處理并獲取相關信息?如何對傳統的統計理論與方法進行改進或探索新的統計理論和方法來對大數據進行挖掘與處理以獲取信息?如何在“大數據”時代背景下培養符合市場需求的統計分析師或數據分析師?如何將“大數據”處理技術融入相關統計學課程教學以促進數據處理與分析技術的發展?這些都是我們在統計學相關課程教學過程中必須思考的一個問題。
2.大數據與統計學
“大數據”隨著社交網絡、物聯網、云計算等的興起而產生。一般認為大數據具有規模性、多樣性、實時性及價值性四個基本特征,包含分析、帶寬和內容三個要素。“大數據”在數據來源、數據結構和處理方法方面對傳統的統計分析方法產生了沖擊。第一,在大數據背景下,數據來源不再是原來的簡單抽樣,而是“樣本即總體”,直接將總體作為研究對象。第二,在大數據時代,研究對象也不是原來單一的結構化數據,由于數據的多樣化與規模化,我們更多的是研究非結構數據,采用人工智能來進行數據挖掘和信息獲取。第三,數據處理方法也不是簡單的采用傳統的假設檢驗方法進行研究,特別是對于統計學中的異常點,不再采取以往的丟棄或者平滑處理方式。
“大數據”處理技術對統計學的發展提出了巨大挑戰,但我們必須認識到學科之間的發展是相互交融的,“大數據處理技術”其本質上是數據處理與分析技術,其發展對統計學學科的發展也有積極的一面,同時統計學作為一門獨立的學科,有其自身獨特的學科優勢。首先,海量的數據有利于提高各類統計分析的精度,如減小抽樣誤差等。其次,較之于傳統的統計學方法,現有的“大數據”分析方法難度較大、成本較高、耗時較長。而在實際的應用中,我們關心的不是數據量的多少,而是數據量所蘊含的信息。傳統的統計學分析方法是以較少的數據進行精確度相對較高的統計分析,這是“大數據”分析所無法替代的。另一方面,統計學在數據收集方法、模型選擇、模型假設以及模型診斷方面有很大優勢。而且并不是所有的問題都具有海量的數據,并不是每一個“大數據”問題都適合用現有的“大數據處理技術”來處理。
3.對策與建議
3.1 夯實基礎教學
針對以上的分析我們可以看出,大數據對統計學的發展既是機遇,又是挑戰。因此我們在教學過程中要夯實統計學基礎知識的教學,講清楚統計學的基本原理與基本方法,特別是數據分析與數據處理的基本原理與方法。對于許多傳統領域,如生物、醫藥以及質量與可靠性工程等,我們面對的多是“小數據”而不是大數據,因此基于樣本的統計分析方法仍然是進行此類問題研究的最有效的科學手段。
另一方面,我們要結合大數據技術的特點,對統計學的基本知識進行拓展教育,引導學生思考怎樣將已有的統計學基本原理與方法運用到大數據處理的技術研究中。如在大數據環境下怎樣進行數據的收集、篩選與甄別、存儲與分析等,如何分析并厘清可能的數據來源與范圍,如何建立相關指標體系并對數據進行分類,如何制定或調整相應的統計參考標準,以及如何對依靠非傳統數據源加工生產的統計數據進行規范的統計推斷等。
隨著大數據時代的來臨,各行各業對具有統計背景知識人才的需求必定越來越多。因此,在統計學教學過程中,一定要結合各專業的特點,特別是“大數據”的特點,切實加強統計學的基礎知識教學與拓展教學。
3.2 加強統計學專業軟件教學
“大數據”環境下,對統計人才需求也發生了變化。面對海量的數據與多樣化的數據,一名合格的統計人才或數據分析人才不單需要良好的統計素養與扎實的統計基礎知識,更需要具有數據的存儲與整理能力、計算能力以及數據分析與處理能力等。這就要求在教學過程中,加強統計軟件或數學軟件的教學。
針對傳統的“數學證明+手工計算”或“重理論輕專業統計軟件”的統計學課程教學模式,可將統計軟件或數學軟件融入課堂教學并安排一定的課時上機學習統計軟件,以此提高學生數據處理能力,加深對統計學基本原理的理解與掌握。
在加強統計軟件或數學軟件,如SPSS、R、SAS以及Matlab的教學過程中,要擯棄“會軟件的操作即會統計技術”的思維,要讓學生真正掌握相關操作與相關算法,深入思考算法的實現與相關理論的應用。同時引導學生思考對“大數據處理”的技術要求,包括數據搜集、發掘、存儲以及計算分析過程中的算法與設備要求等,引導學生針對大數據進行軟件升級與開發。
3.3 突出案例教學與實踐教學
大數據的產生和發展源于規模經濟問題或超規模經濟問題的研究。每一個大數據問題的研究都是與實際經濟或社會問題緊密相聯的,因此,在實際教學過程中,要突出案例教學與實踐教學,由易到難,通過案例教學逐步引入大數據的概念以及大數據處理的基本技術,提高學生的分析全局觀以及進行實際數據分析與處理的能力。
教學改革的目的是培養在“大數據”時代背景下,符合市場需求的專業統計人才,而合格的專業統計人才必須具備良好的統計實踐能力。案例教學與統計實踐活動是培養學生統計實踐能力的有效途徑。因此,在教學過程中,一方面,教師可融合各種與實際問題相關的案例進行分析和講解,加深學生對相關統計理論知識的理解,激發學生的學習興趣,培養學生解決實際問題的能力。另一方面,教師可以組織多種形式的課堂或課堂外的統計實踐活動以培養學生統計實踐。如,指導學生針對他們感興趣的與經濟、社會發展相關的統計實際問題展開統計研究,設計調查問卷,收集數據、整理和分析數據,撰寫研究報告,實現對實際問題的分析和解決等。
4.結束語
總之,在“大數據”環境下我們既要積極面對挑戰,又要緊緊抓住機遇,切實結合“大數據”的特點和“大數據處理技術”發展的需求,既加強對傳統的統計學方法、統計理論的教學,又積極開展 “大數據“環境下的拓展教學,推動統計學的發展,在數據收集、數據分析以及統計制度等方面進行改革和創新。
參考文獻:
[1]李國杰. 大數據研究的科學價值[J]. 中國計算機學會通訊,2012,8(9) .
[2]姜奇平. 2013 全球大數據-大數據的時代變革力量[J]. 互聯網周刊,2013,1.
[3]游士兵,張佩,姚雪梅.大數據對統計學的挑戰和機遇 [J]. 珞珈管理評論標,2013,2(13).
作者簡介:
黃介武(1977-),男,博士, 副教授,研究領域為統計模型理論與應用。