大數據應用研究

劉偉娜+谷曉飛+監文慧

[提要] 隨著云計算、移動互聯網的迅猛發展，信息技術在各行各業發揮了越來越重要的作用，產生于不同行業的大量數據帶來了新的機遇和挑戰，大數據技術在社會經濟發展中脫穎而出。在電網、IT、教育、金融等領域，數據的來源、種類等紛繁復雜，數據處理一直是非常重要的一個方面，調度系統、交易系統、管理系統等各個環節都有大量的基礎數據產生，這就急需有效的大數據處理技術來對這些海量的數據進行分析、處理。本文主要從大數據的概念、技術及基本框架出發，對大數據處理技術的應用，尤其是在教育、金融等領域的應用進行研究，最后總結大數據研究現狀，并對大數據的發展前景及未來應用進行展望。

關鍵詞：大數據；處理技術；應用；發展前景

本文為河北省社會科學基金青年項目：“大數據背景下河北省科技型中小企業的云融資模式研究”（項目編號：HB16YJ045）

中圖分類號：F49 文獻標識碼：A

收錄日期：2017年3月16日

一、大數據的概念、技術及其基本框架

大數據指的是大規模、超大規模的數據集合，具有規模大、種類多、生成速度快、價值巨大但密度低的特點。收集大數據可以幫助企業挖掘出更多具有研究價值的信息，比如管理分布趨勢、人們的生活習慣等。傳統的數據處理方式無法對海量的數據進行準確的分析與處理。《華爾街日報》將大數據時代、智能化生產和無線網絡稱為引領未來繁榮的三大技術變革。那么，大數據的定義是什么呢？維基百科對大數據做了比較簡單明了的定義：大數據是指利用常用軟件工作捕獲、管理和處理數據所耗時間超過可容忍時間的數據集。也就是說，大數據是一個由大量數據組成的數據集，這個數據集涵蓋的數據種類繁多，已經無法用我們傳統的數據處理技術來分析和管理，也無法用傳統的數據庫來存儲和查詢，而且隨著數據的不斷擴充，數據的不完備性及時效性也為數據處理帶來了極大的挑戰，從而產生了大數據處理技術。Hadoop系統框架的提出，帶來了海量數據處理技術新的浪潮，Hadoop是一個由Apache基金會所開發的分布式基礎框架，實現了一個分布式文件系統，簡稱HDFS，用戶可以在不了解分布式底層設計細節的情況下，進行分布式程序的開發。Hadoop框架最核心的設計就是HDFS和MapReduce。Hadoop體系架構和核心技術，如圖1、圖2所示。（圖1、圖2）

二、大數據處理技術的應用

大數據在各個領域應用廣泛，尤其是在電子商務、電網、網絡通信、醫療行業、能源行業、氣象行業、國防軍事等領域得到了深入的開發與應用。比如在電網領域，智能電網的調度、蓄電池領域等都提出了將大數據技術融合進智能電網的發展方向；在電子商務方面，通過大數據的分析可以得到消費者的消費習慣、消費趨勢等信息；在網絡通信領域，可以通過對大量的通信數據的收集分析，捕捉市場變化；在醫療行業，在醫療活動、健康體檢、人類基因分析中會產生海量的有效數據，通過大數據處理技術，可以實現個性化治療，建立基因數據庫等；在氣象領域，氣象衛星、天氣雷達等非常規遙感遙測數據中包含的數據信息非常豐富，通過收集大量的氣象衛星數據可以挖掘出更多有助于預測天氣變化的規律，提供更加精準的天氣預報，同時通過這些數據分析也可以拓展氣象行業新的領域。另外，大數據在交互領域的應用也更加廣泛和深入。

在金融保險領域，“互聯網+金融”的發展模式為大數據在金融領域的應用提供了更加廣闊的空間。例如中小型企業融資問題的研究，通過搭建的云數據平臺，廣泛收集資金供需兩方的信息資源，用大數據處理技術對收集到的海量的數據進行處理分析，從而建立標準化風險評估體系，降低金融行業的風險系數、拓寬融資渠道等，助力金融行業的發展。在教育科研領域，近年來在移動互聯背景下，教育改革成果質量有了突飛猛進的提升，通過對教育活動中的一系列行為數據進行統計分析，可以幫助我們為改善學生的成績提供個性化服務，與此同時，還能改善學生的出勤率、升學率等。目前，美國教育部門開發了“學習分析系統”，通過數據挖掘、模型化和案例運用，幫助教育者更多更精準地了解學生信息，對于翻轉課堂、案例化教學等新興的教學改革方式也提供了依據和幫助。國內的高校主要是通過網絡教學平臺的構建，依托大數據處理技術，分析教師、課程、學生三者之間的關系及各自的學習特征等。另外，大數據在智慧城市、智能運輸等方面也有出色表現。

綜上所述，大數據處理技術在各行各業都得到了廣泛的應用，隨著移動互聯網、物聯網、云計算等技術的飛速發展，大數據未來的發展空間將會更加廣闊。

三、大數據發展的挑戰與展望

當前，大數據處理技術的應用還面臨著很多的挑戰，目前的技術研究水平還處于初期階段，在數據存儲、數據處理、數據分析等方面還存在效率低、不穩定的問題，數據模型建立、數據分析及相應的搜索、挖掘算法還有待優化。另外，在信息技術中，數據的安全和隱私一直也是人們最為關注的問題，數據量的增多，也意味著大數據的處理面臨著更嚴峻的安全風險。此外，病毒特征、漏洞特征和攻擊特征等信息也更容易通過大數據分析而被掌握和利用。如何建立嚴格的數據安全機制，提升數據質量也成為大數據發展的制約因素。

綜上所述，大數據的發展還面臨著諸多問題。目前，大數據的安全問題已經得到了國內外研究學者的高度關注，但在多源異構大數據的表示、度量和語義理解方法，建模理論和計算模型、能效優化的分布存儲和處理的軟硬件系統架構等方面的研究還有待進一步深入。

大數據的出現已經影響了人們的生活和思維方式，改變了社會經濟的發展模式，深入滲透于社會的各行各業。數據價值日益凸顯，信息對人們的生活質量有著日益提高的重要作用。大數據不僅促進了物聯網、移動互聯網、云計算等技術的融合，同時還催生了很多學科專業的交叉融合。目前，以Hadoop為代表的數據處理技術取得了很大的成功，但隨著大數據突飛猛進的發展速度，數據的規模會更大、種類更多、結構也更為復雜，未來從交叉學科、人機交互、信息安全、方法論等角度出發，大數據的發展會更加貼近人們的生活，這也必將引起社會活動的巨大變革。

四、結語

大數據的產生對當今社會經濟的發展及變革產生了巨大的影響，大數據技術的應用及研究已經融入到各行各業中，為社會經濟的發展帶來了很大的機遇和挑戰。但是，大數據的發展同樣也面臨著很多的問題：數據種類越來越復雜，數據量日趨龐大，無論是數據存儲還是數據查詢，都出現了軟硬件等方面的瓶頸問題；用戶的應用和分析結果呈整合趨勢，對實時性和指令響應時間的要求越來越高；同時，數據處理的模型也越來越復雜，計算算法的要求越來越高等，這些都需要從數據采集、數據管理、數據處理（包括數據傳輸）等方面去改進優化。隨著大數據技術在各行各業的廣泛應用，數據處理技術也將會越來越先進，大數據將會更多更深入地與各個學科專業深度融合。相信大數據技術會對社會經濟的發展產生強有力的推動作用。

主要參考文獻：

[1]徐巖.面向計算機基礎教學的Hadoop實驗設計[J].試驗室研究與探索，2016.1.

[2]方巍，鄭玉，徐江.大數據：概念、技術及應用研究綜述[J].南京信息工程大學學報，2014.10.

[3]張引，陳敏，廖小飛.大數據應用的現狀與展望[J].計算機研究與發展，2013.2.