淺析大數據的發展與應用

胡雨欣

摘要：21世紀是數據信息大發展的時代，“大數據”時代已經降臨，這是一場革命，龐大的數據資源使得各個領域開始了量化進程，無論學術界、商界還是政府，所有領域都將開始這種進程。大數據幫助人們開啟了循“數”管理的模式，也是我們當下“大社會”的集中體現。

關鍵詞：大數據 云計算 數據隱私 智慧城市

一、前言

半個世紀以來，隨著計算機技術全面融入社會生活，信息爆炸已經積累到了一個開始引發變革的程度。互聯網、移動互聯網、物聯網、車聯網、GPS、醫學影像、安全監控、金融、電信都在瘋狂產生著數據。大數據時代對人類的數據駕馭能力提出了新的挑戰，也為人們獲得更為深刻、全面的洞察能力提供了前所未有的空間與潛力。

二、大數據的簡介

（一）大數據的定義

大數據（Big Data）是指需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。它對數據規模和傳輸速度要求很高，或者其結構不適合原本的數據庫系統，因此超過了傳統數據庫系統處理的能力。

（二）大數據的4V特征

1.大量化（Volume）：數據體量巨大，從TB級別躍升到PB級別。

2.多樣化（Variety）：數據類型繁多，數據多樣性的增加主要是由新型多結構數據，以及包括網絡日志、社交媒體、互聯網搜索、手機通話記錄及傳感器網絡等數據類型造成。

3.高速化（Velocity）：處理速度快，1秒定律，可從各種類型的數據中快速獲得高價值的信息，這一點也和傳統的數據挖掘技術有著本質的不同。

4.價值（Value）：只要合理利用數據并對其進行正確、準確的分析，將會帶來很高的價值回報。

三、全球各國大數據的發展現狀

美國希望利用大數據技術實現在多個領域的突破，包括科研教學、環境保護、工程技術、國土安全、生物醫藥等。擁有世界第二多人口的印度，近兩年也持續運用大數據，期許打造出一個更便利、更親民的智慧城市。日本在新一輪IT振興計劃中，將發展大數據作為國家戰略層面提出，重點關注大數據應用技術。目前，全球至少擁有大大小小的數據開放網站50余個。

（一）歐盟大數據的發展

目前，歐盟及其成員國已經明確制定大數據發展戰略，其在大數據方面的活動主要涉及以下四方面內容：數據價值鏈戰略計劃；資助“大數據”和“開放數據”領域的研究和創新活動；實施開放數據政策；促進公共資助科研實驗成果和數據的使用及再利用。

（二）亞洲大數據的發展

整體來說，相比歐洲，亞洲大數據發展相對落后，在大數據發展過程中，更多的還是探索學習階段。目前，亞洲的很多大數據公司都在海外進行了相關市場開拓。未來，亞洲市場將有望成為大數據業務的主戰場。

四、全球大數據的市場與應用

（一）全球大數據交易現狀

對于海量并且瞬息萬變的大數據來說，存儲已然不是最終目標，如何從數據中獲得包括商業價值在內的紅利，才是其真正的意義所在。

目前全球大數據企業主要分為兩大陣營。一部分屬于單純以大數據技術為核心的創新型公司，希望為市場帶來創新方案并推動技術發展。另有一些則是以數據庫/數據倉儲業務為主的知名公司，利用自身資源與技術優勢地位沖擊大數據領域。

全球主要大數據企業有IBM、惠普公司、戴爾公司、Opower公司、Teradata公司、Oracle公司、微軟公司、亞馬遜公司、Google公司、SAP公司和EMC公司等。

（二）全球大數據市場規模

目前全球大數據總體加速發展趨勢不變且呈現出應用成為新增長動力、競爭態勢愈加激烈、融資并購成為市場熱點、產業生態不斷優化和基礎設施建設更加合理等特點，預計2020年全球大數據市場規模將達到1263.21億美元，大數據已成為全球IT支出新的增長點。

（三）全球大數據市場結構及應用領域

全球大數據市場結構從壟斷競爭向完全競爭格局演化，企業數量迅速增多，產品和服務的差異度增大，技術門檻逐步降低，市場競爭越發激烈。全球大數據市場中，行業解決方案、計算分析服務、存儲服務、數據庫服務和大數據應用為市場份額排名最靠前的細分市場。

（四）大數據的影響

大數據可以幫助人們開啟循“數”管理的模式，也是我們當下“大社會”的集中體現：大數據促進了政府職能變革；大數據能夠幫助我們打造“智慧城市”；大數據將促進商業模式創新。

五、大數據的發展趨勢

大數據將成為重要戰略資源，與云計算深度融合，與此同時數據分析方法將發生變革，以數據為中心的解決方案與應用將興起。網絡安全問題也將凸顯，數據隱私標準也會隨之出臺。

六、大數據發展的機遇和挑戰

大數據時代的來臨，除了推動現有的信息技術產業的改革創新，其對我們生產生活的方式也將產生重大影響。從個人視角來看，不管是日常工作中遇到的海量郵件或是從網上獲取的社交、購物、娛樂、學習、理財等信息，還是生活中最常見的手機存儲，大數據已經滲透到我們日常生活的方方面面，極大地方便了我們的生活。對企業而言，互聯網公司已開始采用大數據來沖擊傳統行業，精準營銷與大數據驅動的產品快速迭代，促進企業商業模式創新。在社會公共服務方面，教育、醫療、交通等行業在大數據的影響下，出現了各種新的應用：數據化、社交化的新媒體平臺、智能交通與城市數字監管系統，以及病歷存儲調用的醫療云等。此外，政府還可以通過大數據來高效完成信息采集，這樣可優化升級管理運營。

然而大數據在給我們展示前所未有的發展機遇的同時，也給國家信息安全、信息技術、人才等方面帶來了很大的挑戰。大數據讓大規模生產、分享和應用數據成為可能，將信息存儲和管理集中化，這也使得我們一方面享受了“大數據”帶來的諸多便利，但另一方面無處不在的“第三只眼”卻在時刻監控著我們的行動。面對大數據在信息安全方面存在的隱憂，我們在技術上要應對其“大容量、多類別、高時效”的三大挑戰。在人才方面，無限增長的數據需要相應增加IT人員，且專業化技術人才和管理人才的需求開始加大，而目前傳統的教育模式很難培養出這種既精通業務又能進行大數據分析的人才，同時IT人員本身配備不足的現狀與迫切的人才需求矛盾會更加突出。

參考文獻：

[1]吳偉.海量存儲系統元數據管理的研究[D].華中科技大學，2010.

[2]任崇廣.面向海量數據處理領域的云計算及其關鍵技術研究[D].南京理工大學，2013.

[3]王乾.論大數據分析的方法論意義[D].武漢科技大學，2015.

[4]張蘭廷.大數據的社會價值與戰略選擇[D].中共中央黨校，2014.

[5]王鈞超.大數據時代產業經濟信息分析在宏觀決策中的應用[D].中國地質大學（北京），2016.