論大數據的現狀及其發展研究

袁露+肖志勇+王映龍

摘要：隨著大數據時代的降臨，計算、物聯網、社交網絡等新型服務促使人類社會的數據種類和規模逐漸擴大，數據量隨之也愈來愈大。數據從簡單的對象處理開始轉變為一種基礎性資源。大數據的存儲和管理以及大數據的分析是一個很大的問題。本文主要針對大數據的現狀、基本概念、關鍵技術、面臨的困難和挑戰、如何適應好“大數據”時代做了探討以及大數據在畢業生就業的應用。

關鍵字：大數據；云計算；數據處理

中圖分類號：G642.0 文獻標志碼：A 文章編號：1674-9324（2014）44-0086-02

近年來，伴隨著物聯網、云計算、移動互聯網等新技術的迅猛發展，數據出現逐漸增長的趨勢，而且增長幅度比較大，于是大數據涌現了。大數據是繼云計算之后IT產業又一次顛覆性的技術革命。它貫穿于整個社會，正處于成長階段，大數據引起了產業界、科技界和政府機構的廣泛關注。大數據隨著新型SNS網絡的發展等在肥沃的土壤中更加迅速地成長。現在，大數據時代占據了大部分市場和企業，規模不斷壯大。

一、大數據的現狀

隨著網絡技術、信息技術的發展，人類產生的數據成指數增長。資料顯示，2011年，全球數據規模為1.8ZB，可以填滿575億個32GB的iPad。到2020年，全球數據達到40ZB。我國，2010年新存儲的數據為250PB，2012年中國的數據存儲量達到364EB，約為日本的60%，北美的7%。全球互聯網行業巨頭以百度、阿里巴巴、騰訊等為代表的國內互聯網企業開始創建自己的數據中心，并在IT基礎設施和創新方面有顯著的成就。由此看來，大數據慢慢走向成熟，即將成為社會、生活不可缺少的一部分。

二、大數據的概念及特點

大數據（Big Data），可以認為，它所涉及的資料量規模巨大，通過一些方法和手段，在合理時間內達到獲取、管理、處理并整理這些大量的資料數據，進一步幫助企業高層做出經營決策。“大數據”的出現不是偶然事件，它是在社會發展的推動下，逐漸網絡化、信息化。比如各種二維碼、虹膜等都可以認為是大數據。對于數據的識別和分析是很有難度的。大數據的特點如下。①數據類別大。大數據一般包括以事務為代表的結構化數據，以網頁為代表的半結構化數據和以視頻和語音信息為代表的非結構多類數據，并且它們的處理和分析方式區別很大。②數據量大。通過各種方式，比如市場、信息、網絡等產生的一系列大量數據。所謂大數據，數量肯定是很大的了。③數據快速化。有些數據是具有時效性的。比如電商行業，數據是有時間限制的，否則數據無意義，或者會造成誤差。④數據的靈活性與復雜性。數據更新迅速，是變化的，數據的類型、用途不同，分析方式的不同、需求的不同導致了數據的靈活性和復雜性。

三、大數據的關鍵技術

大數據的處理主要是從一大堆的數據當中篩選出有價值的數據，然后進行對比、分析、處理等。解決大數據問題的核心是大數據技術，主要可分為：數據采集、數據存取、基礎架構、數據處理、統計分析、數據挖掘、模型預測、結果呈現等8種技術。大數據技術主要形成了批處理、流處理和交互分析三種計算模式。大數據的關鍵技術主要還是對海量數據的存儲和計算處理等，特別是對數據的分類，根據用途需求的不同，篩選出對于某一個領域某一個用途有意義、有價值的一系列數據，拋棄相對而言無用的數據。

四、大數據面臨的機遇和挑戰

1.用戶的個人隱私問題。比如日常生活中我們經常使用的微信、旺信以及一些其他如淘粉吧、團購網等需要授權的網站和軟件應用，都需要讀取使用者的個人信息等數據，有可能會導致數據的泄露。

2.在未來的社會中，大數據即將成為未來交易的對象。特別是大數據中的價值數據，當然價值包括數據本身的價值和其使用價值，價值也分為絕對價值和相對價值，企業可以通過這些數據分析未來的發展趨勢。國內三大巨頭BAT坐擁數據金礦，我們來看百度、阿里巴巴、騰訊三大巨頭的大數據利用以及三者的不同之處（如下頁表1）。

3.大數據的挖掘和應用成為核心。大數據的重心將從存儲和傳輸，過渡到數據的挖掘和應用。索取我們的個人位置信息可創造潛在價值6000億美元。沃爾瑪為其網站Walmart.com自行設計了最新的搜索引擎Polaris，利用語義分析、數據挖掘等使得購物完成率提升了10%～20%，這意味著數十億的金額。

五、如何適應“大數據”時代

1.加強領域合作。加強各個領域之間的合作關系，加強企業商業智能、社會服務、市場營銷等各大領域的合作。企業服務于民眾和政府，政府也推動企業的發展，激勵市場的需求，企業根據商業智能對數據的分析了解當今市場發展趨勢，進行產品的生產和市場分配，根據用戶的需求了解當今社會的發展要求，政府把握公民動態，了解民生。

2.數據安全性。防止數據被非法交易、倒賣、竊取、泄漏或者纂改。大量的數據通過云端存儲，數據管理比較分散。數據從產生到獲取，再到分析、處理等每一個過程都牽扯用戶的隱私和安全問題，整個過程中，如不采取相應措施，非法用戶容易入侵，竊取和纂改數據，數據的正確性沒有了保障。因此，如何保證大數據的安全以及分析結果的可靠是信息安全領域所要解決的問題。

3.加強大數據人才的培養。大數據發展離不開人才的需求。大數據興起的時間不算長，這方面的人才還是急缺的。可以根據社會的需求培養具有大數據思維和創新能力的復合型人才，企業可以根據企業自身的需要對企業內部人員進行教育培訓，另外可以通過招聘引進一些具有大數據經驗的人士。引導員工職業發展，采用員工激勵制等，鼓勵員工不斷地學習提升自我。加強大數據人才的培養也是大數據發展的重點之一。

六、大數據的應用

大數據通過互聯網渠道，遍布全球的各個角落。互聯網企業與其他數據傳播手段相比，開展大數據應用存在“近水樓臺先得月”的優勢。百度、阿里巴巴、騰訊、谷歌、亞馬遜等都擁有強大的數據資源和數據技術平臺。美國等先進國家政府部門投資2億美元開展大數據應用。我們要向美國學習推進大數據的應用實踐。大數據的應用主要體現在互聯網應用、電信應用、金融應用和政府應用。大數據應用的核心思想是將數學算法運用到海量數據中預測事情發生的可能性。endprint

作為高校的一名教師，我們可以將大數據運用到高校教學中，以院系的軟件工程專業為例（圖1），該專業的學生畢業初期76.52%都是選擇在公司處理IT編程相關領域，4.45%選擇了考研，5.27%選擇考公務員等，五年之后他們的選擇又如何，仍然堅守在IT崗位上的人又有多少？這些數據，我們都可以進行統計分析，了解每一年的畢業生就業情況。

大數據在大學生就業中的應用體現在：根據畢業生的就業情況統計出的數據反映社會對軟件技術專業人才的需求以及學生就業選擇的方向，發現未來軟件方向的就業趨勢。同時，在高校開設的《職業生涯規劃課》上可以根據往屆學生的就業情況給予新生更好地引導，讓學生產生良好的認識，不會盲目地做出選擇。大數據應用在畢業生就業上的指導有一定參考性，數據證明了趨勢，更加生動、真實。

七、總結

大數據已被越來越多的人熟悉，在未來的日子里，大數據將迎來一場激烈的競爭。我們應該抓住大數據的關鍵點，跟上時代的步伐，適應科技時代的發展，順應大數據時代的需求，從國家戰略制定、人才培養、基礎技術研究、信息安全保障體系建設等方面開展相應的工作。大數據的共享是未來的發展趨勢，如何更好地保護好數據，如何更好地存儲、分析數據，都還需要繼續探索。我們要充分有效地利用和組織大數據推動社會的發展。

參考文獻：

[1]賽迪智庫，大數據時代需要加快局[EB/OL].2012-05-17.http：//www.cio360.net/index.php？m=content&c=index&catid=201&id=53375.

[2]大數據時代[J].中國電子科學研究院學報，2013，（1）.

[3]淄博市經濟和信息化委員會.“大數據”現狀及發展淺談[Z].2013-08-27.

[4]嚴霄鳳，張徳馨.大數據研究[J].計算機技術與發展，2013，23（4）：170.

[5]劉菊香.大數據分析在大學生就業中的應用[J].文教資料，2013，（28）：145.

[6]栗蔚，魏凱.大數據的技術、應用和價值變革[J].電信網技術，2013，（7）：9.

[7]王秀磊，劉鵬.大數據關鍵技術[J].中興通訊技術，2013，19（4）.

[8]關志剛.IT經理網[EB/OL].http：//detail.tmall.com/item.htm？id=36959152604.

[9]李國杰，程學旗.大數據研究：未來科技及經濟社會發展的重大戰略領域——大數據的研究現狀和科學思考[J].中國科學院院刊戰略與決策研究，2012，27（6）.

基金項目：基于“案例模式”的《計算機導論》課程實踐教學模式研究。項目編號2013B2ZC27

作者簡介：袁露（1987-），女，江西豐城人，碩士研究生，實驗員，助理實驗師，研究方向：數據挖掘。

通訊作者：王映龍。endprint

作為高校的一名教師，我們可以將大數據運用到高校教學中，以院系的軟件工程專業為例（圖1），該專業的學生畢業初期76.52%都是選擇在公司處理IT編程相關領域，4.45%選擇了考研，5.27%選擇考公務員等，五年之后他們的選擇又如何，仍然堅守在IT崗位上的人又有多少？這些數據，我們都可以進行統計分析，了解每一年的畢業生就業情況。

大數據在大學生就業中的應用體現在：根據畢業生的就業情況統計出的數據反映社會對軟件技術專業人才的需求以及學生就業選擇的方向，發現未來軟件方向的就業趨勢。同時，在高校開設的《職業生涯規劃課》上可以根據往屆學生的就業情況給予新生更好地引導，讓學生產生良好的認識，不會盲目地做出選擇。大數據應用在畢業生就業上的指導有一定參考性，數據證明了趨勢，更加生動、真實。

七、總結

大數據已被越來越多的人熟悉，在未來的日子里，大數據將迎來一場激烈的競爭。我們應該抓住大數據的關鍵點，跟上時代的步伐，適應科技時代的發展，順應大數據時代的需求，從國家戰略制定、人才培養、基礎技術研究、信息安全保障體系建設等方面開展相應的工作。大數據的共享是未來的發展趨勢，如何更好地保護好數據，如何更好地存儲、分析數據，都還需要繼續探索。我們要充分有效地利用和組織大數據推動社會的發展。

參考文獻：

[1]賽迪智庫，大數據時代需要加快局[EB/OL].2012-05-17.http：//www.cio360.net/index.php？m=content&c=index&catid=201&id=53375.

[2]大數據時代[J].中國電子科學研究院學報，2013，（1）.

[3]淄博市經濟和信息化委員會.“大數據”現狀及發展淺談[Z].2013-08-27.

[4]嚴霄鳳，張徳馨.大數據研究[J].計算機技術與發展，2013，23（4）：170.

[5]劉菊香.大數據分析在大學生就業中的應用[J].文教資料，2013，（28）：145.

[6]栗蔚，魏凱.大數據的技術、應用和價值變革[J].電信網技術，2013，（7）：9.

[7]王秀磊，劉鵬.大數據關鍵技術[J].中興通訊技術，2013，19（4）.

[8]關志剛.IT經理網[EB/OL].http：//detail.tmall.com/item.htm？id=36959152604.

[9]李國杰，程學旗.大數據研究：未來科技及經濟社會發展的重大戰略領域——大數據的研究現狀和科學思考[J].中國科學院院刊戰略與決策研究，2012，27（6）.

基金項目：基于“案例模式”的《計算機導論》課程實踐教學模式研究。項目編號2013B2ZC27

作者簡介：袁露（1987-），女，江西豐城人，碩士研究生，實驗員，助理實驗師，研究方向：數據挖掘。

通訊作者：王映龍。endprint

作為高校的一名教師，我們可以將大數據運用到高校教學中，以院系的軟件工程專業為例（圖1），該專業的學生畢業初期76.52%都是選擇在公司處理IT編程相關領域，4.45%選擇了考研，5.27%選擇考公務員等，五年之后他們的選擇又如何，仍然堅守在IT崗位上的人又有多少？這些數據，我們都可以進行統計分析，了解每一年的畢業生就業情況。

大數據在大學生就業中的應用體現在：根據畢業生的就業情況統計出的數據反映社會對軟件技術專業人才的需求以及學生就業選擇的方向，發現未來軟件方向的就業趨勢。同時，在高校開設的《職業生涯規劃課》上可以根據往屆學生的就業情況給予新生更好地引導，讓學生產生良好的認識，不會盲目地做出選擇。大數據應用在畢業生就業上的指導有一定參考性，數據證明了趨勢，更加生動、真實。

七、總結

大數據已被越來越多的人熟悉，在未來的日子里，大數據將迎來一場激烈的競爭。我們應該抓住大數據的關鍵點，跟上時代的步伐，適應科技時代的發展，順應大數據時代的需求，從國家戰略制定、人才培養、基礎技術研究、信息安全保障體系建設等方面開展相應的工作。大數據的共享是未來的發展趨勢，如何更好地保護好數據，如何更好地存儲、分析數據，都還需要繼續探索。我們要充分有效地利用和組織大數據推動社會的發展。

參考文獻：

[1]賽迪智庫，大數據時代需要加快局[EB/OL].2012-05-17.http：//www.cio360.net/index.php？m=content&c=index&catid=201&id=53375.

[2]大數據時代[J].中國電子科學研究院學報，2013，（1）.

[3]淄博市經濟和信息化委員會.“大數據”現狀及發展淺談[Z].2013-08-27.

[4]嚴霄鳳，張徳馨.大數據研究[J].計算機技術與發展，2013，23（4）：170.

[5]劉菊香.大數據分析在大學生就業中的應用[J].文教資料，2013，（28）：145.

[6]栗蔚，魏凱.大數據的技術、應用和價值變革[J].電信網技術，2013，（7）：9.

[7]王秀磊，劉鵬.大數據關鍵技術[J].中興通訊技術，2013，19（4）.

[8]關志剛.IT經理網[EB/OL].http：//detail.tmall.com/item.htm？id=36959152604.

[9]李國杰，程學旗.大數據研究：未來科技及經濟社會發展的重大戰略領域——大數據的研究現狀和科學思考[J].中國科學院院刊戰略與決策研究，2012，27（6）.

基金項目：基于“案例模式”的《計算機導論》課程實踐教學模式研究。項目編號2013B2ZC27

作者簡介：袁露（1987-），女，江西豐城人，碩士研究生，實驗員，助理實驗師，研究方向：數據挖掘。

通訊作者：王映龍。endprint