淺析大數據的發展

王晨晨 孫睿

摘要：隨著網絡信息化的日益普遍，移動互聯網、電子商務等大大拓展了互聯網的應用領域，我們將會接觸越來越多甚至爆炸性增長的數據。大數據給我們社會政治、經濟、文化、生活方面都帶來深遠影響，我們也在“大數據”時代中尋求更高效合理利用大數據的方法，使之對我們產生更積極的影響。

關鍵詞 ：大數據；數據分析；影響

1大數據的定義及發展背景

近幾年來，隨著計算機和信息技術的飛速發展和日漸普及的應用，各行各業應用系統的規模迅速擴大，每個行業應用系統所產生的數據呈爆炸性的增長。【1】很多企業的數據已經遠遠的超出了現有的計算機技術和信息技術的處理能力，因此，我們需要尋求一種有效的大數據處理技術，來滿足現有企業大數據的處理需求。

由于大數據處理需求的迫切性和重要性，近年來大數據技術已經在全球的學術界、商界以及各國政府都得到了高度的關注和重視。哈佛大學社會學教授加里·金說：“這是一場革命，龐大的數據資源使得各個領域開始了量化進程，無論學術界、商界還是政府，所有領域都將開始這種進程。【2】”為了緊跟全球大數據發展的潮流和趨勢，我國各界也對大數據給予了高度的關注。

在我看來，大數據是一個“仁者見仁，智者見智”的東西。對于投資人和創業者而言，大數據就是一個非常熱門的融資標簽。對于一些互聯網公司和IT工程師而言，大數據就是很多的數據進行處理計算。對于廣大的消費者和用戶而言，大數據就是企業通過搜集與用戶相關的隱私，然后進行營銷。從理論上來講，大數據公司通過搜集用戶的相關行為信息，可以更好地了解消費者的喜好和需求，從而可以做出相應的決策以更好地向用戶銷售自己的產品。

3大數據的七大特性

3.1 海量性

海量性是大數據最明顯的特點。現如今許多企業都面臨著數據量大規模增長的問題，其中IDC的報告預測稱：全球數據量將擴大50倍。從目前來看，大數據的規模仍是一個不確定的指標，每個企業的數據數量都在源源不斷地增長，并且還有各種意想不到的來源，都可以產生大量數據。

3.2 多樣性

許多人認為，大數據多樣性的產生是由于人們越來越多的使用互聯網，并且搜索不同內容。然而隨著傳感器、智能設備等的飛速發展，數據也變得更為復雜，因為它不僅僅包含傳統數據類型，還包括網頁日志、社交媒體、電子郵件等多種類型的數據。并且，大數據時代的數據格式也變得更加多種多樣，包括文本、圖片、視頻音頻等更多類型。除此之外，數據也多了許多我們意想不到的來源。

3.3 高速性

高速性主要描述的是數據的接收和處理速度。在數據處理的速度方面，有一個著名的“1秒定律”，也就是說要在秒級時間范圍內給出分析結果，超出了這個時間，數據也就失去價值了。數據的高速性可以體現在兩個方面，一方面是數據的產生速度快，比如社交媒體的用戶眾多，所以短時間內產生的數據量已經巨大，又比如GPS的位置信息，同一時間會有非常多的人同時使用定位。另一方面，是數據的處理速度快。時間就是金錢，時間越久，數據的價值就越低，而且數據本身就具有時效性，過了一定的時間，數據可能就會失去其本身的意義了。

3.4易變性

大數據具有多層的結構，這也就是說大數據會有多變的形式和類型。與傳統型數據相比，大數據存在著很多不規則且模糊不清的特性，所以會導致有些數據無法用現有的分析手段進行分析。所以對于很多現代企業來說，如果更好地分析現有的各種形式的復雜數據成為其所面臨的挑戰。

3.5真實性

數據的質量和真實性決定數據帶給我們的價值。數據的質量并不容易判定，有時候大量真實的數據不見得是有質量的數據，真正對我們有幫助的數據才可以算作高質量的數據。但是高質量的數據一定是真實的。我們可以通過更加先進的數據分析處理技術，來降低數據的不確定性，可以用更先進的數學方法來保證數據的真實性，從而使所得數據更好地為我們所用。

3.6復雜性

大數據的復雜性主要體現在數據類型、數據結構、數據細節的多樣性。隨著數據量的增長，數據的類型越來越多，數據結構也越來越多，這些都使大數據變得越來越復雜。簡單來說，不同的數據類型具有不同的規則，所以對數據進行處理時就不能用單一的處理方法，要用數據自己的語言語法來連接處理。

3.7低價值密度性

低價值密度性，簡單來說就是數據量雖然龐大，但有價值的信息并沒有那么多，也就是高質量信息并不多。如今，數據爆炸式增長，信息海量，但信息的價值密度并不高，這也就要求我們能夠在龐大的信息量中，提取最有用的信息來加以利用，這對于目前的我們來說是一個需要解決的難題。

4大數據處理的關鍵架構

大數據主要的處理模式主要有兩種，分別為流處理和批處理。批處理是先存儲后處理，而流處理則是直接處理。【3】

大數據處理的關鍵架構主要包括文件系統層、數據存儲層、資源管理層、資源協調層、計算框架層、數據分析層、數據集成層和操作框架層。這些框架層次給大數據處理過程提供了比較全面的功能，比如可以對數據進行存儲管理、提高資源的利用率、良好的協調資源分布等。

大數據處理的流程包括數據抽取與集成、數據分析、數據解釋三個部分。其中，數據抽取與集成是整個流程的基礎。由于數據類型多樣、數據來源廣泛、數據結構復雜，所以這給大數據的抽取帶來了極大的挑戰。在這個過程中，首先要保證數據的質量及真實性。其次，數據分析是整個大數據處理流程的核心，因為大數據的價值就產生于其分析的過程。根據人們不同的需求，選擇相對應有部分或全部的數據進行分析，并得到盡可能好的分析結果。

5大數據的影響

大數據對于我們來說，是一個既遙遠又親近的存在。在生活方面，app會記錄我們的瀏覽信息，推送相關鏈接，方便我們搜索。在交通方面，交管機構可以根據人們出行的大數據進行分析，采取合理措施以解決高峰期擁堵問題，同時計算機動車對環境的污染程度，提出合理方案來緩解環境污染問題。在醫療方面，大數據也是一個全新且重要的應用。公共衛生部門可以通過覆蓋全國的患者的電子病歷進行全面完整的疫情監測；各地的醫療信息可以通過公共平臺共享，這樣既方便各醫療機構之間的交流學習，又可以提升落后地區的醫療水平，減少誤診率；醫藥研發機構可以更快速的掌握各地的醫療衛生數據，了解公共疾病藥品的需求，更加合理的配置研發資源，更有效率的生產產品；居民可以通過云平臺，及時了解疾病特征，對比自身健康程度，能夠更及時地發現疾病，早治療，實現疾病的科學管理。【4】

然而，大數據帶給我們方便的同時，也給我們帶來了一些不良影響，比如信息安全問題。大數據時代的到來，傳統的信息安全措施已經不足以保護我們的隱私，所以導致大量信息的泄露。現在很多app對于手機都是深度植入，有些商家為了利益甚至可能會出賣用戶的信息。

6總結

綜合來看，未來若干年，大數據仍是這個社會發展的主流。商務智能、醫療共享、公共服務等仍需要大數據的支持與發展，我們也將面臨更大的挑戰，不僅要研究更智能更高效的數據處理方法，也要更努力的克服大數據時代所帶來的弊端。凡事都有兩面性，我們應當更加積極的用好大數據有價值的一面，同時盡量避免大數據給我們帶來的不利因素。未來很長，仍值得努力與期待。

參考文獻：

[1] 黃星宇. 淺談大數據[J]. 科技視界， 2014（30）：90-90.

[2] 維克托·邁爾-舍恩伯格， 肯尼思·庫克耶， ViktorMayer- Schonberger，等. 大數據時代：生活、工作與思維的大變革[M]. 浙江人民出版社， 2013.

[3] 孟小峰， 慈祥. 大數據管理：概念、技術與挑戰[J]. 計算機研究與發展， 2013， 50（1）：146-169.

[4] 周光華， 辛英， 張雅潔，等. 醫療衛生領域大數據應用探討[J]. 中國衛生信息管理雜志， 2013（4）：296-300.

作者簡介：王晨晨（1997—），女，漢族，山東濟南人，就讀于山東師范大學管理科學與工程學院，研究方向：大數據分析。