淺析大數據特征

陳閩韜

摘要：信息化和網絡化的高速發展使得大數據成為當前學術界和工業界的研究熱點，是IT業正在發生的深刻技術變革。大數據在人們的生活中無處不在，無所不及，然而人們對大數據的認識卻存在簡淺的表面，到底什么是大數據，似乎缺乏一語道破的力度，對大數據學術界的研究特征呈現怎樣的狀態也不是很清楚。該文從大數據基本概念出發，對目前主流的概念進行簡要總結后得出有關大數據5V特征，即數據量大、數據多樣性、高速處理、數據真實性和數據價值性特征，并在此基礎對目前大數據運用較為突出的場合進行舉例說明，為人們更好的認識大數據提供借鑒。

關鍵詞：大數據；概念；特征分析；應用

中圖分類號：TP311 文獻標識碼：A 文章編號：1009-3044（2017）36-0237-03

隨著社會科學技術發展進步，人們在生活中接觸的數據種類也逐步增多。特別在互聯網飛躍發展的如今，音頻、文字、圖片視頻等半結構化、非結構化數據大量涌現，社交網絡、物聯網、云計算廣泛應用，使得個人可以更加準確快捷的發布、獲取數據。在科學研究、互聯網應用、電子商務等諸多應用領域，數據規模、數據種類正在以極快的速度增長，并對人們或產生越來越重要的影響。

信息時代龐大的數據信息內容正改變著人們發現、解決問題的基本方式。然而，目前人們對大數據的認識較為模糊，對大數據基本概念特征以及其要解決的核心問題認識相對欠缺。本體通過對大數據的基本概念進行概述歸納總結出其基本特征，并從該特征出發了解其目前應用狀況，并對其未來發展方向進行展望。

1 大數據基本概念

有關大數據的概念版本較多，尚無確切、統一的定義。目前，國內外學者主要從三個角度來進行界定。

從數據集角度來說。John Rauser 認為：“大數據指任何超過了一臺計算機處理能力的數據。”Mckinsey 為大數據下的定義是，“大數據指的是所涉及的數據集規模已經超過傳統數據庫軟件獲取、存儲、管理和分析的能力。” 朱建平認為“大數據指那些超過傳統數據系統處理能力，超越經典統計思想研究范圍，不借助網絡無法用主流軟件工具及技術進行分析的復雜數據集合。”從技術角度定義來說，Microsoft認為：“大數據越來越被用于描述應用重要計算機能力過程，從最新的機器學習、人工智能到描述非常大的和通常極其復雜的一系列信息的術語。” 朱楊勇認為“大數據是指為決策問題提供服務的大數據集、 大數據技術和大數據應用的總稱。”從其組成要素定義來說。谷歌趨勢認為大數據是許多技術的結合及有意義的數據集的使用。NEPapp 公司，認為“大數據應包括三大要素，ABC 即分析、帶寬和內容。”我國大數據科學家涂子沛認為“傳統的小數據與現代的大記錄構成了現在的大數據，從結構化方面來說其包括結構化數據和非結構化數據，大數據包含大價值大容量的信息內容。”

無論從哪個角度對大數據進行定義都不難發現大數據的概念與“海量數據”有個完全不同的定義。大數據并不僅僅是其數據量之大，還包括其獲取方法之多、數據的表現形式之復雜、捕捉數據時間之快速以及通過專業化的助理方式而獲得有用的信息價值能力。

2 大數據基本特征

關于大數據特征的研究。盡管對大數據的概念各學者目前還沒有統一意見，但對大數據的特征看法相對較穩定。大數據基本特征主要包括數據量大（Volume）、數據多樣性（Variety）、高速處理（Velocity）、數據真實性（Veracity）和數據價值性（value），即5V特點。

2.1 數據量大（Volume）

不同于傳統的數據存儲管理，其容量較小管理方便，如今隨著互聯網等信息技術的快速發展，數據存儲量常以大于GB數千倍數萬倍的TB，PB來衡量。早期的數據維度低、數據類型簡單，這些數據是對原始事物采用抽象的方式而獲取到的。早期數據的處理和儲存多為數值，起容量相對有限。然而隨著數據維度不斷增加，應用越來越廣泛，對事物描述所需的數據量也越來越大。尤其是近年來圖像、視頻等二維數據的不斷涌現，數據對事物的描述能力不斷增強，其所描述的事物越來越接近真實的世界。數據的描述能力不斷增強，數據量將以幾何速率快速增長。傳統數據處理方法多采用抽樣的方法進行數據處理，通過少量樣本數據的處理來近似的描述整體數據的全面，通常樣本數量可根據數據獲取、處理能力來進行設定。這就造成人們認識事物的全面性主要通過樣本信息來進行認知。由于得到的樣本信息數據規模較小，因此，如何通過正確的采樣方法以最小的數據量盡可能分析整體屬性成了當時的重要問題。直接處理所有數據可以獲得更好的精確性，能夠讓人們從多維度來認識事物屬性，從而避免樣本不準確性帶來的片面屬性，不會因為樣本數據缺失而丟掉大量重要細節內容。因此，大數據時代所需處理的數據會顯著增多。

2.2 數據多樣性（Variety）

相比于傳統的機構化數據，大數據的格式還包括半結構化的郵件、視頻、微博，以及非結構化的文本數據等。不同于結構化數據，非結構化所處理的數據對象多為圖片、視頻等形式而非傳統的文本信息。伴隨著云技術的快速發展，非結構化數據采集、處理技術也飛躍發展以適應不同數據處理的需求。

數據的多樣性又表現在數據來源和用途上。數據來源的多樣性表現在數據獲取的方式的多元化，目前數據采集方法包括搜索引擎法、中間件法、基于ETL引擎法以及數據流引擎法。對于一些大數據公司，其獲取數據方式包括廣告聯盟的競價交易平臺、用戶Cookie數據、APP聯盟以及與擁有穩定數據源公司進行戰略合作。大數據的應用也呈現出多元化，其中最常見的就是購物信息提示，網商通過對客戶前期的搜索信息進行整理，通過一定的算法得出客戶最有意向的產品，并將此產品推薦給客戶；其次，大數據在設計網絡中有著越來越多的應用，如QQ，微信等社交APP，通過后臺數據整合匹配，不定時的向用戶推薦自己可能認識的朋友，擴大用戶的朋友圈。此外，大數據還在新能源中有個廣泛的運用，其中在風電發電機組中的應用最為廣泛，如Vestas在對風力發電機組前期選址時采用超級計算機對所采集的氣象數據進行計算處理以選出風力發電機組最佳位置，從而使風力發電機組在后期運行時能捕獲更多的風能。此外，大數據還在交通網絡、智能家居生活、智能電網等人們日常生活中有著廣泛的運用。endprint

2.3 高速處理（Velocity）

大數據的容量之大、種類之多，這對數據處理提出了越來越高的要求。快速流動的數據使得人們的的生活變得多姿多彩，這就使得數據具有一定的時效性，數據的價值也就隨著時間的推移而迅速降低的，如果數據尚未得到有效的處理，就失去了價值，大量的數據就沒有意義。批量化的處理方式是目前大數據常用的處理方法，該方法適用于數據處理頻率較低的場合，對于數據處理頻率達到分鐘或者秒級的場合，如股票、實時路況等場合，其對數據處理要求極高，要做到實時性。傳統處理方法是對數據進行篩選并簡化模型從而得出大致的結論，而隨著云計算技術的不斷發展，其為大數據提供了一個數據處理平臺，較大的存儲空間，豐富的計算資源以及分布式計算方法有效降低了大數據運算處理速度。從而為大數據高速處理提供了有效的支撐，使其運算處理水平顯著提升。

2.4 數據真實性（Veracity）

大數據的重要性，就在于是否可以有用的對決策進行支持，而大數據的真實性，是獲得有用思路和準確內容的要素之一，也是決策得以成功進行制定的根底。真實的數據才能有效地反映出真實的情況，數據的真實性包括三個方面。首選數據的來源必須是可靠的，在計算初期對數據進行獲取收集時應確保所獲取數據的真實性，并對數據的可信度進行嚴格的考察。正確識別數據真實性剔除虛假數據，確保數據在其源頭處時真實的，為后期數據處理奠定基礎。其次，數據處理的可靠性。數據處理要確保其處理過程的客觀性，數據處理過程中不應進行人為干預，提高數據操作員的技術水平，降低數據傳遞過程中的失真率，提高數據處理真實度；最后，分析結果的真實性。利用科學的數據分析方法對通過對客觀真實處理后的數據進行分析，科學的方法能夠有效避免虛假信息和結論的干擾，從而有利的增強數據結果的可靠性。

2.5 數據價值性（value）

大數據上述4項特征決定了其具有不可估量的價值性。大數據的挖掘猶如沙里淘金一般，過濾掉大量的沙子最后方能獲取金子。然而，由于大數據量之龐大，而且有效的信息卻十分有限。這就最終導致數據價值密度低。根據價值密度低是大數據關注的非結構化數據的重要屬性。在大數據出現之前，傳統的結構化數據通過對事物進行一定的抽象處理而得出其關鍵的數據信息，而大數據則對事物所有細節所包含的數據進行處理，而不是進行抽象歸納處理，通過對原始數據處理，即全體數據處理，可以有效地減少采樣和抽象，能夠呈現所有數據和全部細節信息，可以分析更多的信息，但也引入了大量沒有意義的信息，甚至是錯誤的信息，因此相對于特定的應用，大數據關注的非結構化數據的價值密度偏低。價值性高低是相對的，但從整體上來說，其價值值得肯定。

3 大數據應用現狀

3.1 大數據在物聯網中的應用

物聯網是將人與物、物與物相互連接起來的互聯網，它的發展需要大數據提供足夠的數據資源支持。同時，大數據也推動了物聯網的發展。新時代的發展提出更高的要求，這是一種智慧化的新形態，其外在表現就是物聯網，而其內涵就表現為大數據。

隨著工業4.0以及2025制造等一些工業制造概念的提出使得人們對物聯網的認識也越來越清晰，以工業物聯網為中心、整合智能感測系統及大數據分析決策技術，加速制造業的智能化，可提升實體工廠產業價值鏈整體效益。如德國提倡的工業4.0，西門子的未來工廠就是德國工業4.0的最佳示范單位，其產品利用物聯網標示技術與生產設備直接通信，讓生產設備知道需在何時與何地采取適當的動作，整合數據分析與管理控制技術實現機器控制機器的生產作業，可對生產流程進行優化調整，降低產品不合格率。

3.2 大數據在醫療健康中的應用

伴隨著計算機、互聯網以及大數據等新興技術的快速發展，醫療行業根據自身發展的需要，從實際需求出發不斷將其融入到自身行業之中。大數據在醫療健康行業中的應用讓人們看到可以幫助醫生能夠快速準確的進行臨床診斷，并根據診斷結果給出最優的治療方案，從而解決人為誤診以及降低病人醫療成本，Clini Cast利用大數據預測治療效果以及降低花費。此外，利用大數據幫助患者建立電子醫療檔案，進而在患者需要醫治時能夠快速準確地向醫生提供患者病例史信息。同時，對于一些常見病狀進行有效的預防

3.3 大數據在零售業中的應用

市場定位是開拓一個新市場的前提，只有準確的對市場目標進行定位，才能在市場拓展時執行有效準確的方案。若市場目標與所開拓的市場不相吻合則會對企業帶來難以估量的損失。然而傳統市場調研中，研究人員能夠獲得的信息量非常有限，使準確的市場定位存在樣本量不足，時間滯后和準確度低等缺陷。但隨著大數據時代的來臨，市場研究人員可以通過對大數據中海量的數據信息進行挖掘篩選，從而找到自己想要的數據信息，并對其進行精確的建模從而實現對市場前期的預測。

大數據目前在零售業中的應用較為廣泛，尤其是網絡購物方面。電商根據消費者進行購物信息，并分析消費者最近搜索信息進行大數據分析從而得出消費者想要購買的物品，以及與之相關的產品。從而分析顧客的消費行為和價值趣向，進而引導消費者進行購物消費，大大節約消費者搜索時間。此外，通過對市場上有關物品銷售信息進行實時跟蹤，從而確定產品的銷售周期。通過對龐大的市場數據進行處理，從中獲取有關競爭對手的數據信息，進而能夠幫助自己了解競爭對手最新的商業動態，做到“知己知彼，百戰不殆”，從而為自己的產品進入市場奠定堅實的基礎。

4 總結

如今，隨著信息技術的快速發展，生活智能化不斷提高，大數據時代給我們的生活帶來諸多的便利。數據來源的多樣性，數據樣式的多樣性，為人類認識世界、改造世界提供了重要的數據資源。此外，企業通過對大數據進行跟蹤分析，實時掌握市場最新動態，了解客戶的最新需求；個人通過大數據系統可以方便建立個人醫療檔案，同時利用互聯網大數據可以購買自己想要的東西。

本文從大數據基本概念出發，對目前主流的概念進行簡要總結后得出有關大數據5V特征，即數據量大、數據多樣性、高速處理、數據真實性和數據價值性特征，并在此基礎上歸納總結了目前大數據較為廣泛應用的場所。

參考文獻：

[1] 張清辰.面向大數據特征學習的深度計算模型研究[D].大連理工大學，2015.

[2] 付佳美.大數據研究特征分析[D].哈爾濱工業大學，2016.

[3] 朝樂門，馬廣惠，路海娟.我國大數據產業的特征分析與政策建議[J].情報理論與實踐，2016，39（10）：5-10.

[4] 馬建光，姜巍.大數據的概念、特征及其應用[J].國防科技，2013，34（2）：10-17.

[5] 黃欣榮.大數據的語義、特征與本質[J]. 長沙理工大學學報：社會科學版，2015，30（6）：5-11.

[6] 李棟梁，孫儼，王穎喜，劉潔. 基于大數據時代特征分析研發大數據分析平臺的具體策略[J]. 電腦知識與技術，2016，12（27）：3-4.

[7] 張科星. 網絡大數據平臺中的特征數據分類系統設計與實現[J].現代電子技術，2017，40 （8）：25-28.

[8] 陳興蜀，楊露，羅永剛. 大數據安全保護技術[J].工程科學與技術，2017（5）：1-11.endprint