大數據科學綜述

周梅

摘 要：隨著現代科學技術的發展，源源不斷的數據開始出現，為了合理利用這些數據，大數據科學應用而生，并逐漸開始服務于一些產業。并且世界各國各公司也制定了相關的大數據發展戰略。本文介紹了大數據分析常用的方法與應用，諸如統計分析、數據挖掘、數據可視化，也介紹了大數據處理中批量式處理數據系統、流式數據處理系統兩種常用處理系統，并簡單介紹了大數據處理流程，最終也總結了大數據發展過程中所面臨的機遇與挑戰。

關鍵詞：大數據 大數據分析方法 大數據系統 機遇與挑戰

中圖分類號：TP31 文獻標識碼：A 文章編號：1674-098X（2017）12（c）-0139-07

Abstract：Where there are developments of science and technology，there are waves of data made available. Utilize the data better， big data science arises which gradually severs some industries. And different companies and countries make different strategies to promote the progress of data science research. Our paper illustrate the fundamental methods for data analysis， such as statistics analysis， data mining、data visualization. And it also states the two different processing methods of batch processing and stream processing and four different processing systems of batch processing system， stream processing system， interactive data handing system and graph processing system and the basic processes in big data. Finally， opportunities and challenges are analyzed which may be faced in future.

Key Words： Big data； Data analysis methods； Data processing systems； Opportunities and challenges

1 大數據的介紹

現在社會處于高速發展時期，科學技術日益發達，人們之間的交流日益密切，而這一系列過程往往包含著海量數據的產生，并伴隨著如下特征[1-3]：（1）數據量大，大數據單位至少是P；（2）類型繁多，包括各種類型數據；（3）價值密度低，因此需要深入研究大數據，從中提取有用信息；（4）速度快，時效高。并且大數據中也隱藏著巨大的價值，諸如XO Communications通過使用IBM SPSS預測分析軟件，減少了將近一半的客戶流失率。XO現在可以預測客戶的行為，發現行為趨勢，并找出存在缺陷的環節，從而幫助公司及時采取措施，保留客戶。此外，IBM新的Netezza網絡分析加速器，將通過提供單個端到端網絡、服務、客戶分析視圖的可擴展平臺，幫助通信企業制定更科學、合理決策；2013年，英國華威商學院和美國波士頓大學物理系的研究發現，用戶通過谷歌搜索的金融關鍵詞或許可以把脈金融市場的走向，相應的投資戰略收益高達326%。而此前，也有專家嘗試通過Twitter博文情緒來預測股市波動。從預測的原理上來看，穩定發展的美國股市是比較適合大數據預測發揮其作用的。對國內而言，百度推出的中小企業景氣指數預測，應用百度海量的搜索數據來刻畫我國中小企業運行發展的景氣狀態，以期能夠及時、有效地反映中小企業運行狀況，提高經濟監測的全面性和及時性；以及專業籃球隊會通過搜集大量數據分析賽事情況，然后在其基礎上分析賽事情況，找到兩三個制勝法寶等。正如麥肯錫稱：“數據，已經滲透到當今每一個行業和業務職能領域，成為重要的生產因素，人民對于海量數據的挖掘和運用，預示著新一波生產率增長和消費者盈余浪潮的到來。”大數據已經成為新世紀的石油。而世界各個國家、公司也頻繁開啟了大數據戰略。

2 大數據的分析方法

對于網絡中的大數據應用，一個重要問題是如何用統一的數學模型表示數據從而進一步挖掘和分析任務，不同的表示形式可以糾纏和隱藏或多或少地使變化數據背后的解釋性因素不同。因此，有必要對大數據的可行性和實用性進行檢查。

2.1 統計分析

在大數據時代，隨著計算方法的進步和數據倉庫的出現，應該對數據進行挖掘處理，這樣會使分析結果比抽樣統計更加可靠。統計學領域也應更新傳統觀念，學習新生事物，適應大數據環境，擴展統計學的應用領域，創造出適合大數據的新的統計方法。大數據時代的統計特點對傳統的抽樣分析提出挑戰，對抽樣分析結果的代表性及可靠性提出質疑。

大數據時代統計分析應轉變思路，統計方法應與時俱進。在計算機技術飛速發展的今天，我們如何使用已經儲備的大量資料進行全樣本分析，應該是大數據時代統計分析的新特征。

大數據分析的經濟價值，已經開始撼動社會的方方面面。同時，大數據時代也向包括統計在內的傳統領域提出了挑戰，醫院管理者、臨床專家需要做好充足的準備，以迎接大數據時代所帶來的變化與挑戰。

2.2 數據挖掘

隨著信息網絡的普及和移動互聯網的廣泛應用，全世界聯網設備呈爆發式增長，根據賽門鐵克公司的調研報告， 全球企業數據存儲總量已達到2.2ZB（1ZB等于10ZB），并且以每年近70%速率增長。如何有效地挖掘“大數據”的潛在價值，是人類目前面臨的重大問題。

2.2.1 數據挖掘的定義

從技術的角度對數據挖掘（Data mining）定義：是指從大量、不完全、有噪聲、模糊、隨機的實際應用數據中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。從商業的角度定義數據挖掘：數據挖掘是一種新的商業信息處理技術，其主要特點是對商業數據庫中的大量業務數據進行抽取、轉換、分析和其他模型化處理，從中提取輔助商業決策的關鍵性數據的過程。不管是技術角度還是商業角度，數據挖掘的實質是從海量數據中提取出對人類有價值的或有潛在價值的最終被人類利用而產生生產力的信息。

2.2.2 大數據存儲技術

隨著聯網設備呈指數方式增長，導致數據量激增，這種趨勢改變了長期以來以“計算”為中心的模式，進而顛覆性改變到以“數據存儲”為中心的模式。大數據挖掘必須首先解決大數據的存儲問題。將現有的存儲技術RAID并行存儲、NAS附網存儲、SAN存儲區域網等網絡存儲體系進行有機融合，采取集群網絡模式將成千上萬的商業網絡存儲系統連接起來，并應用到大數據存儲中，這是解決大數據存儲的關鍵問題。同時在這種集群化的網絡存儲系統中采取創新性的數據存儲機制完成存儲操作和創新性的查詢機制完成查詢操作。由于采用集群聯網的方式將世界各地的商業化網絡存儲系統連接起來，就形成了多層次、多維度數據存儲體系，對大數據的存儲機制，很多文獻都給出了解決方案，如基于GHT的傳感器網絡數據中心存儲機制就是一種有成效的大數據存儲機制。各存儲系統如何協同工作、大數據存儲位置表示等諸多方面還需要繼續研究。

2.2.3 大數據挖掘技術

大數據里隱藏著無窮的價值，但從里面挖掘有用的信息，卻是不容易的。主要是因為數據太大，難以消化；信息種類繁多，難以識別；信息表示不統一，難以處理等。因此，人類擁有海量數據，但卻覺得知識缺乏。數據挖掘技術經歷了多個階段，也產生了很多數據挖掘算法。關聯規則挖掘已經成為數據挖掘領域里舉足輕重的研究，關聯規則挖掘算法可以從大數據存儲系統中挖掘出隱藏的關聯規則。遺傳算法（GA）是數據挖掘算法中最常用的算法，是通過模擬自然進化全局搜索大數據的算法。采用GA算法，對存儲體系中的大數據進行搜索，對隨機產生的規則進行進化處理，直到大數據存儲系統中的隱含規則被挖掘出來，從而發現隱含在數據中的規則。在主流數據挖掘技術的基礎上，基于遺傳算法的關聯規則自動挖掘算法也被設計出來，促進了數據挖掘技術的發展。

2.3 數據可視化

傳統的科學可視化技術已成功應用于各學科領域，但如果將其直接應用于大數據，將面臨實用性和有效性問題，這說明需要對科學可視化技術重新審視與深入研究。

2.3.1 分布式并行可視化算法

可擴展性是構造分布式并行算法的一項重要指標。傳統的科學可視化算法應用在小規模的計算機集群中，最多可以包括幾百個計算節點，而實際應用是要在數千甚至上萬個計算節點上運行。隨著數據規模的逐漸增大，算法的效率逐漸成為數據分析流程的瓶頸，設計新的分布并行可視化算法已經成為一個研究熱點。

2.3.2 信息可視化

信息可視化是跨學科領域的大規模非數值型信息資源的視覺展現，能夠幫助人們理解和分析數據。信息可視化中的交互方法能夠實現用戶與數據的快速交互，更好地驗證假設和發現內在聯系。信息可視化技術提供了理解高維度、多層次、時空、動態、關系等復雜數據的手段，與科學可視化相比，信息可視化更側重于抽象數據集，如對非結構化文本或者高維空間中不具有固有的二維或三維幾何結構的點的視覺展現。信息可視化適用于大規模非數字型信息資源的可視化表達。

2.3.3 可視化分析算法

大數據的可視化算法不僅要考慮數據規模，而且要考慮視覺感知的高效算法。需要引入創新的視覺表現方法和用戶交互手段。更重要的是用戶的偏好必須與自動學習算法有機結合起來，這樣可視化的輸出具有高度適應性。可視化算法應擁有巨大的控制參數搜索空間，減少數據分析與探索的成本及降低難度，可以組織數據并且減少搜索空間。

3 大數據處理方式

大數據科學中需要尋找特定數據處理方式對數據進行分析，進而提高處理效率、處理精度。其中常用的處理方式包括批量式處理、流式處理、交互式處理。

3.1 批量式處理方式

批量處理方式主要是針對體量巨大、精確度高且價值密度較低數據的處理方式。這種方式適用于先存儲后分析，對實時性要求不高，但數據需要很高準確性和全面性的場景。MapReduce是批處理方式中非常重要的模型之一。其核心思想為，首先將海量數據分為若干數據塊，然后將這些數據塊進行并行處理并以分布方式得到中間結果，最后將各中間結果合并得到最終結果。然而這種批處理方式往往比較耗時，且不提供用戶與系統的交互手段，所以這種處理方式無法與預期或與以往結果相吻合時，比較難以修正。因此，批處理方式多用于相對比較成熟的領域。

目前，批量處理方式主要應用于互聯網、公共服務等領域。在互聯網領域中，批處理方式的典型應用包括：（1）社交網絡：Facebook等社交軟件通過用戶瀏覽的文檔、圖片、視頻等信息，利用批處理方式分析后得到用戶間的隱含關系，并推薦朋友或相關主題，提升用戶體驗。（2）電子商務：電商平臺可以根據用戶購買商品的記錄，瀏覽商品頁面的次數及停留時間，利用批處理方式準確定位用戶所需產品，從而提高銷量。在公共服務領域中，批處理方式的典型應用包括：（1）醫療衛生：通過對患者既往病史及生活方式信息進行批量處理，對病人的病情進行分析，并提供相應的治療措施，節約了患者的就醫時間。（2）能源方面：通過對區域內用戶的地理位置、歷史信息，及個人的能源使用情況等信息進行批處理，優化電力、水利等部門的能源分配方案，既能提升服務質量，也能節約資源。隨著人們對數據中蘊含價值的提升，大數據批處理會有更多應用的領域。

一個GFS集群由一個主服務器和多個塊服務器構成，可以由多個客戶端訪問，如圖1所示，每一個塊服務器都是典型的Linux機器，運行用戶級服務器進程。

Map Reduce是一種采用全局最優化方法來解決大規模群組中的海量數據處理問題的分布式編程模型。該模型首先使用Bloom filter來減少返回null的查詢的數量；其次使用本地內存來緩存從存儲系統返回的記錄，使用的LRU（Least Recently Used）緩存方式能夠良好地近似出詞頻，從而增加緩存效率；繼Bigtable之后使用了開源系統建模的分布式存儲系統HBase，降低了通信成本。Map Reduce的三層結構如圖2所示。

3.2 流式處理方式

針對批處理性能的問題，科學家們又提出了實時數據處理，實時數據處理可以分為流式處理方式和交互式處理方式兩種。

流式數據是一個無窮的數據序列，每個數據沒有固定的格式，但往往包含有序的標簽（如時間）。流式數據一般情況下是被按序處理，然而數據的到達時間不可預知，這將會導致數據的邏輯順序與物理順序不一致，并且數據的流速會產生較大的波動，因此系統需要有很強的異構數據處理能力，并且還需要很好的可伸縮性，以應對復雜且不穩定的數據流。并且由于流式數據是活動的，這與批處理方式（先存儲后查詢）的方式不同，需要系統能保留數據的活動性。流式處理針對這種特性，需要提供相應的能實時返回當前結果的查詢接口。

目前，流式數據處理主要應用于數據采集和金融方面。在數據采集方面，通過主動的數據采集實時數據，即時進行分析，挖掘其中的價值。通過傳感器，采集日志中的海量信息，實時分析并提供動態顯示，可以用于環境監測、災害預警等場景中。在金融方面，對銀行日常運營中的短時效性的數據進行流式處理，發現其內在的特征與規律，可以幫助銀行更有效地進行實時決策。如股票期貨市場，批處理方式不能針對當前情況及時響應，就需要流式處理方式的幫助。總之，流式處理主要針對的是來源復雜、結構不固定、物理順序不一，且價值密度低的數據。而相應的處理工具則要求具有高性能、實時、可擴展等特性。

Storm高速事件處理系統由Twitter支持并開發，雅虎、Spotify還有The Weather Channel等也在使用該系統，其特點是允許增量計算（見圖3）。

Spark Streaming特點是能夠進行圖形操作、機器學習以及訪問SQL。同時Apache Spark的Stack可將library與數據流（Spark SQL，Mllib，GraphX等）相結合，并提供一體化編程模型（見圖4）。

Samza系統是將存儲與處理在同一機器上進行，能夠在不額外載入內存情況下保持高效處理，適于處理大量狀態的情況（見圖5）。

3.3 交互式處理方式

交互式處理是一種靈活、直觀、便于控制的大數據處理方式。對于操作人員的請求，數據以對話方式輸入，系統通過提供相應的數據或提示信息，引導操作人員進行下一步操作，直至得到最終結果。交互式數據處理方式的結果可以立刻被使用，同時系統中的數據文件也可以被及時修改，這些特性保證了輸入信息可以被及時處理。

交互式數據處理在許多領域已經有了廣泛的應用，其中最典型的兩個應用場景是信息處理領域和互聯網領域。在信息處理領域中，傳統的交互式處理主要以關系型數據管理系統為主，面向聯機事務管理和聯機分析處理。聯機事務處理多用于政府、醫療及對操作順序有嚴格要求的工業控制領域。聯機分析處理則廣泛應用于數據分析、商業智能等領域。目前，以Hive、Pig等為代表的分布式數據倉庫已經能支持上千臺服務器的規模。在互聯網領域中，隨著互聯網技術的發展，用戶與平臺和其他用戶之間的交互更加復雜且頻繁，而搜索引擎、微博及諸如百度知道的在線問答平臺等網絡平臺則利用復雜的交互式處理滿足了用戶的需求。目前，各大平臺主要使用NoSQL類型的數據庫來進行交互式數據處理。如HBase的多為有續表的列式存儲、MongoDB的JSON格式的數據嵌套存儲等。

4 大數據處理基本流程

4.1 數據采集

大數據指的是其規模、其涌現速度和其處理難點超出目前常規技術能管理、處理和分析的數據（見圖6）。

于是就有了如何認識數據的問題。倘若人類僅僅獲取數據，停留在這個層面，意義還是有限。只有對用戶有用的數據（稱為信息），用戶才會感興趣。但信息還是低級層面，用戶更感興趣的是知識。換句話說，我們要討論如何從數據到信息到知識再到智慧這四個層次的演變：即借助于傳感器或軟件采集和處理到信號，從而形成數據，經處理后變成信息，再通過挖掘形成知識，最終上升到智慧層次（見圖6）。對人類來說最關心的是金字塔頂上的東西，只有處理到最上層（智慧）才是大家最感興趣的東西。換言之，人們不只想知道感知到的是什么數據，還想知道這些數據代表什么，更想知道面對這些數據我們應該采取的應對策略是什么。要做到這一點，就需要很好的工具。這就涉及到大數據分析問題。

大數據分析學，籠統地講就是大數據分析技術。那么，大數據分析技術具體是指什么？迄今為止，還沒有權威人士給出明確的答案。但目前人們認識到有兩大問題是重點：一個就是文本的分析學，第二個就是機器學習。

4.2 數據分析與挖掘

就大數據的處理平臺來說，大數據系統需要非常大的數據處理、傳輸和存儲能力，目前云計算平臺是最符合要求的計算基礎設施。云平臺實現了計算資源和物理資源的虛擬化，通過資源池對處理能力進行快速動態分配和調用，具有一定的可伸縮性，能夠最大限度地利用已有計算能力，降低運行成本，節省用戶開支。數據分析方法通常如下所示。

（1）關聯分析與FP.growth算法關聯分析是挖掘數據庫中兩個或多個變量之間存在的關系，該問題由Agrawal等于1993年首先提出。經典的關聯算法為Apriori算法，該算法需要對頻繁項集進行迭代生成和掃描。針對Apriori算法的固有缺陷，有學者提出了不產生候選挖掘頻繁項集的方法：FP-growth算法。通過建立FP—tree，該算法解決了Apriori算法中的長頻繁項搜索子項數量巨大的問題。實驗表明，FP—growth對不同長度的規則都有很好的適應性，同時在效率上較之Apriori算法有巨大的提高。FP—growth的并行化，主要研究基于Map/Re—duce的FP—growth算法。理論上，通過對FP—Tree不斷的遞歸挖掘就可以得到所有的完備頻繁模式（Frequent Patterns）。但是在目前海量數據的現狀下。FP—Tree已經大到無法駐留在計算機的內存中，因此并行化是必然的選擇。

（2）分布式聚類算法為了發現設備故障和狀態異常，可以對狀態數據進行聚類，將正常狀態和故障狀態區分出來。通過聚類，可以將數據劃分為不同的簇，其簇問差異較大，而簇內差異較小。聚類以樣本間的相似度為基礎，可以通過不同的距離計算方式達到不同的分類效果，如曼哈頓距離、歐氏距離、漢明距離或夾角余弦等。在能源互聯網中數據采集量巨大，聚類需要分布式運行，整個聚類任務被當作一個Hadoop任務來并行運行，通過將分布式計算與迭代計算相結合，大大減少了計算時間。

5 大數據面臨的挑戰

麥肯錫全球研究所給出的定義是：一種規模大到在獲取、存儲、管理、分析方面大大超出了傳統數據庫軟件工具能力范圍的數據集合；具有海量的數據規模、快速的數據流轉、多樣的數據類型和價值密度低四大特征。例如，一個公民的心率和陣列望遠鏡一天將產生巨大的原始數據。海量的數據規模中很多數據是我們不感興趣的。在大數據處理中面臨的挑戰是如何不丟棄有用信息的情況下定義有效的濾波器。我們需要研究的是科學數據簡化，能夠智能地處理這些原始數據。當人類消費信息時，很容易受到許多異質性的影響。事實上，自然語言的細微差別和豐富性可以提供寶貴的深度。然而，機器分析算法期望均勻的數據，并且不能理解細微差別。因此，數據必須作為數據分析（或之前）的第一步仔細構建。

在大數據的應用中，數據的隱私是一個巨大的問題。管理隱私實際上既是技術性的又是社會學問題，必須從兩個角度共同解決，實現大數據的承諾。例如，考慮從基于位置的服務收集的數據，這些新架構需要用戶與服務提供商分享的位，導致明顯的隱私問題。隱藏用戶身份而不隱藏其的位置將無法正確解決這些隱私問題。攻擊者基于位置的服務器可以從其位置信息中查出查詢源的身份。在大數據時代，數據采集和訪問肯定會通過網絡進行，這可能更容易受到攻擊。我們可以通過當前相關的研究課題來想象可能的攻擊。

另一個非常重要的方面是重新考慮大數據用例中信息共享的安全性。今天許多在線服務要求我們分享私人信息。不僅在計算方面，而且在網絡的角度來看，隱私成為開發大數據的關鍵。數據社區在十多年前就實現了隱私保護數據發布（PPDP）的隱私問題，其次是隱私知識學習的新研究課題。此外，世界領先研究人員最近的調查報告指出，大數據的出現是機器學習技術發展的動力引擎，同時機器學習在大數據時代的隱私方面也構成了關鍵威脅。

參考文獻

[1] Alexandros Labrinidis，H.V.Jagadish.Challenges and opportunities with big data[J].Proceedings of the VLDB Endowment，2012，5（12）：2032-2033.

[2] Keim DA.Information Visualization and Visual Data Mining[J].IEEE Transactions on Visualization and Computer Graphics，2002，8（1）：1-8.

[3] PC Wang，HW shen，CR Johnson，et al.The top 10 challenges in extreme-scale visual analytics[J].IEEE Computer Graphics and Applications，2012，32（4）：63-67.

[4] Chaomei Chen.An Information-Theoretic View of Visual Analytics[J].Computer Graphics，2008，28（1）：18.

[5] Zhicheng Liu，Nancy Nersessian，John Stasko.Distributed Cognition as a Theoretical Framework for Information Visualization[J]. IEEE Transactions on Visualization and Computer Graphics，2008，14（6）：1173-1180.

[6] Cui Weiwei，Liu Shixia，Tan Li，et al.Textflow： Towards better understanding of evolving topics in text[J].IEEE Transactions on Visualization and Computer Graphics，2011，17（12）：2412-2421.

[7] Herman Ivan，Melancon Guy，Marshall M.Scott.Graph visualization and navigation in information visualization：asurvey[J].IEEE Transactions on Visualization and Computer Graphics，2002，6（1）：24-43.

[8] Gou Liang，Zhang Xiaolong，Lu ke.Treenetviz： Revealing patterns of networks over tree structures[J].IEEE Transactions on Visualization and Computer Graphics，2011，17（12）：2449-2458.

[9] Cui Weiwei，Zhou Hong，Qu Huamin，et al.Geometry-based edge clustering for graph visualization[J].IEEE Transactions on Visualization and Computer Graphics，2008，14（6）：1277.

[10]David Selassie，Brandon Heller，Jeffrey Heer.Divided Edge Bundling for Directional Network Data[J].IEEE Transactions on Visualization and Computer Graphics，2011，17（2）：2354-2363.

[11]Ozan Ersoy，Christophe Hurter，Fernando Paulovich，et al.Skeleton-Based Edge Bundling for Graph Visualization[J].IEEE Transactions on Visualization and Computer Graphics，2011，17（12）：2364-2373.

[12]王祖超，袁曉如.軌跡數據可視分析研究[J].計算機輔助設計與圖形學學報，2015（1）：9-25.

[13]陳誼，劉瑩，田帥，等.食品安全大數據可視分析方法研究[J].計算機輔助設計與圖形學學報，2017（1）：8-16.

[14]陳良臣.大數據可視分析的若干關鍵技術研究[J].數字技術與應用，2015（11）：98.

[15] 佚名.《空間可視分析方法和應用》出版[J].測繪通報，2008（2）：10.

[16]鄧超，宋金偉，孫瑞志，等.基于熱力圖的卷煙市場數據可視分析系統[J].煙草科技，2016（12）：91-97.

[17]姜曉睿，田亞，蔣莉，等.城市道路交通數據可視分析綜述[J].中國圖象圖形學報，2015（4）：454-467.

[18]沈漢威，張小龍，陳為，等.可視化及可視分析專題前言[J].軟件學報，2016（5）：1059-1060.

[19]聶俊嵐，陳歡歡，郭棟梁，等.多維數字戰場態勢可視分析研究[J].小型微型計算機系統，2014（3）：626-629.

[20]梁榮華.“大數據可視分析”專欄序[J].中國圖象圖形學報，2015（4）：453.

[21]杜一，任磊.DaisyVA：支持信息多面體可視分析的智能交互式可視化平臺[J].計算機輔助設計與圖形學學報， 2013（8）：1177-1182.

[22]戴國忠，陳為，洪文學，等.信息可視化和可視分析：挑戰與機遇——北戴河信息可視化戰略研討會總結報告[J].中國科學：信息科學，2013（1）：178-184.

[23]Paek T，Dumais S，Logan R.WaveLens：A new view onto internet search results[A].Proc.of the CHI[C].2004：727-734.