大數據關鍵技術初探

鐘君 張梅燕

摘 要：本文采用文獻研究法，通過對大數據相關文獻的閱讀與整理，對大數據的關鍵技術進行了深入的探究，從智慧之道、高效之道、實時之道以及投向更廣闊的技術領域四個方面對相關技術進行詳細介紹。

關鍵詞：大數據；數據挖掘；計算；關鍵技術

隨著不斷涌現的各種社交網、微博這類新型的信息發布方式及物聯網、云計算等技術的興起，數據正在以空前的速度增長，大這意味著大數據時代的到來。2012年1月在瑞士舉行的達沃斯世界經濟論壇上，一份名為《大數據，大影響》（Big Data，Big Impact）的報告引起熱議。這份報告認為，大數據就像貨幣和黃金一樣，是一種新型的經濟資產。多家投資機構甚至據此判斷，“大數據”將會成為一條全新的投資主線。

筆者通過對大數據相關文獻的閱讀與整理，對其關鍵技術進行深入的探究，從智慧之道、高效之道、實時之道以及投向更廣闊的技術領域四個方面對相關技術進行詳細介紹。

1 智慧之道——數據挖掘

一般來說，數據挖掘的方法可分為統計型和人工智能中的機器學習型兩大類，在其應用中，將有價值的信息進行發掘都是其最終目標。由于各種方法都有自身的功能特點以及應用領域（如表1），數據挖掘通常是將多種技術結合使用，形成優勢互補。[ 1 ]

2 高效之道——分布式計算

典型的分布式計算技術如下：1）中間件技術：分布式應用軟件若需要在的技術之間共享資源則需要借助于此。[ 2 ]2）移動Agent技術：一般認為此技術是一類自治程序，為分布式應用提供高效方便的執行框架，并能在自治之下實現不同計算機之間的移動。3）網絡技術：此技術實現在動態變化的多個虛擬機構間共享資源和協同解決問題。[ 3 ]4）P2P技術：能夠充分利用分布在終端電腦上的邊緣性網絡資源降低對中央服務器資源的消耗需求。[ 4 ]5）Web Service技術：即Web服務， 是在Internet上進行分布式計算的基本構造塊。 [ 5 ]

3 實時之道——內存計算

“內存計算”的出現，是為了應對實時分析計算的要求，加快處理速度，讓數據分析的時效性和靈活性同時提升；“內存計算”的出現與計算機處理能力的提升、成本的下降直接相關，由于是“內存計算”數據庫，同磁盤讀取相比運行速度顯著提升。

4 投向更廣闊的技術領域——云計算、物聯網、移動計算

4.1 云計算

典型的云計算技術如下：1）虛擬化技術：該技術打開了云計算的大門。2）海量分布式存儲技術：云計算為了彌補了硬件的不可靠而以分布式存儲方式進行數據的存儲，海量分布式存儲和計算系統由此發揮作用。3）并行編程模式：云計算自動將任務分成多個子任務，采用MapReduced編程模式，將通過Reduce和Map兩個步驟進行。4）數據管理技術：云計算的數據有著非確定性、異構、海量的特點，故需有效的數據管理技術來進行處理分析，從而構建出擴展性強、高度可用的分布式數據存儲系統。[ 6 ]5）分布式資源管理技術：是保證系統狀態正確性的關鍵技術。6）云計算平臺管理技術：能協同大量的服務器，是云計算的“神經網絡”。

4.2 物聯網

物聯網的概念最初來源于美國麻省理工學院（MIT）在1999年建立的自動識別中心 （Auto- IDLabs）提出的網絡無線射頻識別（RFID）系統——把所有物品通過射頻識別等信息傳感設備與互聯網連接起來，實現智能化識別和管理。[ 7 ]其關鍵技術如下：

1）RFID：又稱電子標簽，其系統包含兩部分：一是讀寫器，二是電子標簽。2）近場通信技術：又稱近距離無線通信，一種短距離的高頻無線通信技術。[ 8 ] 3）傳感器網絡技術：主要解決物聯網中的信息感知問題，是其技術核心。4）無線通信技術：此技術將使物聯網的構想變為現實。[ 9 ]

4.3 移動計算

主要的移動計算關鍵技術如下：

1）移動計算通信協議：具有特殊運行環境的移動計算需要有異于傳統計算模式的通信協議來支持。2）情景感知：主要解決移動計算如何為移動的用戶提供基于其所處情景的服務。3）移動計算環境：其搭建是移動計算為用戶提供服務的基礎。4）無縫遷移技術：要求用戶任務在移動過程中，與該任務各種相關信息也隨之移動。

5 總結

目前，有些大數據的研究，是以商業利益為驅動，一些大的依靠數據牟利的大公司也許在今后會是大數據應用的主體，然而不管怎樣，大數據一定會成為各界的重點研究領域。總的來說，目前對于大數據的研究仍處于一個初期的階段，還有很多問題需要解決，希望本文的介紹能夠給大數據關鍵技術研究提供一定的參考。

參考文獻：

[1] 黃解軍，潘和平，萬幼川.數據挖掘技術的應用研究[J].計算機工程與應用，2003（2）：45-47.

[2] 周園春，李淼，張建等.中間件技術綜述[J].計算機工程與應用，2002（15）：80-82.

[3] 周曉峰，王志堅.分布式計算技術綜述[J].計算機時代，2004（12）：3-5.

[4] 周文莉，吳曉非.P2P技術綜述[J].計算機工程與設計， 2006 （1）：76-79.

[5] 王楠，劉心雄，陳和平.Web Service技術研究[J].計算機與數字工程，2006（7）：88-90.

[6] 劉正偉，文中領，張海濤.云計算和云數據管理技術[J].計算機研究與發展，2012（S1）：26-31.

[7] 孫其博，劉杰，黎羴等.物聯網：概念，架構與關鍵技術研究綜述[J].北京郵電大學學報，2010（3）：1-9.

[8] 李建功，王健全，王晶等.物聯網關鍵技術與應用[M].機械工程出版社，2013：62.

[9] 胡向東.物聯網研究與發展綜述[J].數字通信，2010（4）：17-21.