淺析大數據技術的發展

黃楚鵬

摘要：在互聯網技術高速發展的今天，生產生活以及科學研究都會產生大量的數據，在這樣一個“大數據”時代，通過整合、分析、挖掘數據，將數據的內在聯系和關鍵部位進行提取，展現數據體現的現象，為管理者的決策提供依據是一個重要的趨勢。本文將對大數據時代的背景、技術，以及面對的機遇和挑戰進行了闡述。

關鍵詞：大數據；技術；機遇與挑戰

中圖分類號：TP311.13 文獻識別碼：A 文章編號：1001-828X（2017）001-000-01

一、背景

隨著信息科學和網絡技術的發展，現代生活中出現了“數據化”的思維，數據的產生方式由原來的“人機”、“機物”的二元世界向融合了社會資源、信息系統和物理資源的三元世界轉變[1]。數據的規模也呈爆炸式的發展。大數據的挖掘和應用可創造出超萬億美元的價值，將會是未來IT領域最大的市場機遇之一，但由于其數據的爆炸式增長，也給前沿科學項目帶來了巨大的挑戰。

二、大數據的內涵和關鍵技術

大數據提出至今受到廣泛的關注，但其并沒有一個統一的概念，對其定義大都是對大數據的定性描述，并未給出定量的指標。我們姑且引用麥肯錫對大數據的定義，以方便討論和研究。麥肯錫定義大數據為：在一定的時間范圍內，無法用傳統的數據庫軟件或工具對其進行抓取、管理和處理的數據集合[2]。

大數據不是一個新概念或新技術，早在2000年Diebold撰寫的論文第一次使大數據出現在學術期刊。大數據作為近年來的一個研究的熱點，具有4V[3]特性：（1）Volumes（數據量大），數據量達到PB級別；（2）Variety（數據類別繁多），包括半結構化和非結構化數據；（3）Value（價值密度低），大量的數據只有一小部分有效；（4）Velocity（處理速度快），包含大量在線和實時處理。

隨著互聯網、云計算等技術的快速發展，大量的移動設備、無線傳感器每分每秒都在產生新的數據，數以億計的互聯網用戶產生巨大量的數據交互。面對如此量級的數據，傳統的數據處理技術已經無法應對，為了解決這些難題，需要突破傳統技術，進行新技術的變革。大數據技術是一系列的收集、存儲、管理、分析的技術集合，目前適用于大數據的關鍵技術有：遺傳算法，模擬生物進化的規律的一種隨機化搜索方法，已被廣泛應用在信號處理、自適應控制、機器學習和人工生命等領域；神經網絡，根據動物的中樞神經系統的結構和運作模式，對數據進行分布式并行信息處理的算法；數據挖掘，使用數據庫技術從大量的數據中提取關鍵信息的技術，并根據關鍵信息預測目標的值；此外，還有網絡分析、空間分析、時間序列分析、分布式數據庫、非關系型數據庫、可視化技術等多項相關技術。

三、大數據的機遇和挑戰

1.大數據面臨的機遇

大數據在數據挖掘和應用方面成為核心，從多個方面創造價值。根據麥肯錫的測算，大數據的應用每年可潛在為美國醫療健康行業和歐洲政府分別節省3000億美元和1000億歐元，利用個人位置信息潛在可創造6000億美元的市場價值，因此大數據具有超萬億的大市場。

大數據安全問題日益重要，為信息安全領域帶來發展契機。伴隨移動互聯網的興起，大數據使數據價值極大的提高，大量的數據也對信息安全提出了更高的要求。信息安全和云計算貫穿于大數據的各個環節，云安全等關鍵技術將為大數據提供更好的保護作用。大數據對信息安全的要求也將更好的促進和推動信息安全技術的發展。

大數據將全面推動商業智能的發展。商業智能概念在1996年由加特納集團提出，描述了通過應用基于事實的支持系統來輔助商業決策的制定。商業智能技術包括收集、管理和分析數據，將數據轉化為有用信息，提供了使企業迅速分析數據的技術和方法。我國的商業智能市場目前已進入成長期，預計未來3年的復合增長率高達35%，潛在的產值超過300億元。

2.大數據面臨的挑戰

數據來源錯綜復雜。豐富的數據源是大數據產業發展的前提，而我國數據資源總量遠遠低于歐美，特別是政府和制造業的數據資源的積累大幅落后于發達國家。我們的數據資源還存在標準化、準確性、利用價值不高等特點，大大降低了數據的價值。大數據有著不可估量的商業價值，但隨著信息采集手段越來越高超，對公眾個人信息的保護也是一個需要解決的問題。

數據挖掘分析模型的建立。在人人都討論大數據的時代，大數據似乎已成為時代的潮流，數據比以往任何時候都更深入我們生活的每個角落。然而關于大數據的分析，目前還較少實際運用中有效的模型和方法。主要是由于對大數據價值邏輯缺乏有效的歸納，以及大數據分析中的關鍵部分和技術還未成熟，這也是當前大數據時代面臨的挑戰之一。

大數據的管理與決策。大數據帶來的決策挑戰非常艱巨，其中一個重要的方面就是為管理者提供決策依據。與以前的決策是靠個人經驗或者直覺的時代相比，依靠大數據的分析結果做出決策是非常有價值的，其可以消除由于個人的情感或知識結構差異帶來的決策失誤，但如何根據大量數據抓取到關鍵的決策信息是一個重大的挑戰。

大數據人才缺口。大數據的采集分析、設計和實施都需要專業化的工具和技術。大數據時代企業需要大量既能精通業務又能懂得大數據技術的人才，我國目前IT技術人員配備不足的現狀與大數據IT人才不斷增加的矛盾日益突出，大數據對我國人才培養模式以及現有的人才儲備提出了嚴峻的挑戰。

四、結語

大數據作為當下熱門且重要的資源，已經出現在很多領域，并將成為未來市場競爭以及科技創新爭奪的資源。大數據時代下，各國在這一領域將展開新一輪的競爭，我們應當與時俱進，克服困難與挑戰，抓住大數據時代發展的機遇，創造出巨大價值。

參考文獻：

[1]李國杰，程學旗.大數據研究：未來科技及經濟社會發展的重大戰略領域[J].中國科學院院刊，2012，27（6）：647-657.

[2]計算機行業-大數據（BigData）專題報告[R].上海：光大證券股份有限公司研究所，2011.

[3]大數據分析技術的發展[EB/OL].2012-05-16.http：//tech.ccident.com/art/32963/20120516/3859799_1.html.