淺析大數(shù)據(jù)技術(shù)的發(fā)展

黃楚鵬

摘要：在互聯(lián)網(wǎng)技術(shù)高速發(fā)展的今天，生產(chǎn)生活以及科學(xué)研究都會產(chǎn)生大量的數(shù)據(jù)，在這樣一個“大數(shù)據(jù)”時代，通過整合、分析、挖掘數(shù)據(jù)，將數(shù)據(jù)的內(nèi)在聯(lián)系和關(guān)鍵部位進行提取，展現(xiàn)數(shù)據(jù)體現(xiàn)的現(xiàn)象，為管理者的決策提供依據(jù)是一個重要的趨勢。本文將對大數(shù)據(jù)時代的背景、技術(shù)，以及面對的機遇和挑戰(zhàn)進行了闡述。

關(guān)鍵詞：大數(shù)據(jù)；技術(shù)；機遇與挑戰(zhàn)

中圖分類號：TP311.13 文獻識別碼：A 文章編號：1001-828X（2017）001-000-01

一、背景

隨著信息科學(xué)和網(wǎng)絡(luò)技術(shù)的發(fā)展，現(xiàn)代生活中出現(xiàn)了“數(shù)據(jù)化”的思維，數(shù)據(jù)的產(chǎn)生方式由原來的“人機”、“機物”的二元世界向融合了社會資源、信息系統(tǒng)和物理資源的三元世界轉(zhuǎn)變[1]。數(shù)據(jù)的規(guī)模也呈爆炸式的發(fā)展。大數(shù)據(jù)的挖掘和應(yīng)用可創(chuàng)造出超萬億美元的價值，將會是未來IT領(lǐng)域最大的市場機遇之一，但由于其數(shù)據(jù)的爆炸式增長，也給前沿科學(xué)項目帶來了巨大的挑戰(zhàn)。

二、大數(shù)據(jù)的內(nèi)涵和關(guān)鍵技術(shù)

大數(shù)據(jù)提出至今受到廣泛的關(guān)注，但其并沒有一個統(tǒng)一的概念，對其定義大都是對大數(shù)據(jù)的定性描述，并未給出定量的指標。我們姑且引用麥肯錫對大數(shù)據(jù)的定義，以方便討論和研究。麥肯錫定義大數(shù)據(jù)為：在一定的時間范圍內(nèi)，無法用傳統(tǒng)的數(shù)據(jù)庫軟件或工具對其進行抓取、管理和處理的數(shù)據(jù)集合[2]。

大數(shù)據(jù)不是一個新概念或新技術(shù)，早在2000年Diebold撰寫的論文第一次使大數(shù)據(jù)出現(xiàn)在學(xué)術(shù)期刊。大數(shù)據(jù)作為近年來的一個研究的熱點，具有4V[3]特性：（1）Volumes（數(shù)據(jù)量大），數(shù)據(jù)量達到PB級別；（2）Variety（數(shù)據(jù)類別繁多），包括半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)；（3）Value（價值密度低），大量的數(shù)據(jù)只有一小部分有效；（4）Velocity（處理速度快），包含大量在線和實時處理。

隨著互聯(lián)網(wǎng)、云計算等技術(shù)的快速發(fā)展，大量的移動設(shè)備、無線傳感器每分每秒都在產(chǎn)生新的數(shù)據(jù)，數(shù)以億計的互聯(lián)網(wǎng)用戶產(chǎn)生巨大量的數(shù)據(jù)交互。面對如此量級的數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)處理技術(shù)已經(jīng)無法應(yīng)對，為了解決這些難題，需要突破傳統(tǒng)技術(shù)，進行新技術(shù)的變革。大數(shù)據(jù)技術(shù)是一系列的收集、存儲、管理、分析的技術(shù)集合，目前適用于大數(shù)據(jù)的關(guān)鍵技術(shù)有：遺傳算法，模擬生物進化的規(guī)律的一種隨機化搜索方法，已被廣泛應(yīng)用在信號處理、自適應(yīng)控制、機器學(xué)習(xí)和人工生命等領(lǐng)域；神經(jīng)網(wǎng)絡(luò)，根據(jù)動物的中樞神經(jīng)系統(tǒng)的結(jié)構(gòu)和運作模式，對數(shù)據(jù)進行分布式并行信息處理的算法；數(shù)據(jù)挖掘，使用數(shù)據(jù)庫技術(shù)從大量的數(shù)據(jù)中提取關(guān)鍵信息的技術(shù)，并根據(jù)關(guān)鍵信息預(yù)測目標的值；此外，還有網(wǎng)絡(luò)分析、空間分析、時間序列分析、分布式數(shù)據(jù)庫、非關(guān)系型數(shù)據(jù)庫、可視化技術(shù)等多項相關(guān)技術(shù)。

三、大數(shù)據(jù)的機遇和挑戰(zhàn)

1.大數(shù)據(jù)面臨的機遇

大數(shù)據(jù)在數(shù)據(jù)挖掘和應(yīng)用方面成為核心，從多個方面創(chuàng)造價值。根據(jù)麥肯錫的測算，大數(shù)據(jù)的應(yīng)用每年可潛在為美國醫(yī)療健康行業(yè)和歐洲政府分別節(jié)省3000億美元和1000億歐元，利用個人位置信息潛在可創(chuàng)造6000億美元的市場價值，因此大數(shù)據(jù)具有超萬億的大市場。

大數(shù)據(jù)安全問題日益重要，為信息安全領(lǐng)域帶來發(fā)展契機。伴隨移動互聯(lián)網(wǎng)的興起，大數(shù)據(jù)使數(shù)據(jù)價值極大的提高，大量的數(shù)據(jù)也對信息安全提出了更高的要求。信息安全和云計算貫穿于大數(shù)據(jù)的各個環(huán)節(jié)，云安全等關(guān)鍵技術(shù)將為大數(shù)據(jù)提供更好的保護作用。大數(shù)據(jù)對信息安全的要求也將更好的促進和推動信息安全技術(shù)的發(fā)展。

大數(shù)據(jù)將全面推動商業(yè)智能的發(fā)展。商業(yè)智能概念在1996年由加特納集團提出，描述了通過應(yīng)用基于事實的支持系統(tǒng)來輔助商業(yè)決策的制定。商業(yè)智能技術(shù)包括收集、管理和分析數(shù)據(jù)，將數(shù)據(jù)轉(zhuǎn)化為有用信息，提供了使企業(yè)迅速分析數(shù)據(jù)的技術(shù)和方法。我國的商業(yè)智能市場目前已進入成長期，預(yù)計未來3年的復(fù)合增長率高達35%，潛在的產(chǎn)值超過300億元。

2.大數(shù)據(jù)面臨的挑戰(zhàn)

數(shù)據(jù)來源錯綜復(fù)雜。豐富的數(shù)據(jù)源是大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的前提，而我國數(shù)據(jù)資源總量遠遠低于歐美，特別是政府和制造業(yè)的數(shù)據(jù)資源的積累大幅落后于發(fā)達國家。我們的數(shù)據(jù)資源還存在標準化、準確性、利用價值不高等特點，大大降低了數(shù)據(jù)的價值。大數(shù)據(jù)有著不可估量的商業(yè)價值，但隨著信息采集手段越來越高超，對公眾個人信息的保護也是一個需要解決的問題。

數(shù)據(jù)挖掘分析模型的建立。在人人都討論大數(shù)據(jù)的時代，大數(shù)據(jù)似乎已成為時代的潮流，數(shù)據(jù)比以往任何時候都更深入我們生活的每個角落。然而關(guān)于大數(shù)據(jù)的分析，目前還較少實際運用中有效的模型和方法。主要是由于對大數(shù)據(jù)價值邏輯缺乏有效的歸納，以及大數(shù)據(jù)分析中的關(guān)鍵部分和技術(shù)還未成熟，這也是當前大數(shù)據(jù)時代面臨的挑戰(zhàn)之一。

大數(shù)據(jù)的管理與決策。大數(shù)據(jù)帶來的決策挑戰(zhàn)非常艱巨，其中一個重要的方面就是為管理者提供決策依據(jù)。與以前的決策是靠個人經(jīng)驗或者直覺的時代相比，依靠大數(shù)據(jù)的分析結(jié)果做出決策是非常有價值的，其可以消除由于個人的情感或知識結(jié)構(gòu)差異帶來的決策失誤，但如何根據(jù)大量數(shù)據(jù)抓取到關(guān)鍵的決策信息是一個重大的挑戰(zhàn)。

大數(shù)據(jù)人才缺口。大數(shù)據(jù)的采集分析、設(shè)計和實施都需要專業(yè)化的工具和技術(shù)。大數(shù)據(jù)時代企業(yè)需要大量既能精通業(yè)務(wù)又能懂得大數(shù)據(jù)技術(shù)的人才，我國目前IT技術(shù)人員配備不足的現(xiàn)狀與大數(shù)據(jù)IT人才不斷增加的矛盾日益突出，大數(shù)據(jù)對我國人才培養(yǎng)模式以及現(xiàn)有的人才儲備提出了嚴峻的挑戰(zhàn)。

四、結(jié)語

大數(shù)據(jù)作為當下熱門且重要的資源，已經(jīng)出現(xiàn)在很多領(lǐng)域，并將成為未來市場競爭以及科技創(chuàng)新爭奪的資源。大數(shù)據(jù)時代下，各國在這一領(lǐng)域?qū)⒄归_新一輪的競爭，我們應(yīng)當與時俱進，克服困難與挑戰(zhàn)，抓住大數(shù)據(jù)時代發(fā)展的機遇，創(chuàng)造出巨大價值。

參考文獻：

[1]李國杰，程學(xué)旗.大數(shù)據(jù)研究：未來科技及經(jīng)濟社會發(fā)展的重大戰(zhàn)略領(lǐng)域[J].中國科學(xué)院院刊，2012，27（6）：647-657.

[2]計算機行業(yè)-大數(shù)據(jù)（BigData）專題報告[R].上海：光大證券股份有限公司研究所，2011.

[3]大數(shù)據(jù)分析技術(shù)的發(fā)展[EB/OL].2012-05-16.http：//tech.ccident.com/art/32963/20120516/3859799_1.html.