大數(shù)據(jù)時代：挑戰(zhàn)、現(xiàn)狀與展望

趙文林

（中國人民銀行蘭州中心支行，甘肅 蘭州 730000）

一、引言

隨著世界不斷發(fā)展，我們已經(jīng)進(jìn)入了云計算大數(shù)據(jù)時代，大數(shù)據(jù)對我們生活產(chǎn)生了越來越重要的影響，給我們生活帶來翻天覆地變化。當(dāng)前，我們金融、醫(yī)療等等行業(yè)都會產(chǎn)生大量數(shù)據(jù)，淘寶購物、qq聊天、微信也會產(chǎn)生大量的數(shù)據(jù)，這些數(shù)據(jù)無時無刻不在影響著我們的正常生活。數(shù)據(jù)資源已經(jīng)成為了與智能資源、人力資源相同的戰(zhàn)略資源，我們的社會已經(jīng)全面進(jìn)入了大數(shù)據(jù)時代。

二、大數(shù)據(jù)的概述

（一）大數(shù)據(jù)的概念

對于大數(shù)據(jù)概念，不同專家學(xué)者和機構(gòu)都做出了不同解釋，麥肯錫認(rèn)為大數(shù)據(jù)主要是指在一段時間內(nèi)通過傳統(tǒng)數(shù)據(jù)庫無法進(jìn)行采集、采樣、管理和分析的數(shù)據(jù)，必須通過當(dāng)代先進(jìn)技術(shù)才能夠進(jìn)行有效運用。維基百科認(rèn)為，大數(shù)據(jù)主要是指數(shù)據(jù)量非常龐大，在合理的時間內(nèi)可以對這些數(shù)據(jù)進(jìn)行有效管理，并且整理出有助于企業(yè)經(jīng)營決策的數(shù)據(jù)內(nèi)容。

（二）大數(shù)據(jù)特征

第一，速度非常快。一般而言，速度快一般是指數(shù)據(jù)在獲取儲存以及信息挖掘方面速度非常快。但是隨著我們數(shù)據(jù)量不斷增加，我們已經(jīng)進(jìn)入了PB級數(shù)據(jù)時代，考慮到超大規(guī)模數(shù)據(jù)出現(xiàn)，在進(jìn)行數(shù)據(jù)采集時也強調(diào)快速動態(tài)變化，數(shù)據(jù)的快速流動難以通過以往傳統(tǒng)系統(tǒng)進(jìn)行有效處理。

第二，價值密度非常低。雖然數(shù)據(jù)量呈現(xiàn)海量式增加，但是真正具有價值的信息并沒有呈現(xiàn)出爆炸式增長，反而使得我們獲取有價值信息的難度進(jìn)一步加大。

第三，數(shù)據(jù)體量非常大。一般而言，大數(shù)據(jù)通常都是指10tb以上數(shù)據(jù)。之所以會出現(xiàn)如此龐大數(shù)據(jù)，一方面是各種儀器使用使我們可以獲得更多數(shù)據(jù)資源，另一方面主要是通過通訊工具使用可以使人們?nèi)珪r段進(jìn)行聯(lián)系，這就使得數(shù)據(jù)出現(xiàn)幾何倍數(shù)增長。

第四，數(shù)據(jù)種類變得非常復(fù)雜，隨著智能設(shè)備不斷發(fā)展，數(shù)據(jù)種類變得越來越復(fù)雜，這些數(shù)據(jù)不僅包含有傳統(tǒng)數(shù)據(jù)，也包含有許多新鮮未加工數(shù)據(jù)，甚至很多數(shù)據(jù)都是以半結(jié)構(gòu)化的形式出現(xiàn)。

三、“大數(shù)據(jù)時代”處理數(shù)據(jù)理念上的三大轉(zhuǎn)變

首先，數(shù)據(jù)處理并不是隨機抽樣，而是對所有數(shù)據(jù)都進(jìn)行處理。隨機抽樣方式是在小數(shù)據(jù)時代最常見使用方式。但是在大數(shù)據(jù)時代，我們使用的是所有數(shù)據(jù)而不是依靠小部分?jǐn)?shù)據(jù)進(jìn)行篩選。我們以喬布斯為例，喬布斯在與癌癥抗衡期間采用了完全不同治療方法，他的主治醫(yī)師將她的DNA和腫瘤DNA進(jìn)行了全面對比。一是可以根據(jù)喬布斯DNA配置特定藥物，如果發(fā)現(xiàn)藥物不會起到任何效果可以及時更換，這樣可以保證喬布斯獲得有效治療。雖然喬布斯最終沒有治愈，但是通過這種方法延續(xù)了喬布斯生命，這也體現(xiàn)了大數(shù)據(jù)優(yōu)勢。

其次，大數(shù)據(jù)并不是精確性，而是混雜性。在大數(shù)據(jù)時代，各種結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)都匯聚在一起，這樣難免會使得數(shù)據(jù)的結(jié)果出現(xiàn)不精確狀況。大數(shù)據(jù)通常是用概率說話，并不是通過確鑿無疑數(shù)據(jù)進(jìn)行解釋，當(dāng)我們試圖擴大大數(shù)據(jù)規(guī)模之時常常也會出現(xiàn)數(shù)據(jù)混亂現(xiàn)象。

最后，大數(shù)據(jù)不是因果關(guān)系，而是相關(guān)關(guān)系。在以前，由于數(shù)據(jù)相對較少，相關(guān)關(guān)系非常有用，但是在大數(shù)據(jù)背景之下，相關(guān)關(guān)系常常可以大放異彩。將大數(shù)據(jù)與相關(guān)關(guān)系進(jìn)行結(jié)合，我們常常可以更好對事物進(jìn)行分析，這樣可以幫助我們透過現(xiàn)象看本質(zhì)，預(yù)測未來發(fā)展結(jié)果。例如，每當(dāng)颶風(fēng)來臨之時，美國民眾不僅會購買手電筒，同時還會購買一些含糖類早餐零食。在這樣數(shù)據(jù)推算之下，許多零售巨頭都將手電筒和美式含糖類早餐放在一起，方便客戶進(jìn)行購買，同時也增加自身銷售收入。

四、大數(shù)據(jù)在各行各業(yè)應(yīng)用的典型案例分享

第一，運營商通過大數(shù)據(jù)淘金。在移動互聯(lián)網(wǎng)時代，運營商常常具有多經(jīng)驗，很多運營商包含有語音、固定電話等等業(yè)務(wù)，同時也包含有公眾客戶、家庭客戶等不同客戶群體，他們可以通過實體渠道、直銷渠道等不同渠道接觸到信息。隨著語音業(yè)務(wù)不斷發(fā)展，數(shù)據(jù)流量已經(jīng)成為了很多運營商的主要業(yè)務(wù)，運營商擁有任何移動互聯(lián)網(wǎng)都無法比擬的數(shù)據(jù)優(yōu)勢，這就使得運營商可以通過大數(shù)據(jù)淘金，由流量經(jīng)營進(jìn)入大數(shù)據(jù)經(jīng)營已成為很多運營商的發(fā)展趨勢。當(dāng)前，各大通訊商都已經(jīng)開始挖掘大數(shù)據(jù)的價值。據(jù)統(tǒng)計，有超過50%運營商已經(jīng)著手實施大數(shù)據(jù)業(yè)務(wù)。大數(shù)據(jù)業(yè)務(wù)的平均成本是運營商總預(yù)算的10%左右，而且在未來五年中會不斷攀升，成為運營商的戰(zhàn)略優(yōu)勢。

第二，大數(shù)據(jù)對電力企業(yè)產(chǎn)生影響。在大數(shù)據(jù)時代，智能電網(wǎng)是電力企業(yè)發(fā)展的趨勢。隨著電力工業(yè)與信息化的結(jié)合程度越來越深，智能電網(wǎng)在電力流、信息流等方面都發(fā)揮著巨大優(yōu)勢，會使電網(wǎng)的整體價值出現(xiàn)飛躍式成長，這種飛躍式成長會使電力企業(yè)進(jìn)入大數(shù)據(jù)時代。

第三，大數(shù)據(jù)時代對傳媒產(chǎn)業(yè)的影響。隨著智能手機不斷普及，每個人都可以發(fā)布信息，每個人都可以編輯信息，手機就是人們手中的媒體。在這樣背景之下，信息發(fā)布已經(jīng)不再是媒體能自由權(quán)力，我在現(xiàn)場常常是傳媒人倍感驕傲的事情。在大數(shù)據(jù)時代，聯(lián)網(wǎng)網(wǎng)民和各種電子記錄儀已經(jīng)在社會各個角落散布，可以將信息實時上傳，在經(jīng)過網(wǎng)民分布式集中選擇之后形成了熱點信息。在這樣的背景之下，最有效的新聞常常是在現(xiàn)場的人，而不是到現(xiàn)場的人，這就使得傳媒業(yè)產(chǎn)生了顛覆式的發(fā)展。

五、大數(shù)據(jù)時代的思考啟示

大數(shù)據(jù)是一種快速崛起的網(wǎng)絡(luò)數(shù)據(jù)，大數(shù)據(jù)可以讓商業(yè)機構(gòu)和公共管理部門獲得極好調(diào)查研究能力，可以大大優(yōu)化他們的決策。但是大數(shù)據(jù)還存在一些不穩(wěn)定性，需要我們繼續(xù)進(jìn)行反思。

第一，數(shù)據(jù)的真實性有待進(jìn)一步檢驗。由于大數(shù)據(jù)所產(chǎn)生的數(shù)據(jù)都是隨機動態(tài)而且具有多元性，交互性等特點，非結(jié)構(gòu)化數(shù)據(jù)具有臨時性。在網(wǎng)絡(luò)社會中，大量假信息充斥著網(wǎng)絡(luò)世界。例如社交網(wǎng)站很難對所有的注冊會員進(jìn)行信息真實性審核，電子商務(wù)網(wǎng)站也無法對每一個交易賬號進(jìn)行實時鑒別等等。

第二，數(shù)據(jù)合法性尚不明確，在數(shù)據(jù)采集和被采集過程中，一些數(shù)據(jù)資源會涉及到個人隱私甚至是國家安全，因此大數(shù)據(jù)合法性始終是一個不確定的因素。

第三，數(shù)據(jù)侵權(quán)風(fēng)險日益增加。當(dāng)前，越來越多的企業(yè)都看到了大數(shù)據(jù)優(yōu)勢，都致力于本行業(yè)數(shù)據(jù)挖掘，搭建為公司商業(yè)決策提供依據(jù)的數(shù)據(jù)庫。這是在這種空前挖掘背景之下，相關(guān)數(shù)據(jù)以及數(shù)據(jù)搭建起來的數(shù)據(jù)庫都面臨著被侵權(quán)的風(fēng)險，網(wǎng)絡(luò)環(huán)境下的侵權(quán)方式更加多元化，不利于保護(hù)正當(dāng)權(quán)益。

六、結(jié)束語

綜上所述，我們已經(jīng)進(jìn)入大數(shù)據(jù)時代，我們需要大數(shù)據(jù)給我們生活帶來的便利，但是我們也需要正視大數(shù)據(jù)給我們生活帶來的弊端，需要充分挖掘大數(shù)據(jù)的優(yōu)勢，減少大數(shù)據(jù)給我們帶來的弊端，這樣才能揚長避短，讓大數(shù)據(jù)更好的為人類社會服務(wù)。