正確認(rèn)識(shí)大數(shù)據(jù)與數(shù)據(jù)處理

◎宋余慶

伴隨著信息技術(shù)的革命，人類進(jìn)入信息化社會(huì)、大數(shù)據(jù)時(shí)代。面對(duì)新時(shí)代大數(shù)據(jù)問題，我們需要全面理解大數(shù)據(jù)及其時(shí)代特征、大數(shù)據(jù)使用誤區(qū)、大數(shù)據(jù)有益的價(jià)值啟示等相關(guān)問題，進(jìn)而正確理解依靠大數(shù)據(jù)提升決策思維能力的有效途徑。

信息化社會(huì)、大數(shù)據(jù)時(shí)代的到來，對(duì)社會(huì)的各個(gè)領(lǐng)域產(chǎn)生深刻影響，給學(xué)界帶來新的數(shù)據(jù)處理與分析要求，也為人們更加有效決策分析提供數(shù)據(jù)支撐和數(shù)據(jù)處理技術(shù)。使用好大數(shù)據(jù)，對(duì)人類生活和工作帶來許多便利，但并不像社會(huì)炒作的那樣神奇。

一、正確認(rèn)識(shí)大數(shù)據(jù)的內(nèi)涵及特征

2008年9月4日，《自然》雜志刊登了一個(gè)名為“Big Data”的專輯，首次系統(tǒng)提出“大數(shù)據(jù)”概念。從2009年開始，“大數(shù)據(jù)”就成為互聯(lián)網(wǎng)信息技術(shù)行業(yè)的流行詞匯。所謂大數(shù)據(jù)，是指具有數(shù)據(jù)體量巨大 （Volume）；數(shù)據(jù)的類型繁多 （Variety）；有潛在數(shù)據(jù)價(jià)值 （Value）特點(diǎn)的數(shù)據(jù)。大數(shù)據(jù)這個(gè)學(xué)界名詞只是表達(dá)數(shù)據(jù)量的巨大和數(shù)據(jù)類型的繁多。

其實(shí)，自從有了人類活動(dòng)就有了數(shù)據(jù)的積累。隨著數(shù)據(jù)的積累，數(shù)據(jù)量也在不斷增加。自20世紀(jì)50年代中期電子計(jì)算機(jī)問世后，數(shù)據(jù)處理能力有了革命性的發(fā)展，70年代后期互聯(lián)網(wǎng) （InterNet）出現(xiàn)，數(shù)據(jù)傳播有了巨大變革。這兩大變革，使得電子數(shù)據(jù)量急增，使人類日常生活和工作的數(shù)據(jù)大量、全面、長(zhǎng)久地保存，形成信息化社會(huì)的大數(shù)據(jù)。這里大數(shù)據(jù)的概念不僅指海量數(shù)據(jù)本身，還包含著學(xué)界面向大數(shù)據(jù)的各類大數(shù)據(jù)系統(tǒng)的數(shù)據(jù)處理、數(shù)據(jù)分析等技術(shù)與方法。

數(shù)據(jù)處理是對(duì)數(shù)據(jù)的采集、存儲(chǔ)、檢索、加工、變換和傳輸。其基本目的是從大量的、雜亂無章的、難以理解的數(shù)據(jù)中抽取并推導(dǎo)出對(duì)于某些特定的人們來說是有價(jià)值、有意義的數(shù)據(jù)。包括對(duì)各種原始數(shù)據(jù)的分析、整理、計(jì)算、編輯等的加工和處理。其中，數(shù)據(jù)分析是指用適當(dāng)?shù)姆治龇椒▽?duì)收集來的大量數(shù)據(jù)進(jìn)行分析，為提取有用信息和形成結(jié)論而對(duì)數(shù)據(jù)加以詳細(xì)研究和概括總結(jié)的過程。目前，主要的數(shù)據(jù)分析方法有：統(tǒng)計(jì)分析法、情報(bào)分析法和數(shù)據(jù)挖掘法。其中，數(shù)據(jù)挖掘主要適用于大數(shù)據(jù)分析。大數(shù)據(jù)需要學(xué)界研究適合其特點(diǎn)的數(shù)據(jù)處理和數(shù)據(jù)分析技術(shù)與方法，并設(shè)計(jì)開發(fā)出相應(yīng)的大數(shù)據(jù)分析軟件。

幾個(gè)典型案例可以讓我們理解數(shù)據(jù)分析的作用。有情報(bào)機(jī)構(gòu)根據(jù)1950年6月28日毛澤東就美國(guó)入朝發(fā)表講話、同日周恩來代表中國(guó)政府發(fā)表聲明、29日 《人民日?qǐng)?bào)》的社論，以及隨后的各民主黨派的聲明、7月6日周恩來再次發(fā)表聲明、9月30日周恩來又發(fā)表演說公開對(duì)美國(guó)政府提出嚴(yán)正警告等信息分析，對(duì)“中國(guó)是否出兵朝鮮”進(jìn)行預(yù)測(cè)，得出的結(jié)論只有一句話，即“中國(guó)將出兵朝鮮”；美國(guó)沃爾瑪連鎖店超市購(gòu)買數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析，得出購(gòu)買尿布者有30-40%購(gòu)買者同時(shí)購(gòu)買啤酒，超市決定將尿布和啤酒赫然擺在一起出售，這個(gè)奇怪的舉措使尿布和啤酒的銷量雙雙增加了。美國(guó)沃爾瑪連鎖店超市購(gòu)買數(shù)據(jù)的關(guān)聯(lián)分析就是典型的大數(shù)據(jù)分析應(yīng)用。

二、當(dāng)前認(rèn)識(shí)大數(shù)據(jù)存在的誤區(qū)

有人說誰掌握了大數(shù)據(jù)，就能夠?qū)ι鐣?huì)、經(jīng)濟(jì)活動(dòng)做到全知，進(jìn)而能夠 “預(yù)知”社會(huì)、經(jīng)濟(jì)的未來，甚至能夠“全能性”地主宰社會(huì)，但這些都是關(guān)于“大數(shù)據(jù)”的認(rèn)識(shí)誤區(qū)。我以為人們需要從以下幾個(gè)方面提升認(rèn)識(shí)，才能正確認(rèn)識(shí)大數(shù)據(jù)。

一是要正確認(rèn)識(shí)大數(shù)據(jù)與大數(shù)據(jù)分析處理技術(shù)。數(shù)據(jù)分析是當(dāng)今信息化社會(huì)、大數(shù)據(jù)時(shí)代的重要技術(shù)，尤其是數(shù)據(jù)挖掘、信息檢索技術(shù)是目前大數(shù)據(jù)應(yīng)用的重要技術(shù)。大數(shù)據(jù)只有通過其分析技術(shù)才能有效地運(yùn)用到人類社會(huì)、經(jīng)濟(jì)各個(gè)領(lǐng)域，大數(shù)據(jù)才能夠?yàn)槿祟愃谩６且_認(rèn)識(shí)大數(shù)據(jù)與自己的關(guān)系。信息化社會(huì)，大數(shù)據(jù)跟每個(gè)人都有關(guān)，每個(gè)人的活動(dòng)都會(huì)存貯在各個(gè)信息載體之中。但并非每個(gè)人都需要大數(shù)據(jù)分析技術(shù)，因?yàn)楸M管大數(shù)據(jù)分析可以應(yīng)用在人類社會(huì)所有領(lǐng)域，但只有需要應(yīng)用大數(shù)據(jù)的人才需要進(jìn)行大數(shù)據(jù)分析。三是要正確認(rèn)識(shí)并不是所有大數(shù)據(jù)都可以進(jìn)行數(shù)據(jù)分析。信息化社會(huì)，并非所有數(shù)據(jù)存貯時(shí)就考慮了數(shù)據(jù)應(yīng)用問題，這些數(shù)據(jù)在應(yīng)用時(shí)需要進(jìn)行專門的數(shù)據(jù)處理。大數(shù)據(jù)包括了結(jié)構(gòu)化與非結(jié)構(gòu)化不同數(shù)據(jù)。目前數(shù)據(jù)分析方法的局限，并不能對(duì)當(dāng)下所有系統(tǒng)大數(shù)據(jù)直接進(jìn)行分析，需要學(xué)界研究新的數(shù)據(jù)處理與分析方法，實(shí)現(xiàn)其大數(shù)據(jù)應(yīng)用。

四是不要將大數(shù)據(jù)與數(shù)據(jù)處理軟件混為一談。目前有很多大數(shù)據(jù)分析的工具軟件，如：Hadoop、Ever String、python等，這些都是應(yīng)大數(shù)據(jù)時(shí)代數(shù)據(jù)處理與分析要求由數(shù)據(jù)分析公司提供的專門軟件。這些軟件及其服務(wù)僅僅是相關(guān)公司提供的大數(shù)據(jù)分析工具，并不表明這些公司和軟件就是大數(shù)據(jù)。

五是大數(shù)據(jù)分析結(jié)果只能作為決策參考。對(duì)于大數(shù)據(jù)分析的價(jià)值，有兩種觀點(diǎn)，一種觀點(diǎn)認(rèn)為大數(shù)據(jù)分析難以對(duì)人的行為做出精確預(yù)測(cè)，它只能是一種發(fā)生某種事件可能的概率；另一種觀點(diǎn)認(rèn)為，大數(shù)據(jù)分析關(guān)注的是相關(guān)關(guān)系而非因果關(guān)系，這就限制了大數(shù)據(jù)在一些需要確定的、置信度非常高的場(chǎng)景中使用，尤其在信貸風(fēng)控，保險(xiǎn)的理賠等。目前，人類還不能完全依靠大數(shù)據(jù)分析結(jié)果來決策自己的行動(dòng)。

三、大數(shù)據(jù)給人類帶來的價(jià)值啟示

大數(shù)據(jù)分析就是數(shù)據(jù)分析，是對(duì)規(guī)模巨大的數(shù)據(jù)進(jìn)行分析，具體是在已有的海量數(shù)據(jù)中尋找模式，相關(guān)性和其他有用的信息，其分析結(jié)果可以幫助人們更好地適應(yīng)變化，并做出更明智的決策。信息化社會(huì)各個(gè)領(lǐng)域存在的大數(shù)據(jù)，可以面向不同需要進(jìn)行大數(shù)據(jù)分析，其結(jié)果能夠幫助我們更好地認(rèn)識(shí)社會(huì)現(xiàn)象并做出各種事務(wù)發(fā)展預(yù)測(cè)和人類行動(dòng)決策。如：社會(huì)和經(jīng)濟(jì)發(fā)展預(yù)測(cè)、病人疾病預(yù)后分析、商場(chǎng)進(jìn)貨決策等。

我們要認(rèn)識(shí)到大數(shù)據(jù)分析結(jié)果可以起到參考作用，而不是絕對(duì)作用。人們可以運(yùn)用大數(shù)據(jù)分析結(jié)果作為預(yù)測(cè)和決策之參考。數(shù)據(jù)分析只是從數(shù)據(jù)本身進(jìn)行分析并對(duì)事物發(fā)展進(jìn)行預(yù)測(cè)，可以作為人們做決策的參考。我們可以應(yīng)用大數(shù)據(jù)分析技術(shù)為自己的工作和生活服務(wù)提供決策咨詢和參考。

我們要認(rèn)識(shí)到大數(shù)據(jù)分析已經(jīng)進(jìn)入社會(huì)生活多個(gè)領(lǐng)域。人類活動(dòng)數(shù)據(jù)已經(jīng)保存在社會(huì)生活各個(gè)領(lǐng)域。麥肯錫公司發(fā)現(xiàn)并聲稱，如果美國(guó)醫(yī)療產(chǎn)業(yè)采用大數(shù)據(jù)，全美醫(yī)療費(fèi)用將削減 8%。有資料表明，醫(yī)療數(shù)據(jù)量巨大，數(shù)據(jù)類型復(fù)雜，到2020年，醫(yī)療數(shù)據(jù)將增至35ZB，相當(dāng)于2009年數(shù)據(jù)量的44倍。如果在醫(yī)療領(lǐng)域較好地應(yīng)用大數(shù)據(jù)分析，將給人類健康帶來福音。我們可以應(yīng)用大數(shù)據(jù)分析技術(shù)為自己感興趣的領(lǐng)域服務(wù)。

我們要認(rèn)識(shí)到大數(shù)據(jù)分析在經(jīng)濟(jì)領(lǐng)域的重要任用。麥肯錫公司提到，通過減少詐騙訴訟和增加稅收，歐洲公共部門在運(yùn)行效率方面可節(jié)省一千億歐元。2017年江蘇無錫高建業(yè)790萬元的重大疾病保險(xiǎn)詐騙案，如果在保險(xiǎn)就醫(yī)海量信息中應(yīng)用大數(shù)據(jù)分析技術(shù)，就會(huì)及時(shí)發(fā)現(xiàn)并得到提示，以杜絕騙保案的發(fā)生。我們應(yīng)該相信大數(shù)據(jù)在經(jīng)濟(jì)領(lǐng)域所發(fā)揮的咨詢作用，尤其是異常行為分析和識(shí)別，自覺規(guī)范自己在經(jīng)濟(jì)領(lǐng)域的行為，做依法守規(guī)的社會(huì)公民。

我們要認(rèn)識(shí)到將來決策行為會(huì)越來越依靠數(shù)據(jù)分析。例如，麥肯錫公司預(yù)測(cè)，到 2019年，全球?qū)⑷鄙俑哌_(dá)19萬可處理大數(shù)據(jù)的科學(xué)家。這個(gè)分析結(jié)果預(yù)示著大數(shù)據(jù)處理人才需求將與日俱增。這將為全球高校調(diào)整辦學(xué)專業(yè)提供決策咨詢。我們應(yīng)該相信大數(shù)據(jù)分析在決策領(lǐng)域的重要參考作用。

我們要認(rèn)識(shí)到大數(shù)據(jù)分析結(jié)果具有許多的不確定性，杜絕炒作，慎防大數(shù)據(jù)欺騙。《2018中國(guó)大數(shù)據(jù)發(fā)展報(bào)告》 （國(guó)家信息中心發(fā)布）中說，在2017年，成功融資的數(shù)字經(jīng)濟(jì)類企業(yè)數(shù)量延續(xù)了這幾年的穩(wěn)步增長(zhǎng)，較上一年增幅近20%。大數(shù)據(jù)題材炒作引起社會(huì)投融資的巨增。有人強(qiáng)烈提醒，不要輕信大數(shù)據(jù)炒作。僅憑大數(shù)據(jù)分析就把幾十萬元甚至上百萬元借出去，這無異于是一場(chǎng)賭博。我們應(yīng)該具備投資定律，冷靜看待大數(shù)據(jù)市場(chǎng)，避免盲目投資。