論大數(shù)據(jù)與統(tǒng)計思維

文| 吳珊珊

大數(shù)據(jù)網(wǎng)絡(luò)信息基礎(chǔ)技術(shù)是國家階段性重要基礎(chǔ)技術(shù)成果之一。目前我國大數(shù)據(jù)產(chǎn)業(yè)信息采集技術(shù)已經(jīng)廣泛應(yīng)用于各種類型的企業(yè)中。鑒于此，以數(shù)據(jù)為研究對象、專業(yè)性強(qiáng)、嚴(yán)謹(jǐn)性強(qiáng)的統(tǒng)計應(yīng)積極面對大數(shù)據(jù)的趨勢，促進(jìn)其快速發(fā)展。

大數(shù)據(jù)概念

大數(shù)據(jù)是一個完整的概念。它的“大”不是指數(shù)量，而是指“整體”，從現(xiàn)代統(tǒng)計學(xué)的發(fā)展角度看，大數(shù)據(jù)統(tǒng)計學(xué)是以統(tǒng)計學(xué)原理作為基礎(chǔ)，借助現(xiàn)代的信息數(shù)據(jù)處理技術(shù)，記錄和分析各種類型的統(tǒng)計數(shù)據(jù)。

大數(shù)據(jù)時代的統(tǒng)計思維

新統(tǒng)計理論的發(fā)展和誕生，需要在改變傳統(tǒng)統(tǒng)計理論思維的基礎(chǔ)上進(jìn)行，所謂改變傳統(tǒng)的統(tǒng)計思維是指通過數(shù)據(jù)分析，研究和理解事物的發(fā)展與生存、聯(lián)系和發(fā)展規(guī)律，而大數(shù)據(jù)只是給數(shù)據(jù)分析過程增加了難度。因此,新的統(tǒng)計思維應(yīng)從數(shù)據(jù)理解、數(shù)據(jù)采集和數(shù)據(jù)分析三個方面進(jìn)行變革。（1）理解數(shù)據(jù)的思維變化。大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)在數(shù)據(jù)源、數(shù)據(jù)類型、數(shù)據(jù)量化方法等方面都有不同：從數(shù)據(jù)源的角度看，傳統(tǒng)數(shù)據(jù)來源于具有明確身份和目的的人或物，而大數(shù)據(jù)是來源于目前物聯(lián)網(wǎng)中所有的可以被記錄的信號；從數(shù)據(jù)類型上分析，傳統(tǒng)的數(shù)據(jù)有特殊的數(shù)據(jù)格式和標(biāo)準(zhǔn)，而大數(shù)據(jù)的形式多樣，沒有格式標(biāo)準(zhǔn)，大數(shù)據(jù)的信息是非結(jié)構(gòu)化的；從數(shù)據(jù)定量的方法，傳統(tǒng)的數(shù)據(jù)是依賴于固定的、程序化的方式進(jìn)行定量分析，而大數(shù)據(jù)由于其非結(jié)構(gòu)化的數(shù)據(jù)量化而難以實(shí)現(xiàn)。（2）數(shù)據(jù)收集中的思維變化。傳統(tǒng)思維下的數(shù)據(jù)采集是以目的為導(dǎo)向的，大數(shù)據(jù)的到來使得數(shù)據(jù)量無限膨脹，因此在數(shù)據(jù)采集前不需要專門調(diào)查，但由于大數(shù)據(jù)的無限膨脹性，有必要考慮如何篩選、提煉，因此，新的思路應(yīng)該是將數(shù)據(jù)收集作為識別、排序、提煉、提取和存儲數(shù)據(jù)的過程。（3）分析數(shù)據(jù)的思維變化。傳統(tǒng)的思維模式下的定量分析和數(shù)據(jù)處理主要經(jīng)歷了三個主要的階段：一是定量分析依靠對經(jīng)驗(yàn)的判斷，尋找定量分析的出發(fā)點(diǎn)和方向；二是按照”假設(shè)驗(yàn)證”的方法和思路對數(shù)據(jù)進(jìn)行定量統(tǒng)計分析；最后是通過經(jīng)驗(yàn)判斷，得出結(jié)論。

基于大數(shù)據(jù)和統(tǒng)計思維的變化

從以上對“統(tǒng)計新思維”的分析和論述中我們可以清楚地看出,統(tǒng)計新思維的變化，主要是體現(xiàn)在對大數(shù)據(jù)的理解、數(shù)據(jù)采集和數(shù)據(jù)分析的新思維上。具體來說，為了處理大數(shù)據(jù)，需要進(jìn)行以下更改。（1）個人、群體和樣本定義方式的變化。傳統(tǒng)的統(tǒng)計分析是先確定總體范圍，再收集個別數(shù)據(jù)，但大數(shù)據(jù)的持續(xù)到來往往會使個別的數(shù)據(jù)系統(tǒng)處于變化的狀態(tài)，此外，由于符號或其他稱謂的使用具有重疊和異質(zhì)性，很難確定身份在數(shù)據(jù)識別的過程中。（2）統(tǒng)計研究目標(biāo)的變化。統(tǒng)計學(xué)的主要研究方向和目標(biāo)之一就是要了解事物的變化和不確定性。為了更好地達(dá)到這一研究目標(biāo)，目前統(tǒng)計學(xué)的主要研究方向和目標(biāo)首先就是要深入地研究和了解大數(shù)據(jù)的變化和不確定性。（3）資料整理分類方法的變更。傳統(tǒng)思維下的數(shù)據(jù)整理和分類需要事先制定計劃，并考慮到標(biāo)志、指標(biāo)、分類標(biāo)志、分組規(guī)則等內(nèi)容,對收集到的數(shù)據(jù)進(jìn)行有針對性的處理，大數(shù)據(jù)在來源、內(nèi)容、表達(dá)形式等方面都是不可預(yù)測的，只能從先進(jìn)行數(shù)據(jù)排序并從后完善的數(shù)據(jù)角度出發(fā)來進(jìn)行數(shù)據(jù)分類，選擇對數(shù)據(jù)進(jìn)行分類的方法。（4）更新對結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的理解。結(jié)構(gòu)化數(shù)據(jù)是指在傳統(tǒng)思維下不依賴公網(wǎng)系統(tǒng)，而是以特殊方式采集的數(shù)據(jù)；非結(jié)構(gòu)化的數(shù)據(jù)實(shí)際上本身就是結(jié)構(gòu)化的大數(shù)據(jù)，但很難用傳統(tǒng)的統(tǒng)計分析指標(biāo)或圖標(biāo)對大數(shù)據(jù)進(jìn)行準(zhǔn)確量化，然而，隨著互聯(lián)網(wǎng)和大數(shù)據(jù)結(jié)構(gòu)化時代的到來和發(fā)展，我們發(fā)現(xiàn)生活中有很多的時候我們需要從非結(jié)構(gòu)化的數(shù)據(jù)中獲取大量的結(jié)構(gòu)化數(shù)據(jù)和有價值的結(jié)構(gòu)化信息，因此，有必要把它們看作是互補(bǔ)的。（5）抽樣調(diào)查功能變化。傳統(tǒng)大數(shù)據(jù)思維下的數(shù)據(jù)采集嚴(yán)重地依賴抽樣調(diào)查，抽樣調(diào)查的主要功能之一就是需要通過采集樣本的方式來推斷出數(shù)據(jù)總體的特征，但隨著大數(shù)據(jù)的時代到來，可以將采集樣本數(shù)據(jù)總體特征無限期地進(jìn)行整體化。這樣，抽樣調(diào)查的功能就變成了：隨著驗(yàn)證在大數(shù)據(jù)分析的基礎(chǔ)上進(jìn)行比較，以及從混合數(shù)據(jù)中快速挖掘和檢測分析。（6）統(tǒng)計研究方法的變化。傳統(tǒng)的研究方法主要是歸納推理，即先從現(xiàn)有的樣本數(shù)據(jù)中分類歸納得出具體的樣本數(shù)據(jù)信息特征，再通過歸納推斷出其總體的樣本特征，但是大數(shù)據(jù)僅靠一般樣本特征的歸納推理樣本數(shù)據(jù)是不夠的。還需要找出更深層次的關(guān)聯(lián),找出更具體的規(guī)律或結(jié)論,這就是演繹推理。（7）數(shù)據(jù)分析目的的變更。大數(shù)據(jù)內(nèi)容豐富、覆蓋面廣，在分析數(shù)據(jù)時容易陷入錯誤的思維，有鑒于此，我們必須改變數(shù)據(jù)分析的目的，在相關(guān)分析的基礎(chǔ)上進(jìn)行因果分析，通過互補(bǔ)性挖掘數(shù)據(jù)的最大值。（8）傳統(tǒng)統(tǒng)計技術(shù)的更新。傳統(tǒng)的大數(shù)據(jù)統(tǒng)計分析技術(shù)在企業(yè)數(shù)據(jù)采集和分析的過程中已經(jīng)發(fā)揮了既定的作用，但是大數(shù)據(jù)的出現(xiàn)使得原有的統(tǒng)計分析技術(shù)在應(yīng)用上顯得單一和過時，最好的解決辦法就是充分依靠新興技術(shù)作為現(xiàn)代大數(shù)據(jù)和信息技術(shù)的支撐和輔助，可以有效彌補(bǔ)傳統(tǒng)統(tǒng)計和信息技術(shù)的不足。

結(jié)論

大數(shù)據(jù)的快速到來迫使國家統(tǒng)計部門做出了相應(yīng)的政策調(diào)整和變化,本文基于大數(shù)據(jù)和新的統(tǒng)計思路,詳細(xì)分析了應(yīng)該做出的變化,希望能為統(tǒng)計的長遠(yuǎn)發(fā)展提供方向。