概率論與數(shù)理統(tǒng)計在大數(shù)據(jù)分析中的應(yīng)用

摘 ?要：隨著信息技術(shù)的不斷發(fā)展，大數(shù)據(jù)技術(shù)成為近些年逐漸興起的先進技術(shù)，通過大數(shù)據(jù)的分析與運用可以進一步促進技術(shù)的發(fā)展，為社會進步提供助力。所以，相關(guān)大數(shù)據(jù)技術(shù)的研究十分必要，本文主要通過對概率論與數(shù)理統(tǒng)計在大數(shù)據(jù)分析中的應(yīng)用進行研討，希望可以起到一定借鑒意義。

關(guān)鍵詞：概率;數(shù)理統(tǒng)計;大數(shù)據(jù)

前言

大數(shù)據(jù)技術(shù)的運用可以改善民眾生活，提高相關(guān)技術(shù)的研發(fā)水平，促進社會的全面發(fā)展。概率論、數(shù)據(jù)統(tǒng)計與大數(shù)據(jù)技術(shù)存在密切關(guān)系，且三者之間的發(fā)展具備一定的相互促進作用，所以將概率論與數(shù)理統(tǒng)計與大數(shù)據(jù)分析相融合，對全面提升大數(shù)據(jù)技術(shù)應(yīng)用水平，促進社會的進步與發(fā)展十分必要。

1概率論、數(shù)理統(tǒng)計、大數(shù)據(jù)相關(guān)概念分析

1.1概率論概念分析

概率論是數(shù)學重要分支之一，主要指用規(guī)律表示隨機事件發(fā)生的可能性。隨機現(xiàn)象是隨機事件的重要特點之一，隨機現(xiàn)象與決定現(xiàn)象是相對概念。決定現(xiàn)象主要指某些事物發(fā)生的必然結(jié)果，例如標準大氣壓下沸水溫度100℃。隨機現(xiàn)象則是指事物在發(fā)展中可能出現(xiàn)的結(jié)果，在事物發(fā)生之前無法預(yù)測結(jié)果具體朝哪一個方向發(fā)展，例如拋擲硬幣之前無法知道硬幣會出現(xiàn)正面還是反面。概率論在現(xiàn)實中應(yīng)用比較廣泛，例如體育彩票、刮刮樂、雙色球等。

1.2數(shù)理統(tǒng)計概念分析

數(shù)理統(tǒng)計作為高數(shù)分支之一，是構(gòu)成高等數(shù)學核心內(nèi)容之一。數(shù)理統(tǒng)計主要指通過對某些現(xiàn)象發(fā)生的頻率進行觀察，在若干次觀察之后分析該現(xiàn)象的內(nèi)在規(guī)律，并以此制定相應(yīng)的精確預(yù)測形式。數(shù)理統(tǒng)計與其他學科聯(lián)系密切，例如數(shù)理統(tǒng)計學與數(shù)學關(guān)系密切。另外，數(shù)理統(tǒng)計學的應(yīng)用也越來越廣泛，近些年在自然科學、管理科學、人文科學、工程技術(shù)中運用越來越廣泛深刻[1]。

1.3大數(shù)據(jù)概念分析

大數(shù)據(jù)分析主要指對大量數(shù)據(jù)進行處理分析，其中數(shù)據(jù)的數(shù)量十分龐大。大數(shù)據(jù)分析是近幾年最為火熱的詞匯之一，伴隨大數(shù)據(jù)技術(shù)的運用不斷深入，數(shù)據(jù)庫、數(shù)據(jù)挖掘等以大數(shù)據(jù)技術(shù)為基礎(chǔ)的相關(guān)技術(shù)逐漸得到應(yīng)用，這些技術(shù)的商業(yè)價值逐漸鋪展開來，一定程度上促進了大數(shù)據(jù)分析研究。大數(shù)據(jù)主要具備快速度、多類型、高真實性、高價值等特點，為大數(shù)據(jù)技術(shù)開發(fā)運用提供可能。當前關(guān)于大數(shù)據(jù)分析的內(nèi)容包括六方面，包括數(shù)據(jù)庫（數(shù)據(jù)存儲/數(shù)據(jù)倉庫）、可視化分析（Analytic Visualizations）、預(yù)測性分析（Predictive Analytic Capabilities）、語義引擎（Semantic Engines）、數(shù)據(jù)質(zhì)量管理（Data Quality and Master Data Management）、數(shù)據(jù)挖掘算法（Data Mining Algorithms）。

2概率論與數(shù)理統(tǒng)計與大數(shù)據(jù)關(guān)系分析

2.1概率論與數(shù)理統(tǒng)計與大數(shù)據(jù)分析同屬數(shù)據(jù)研究的方法之一

科學研究并不是對所有的事物都進行研究，往往在進行科學研究時只是選擇一定量的研究對象，之后進行縝密的實驗，從個體實驗推導(dǎo)出整體規(guī)律。無論是概率論還是數(shù)理統(tǒng)計，亦或是大數(shù)據(jù)分析都是基于一定范圍內(nèi)研究對象進行研究，同樣可以看做是科學研究的具體方法之一。三者對比之下，大數(shù)據(jù)技術(shù)分析在科學研究中，相對可靠性更強，研究的質(zhì)量更高，為定量研究提供了新的研究方法。三者在科學研究中的應(yīng)用各具特色，各有其自身的指導(dǎo)理論。例如，概率論與數(shù)理統(tǒng)計在科學研究中，根據(jù)定量化水平的不同，分為等距數(shù)據(jù)、名義數(shù)據(jù)、比率數(shù)據(jù)等概念，且不同的數(shù)據(jù)在統(tǒng)計方式運用上也不相同。相較于概率論與數(shù)理統(tǒng)計來說大數(shù)據(jù)在數(shù)據(jù)分析中所能應(yīng)用的手段要更加廣泛豐富。例如，大數(shù)據(jù)技術(shù)在分析上可以利用非結(jié)構(gòu)化數(shù)據(jù)，可以對文字、圖片等數(shù)據(jù)進行整理，之后利用數(shù)據(jù)定量轉(zhuǎn)化，然后進行分析得出相關(guān)數(shù)據(jù)研究結(jié)果。綜上可知，三者在數(shù)據(jù)分析與處理上大體步驟相同，第一步先對數(shù)據(jù)進行定量，第二步對定量數(shù)據(jù)進行分析，第三步得出相應(yīng)的數(shù)據(jù)分析結(jié)果。相關(guān)研究者按照相應(yīng)數(shù)據(jù)模型，通過數(shù)據(jù)研究，劃定相應(yīng)的數(shù)據(jù)量，以求更為精準的探究研究對象之間存在的內(nèi)在特征與聯(lián)系，為決策優(yōu)化提供依據(jù)，這也是概率論與數(shù)理統(tǒng)計與大數(shù)據(jù)分析聯(lián)系的一種內(nèi)在表現(xiàn)。

2.2概率論與數(shù)理統(tǒng)計與大數(shù)據(jù)分析同屬數(shù)據(jù)科學范疇

數(shù)據(jù)科學主要是通過對數(shù)據(jù)進行分析的一種科學門類，簡言之利用科學方式對數(shù)據(jù)進行研究。數(shù)據(jù)科學研究涵蓋領(lǐng)域豐富，包括數(shù)理統(tǒng)計、數(shù)學、計算機等學科。在數(shù)據(jù)科學研究中數(shù)理統(tǒng)計學作為數(shù)據(jù)科學研究的理論基礎(chǔ)，足見數(shù)理統(tǒng)計學與數(shù)據(jù)研究科學的關(guān)系。盡管當前數(shù)據(jù)分析技術(shù)已經(jīng)有所發(fā)展，但數(shù)據(jù)分析中也不可能將所有的數(shù)據(jù)進行匯總，這樣就不得不選取整體數(shù)據(jù)中的一部分，進行“樣本”統(tǒng)計，得出相應(yīng)的答案，從此不難看出概率論作為數(shù)據(jù)研究科學的重要手段。另外，通過概率論對研究數(shù)據(jù)進行細致分析，排除其中干擾因素與偏差數(shù)據(jù)，進一步提升數(shù)據(jù)研究的精準度，對數(shù)據(jù)研究科學發(fā)展意義明顯。而大數(shù)據(jù)分析更是數(shù)據(jù)研究科學的發(fā)展前沿，與數(shù)據(jù)研究關(guān)系更是密切。綜上可知，概率論與數(shù)理統(tǒng)計與大數(shù)據(jù)分析同屬于數(shù)據(jù)科學領(lǐng)域，且通過對三者關(guān)系進行協(xié)調(diào)，提升概率論、數(shù)理統(tǒng)計、大數(shù)據(jù)分析的科學運用，對于提升數(shù)據(jù)精準度意義深遠[2]。

2.3概率論與數(shù)理統(tǒng)計與大數(shù)據(jù)分析與計算機技術(shù)關(guān)系密切

三者與計算機網(wǎng)絡(luò)技術(shù)十分密切，尤其是大數(shù)據(jù)技術(shù)。大數(shù)據(jù)技術(shù)是在計算機技術(shù)普及之后逐漸發(fā)展起來的，且伴隨著網(wǎng)絡(luò)技術(shù)與大數(shù)據(jù)技術(shù)的不斷融合，使得互聯(lián)網(wǎng)與云計算發(fā)展更加成熟。大數(shù)據(jù)技術(shù)與計算機技術(shù)關(guān)系密切，相互作用共同促進彼此的進一步成熟與發(fā)展。一方面，大數(shù)據(jù)技術(shù)的發(fā)展為計算機技術(shù)的發(fā)展提供技術(shù)支持。大數(shù)據(jù)技術(shù)的發(fā)展，為計算機技術(shù)發(fā)展提供相應(yīng)數(shù)據(jù)需求。計算機技術(shù)發(fā)展需要巨量的數(shù)據(jù)支撐，大數(shù)據(jù)技術(shù)恰好滿足計算技術(shù)這一點，進而為計算機技術(shù)發(fā)展提供數(shù)據(jù)支持。大數(shù)據(jù)技術(shù)的發(fā)展還為計算機技術(shù)提供了創(chuàng)新算法與程序，大大促進計算機技術(shù)的發(fā)展。同時，大數(shù)據(jù)技術(shù)的發(fā)展迫使計算機技術(shù)不斷進步發(fā)展，以求適應(yīng)大數(shù)據(jù)技術(shù)的發(fā)展需要，進而促進科學研究發(fā)展。另一方面，計算機技術(shù)讓大數(shù)據(jù)技術(shù)的實現(xiàn)成為可能。大數(shù)據(jù)分析時分析的數(shù)據(jù)基數(shù)很大，這么巨大的數(shù)據(jù)并不是普通的技術(shù)就可以分析的。計算機技術(shù)的存在恰好可以滿足大數(shù)據(jù)分析處理需求，讓大數(shù)據(jù)分析實現(xiàn)成為可能。例如，Hadoop平臺，是當前應(yīng)用十分廣泛的大數(shù)據(jù)處理平臺。

概率論與數(shù)理統(tǒng)計與計算機技術(shù)關(guān)系也比較密切，雖然概率論與數(shù)理統(tǒng)計出現(xiàn)的要早于計算機技術(shù)，但并不影響二者之間相互影響作用，其二者之間的關(guān)系比較密切。一方面，概率論與數(shù)理統(tǒng)計為計算機數(shù)據(jù)處理提供了基本算法與程序。計算機技術(shù)在進行數(shù)據(jù)處理計算時需要相應(yīng)科學算法才能實現(xiàn)，概率論與數(shù)理統(tǒng)計程序嚴格，可以滿足計算機技術(shù)應(yīng)用需要，提升計算機數(shù)據(jù)計算精確性。另一方面，計算機技術(shù)的發(fā)展，為概率論與數(shù)理統(tǒng)計完善數(shù)據(jù)處理算法，大大提高統(tǒng)計效率[3]。

2.4概率論與數(shù)理統(tǒng)計與大數(shù)據(jù)差異點分析

概率論與數(shù)理統(tǒng)計與大數(shù)據(jù)分析除了關(guān)系密切之外，還存在很多不同點，具體區(qū)別如下：第一，概率論與數(shù)理統(tǒng)計與大數(shù)據(jù)處理的對象不同。數(shù)理統(tǒng)計與概率論涉及的數(shù)據(jù)處理相對數(shù)量不大，一般數(shù)據(jù)類型處理的形式也十分單一，而大數(shù)據(jù)技術(shù)數(shù)據(jù)處理的數(shù)據(jù)形式比較豐富，除了常規(guī)數(shù)據(jù)處理之外還可以處理圖形等非結(jié)構(gòu)性數(shù)據(jù)。第二，概率論與數(shù)理統(tǒng)計與大數(shù)據(jù)依據(jù)的原理不同。概率論與數(shù)理統(tǒng)計在應(yīng)用中對數(shù)據(jù)考量有限，大多時候由于數(shù)據(jù)收集不全不得不先進行假設(shè)之后針對假設(shè)進行論證，例如抽樣分布定理、大數(shù)定律等。而大數(shù)據(jù)技術(shù)收集數(shù)據(jù)的能力強，基本上可以全體數(shù)據(jù)進行分析，除了表面數(shù)據(jù)關(guān)系之外，還可以挖掘隱藏數(shù)據(jù)關(guān)系，更為全方位的開發(fā)數(shù)據(jù)的意義。第三，概率論與數(shù)理統(tǒng)計與大數(shù)據(jù)所用平臺不同。概率論與數(shù)理統(tǒng)計在運用中大多運用集中式的計算環(huán)境，而大數(shù)據(jù)分析技術(shù)應(yīng)用中運用的平臺是分布式計算環(huán)境。

3概率論與數(shù)理統(tǒng)計在大數(shù)據(jù)分析中的應(yīng)用

3.1加強概率論與數(shù)理統(tǒng)計相關(guān)理論知識的理解

為了提升大數(shù)據(jù)技術(shù)的應(yīng)用水平，相關(guān)部門需要加強概率論與數(shù)理統(tǒng)計相關(guān)內(nèi)容的教學工作，提升相關(guān)人員對概率論與數(shù)理統(tǒng)計理解，為數(shù)據(jù)研究科學的發(fā)展提供基礎(chǔ)條件。首先，相關(guān)部門需要注重基礎(chǔ)數(shù)據(jù)處理科學的教學。相關(guān)部門需要注重相關(guān)數(shù)學科學研究知識的系統(tǒng)性教學，從小學到大學，全方位進行相關(guān)數(shù)據(jù)技術(shù)的教學，培養(yǎng)專業(yè)大數(shù)據(jù)人才，為數(shù)據(jù)研究工作提供保障。其次，加強概率論與數(shù)理統(tǒng)計在大數(shù)據(jù)相關(guān)技術(shù)軟件教學。全社會相關(guān)部門需要適當加強概率論與數(shù)理統(tǒng)計在大數(shù)據(jù)相關(guān)技術(shù)軟件教學，提升相關(guān)軟件操作能力，為大數(shù)據(jù)技術(shù)的推廣與應(yīng)用提供保障[4]。

3.2經(jīng)濟數(shù)據(jù)分析中概率論與數(shù)理統(tǒng)計應(yīng)用

大數(shù)據(jù)時代背景下，相關(guān)理論與技術(shù)的應(yīng)用十分必要，尤其是經(jīng)濟數(shù)據(jù)的處理，對經(jīng)濟發(fā)展作用比較明顯。首先，通過概率論與數(shù)理統(tǒng)計應(yīng)用可以降低經(jīng)濟數(shù)據(jù)處理難度。大數(shù)據(jù)時代互聯(lián)網(wǎng)信息十分豐富，經(jīng)濟數(shù)據(jù)充斥其中從中挑選出來難度比較大，利用概率論與數(shù)理統(tǒng)計相關(guān)技術(shù)應(yīng)用，可以大大降低信息篩選的難度，更為有效的對經(jīng)濟數(shù)據(jù)進行處理。例如，在經(jīng)濟數(shù)據(jù)分析中可以利用正態(tài)概率分布方式進行收集處理分析，這種方式在金融與經(jīng)濟領(lǐng)域運用比較廣泛。正態(tài)分布分析方式可以快速對經(jīng)濟信息進行收集與分析，并且結(jié)合數(shù)據(jù)分析結(jié)果對當前市場經(jīng)濟發(fā)展的具體情況進行調(diào)查，降低經(jīng)濟信息理解難度，增加民眾理解深度，促進社會經(jīng)濟發(fā)展。另外，這些經(jīng)濟數(shù)據(jù)的處理結(jié)果，還可以為之后的經(jīng)濟發(fā)展戰(zhàn)略制定提供一定參考，提升經(jīng)濟發(fā)展策略的科學性[5]。

其次，通過概率論與數(shù)理統(tǒng)計應(yīng)用可以科學預(yù)測市場經(jīng)濟風險。市場經(jīng)濟發(fā)展過程中各種經(jīng)濟因素共同充斥，使得經(jīng)濟變幻莫測各種經(jīng)濟風險重重，通過科學概率論與數(shù)理統(tǒng)計對風險實現(xiàn)科學監(jiān)控，并及時進行預(yù)防治理，確保經(jīng)濟發(fā)展環(huán)境的穩(wěn)定與良好。相關(guān)部門通過概率論與數(shù)理統(tǒng)計應(yīng)用對市場經(jīng)濟中各種因素數(shù)據(jù)進行分析處理，核算相應(yīng)的風險發(fā)生概率，為風險預(yù)防提供依據(jù)[6]。

3.3商業(yè)數(shù)據(jù)分析中概率論與數(shù)理統(tǒng)計應(yīng)用

在大數(shù)據(jù)環(huán)境下商業(yè)數(shù)據(jù)的分析也十分重要，對經(jīng)濟的影響比較大，相關(guān)技術(shù)人員及時進行科學的數(shù)據(jù)分析十分必要。商業(yè)數(shù)據(jù)與經(jīng)濟數(shù)據(jù)存在一定關(guān)系，所以，在相關(guān)商業(yè)數(shù)據(jù)的處理與分析上可以適當選擇經(jīng)濟數(shù)據(jù)分析方式，但在具體數(shù)據(jù)分析上要根據(jù)具體的商業(yè)發(fā)展情況，制定科學的商業(yè)數(shù)據(jù)處理方案，為經(jīng)濟發(fā)展提供科學依據(jù)。首先，企業(yè)在發(fā)展中要充分利用概率論與數(shù)理統(tǒng)計。企業(yè)在發(fā)展中要充分運用概率論與數(shù)理統(tǒng)計與大數(shù)據(jù)技術(shù)，對自身相關(guān)商業(yè)信息進行分析，方便分析當前企業(yè)發(fā)展的情況，為企業(yè)發(fā)展策略制定提供可靠依據(jù)。企業(yè)在商業(yè)數(shù)據(jù)收集方面需要做到全面具體，從自身業(yè)務(wù)數(shù)據(jù)信息、交易信息、財務(wù)信息、客戶信息等方面，全面收集自身發(fā)展數(shù)據(jù)，為之后發(fā)展策略制定提供更為全面具體的依據(jù)。

其次，企業(yè)在數(shù)據(jù)處理與分析上可以完善相應(yīng)的數(shù)據(jù)模型。企業(yè)在商務(wù)數(shù)據(jù)處理模型設(shè)計方面要注重符合下述要求：第一，控制流失數(shù)據(jù)可以滿足統(tǒng)一的函數(shù);第二，流失數(shù)據(jù)要滿足流失函數(shù)指數(shù)項，之后分析哪些因素導(dǎo)致客戶信息流失，對數(shù)據(jù)具體情況進行分析，為企業(yè)相關(guān)策略制定提供保障;第三，計算走勢圖的相關(guān)函數(shù)，并利用函數(shù)對相關(guān)內(nèi)容進行檢驗，確保商務(wù)數(shù)據(jù)處理的準確性;第四，通過相應(yīng)的數(shù)據(jù)處理對客戶情況進行追蹤，第一時間掌握相關(guān)客戶動向，以客戶需求為導(dǎo)向，提升企業(yè)服務(wù)水準;第五，當相關(guān)數(shù)學模型建設(shè)完成后要選擇科學的參數(shù)的協(xié)變量，然后通過相關(guān)概率論與數(shù)理統(tǒng)計，對其他商務(wù)因素進行分析，提升數(shù)學模型的精準性，促進企業(yè)的自身發(fā)展。

結(jié)束語

綜上所述，概率論與數(shù)理統(tǒng)計在大數(shù)據(jù)分析中的應(yīng)用比較廣泛，在具體運用中可以從加強概率論與數(shù)理統(tǒng)計相關(guān)理論知識的理解、經(jīng)濟數(shù)據(jù)分析中概率論與數(shù)理統(tǒng)計應(yīng)用、商業(yè)數(shù)據(jù)分析中概率論與數(shù)理統(tǒng)計應(yīng)用等方面，全面提升應(yīng)用水平，為社會發(fā)展貢獻力量。

參考文獻

[1] ?曹顯兵，熊令純，施明存. 概率統(tǒng)計教學中的幾個問題分析[J]. 數(shù)學的實踐與認識，2018（21）.

[2] ?吳劍，錢進. R軟件在工科概率論與數(shù)理統(tǒng)計教學中的應(yīng)用[J]. 考試周刊，2019（29）.

[3] ?王麗琦. 如何提高大班授課的課堂效率——基于遼寧省跨校修讀學分《概率論與數(shù)理統(tǒng)計》課程的思考[J]. 高考，2019（2）：54-54.

[4] ?張卯生，趙麗芬. 巧借信息技術(shù)優(yōu)化“CAP概率論與數(shù)理統(tǒng)計”教學策略研究[C]// 2018.

[5] ?楊洋. OBE教學模式下《概率論與數(shù)理統(tǒng)計》課程教學實踐研究[J]. 時代教育，2017（11）：5-5.

[6] ?張旭清. 基于MOOC平臺的概率論與數(shù)理統(tǒng)計課堂教學的幾點思考[J]. 考試周刊，2018（93）：3-4.

作者簡介：馮凡，女，1992.05，漢，河北省衡水市，本科，職稱：無，研究方向：概率論與數(shù)理統(tǒng)計。