淺談信息論方法在概率論和統(tǒng)計(jì)學(xué)上的應(yīng)用

蔣瑞祥

（安徽省合肥市新華學(xué)院國(guó)際教育學(xué)院，安徽 合肥 230088）

引言

對(duì)于人們來(lái)說(shuō)，信息利用價(jià)值非常巨大，直至1940年才逐漸開(kāi)始將信息以一種科學(xué)概念進(jìn)行研究和分析，隨后才逐漸開(kāi)始大規(guī)模的運(yùn)用科學(xué)信息。處在當(dāng)前信息化社會(huì)中，信息技術(shù)有著極快的發(fā)展及更新速度，面對(duì)數(shù)量龐大、類(lèi)型眾多的信息，有效利用信息成為關(guān)鍵所在。當(dāng)前不同領(lǐng)域已經(jīng)將信息利用放在首要位置，而且伴隨著統(tǒng)計(jì)學(xué)、概率論的逐步發(fā)展，利用好信息論方法可以極大地推動(dòng)社會(huì)的進(jìn)步。目前產(chǎn)業(yè)規(guī)模最大的就屬信息產(chǎn)業(yè)，要想不斷促進(jìn)社會(huì)經(jīng)濟(jì)的發(fā)展，就必須要充分發(fā)揮信息論方法在概率論及統(tǒng)計(jì)學(xué)方面的作用及優(yōu)勢(shì)。

一、信息論概念和分類(lèi)

克勞德·艾爾伍·申農(nóng)將社會(huì)推動(dòng)到信息化發(fā)展的時(shí)代，其構(gòu)建了信息論，被人們譽(yù)為數(shù)字時(shí)代之父[1]。在20世紀(jì)四十年代末期克勞德·申農(nóng)對(duì)聞名于世的《通信的數(shù)學(xué)原理》進(jìn)行了發(fā)表，隨著論文的發(fā)表人們開(kāi)始進(jìn)入到現(xiàn)代信息論研究的浪潮中。

（一）定義

首先在克勞德·申農(nóng)看來(lái)，信息論的核心問(wèn)題即為，一端對(duì)另一端選取信號(hào)的復(fù)現(xiàn)，包括近似復(fù)現(xiàn)以及精確化的復(fù)現(xiàn)；

其次，作為基礎(chǔ)科學(xué)理論，信息論探究的是信息本質(zhì)及其傳遞規(guī)律，屬于新興學(xué)科，能夠?qū)Υ鎯?chǔ)信息、計(jì)量信息、交換信息、接收信息和傳遞信息等內(nèi)容進(jìn)行分析[2]。

（二）分類(lèi)

基于狹義信息論角度來(lái)看，針對(duì)通信系統(tǒng)下信息處理、傳遞的科學(xué)規(guī)律進(jìn)行研究時(shí)，需要借助統(tǒng)計(jì)學(xué)方法；

基于廣義信息論的角度來(lái)看，對(duì)于現(xiàn)實(shí)系統(tǒng)下有關(guān)信息運(yùn)用、信息處理識(shí)別和信息傳遞的共性科學(xué)規(guī)律，應(yīng)利用數(shù)學(xué)方法及相關(guān)科學(xué)方法進(jìn)行研究。

二、信息論方法在概率上的應(yīng)用

（一）二分度量法

（二）差異度量法

（三）集中度量法

當(dāng)前概率論中運(yùn)用極為廣泛的就是集中度量法，其在一般性描述概率問(wèn)題的過(guò)程中，能夠?qū)Ω怕收摰奶骄窟M(jìn)行進(jìn)一步的延伸，然而信息論研究人員能夠簡(jiǎn)便化的進(jìn)行分析。

基于信息論方法下，最初運(yùn)用過(guò)程中僅將其作為數(shù)學(xué)工具，然而當(dāng)前已經(jīng)發(fā)展為構(gòu)成信息論方法的系統(tǒng)內(nèi)容。目前，MaIton以一種更深層次的視角，詳細(xì)談久了集中度量法結(jié)果，證明了其運(yùn)用的高效性。

三、信息論在統(tǒng)計(jì)中的應(yīng)用

基于統(tǒng)計(jì)學(xué)領(lǐng)域，在運(yùn)用信息論方法的時(shí)候，通常都指的是統(tǒng)計(jì)下信息量的運(yùn)用狀況，也包括統(tǒng)計(jì)運(yùn)用下的碼結(jié)構(gòu)、編碼定理等。因?yàn)榻y(tǒng)計(jì)學(xué)涉及大量的研究?jī)?nèi)容，而且呈現(xiàn)不斷復(fù)雜的趨勢(shì)，包括統(tǒng)計(jì)混合分布、非線(xiàn)性統(tǒng)計(jì)模型等，所以應(yīng)將基本度量設(shè)定成信息量，這樣才能有效解決統(tǒng)計(jì)學(xué)問(wèn)題。