概率論與數理統計在信息論中的應用淺析

劉垚

摘 要：概率論與數理統計在信息論中的應用越來越普遍，本文在研究概率論與數理統計在信息論中的應用問題時，注重把握信息論與數學理論二者的關聯性。同時，注重從概率論和數理統計角度出發，對信息論的基本特點進行了分析和把握，將概率論與數理統計在信息論中進行應用，實現信息論的有效教學和學習目標。

關鍵詞：概率論；數理統計；信息論

當前，統計數學中對信息這一觀點進行了闡述，將信息看作是一種信息量。隨著信息這一概念的提出，在隨后的研究中，學術界對信息的研究不斷加深，并在1948年人們對信息論的基本概念和內涵進行了表述，這為現代信息論的發展奠定了基礎。信息論的研究與概率論、數理統計學科有著密切的關聯性，數理統計和概率論是信息論研究的重要工具，這使信息論學習中，人們對概率論和數理統計問題予以了較高的關注度。研究概率論和數理統計在信息論中的應用，有助于對信息論問題進行更加深入、透徹的分析，從而使對信息論的理解變得更加明確。

1 信息的概念分析

信息科學主要從信息角度出發，以信息作為學科的研究對象，主要的研究內容為信息的運動規律和相關的應用方法。在對信息論研究過程中，計算機技術是主要研究工具，從而實現對人類信息功能的拓展。信息論是一門新興的綜合性學科，其與概率論、數理統計有著密切的關聯性，在對信息論研究和學習的過程中，要注重從綜合角度出發，對問題予以更加深入的認知。

從信息論的發展來看，人們對信息的研究起步較早，古時候的結繩記事、驛站等，是最簡單最原始的信息傳遞；到了近現代，隨著電話技術、電報技術、網絡技術等的發展，人類進行信息傳遞的方式發生了翻天覆地的變化，相關技術水平也得到了大幅度的提升。從信息論的發展情況來看，現代信息論出現之前，人們對信息論的理解局限于“信息傳遞”，信息也可以被看作是“消息”。但從現代信息論角度來看，信息和消息之間存在著一定的差異，消息更多地表現在符號、語言、圖像和文字信息等，這些信息可以被人的感官所獲知，可以看作是信息的載體。但從消息的本質來看，其包含的東西較少，在人們獲知消息后，消息的量也被確定。而信息則不同，信息與消息相比，最大的特點表現在信息具有不確定的特征，這種不確定性使信息量變得模糊不定。例如在概率論中，比較典型的擲硬幣事件，對硬幣的正反面確定存在著一定的隨機性，實驗完成后，人們才能夠對硬幣最終的情況予以把握。從這一角度來看，信息反映出了事件信息獲取過程中不確定量的減少量，這一減少量就是在隨機實驗中獲取的信息量。

關于信息概念的確定，結合概率論的拋硬幣事件，可以對信息定義如下：信息是事物運動狀態或是存在方式的不確定性的描述。從這一角度來看，可以對信息理解為消除不確定性的東西，不確定性的變化情況，就是信息獲取的情況。從這一角度來看，信息論與概率論之間有著密切的關聯，并且從這一角度出發，有助于在研究信息論問題時，將概率論更好地引入。

2 通信系統的概率統計模型分析

在對通信系統的概率統計模型分析過程中，首先要注重對通信系統的基本要素予以把握，其包括了信源、信道、信宿、編碼、譯碼、噪聲等幾個部分。其中噪聲可能會對信道信息傳輸質量產生不利影響，最終影響到信息的傳遞效果。在研究通信系統的概率統計模型過程中，關于其模型的表達如圖1所示：

從通信系統模型的組成來看，信源是模型的基礎部分，也是信息產生的來源。信源的產生具有一定的隨機性，在對信源問題的理解過程中，可以將其看作是一個隨機變量，并利用隨機變量對信源進行描述。在對信源表示的過程中，假設信源的信息為隨機變量，將其記為：，信源發出的信息集合表示為：。信息源集合設置完成后，接下來需要考慮到隨機變量的分布情況。隨機變量分布對信息源有著較大的影響，對其表示為：，這樣一來，根據隨機變量以及信息源集合，信源可以用進行描述。

在通信系統中，信道主要是指信息的傳輸通道，信道對信息傳遞有著較大的影響。當信息源進入信道后，可能受到噪聲的干擾，從而導致信息的流失或是信息傳輸受阻。從信道中的噪聲干擾情況來看，其具有一定的隨機性，輸入信號和輸出信號之間的函數關系并不確定。從信道的組成來看，當輸入信號字母，輸出信號，信號轉移概率：。通信系統中，信源產生的信息會通過編碼將其轉化為信號，之后信號進入到信道中進行傳輸。信道輸出信號與轉移概率有著一定的關聯，在對信道進行標記過程中，利用：進行標記。

通過上文的分析來看，針對于信源和信道的傳輸概率進行了概率統計模型的構建，針對于這一情況，在對通信系統模型構建過程中，其模型構建如下：

在對通信系統問題研究過程中，借助于概率統計模型構建，對通信系統信息傳輸問題進行了解釋，并且為信息論問題的研究提供了相關基礎。

3 信息的度量分析

概率論與數理統計在信息論中的應用，考慮到了現代信息論的隨機性問題，這使概率論在解釋信息傳輸問題方面，發揮了重要的作用。而從另一個方面來看，在進行信息論研究過程中，信息量大小的確認，是需要考慮到又一重要問題。從信息的本質來看，其具有一定的可度量性。信息主要是對不確定性東西進行消除，對不確定性進行度量，可以實現對信息的度量。在對信息度量過程中，對離散隨機變量進行了考慮，假設隨機變量為，其概率分布為：，這樣一來，在對隨機變量進行確定的過程中，則從其概率分布函數角度出發。當呈現出確定性分布特點的時候，不確定性為0；當信息可能是等可能分布的時候，隨機變量取值變大，這也導致了信息不確定性變大。

可加性，利用可以對的函數形式進行最終的確定。

在對函數不確定性進行確定后，根據離散隨機變量的數值，對連續隨機變量進行確定，這一過程中，假設連續隨機變量的概率密度為，則有：

在對連續函數數值計算過程中，考慮到了熵值的分布特點：

在對信息度量過程中，要注重對隨機變量的數值予以把握，從而對隨機變量的數值進行確定，實現對信息的度量。

4最優編碼問題

信息論的創始人C.E.Shannon在研究信息論問題時，將發射信息和接受信息作為通訊過程進行研究，在這一過程中，主要考慮到了信息編碼問題。其對系統通訊的一般模型提出，對信息量的計算公式進行了確定。在信息通訊系統中，如何對編碼問題進行確定，成為其研究的一個重要內容。在對最優編碼問題解決過程中，概率論和數理統計的應用，很好地解決了這一問題。通信系統中，通信的數量和質量是通信考慮的兩個基本問題。在這一過程中，在信息傳輸過程中，以信號進行傳輸，如何以最少的信號對信息進行傳輸，關系到了系統傳輸的效率和質量。信息量的減少，可能導致信源信息受到一定的影響，導致信源的質量有所下降。這一過程中，就需要做好最優編碼，并加強信號對信源的干擾，使信源傳輸的可靠性得到更好地提升。在應對信源干擾問題時，主要通過信源編碼、信道編碼的方式。信源進行信號傳輸過程中，信源傳輸的信號具有一定的隨機性和不確定性，在對編碼方案確定過程中，要注意對效率的概率予以把握。關于概率論和數理統計在解決最優編碼中的應用，如下：

為信源，其中是其中一個變長編碼，向量的長度為，則有：

其為變長編碼的平均碼長。平均碼長問題對概率問題進行了考慮，其是消息出現的概率為權的加權平均。

此外，在對最優編碼確定過程中，假設存在唯一的可譯長碼，對其他可變長碼都有：

在對最優編碼確定過程中，根據概率論，主要應用的有Huffman編碼，該編碼方法應用過程中，主要步驟針對于Huffman進行數據壓縮，對信源的概率分布情況予以考慮，從而對最優編碼進行確定。

5 結束語

綜上所述，現代信息論在應用過程中，對于現代社會發展有著重要的影響。信息化社會中，信息的獲取、傳遞、處理、控制、利用，關系到了人們生活的各個方面。在對信息論應用過程中，要注重對信息傳遞的效率和質量予以把握，從而實現信息系統的最優化。信息論在研究信息存儲、傳輸、處理方面，對于提升信息系統功能方面，發揮了重要的作用。在對信息論研究中，概率論和數理統計有助于提升研究的針對性，對信息論中存在的一系列問題做好有效地解釋。因此，在研究和學習信息論問題時，要注重對學科之間的相互作用予以把握，將概率論、數理統計學科知識與信息論進行更加緊密地結合，從而使信息論的學習和認知更加明確。

參考文獻

[1]徐金暐.現代信息論應用與發展[J].電信快報，2017（05）：42-44.

[2]李志林，劉啟亮，高培超.地圖信息論：從狹義到廣義的發展回顧[J].測繪學報，2016，45（07）：757-767.

[3]王昶，王三秀.政府公信力的生成與流失——基于信息論視角的解讀[J].理論月刊，2016（02）：107-111.

[4]張秋聞，王曉.信息論與編碼教學模式的研究與探索[J].計算機教育，2015（12）：58-60+73.