概率論與數理統計在信息論中應用分析

趙金夢 中移（蘇州）軟件技術有限公司

為深入研究更佳的信息容量和信息通行方式，信息論應運而生，其為人們立體而直觀的展示了信息相關因素之間的聯系[1]，具有較高的應用價值。而作為信息論的重要研究支撐，概率論和數理統計意義非凡，可保障信息流通科學性、穩定性、交融性即聯系性等。

一、現代信息論內涵分析

分析信息論內涵可以看出，其應用工具和領域主要為概率論與數理統計和信息與計算科學，其主要研究信息在時間和空間領域中的流通情況[2]。其研究模型主要由信源、信宿、信道、編碼器及譯碼器等元素構成，且各個元素之間擁有特異性的規律聯系。相較于傳統信息模式，現代信息論擁有更加更廣的范圍、應用方式也更安全，可適應各種應用場景，比如遙控傳遞信號、電話實時雙向通道及立體信息傳統模式（語音、圖像、文字等同步傳遞）等。當然，概率與數理統計為信息論基礎，因此信息論也會重視信道噪聲和信源符號的概率統計，而將其進行概率歸集，可形成具有規律的語法信息，比如語用和語義等。

當然，從信息概念和內涵的定性，可充分結合概率論的偶爾事件，例如拋硬幣形成的正面和反面說。由此，可對信息進行以下歸結：其主要描述物體的動態情況，或其不確定的存在模式。以這一維度切入可以發現，對于信息的理解，可將其歸結為對信息的不確定因素的描述，如其變化范圍或不同的變化狀態。由此，概率論與數理統計和信息論之間擁有緊密的聯系，可更好的融入概率論。

二、概率論與數理統計作用分析

概率論與數理統計主要是指利用統計概率方式，破解學習、生活及工作等領域問題，因此其擁有明顯的作用：首先：降低問題解決難度。即通過該工具可搭建數理問題便捷通道，優化計算過程，提升效率；其次，可為相關研究提供一定支撐，即利用該工具形成的基礎模型，可深層次剖析研究對象，提升研究質量，比如通信問題研究、化學反應時間的研究及服務系統的研究等；其三，可兼容于其他學科，提升教學效果。即將其核心理念融入其它學科類型中，比如信息論等[3]。這樣便能將該學科立體而直觀的展示在學生面前，降低學生學習難度，提升其學習興趣，進而達到提升教學效果的目的；其四，可助力信息數據化的現代化發展。概率論和數理統計可以三維方式展示信息發展構架，理清互聯網信息數據之間的聯系，進而實現信息數據的時代發展計劃，以推動網絡世紀信息論的深化發展。當然，概率率和數據統計作為一種動態發展的學科，其還能進一步升華信息數據化。

三、概率論與數理統計于信息論應用途徑

（一）概率統計于通信系統中的應用

在信息論中通信系統屬于框架支撐部分，其體系化構成如圖1 所示，其中較為關鍵的為信源、信道及信宿等，以信源和信道為例：

圖1 通信系統基本框架

前者主要是指信息的源頭，其發射出的信息是無規律的。因此能以隨機變量方式展示其這些信息。即：以m 表示無規律的隨機信息，由此其信源發出的信息集合能以m={m1，m2，m3mn}表示，其分布情況能以{p（m），m ∈m}來表示，其信源則能以{m，p（m）}來表示。

后者主要是指信息流轉的通道，即在信息進入相關通道后，由于存在隨機干擾，因此輸入與輸出信號存在差異性，從而形成具有依賴的差異函數關系。由此，若輸入信號為k{k}，那么其輸出信號為h{h}，而{p（p（h|k）|k）：k ∈k，h ∈h}為其轉移概率。而在信號源發射信號中，信號的輸入和輸出在信道之間傳遞，由此可用C={k，p（k|h），h}表示。

而通過以上信道和信源組成的模型，可用以下統計公式表示：

（二）最優編碼中概率統計的應用

編碼是信息論的關鍵表現，屬于概率統計核心應用環節之一。在信息論中，通信過程中信號傳遞的真實性是較為關鍵的基礎問題，而編碼則能以一定方式提升信源信息質量，使其擁有相應抗干擾能力和傳輸效率[4]。當然由于信源發射的信號屬于波動狀態，具有不確定性和隨機性，因此具有一定概率性。即若編碼越長，則其概率越小，若編碼較短則其概率越大。由此，應有相關標準來確定最優碼。例如，在統計編碼概率應用過程中，對于變長編碼相關內容：首先，設定變長編碼為f，其中以S 表示信源頭，具體為{x，p（x）}。尤此其量的長度可以表示為f（x），如此，對于變長編碼的標準可以表示為：L（s，f）。同時由于概率被計算到變長編碼的標準內容中，因此能以加權平均表示其出現概率，即相應的數學期望；其次，定位最優編碼。在上述內容基礎上，以f0表示僅能編譯信號，那么可得出以下概率范圍：L（L，f）≥L（s，f0），其中最為編碼可用f0表示。從而得出最優編碼為僅能編譯長信號。而對于此處的最優編碼信號，則擁有多種方式，例如在概率分布基礎上形成的算碼法、Huffman 技術等。其中使用較為廣泛的為Huffman 編碼技術，其在信源概率趨勢基礎上，形成自身編碼表和數據壓縮表，其中碼長較長對應小概率，碼長較短對應大概率，進而得出相關數據證明。

（三）信息度量中概率統計的應用

對于信息論而言，信息度量屬于核心成分。以理論為角度賭氣進行剖析可以看出，其是指可以利用相關工具，度量信息，進而提升信息確定性。由此，不確定性屬于信息度量的基礎和依據。對于此項問題的解釋，可充分利用隨機變量知識對其進行預期計算和統計，以其概率展示相關內容，即：因為能用隨機變量來展示信源發射的信息，所以對于信息的度量能用不確定性的隨機變量來表示。比如，用m 表示離散隨機比愛良，那么可用（p1，p2，p3，pm）等表示其概率分布，其中分布函數可以用不確定的變量來表示，若其中m 是定性分布，那么其沒有確定性，即為0，若m 是可能分布，那么擁有最強的隨機性，即不確定性為mmax。在此基礎上，可將散隨機變量X 的不確定性記為：Q（X）=Q（p）=Q（p1，p2，p3，p4，……，pn）如p 為等概率分布，則可將記為Q（p）=g（a）。依據概率統計中不確定性內涵，可判定函數Q（m）具有的性質為：可加性。如有一組整數w i，i=1，2，3，4， ……，m， 如，則可確定：g（a）= g（w i）+H（w1’，w2’，w3’，w4’，……，w m’），在上述關系中，wi’=wi/a，此時，可以證明，如滿足上述條件可唯一確定函數H（p）的形式，即：H（p1，p2，p3，p4，……，p n）=不確定的函數（香農熵）。

四、結語

綜上，在信息通信背景下，概率論與數理統計擁有十分中重要的價值意義，即能程序化推動信息論學科的進步，為其相關研究奠定良好基礎，以促進其深化發展。由此可以看出，兩者實際擁有較為密切的聯系，相關人員應理清兩者的關聯因素，挖掘應用價值，提升概率統計工具于信息論的應用效能。于此，文章就其實應用進行了三個方面梳理，具有一定參考價值。當然其中仍存在一定不足，在此希望相關學者能深入其中，研究既符合兩者作用價值發揮的應用方式。