淺析平均互信息量求解方法

摘 要：本文首先講解平均互信息量的定義，闡述了平均互信息量的物理意義，并通過一個實例詳細解析平均互信息量的求解方法，最后對平均互信息量的特點及其求解方法進行總結。

關鍵詞：互信息量;不確定度;通信系統

通常，在通信系統中，探討不同的概率空間集合之間的平均互信息量對研究通信問題十分重要。通信問題是研究信源與信宿之間關于信息的傳輸情況，即通信的目的是在接收端準確地或盡量避免失真地復現信源所發送的消息。所以說，通信系統的輸入和輸出一般都存在一定的概率關系，一個通信系統越好，這種通信關系就越明確。

假定X和Y分別表示一個通信系統的輸入事件集和輸出事件集，如何通過信源信道在接受端Y盡可能完整發送X，是我們關心的問題，互信息量I（X;Y）就是定量研究該類信息流通問題的一個重要的物理量。互信息量描述得輸入隨機變量發出的某個具體消息xi，輸出變量出現某一具體消息yj時，由于流經信道的信息量是一個隨機變化的量，無法從整體上作為信道中信息流通的測度，為此我們了引入平均互信息量。

一、平均互信息量定義

若已知離散集X和離散集Y之間的聯合概率P（XY），則I（X;Y）也可定義為在聯合概率空間P（XY）的統計平均值，即：

稱I（X;Y）是Y對X的平均互信息量，簡稱平均互信息或交互熵。

二、I（X;Y）的三種物理意義

根據I（X;Y）的定義，可以推導出I（X;Y）的三種不同形式的表達式，如下所述：

若觀察者站在輸出端，則I（X;Y）=H（X）-H（X/Y）。其中，

H（X/Y）稱為信道疑義度，表示收到變量Y后，對隨機變量X仍然存在的不確定度，代表在信道中損失的信息，而I（X;Y）則表示收到Y前、后關于X的不確定度減少的量。

若觀察者站在輸入端，則I（Y;X）=H（Y）-H（Y/X）。其中，

H（Y/X）稱為信道噪聲熵，表示發出隨機變量X后，對隨機變量Y仍然存在的平均不確定度。H（Y/X）則表示發出X前后關于Y的先驗不確定度減少的量。

若觀察者站在通信系統總體立場上，則I（Y;X）=H（X）+

H（Y）-H（XY）。其中，H（XY）稱為聯合熵，表示收、發雙方通信后，整個系統仍然存在的不確定度。I（X;Y）則表示通信前、后整個系統不確定度減少的量。

從以上三個不同的角度分析可以得出，從一個事件要想獲得另一個事件的I（X;Y）就需要消除不確定度，一旦不確定度消除，就獲得了信息。

三、I（X;Y）求解案例分析

根據I（X;Y）的三種形式，可以根據已知條件，輕松求出各種熵和I（X;Y）。例如：已知一個二元信源連接一個二元信道，如下圖所示。其中有：

試求：I（X;Y），H（XY），H（X/Y），H（Y/X） 。

解題思路：求解本題，可以根據I（X;Y）的多種表達形式進行求解，盡可能地避開求解量的原始定義，這樣就可以避免大量煩瑣的計算過程，使求解結果又快又準。

（1）求解H（XY）：

p（x1y1）=0.5×0.98=0.49 " p（x1y2）=0.5×0.08=0.01

p（x2y1）=0.5×0.20=0.10 " p（x2y2）=0.5×0.80=0.40

H（XY）=1.43 bit/符號

（2）求解I（X;Y）：

p（y1）=p（x1y1）+p（x2y1）=0.59

p（y2）=p（x1y2）+p（x2y2）=0.41

I（X;Y）=H（X）+H（Y）-H（XY）=0.55bit/符號

（3）求解H（X/Y）和 H（Y/X）：

H（X）=1bit/符號 " " H（Y）=0.98bit/符號

根據I（X;Y）=H（X）-H（X/Y）=H（Y）-H（Y/X）

H（X/Y）=0.45bit/符號 " H（Y/X）=0.43bit/符號

綜上所述，互信息量討論的是兩個具體消息xi和yj之間的信息流通量，具有隨機性，而測量一個通信系統的信息流通量時，需要從整體的角度出發，在平均意義上度量每通過一個符號流經信道的平均信息量，這種測度，它不能是隨機量，必須是一個確定的量。在求解I（X;Y）時，可以根據I（X;Y）三種不同的形式以及它的定義，選擇不同的方法求解，即可較快較好地解出答案。

參考文獻：

[1]陳運.信息論與編碼[M].北京：電子工業出版社，2009.

[2]仇佩亮.信息論及其應用[M].杭州：浙江大學出版社，2000.

作者簡介：石敏力（1979— ），女，湖南邵陽人，副教授，研究方向：信息化技術與信息化教育。