信息熵的介紹及應用

田源

【摘 要】以信息論的概念及其應用探討為目的，首先通過提出想要對“信息”這一概念進行量化的想法，介紹了“信息量”概念的提出以及完善到“信息熵”的過程，進而介紹了“信息熵”的概念，簡述了信息論這一學科的啟蒙和發展。通過一個友誼賽比賽結果的例子貫穿了文章前半部文，并且運用信息量以及信息熵的計算方法對結果進行了計算和比較；在文章后半部分提出了一個經典問題，首先給出了一個信息熵極值定理的證明，之后運用信息熵的理論給出了這一問題的解決方法。

【關鍵詞】信息 信息量 信息熵 不確定性 概率

【中圖分類號】C931.6【文獻標識碼】A【文章編號】1672-5158（2013）07-0512-02

1、信息量化及信息熵的提出

1.1 信息的量化

通常情況下我們無法準確感知“信息”（Information）這個抽象詞語。而能夠被量化的事物永遠比只能被抽象形容的事物更加容易被人們理解和接受。例如，“今天一場足球友誼賽的比分是巴西4：0德國”就比“今天巴西在決賽上大勝德國隊”更加能引起聽者的共鳴。由此可見，若“信息”這一抽象概念能夠被量化，將十分有助于我們理解它的深刻含義。

1.2 信息熵的提出

依然以上述友誼賽為例，假設甲乙丙三人都是球迷，當天的球賽甲因為有事而沒有看到，此時他向乙、丙二人詢問結果。乙說：“球賽不是平局”。丙說：“巴西隊贏了”。顯然，乙所提供的信息只能幫助甲排除掉兩隊平局的情況，而丙提供的信息則幫助甲排除了“兩隊踢平”和“德國隊勝”這兩種情況，從而提供了比乙更多的信息。通過這個例子，丙因為幫甲縮小了可能的范圍而提供了更多的信息。在數學上，我們把這稱為消除“不確定性”（Uncertainty）。很顯然，信息的量化過程極有可能與不確定性相關。

1928年，R.V.L.哈特萊首先提出信息定量化的初步設想，他將消息數的對數定義為“信息量”（information content）。若信源有m種消息，且每個消息是以相等可能產生的，則該信源的信息量可表示為I=log m。至于為什么用對數作為信息量的計算，隨后的香農（C.E.Shannon）在他的論文“通信的數學理論（A Mathematical Theory of Communication）”中給出了解釋。

事實上，R.V.L.哈特萊對信息量的定義過于理想化，因為在現實中，絕大多數的信源輸出的消息都是隨機的，即是說“信源有m種消息，且每個消息是以相等可能產生的”這種情況是極少存在的。直到1948年香農（ C. E. Shannon）提出了“信息熵”（entropy of information）的概念，奠定了“信息論”這一新學科的基礎，才完善了“信息量”的概念。

2、香農的信息論理念

2.1 香農對信息量化的完善

香農（C.E. Shannon）信息論中，信息是用不確定性的量度定義的，這與本文最開始提到的直觀例子相符合：一個消息的可能性愈小，其信息愈多；而消息的可能性愈大，則其信息愈少。事件出現的概率小，不確定性就越多，信息量就大，反之則少。同時香農（C.E.Shannon）認為：信源輸出的消息是隨機的。即在未收到消息之前，是不能肯定信源到底發送什么樣的消息。而通信的目的也就是要使接收者在接收到消息后，盡可能多的解除接收者對信源所存在的疑義（不確定度），因此這個被解除的不定度實際上就是在通信中所要傳送的信息量。香農（C.E. Shannon）亦給出了信息量的計算公式：

其中，K是正常數。

4、經典問題

4.1 硬幣驗假問題敘述

介紹過了信息的量化過程以及信息量和信息熵的概念后，我們先來看一例經典問題以及信息論的知識在其中的應用。

在12枚硬幣中，有一枚假硬幣的重量和其它11枚不同，除此之外12枚硬幣的各項質地包括外形、顏色等完全相同。在只有一架天平且沒有砝碼的情況下，問最少幾次可以找出重量不同的硬幣。

4.2 問題分析

首先我們注意到：不知道假硬幣的重量較其它硬幣是輕是重給這一問題增加了難度，此時每枚硬幣都可能是假硬幣而且既可能輕也可能重，故而對于哪一枚硬幣是假硬幣這一事件來說總共有12×1×2=24種可能性；

而在每次稱量硬幣時，由于我們不知道假硬幣是輕是重，所以無法通過天平的傾斜方向來判斷假硬幣的所在，所以會出現三種可能：

x1：假硬幣在天平左邊

x2：假硬幣在天平右邊

由于次數為一非負整數概念，故至少需要三次可以找出假硬幣。

4.3.2 實際操作結果

首先將12枚硬幣編號1～12，同時每四枚一組命名為第一組、第二組和第三組。第一次稱量第一組和第二組，若：

（1）天平平衡，則：

（2）天平不平衡，不妨設第一組比第二組重量輕（即是說如果假硬幣在第一組中，則1234中有一枚較標準硬幣會輕；反之就是5678中有一枚較標準硬幣會重）

當第二組比第一組重則情況與②相仿，不予贅述。

結束語

以上是對信息量以及信息熵的介紹和實際應用的一些討論和研究，自信息量概念的提出到信息熵系統的完善，可以說是將信息論這門學科或者說信息這一概念完整而系統的表示出來了，使人們對“信息”的概念和作用都有了深刻的認識，在通信以及工程上都是一個偉大的貢獻。

參考文獻

[1] C.E.Shannon：《A Mathematical Theory of Communication》，1948

[2] 石峰，莫忠息：《信息論基礎》 武漢大學出版社，2006

[3] 鄧集賢，楊維權，司徒榮等：《概率論與數理統計》 高等教育出版社，2009