熱力學熵和信息熵比較探究

左晗琦

摘 要：熱力學熵是對一個包含大量微觀粒子的宏觀熱力學系統混亂程度的量化。信息熵是對事件不確定程度的量化。本文通過研究熱力學熵和信息熵的物理本質，并對其進行比較探究，闡明了信息是一種負熵的本質原因。

關鍵詞：熱力學熵；信息熵；負熵

中圖分類號：O414.11 文獻標識碼：A 文章編號：1671-2064（2018）20-0222-02

宏觀系統往往包含大量的微觀粒子，這些微觀粒子不停的運動和碰撞形成各種各樣的微觀狀態，對這些微觀狀態的量化即是熱力學熵。在網絡發達的今天，信息是現代社會的基石，掌握信息的多寡成為一個國家國力的衡量標準之一，信息熵即是對信息量多寡的量化方式。熱力學熵是對一個包含大量微觀粒子的宏觀熱力學系統混亂程度的量化，信息熵是對事件不確定程度的量化。它們之間既有聯系又有很多的區別，本文主要研究熱力學熵和信息熵以及他們之間的共同和差異之處。

1 熱力學熵

克勞修斯在1867年將熱力學第二定律的“孤立系統的熵永不減少”這一描述推廣到全宇宙，把整個宇宙視為一個孤立的熱力學系統，那么整個宇宙將會朝著熱力學平衡態演化，最終宇宙的熵將會達到極大，整個宇宙的粒子密度處處均勻并且溫度處處相等。這就是所謂的“熱寂”。熱寂說的正確性自提出以來一直備受質疑，比如最近的天文學觀測數據表明宇宙正在加速膨脹，這就意味著經典熱力學系統的能量守恒定律可能不適用于宇宙這個大系統；另外也有學者提出從有限大小的系統總結出的熱力學規律能否用于描述無限大的系統的質疑，這些都表明熱寂說可能是錯誤的，宇宙演化的終點可能并不是冷冰冰的。盡管如此，克勞修斯提出的熵的概念以及熱力學第二定律的熵增描述都是有其積極意義的，他使我們從新的角度了解了熱力學系統，并引入了量化混亂程度的方式，這為之后其他領域如信息領域的熵的量化奠定了基礎。克勞修斯提出的熵S的定義為一個熱力學系統在可逆過程中吸收的熱量dQ相對于系統溫度T的變化率，也就是

（1）

克勞修斯雖然提出了熵的概念并給出了熵的微分表達式，但并沒有賦予熵明確的物理含義。

一個典型的熱力學系統往往包含大量的微觀粒子，這些微觀粒子以不同的速度在系統的不同的空間位置做永恒的熱運動。某一個微觀粒子的狀態由三個空間坐標和三個速度坐標表示為（x，y，z，vx，vy，vz），這六個坐標可以確定微觀粒子在六維相空間中的位置。如果能獲知某一時刻系統中所有粒子在六維相空間中的位置，我們就唯一確定了系統的某一微觀狀態。由于粒子在不斷的運動并可能發生碰撞，運動意味著粒子的位置在不斷的改變，而碰撞則會導致不同粒子的速度發生交換或改變，而粒子速度或位置的改變將會導致新的微觀狀態出現。系統的微觀狀態總數Ω可視為系統的不確定程度或者混亂程度。玻爾茲曼發現熱力學熵S和系統的微觀狀態總數Ω間有如下關系[1]：

S=klnΩ. （2）

其中k為玻爾茲曼常數。式（2）表明系統的熵正比于系統的微觀狀態總數，因此熱力學熵的物理意義是對一個包含大量微觀粒子的宏觀熱力學系統混亂程度的量化。

若不對孤立熱力學系統加以任何限制，粒子可以等概率的處以任意一個單粒子能級的任意一個簡并態上，這將會導致系統的平均能量為無窮大。但如果對系統的總能量加以限制，粒子處于不同能級的某個簡并態的概率將會不同，我們把粒子依照能級的分布概率稱之為粒子的能級分布律，具有相同平均能量的分布律有很多種。最概然統計法指出系統的平衡態應當是所有可能的能級分布中熱力學熵最大的分布，這就把熱力學熵和系統的能級分布聯系了起來。通過求熵極大的狀態，就可以得到系統粒子按照能級的分布規律，進而得到其他宏觀物理量和微觀量之間的關系。

2 信息熵

從生活的角度而言，信息指的是傳播在人類社會的所有內容，包括從古至今傳承的記錄于紙面的知識、口耳相傳的音訊、現代通訊系統中處理和傳輸的對象等。香農認為信息是用來消除事件的不確定性的東西，這一定義被廣泛認可并傳播使用。但同樣的內容在不同人的眼里傳遞信息的多寡卻不相同。比如‘北京這兩個字，若討論范圍被限定在新中國的首都，那由于新中國的首都是唯一確定的，因此這兩個字沒有傳遞任何信息，新中國的首都和北京是等價的，任何人不通過信息傳遞都可獲知北京這一信息；但若討論范圍被限定在新中國的直轄市，如果沒有信息傳遞，則問題的答案可能是北京、上海、天津和重慶中的任一個，如果傳遞了‘北京這個信息，則‘北京從四個可能的直轄市中確定了其中一個直轄市，也就是為了消除最終答案的不確定性，必須傳遞‘北京這個信息。為了給信息量的多寡提供一種量化手段，香農受熱力學熵的啟發在1948年提出了信息熵的概念。若對于一個事件集合{Xi}，i=1，2，3，…，n，隨機事件Xi發生的概率為為pi，其中pi滿足=1。則這個事件集合的信息熵被定義為：

. （3）

其中c為常數，log可為以任意數為底的對數[1]。在二進制通道中，常數c被取為1，對數log的底被取為2。在這種情況下得到的信息熵的單位為bit。

從信息熵的定義可以看出，某個信息傳遞的信息量的多寡的衡量必須在某個確定的事件集合下討論。若事件集合中所有事件都是等可能的，那么集合包含的事件越多，則對應的信息熵就越大，這就回答了我們之前討論的‘北京這兩個字代表的信息量的問題。同樣的信息集合，其概率分布pi越平均，則其信息熵越大，最大值在pi=1/n處取到，這一點可以從概率分布越平均則隨機猜測時能猜到正確答案的概率越小這一角度理解。一個事件集合中所有可能的事件在二進制通道中通過字母表和二進制編碼一一對應，但不同的編碼方式對應不同的平均編碼長度，二進制通道下的香農熵還代表了所有可能的編碼方式的最短的平均編碼長度。

3 熱力學熵和信息熵的關系

熱力學第二定律和克勞修斯的熱寂學說提出后，麥克斯韋為反駁熵增定律提出了被稱為‘麥克斯韋妖的思想實驗。麥克斯韋妖是一個可以探知粒子運動速度的小妖，它守在一個通過小孔連接的兩個處于熱平衡態系統A和B的小孔處。若系統A中的一個朝著小孔飛來的粒子速率大于某個速率值v，或者系統B中一個朝著小孔飛來的粒子速率小于速率值v，麥克斯韋妖打開小孔。經過一段很長的時間后，系統A中將只剩下速率小于v的粒子，系統B中都是速率大于v的粒子。系統的溫度是系統粒子微觀運動劇烈程度的量化，微觀運動的劇烈程度就是粒子的運動速率，這就意味著最終系統B的溫度將明顯高于系統A，整個孤立系統的熵減小，而這違反了熱力學第二定律，因此這個思想實驗被稱為麥克斯韋妖悖論。這個悖論的解決方式是不可能毫無代價的獲知粒子的速率信息，獲取粒子的速率信息需要向系統輸入能量，而根據熱力學第二定律，通過向系統輸入能量可減少系統的熵，這樣麥克斯韋妖悖論和熱力學第二定律的矛盾就消失了。從獲取信息需要輸入能量這一角度而言，信息熵是一種負熵。

香農提出的信息熵是受熱力學熵啟發的，因此信息熵和熱力學熵有許多相似之處。若將宏觀系統的每一個微觀狀態都視為一個可能的事件，根據等概率原理，每個微觀狀態出現的概率均為，因此該事件集合對應的信息熵為：

. （4）

通過（4）式和（2）式的比較可以看出，通過這種方式定義的信息熵和熱力學熵僅僅相差一個常數，因此信息熵和熱力學熵具有相同的物理本質。信息熵衡量的是某個事件集合對應的事件的不確定性，信息是消除這種不確定性的東西，因此信息是負的信息熵，或者說信息熵是一種負熵[2]。

從生活角度而言，熱力學熵和信息熵的差別似乎頗大。熱力學熵多用于研究熱力學系統方面，而信息熵多用于衡量信息的傳遞和信息的獲取等方面。但根據上文中我們對這兩種熵之間的比較，它們有很多類似的地方。

4 總結與展望

熱力學熵是對一個包含大量微觀粒子的宏觀熱力學系統混亂程度的量化，從等概率原理和熵極大出發可推導出系統按能級的分布規律。信息熵是對事件不確定程度的量化，信息消除了事件的不確定性，因此信息熵是一種負熵。熵也可以用來一定程度上解釋生活現象。比如，房間不可能自動變得更整潔（有序），而只會隨著人的隨意活動而更臟亂（無序），人必須付出一定的勞動才能使其變得整潔（外部能量輸入使熵降低）。熵的思想還可以拓展到到許多其他范疇，如經濟學和社會學等。信息熵只是由熱力學熵引申出的熵中的一個分支，熵的概念可進一步推廣到更為廣泛的范圍，這值得我們進一步的研究。

參考文獻

[1]魏環.簡論熱力學熵、信息熵及熵的泛化[J].現代物理知識，1999，（6）：6-7.

[2]李寶立.淺談熵定律對信息的另一認識[J].科學中國人，2014，（6）：75-75.