信息論與編碼課程理論聯系實際教學模式的探索

姑麗加瑪麗·麥麥提艾力，艾斯卡爾·肉孜

(1.新疆師范大學數學科學學院，新疆 烏魯木齊 830017；2.新疆大學數學與系統科學學院)

0 引言

信息論與編碼是一門培養學生應用概率論、隨機過程、數理統計和近代代數的方法來研究廣義的信息傳輸、提取和處理一般規律的專業方向課程，是信息、通信和計算機等專業培養方案中的主干課程[1]。

國家對網絡信息安全十分重視[2-3]。信息安全作為網絡空間安全一級學科的重要學科專業，承擔著為國家培養人才的重任，以培養出具有良好的數學基礎和數學思維能力、能解決信息技術和工程計算中的實際問題的高級專業人才。

信息論是一門與通信系統理論有著密切關系的學科[4]，邏輯推理過程較多，相對比較枯燥，涉及的知識點繁雜、理論性強，內容比較抽象，加之大量的數學公式以及相關定理，教學難度系數較高[5]。從目前的教學狀況看，學生對于信息論的產生和發展歷史不夠了解，對信息的數學模型的轉換理解度不夠，學習的編碼理論無法應用于實踐，達不到學以致用的目的。因此在教學過程中適當引入實際應用案例，不僅可以豐富課堂內容，也可以激發學生的學習熱情，讓學生積極參與到課堂中，促進師生之間的互動交流。

結合幾年的教學經驗，本文嘗試用信息論與編碼課程一些靈活的教學方法，通過實際的案例應用，將學生帶入實際應用問題的場景中，在解決實際問題的過程中學習知識，提高學生的課堂參與度和興趣，培養學生獨立思考的能力，促進學生體會信息論與編碼課程的現實意義和理論價值。

1 內在關系及案例引導

信息論與編碼課程內容主要包括信息傳輸系統、信息的定義和度量、離散信源和連續信源的信息熵、信道和信道容量、平均失真度和信息率失真函數、信源編碼、信道編碼等。課程核心內容圍繞無失真信源編碼定理、信道編碼定理、限失真信源編碼定理為主要脈絡的香農三大極限定理以及香農公式展開。

從信息傳輸系統的基本原理可以給學生講解課程內容之間的內在聯系和香農三大定理的實際意義。首先舉幾個實際應用例子，給學生提出思考問題，比如：在日常生活中我們最常見的信息傳輸設備是手機，那么手機信息傳輸的基本原理會是什么樣的？信息傳輸系統中的信源和信宿可以比喻打電話和接電話的雙方，由圖1可以解釋信息傳輸系統的基本原理。

圖1 數字通信系統

從打電話到接電話的過程中信息傳輸的通道稱為信道，信息傳出后到達信道之前需要解決三個問題：模擬和數字信號之間的轉換；提高信息傳輸率R（信源編碼器的主要功能）；增加可靠性，降低出錯概率pe→0（信道編碼器的主要功能）。

為提高信息傳輸率，根據香濃第一定理（式1），平均編碼長度nˉ大于平均符號熵H(x)時才可以得到唯一可譯碼，但同時要滿足盡可能短的要求，不能超過H(x)+1，這樣才可以得到最好的編碼效率η=H(x)。

信道的基本原理可以比喻高速公路，每個道路都有最低和最高限速，信息傳輸通道也一樣。根據香濃第二定理：當編碼長度n →∞時，錯誤概率pe≤e-nE(R) →0，可靠性函數E(R)在0 ＜R＜C的范圍內為正。香濃第二定理說明信息傳輸率R要小于信道容量，也就是信道所能容納的最大信息量，才能保證可靠傳輸(pe→0)。信道編碼是有目的地增加碼符號，以進行檢驗和糾錯。

根據香濃第三定理：當R＞R(D)時，只有信源序列足夠長，一定存在一種編碼方法，使平均失真≤D+ε，否則，必有≥D。

2 外在關系

信息論與編碼關系到概率論、隨機過程、數理統計和近代代數等多個專業課程。相關定理和公式的證明和推導涉及到的知識點繁雜，比較抽象并需要邏輯推理。上課的過程中通過講解生活中隨處可見的實例，聯系公式理論上可以使學生更易于理解概念的內在本質，從而將理論應用到實踐中去。

⑴信息論與概率的關系

信息的度量方法是信息論與編碼課程中最基本的內容，根據概率論的基本知識和貝葉斯公式可以很容易給學生講解基本概念和公式推導。比如：給出兩個一周天氣預報的信源x={晴，晴，晴，晴，晴，晴，晴}和x’={晴，晴，晴，雪，晴，晴，晴}，從這兩個信源可以看出x’的信息量比x 大I(x′) →∞，因為x’(4)=’雪’跟前后信源的差別很大、相關性小、發生概率小q(x′) →0。事件x很常見q(x)→1，因此信息量小I(x′)→0。從這個例子可以推導信息量是概率的遞減對數函數，因此可以得到自信息量的公式對I(xi)進行求平均得到信息熵互信息量I(xi;yj)是信源x 和信宿y 相互通信之后的信息量，從x 和y 的不同角度可以推導I(xi;yj)的公式，從x的角度分析，x通信之前的不確定性I(xi)，收到y 之后對x 仍存在的不確定性用I(xi|yj)，x 和y 之間的通信過程是這兩個不確定性減少的過程，由此可以得到互信息量公式（式⑵），同樣從y 和xy 的角度可以得到另外兩種表達式（式⑶和式⑷）并對其進行統計平均可以得到I(x;y)和H(x)之間的關系式（式⑸～式⑺）。由式⑸～式⑺可以得到維拉圖（圖2），從維拉圖中可以看出通信過程中發送的實際有意義的信息量由I(x;y)來度量，圖2 右邊的蘋果標志在信息論角度上指出通信過程中實際傳輸的信息量。

圖2 維拉圖

利用全概率公式可以證明互信息量和信息熵之間的關系式。下面給出式⑸的證明方法，其他公式也可以類推。

⑵信息論與線性代數的關系

信息論與編碼中，線性分組碼是整個糾錯碼中很重要的一類碼。從線性分組碼的基本概念和編碼方法中可以直觀的體會線性代數的相關知識在信息論與編碼中的重要性。線性分組碼中每一個碼字v可以看成是以輸入信息u作為系數的基向量的線性組合：

矩陣G 為線性分組碼的生成矩陣。線性分組碼(n,k)是由矩陣G 的行向量張成的子空間，由秩零化度定理可知，矩陣G 的零空間N(G)的維度為n-k。因而可以找出n-k 個線性獨立的向量，h0,h1,h2,...,hn-1張成了G的零空間N(G)。

可以得出：

矩陣H為線性分組碼的校驗矩陣。如(7,4)漢明碼信息位為4 位，監督位為3 位，監督位有2 × 3=8 種組合。可能發生的結果如下：

根據碼元錯誤與校正子的關系可以列出監督方程，如S1與a6,a5,a3,a2有關。漢明碼的監督方程為：

監督矩陣：

碼組向量：

記為：H·AT=0

根據監督方程確定了編碼方程：

兩邊同時取轉置：

其中Q=PT，然后得到生成矩陣G=[Ik×k;Q]，所以編碼矩陣方程為

生成系統碼形式的漢明碼的生成矩陣為：

3 實踐環節

信息論與編碼這門課不是簡單的傳授理論知識需適當安排相關編碼計算任務和上機實踐。平均編碼長度在滿足香濃第一定理的范圍之內可以對同一個信源找出不同的編碼序列并可以得到不同編碼效率，可以給學生安排對同一個信源找出最好的編碼效率的任務，學生根據自己學過的相關定理和編碼方法，在尋找最好的編碼效率的過程中發現問題和不懂的地方，這樣一方面可以鞏固相關知識，另一方面可以提高學生的計算、解決問題和邏輯思維能力。編寫代碼是學好這門課的重要途徑，比如信源編碼和信道編碼，在書本上學習原理和實現方法后要上機實驗，最終得到運算結果才可以更清楚編碼方法的邏輯、具體實現流程和實際應用等，同時可以弱化學生的機械計算，加強學生的動手能力和應用能力。

4 總結

本文結合教學經驗，主要討論信息論與編碼課程教學中理論聯系實際的一些靈活的教學方法，幫助學生更好地理解數字通信系統的基本原理，同時理解與其他課程之間的聯系，這有助于推導各相關公式和證明。針對實踐教學環節，分別討論了安排編碼計算任務和上機實踐等教學手段，在編碼方面，同一題可以用不同的編碼來解，以此讓學生在解決實際問題的過程中學習理論知識，可以提高學生的課堂參與度和興趣，培養學生獨立思考的能力，促進學生體會信息論與編碼課程的現實意義和理論價值。