面向計算機人才培養的信息論與編碼教學實踐

吳嘉婧 李全忠

[摘 要] “信息論與編碼”是一門以“香農三大理論”為基礎的理論課程，是包括通信工程、計算機科學與技術、信息與計算科學等多個信息相關專業的本科生和研究生的專業課。近年來在面向計算機相關專業進行“信息論與編碼”課程教學實踐中發現，學生普遍感覺此課程理論性較強且內容偏難，因此較難順利完成此課程的學習。針對計算機應用型人才進行“信息論與編碼”課程教學過程中面臨的困境，并結合教學實踐從教學內容、教學方法和考核方式等方面對課程教學進行改革，并取得了較好的效果，對計算機專業人才的理論基礎培養有一定的借鑒作用。

[關鍵詞] 信息論;編碼;計算機應用;本科教學;教學實踐

[基金項目] 2020—2023年國家自然科學基金項目“通信—電力相依網絡彈性過程的建模、分析與優化”（61973325）;2021—2022年中山大學國家高等教育質量常態檢測數據中心重點研究項目“面向計算機人才培養的信息論與編碼教學實踐”（M1801）

[作者簡介] 吳嘉婧（1989—），女，江西吉安人，博士，中山大學計算機學院副教授，博士生導師，主要從事區塊鏈和圖挖掘技術研究;李全忠（1984—），男，廣東茂名人，博士，中山大學計算機學院副教授（通信作者），主要從事無線通信研究。

[中圖分類號] G642.0? ?[文獻標識碼] A? ?[文章編號] 1674-9324（2021）33-0021-04? ? [收稿日期] 2021-03-12

一、引言

信息論是將通信技術、概率論、隨機過程、數理統計等學科相結合逐步發展而形成的一門新興科學，也是現代信息技術的奠基性理論。信息論的創始人是美國著名的數學家與通信學家香農

（C.E.Shannon），他于1948年發表的《通信的數學理論》一文被視為標志著信息論產生的奠基性論文，因此信息論又稱為“香農信息論”。在信息論中，信息的傳遞過程被作為一種統計現象來考慮，因此信息這種抽象概念的度量、傳遞和變化規律，可用數理統計的方法進行研究。信息論的研究內容包括信息的定義、度量、存儲、傳輸和理解等，而在信息的傳輸和存儲過程中通常需要考慮信息編碼技術?！靶畔⒄撆c編碼”即為涵蓋信息論理論與編碼技術的一門課程，也是中山大學計算機學院計算機類專業本科和研究生階段的主修專業課程。本校開設的“信息論與編碼”課程以信息熵的基本概念為核心，以香農三大編碼定理——可變長無失真信源編碼定理、有噪信道編碼定理和保失真度準則下的有失真信源編碼定理為核心內容，重點培養計算機專業的學生對信息論基本原理的理解，并培養利用信息論的理論與思維視角來分析解決計算機實際應用中的問題[1]。

然而，本課程運用了大量的數學知識，課程內容多，教材中存在大量的理論證明和推導，對學生抽象思維和邏輯推理能力的要求較高。此外，計算機專業的學生普遍對通信領域的基本原理和發展狀況了解較少，且普遍感興趣的是近年來熱門的計算機應用領域，例如人工智能、數據挖掘、區塊鏈等，因此對本門課程學習的興趣和主動性不大。近年來，筆者在從事計算機專業“信息論與編碼”課程教學的過程中發現，學生普遍對理論學習興趣平平，且有畏難情緒，對信息理論與計算機應用的關聯感到困惑，無法全面掌握課程內容。因此，本文重點對計算機應用型人才培養過程中進行“信息論與編碼”理論教學時的特色和存在的困難進行了分析，并結合教學實踐從課程教學內容、教學方法與考核方式三個方面入手，提出了相應的教學改革措施。

二、計算機專業講授“信息論與編碼”課程存在的問題

（一）學生缺乏必要的學科背景

“信息論與編碼”在面向通信和電子類專業學生開設時，通常是基于前導課程“信號與系統”或“通信原理”?！靶盘柵c系統”介紹了信號的頻譜、信號處理方面的基礎知識，而“通信原理”介紹了基本的通信框架和信道與信源的含義。香農信息論主要研究了通信理論中的有效性和可靠性的問題，因此通信和信號處理的相關知識可以幫助學生更好地理解香農理論的現實背景，以及信源與信道編碼的意義。然而，在面向計算機類學生開設“信息論與編碼”時，學生通常沒有學習過上述課程，因而對通信系統的傳輸背景、信源和信道的概念、編碼的意義及通信系統的性能指標不甚了解，很難理解信息傳輸的基本邏輯與理論框架[2]。此外，在數學背景方面，“信息論與編碼”涉獵高等數學、線性代數、離散數學、概率論與數理統計、隨機過程、數值分析和最優化方法等與工科數學相關的知識，超出了本專業本科生和研究生的學習范疇。即使學生學過類似的概率論和微積分等內容，信息論證明中用到的不少知識也超出了本科的教學要求。因此，學生缺乏必要的通信背景知識和數學基礎，給“信息論與編碼”課程教學的順利開展帶來了不小的挑戰。

（二）教材中的數學理論繁雜抽象

在香農信息論中，信息上的概念和三個編碼定理都是用數學來描述的。本課程選用的中英文教材分別是人民郵電大學出版的《信息論基礎》[3]和Wiley-Blackwell出版的Elements of Information Theory[4]。相比而言，中文教材較為簡明，較符合國內學生的學習習慣，同時涵蓋了信息論與編碼兩方面的內容。然而，中文教材主要針對通信和電子專業而編寫，里面涉及很多具體的通信背景和物理學知識，計算機專業的學生理解和消化起來有一定的難度。為了幫助學生更好地理解信息理論，我們還選用了由國際學術權威專家Thomas M.Cover和Joy A.Thomas撰寫的Elements of Information Theory作為英文參考教材，該教材中作者對信息論中的很多關鍵概念和定理提出了自己的研究心得，對學生加深信息理論的理解具有啟發性。然而，兩本教材都無法避免大量的數學公式和理論推導，幾乎涵蓋了工科所要求的大部分數學內容，包括高等數學、概率論、隨機過程、線性代數等。教材中大量的理論證明對學生的數學基礎、抽象思維和邏輯推理能力要求較高，導致很多計算機專業的學生無法深刻理解這門課程。