“信息論基礎(chǔ)”實(shí)驗(yàn)課程方案的設(shè)計(jì)

[摘 要] “信息論基礎(chǔ)”是信息與計(jì)算科學(xué)專業(yè)的必修課，5G通信理論的核心就是信息論的信道編碼理論。信息論是一門與最優(yōu)化方法、概率統(tǒng)計(jì)和隨機(jī)過程等密切相關(guān)的學(xué)科，既有很強(qiáng)的理論性，數(shù)學(xué)證明復(fù)雜，又有很強(qiáng)的應(yīng)用性，與通信技術(shù)聯(lián)系緊密，要求學(xué)生具備較高的數(shù)學(xué)思維能力和較強(qiáng)的編程實(shí)踐能力，對(duì)教師和學(xué)生都是一個(gè)挑戰(zhàn)。但若只有理論講授、定理證明等，又會(huì)枯燥無趣、難以理解。所以在理論講授的同時(shí)增加實(shí)驗(yàn)課程，既能增加學(xué)生的學(xué)習(xí)興趣，又能加深對(duì)課堂講授知識(shí)的理解。實(shí)驗(yàn)教學(xué)是該課程整個(gè)教學(xué)過程中不可或缺的重要組成部分，搞好實(shí)驗(yàn)教學(xué)有助于提高教學(xué)質(zhì)量，加深學(xué)生對(duì)所學(xué)知識(shí)的理解。要激發(fā)學(xué)生對(duì)編程的興趣，學(xué)生在程序設(shè)計(jì)中， 提高了編程能力，設(shè)計(jì)的程序各有特色。通過學(xué)生的反饋意見可以看出，通過實(shí)驗(yàn)課程能夠極大地調(diào)動(dòng)學(xué)生的想象力，加深對(duì)理論知識(shí)的理解，提升學(xué)生的知識(shí)與技能。

[關(guān)鍵詞] 信息論;5G;實(shí)驗(yàn)教學(xué)

[基金項(xiàng)目] 2019年度遼寧省教育廳項(xiàng)目“染色質(zhì)三維結(jié)構(gòu)預(yù)測(cè)中的數(shù)學(xué)方法研究”（JDL2019032）;2019年度大連交通大學(xué)研究生教改項(xiàng)目“數(shù)學(xué)+工科交叉學(xué)科建設(shè)”（2019-46）

[作者簡(jiǎn)介] 劉立偉（1980—），男，博士，遼寧大連人，大連交通大學(xué)理學(xué)院副教授，主要從事數(shù)據(jù)挖掘、生物信息學(xué)研究。

[中圖分類號(hào)] G642.0? ?[文獻(xiàn)標(biāo)識(shí)碼] A? ?[文章編號(hào)] 1674-9324（2021）47-0126-04? ? [收稿日期] 2021-09-09

一、引言

“信息論基礎(chǔ)”是信息與計(jì)算科學(xué)、電子信息工程、通信工程等專業(yè)必修的專業(yè)基礎(chǔ)課程，主要內(nèi)容有：隨機(jī)變量與隨機(jī)過程的信息度量、數(shù)據(jù)壓縮與無失真信源編碼、數(shù)據(jù)可靠傳輸和信道編碼、限失真信源編碼和率失真函數(shù)[1]?！靶畔⒄摶A(chǔ)”本身是一門理論和實(shí)際緊密相連的課程，也是一門跨學(xué)科的重要課程，涉及數(shù)學(xué)、通信、計(jì)算機(jī)科學(xué)等學(xué)科領(lǐng)域，關(guān)于這門課程教育教學(xué)方法的探討已有很多[2-5]。

“信息論基礎(chǔ)”是一門既與高等數(shù)學(xué)、線性代數(shù)、最優(yōu)化方法、概率統(tǒng)計(jì)和隨機(jī)過程等數(shù)學(xué)課程密切相關(guān)，又與通信工程、計(jì)算機(jī)科學(xué)等實(shí)際應(yīng)用技術(shù)緊密聯(lián)系的課程。盡管“信息論基礎(chǔ)”課程在信息與計(jì)算機(jī)科學(xué)、電子信息、通信等專業(yè)中有著非常重要的地位，但是它的課程教學(xué)卻比較落后，學(xué)生普遍反映難學(xué)。它既有很強(qiáng)的理論性，數(shù)學(xué)證明復(fù)雜，又有很強(qiáng)的應(yīng)用性，與通信技術(shù)聯(lián)系緊密。這要求學(xué)生具備較高的數(shù)學(xué)思維能力和較強(qiáng)的編程實(shí)踐能力，這對(duì)教師和學(xué)生都是一個(gè)挑戰(zhàn)。

“信息論基礎(chǔ)”若只有理論講授、定理證明，必然會(huì)枯燥無味、難以理解;所以在理論講授的同時(shí)增加實(shí)驗(yàn)課程，既能增加學(xué)生的學(xué)習(xí)興趣，又能加深對(duì)課堂講授知識(shí)的理解。學(xué)好“信息論基礎(chǔ)”這門課程，并將其學(xué)以致用，實(shí)驗(yàn)的設(shè)計(jì)是一個(gè)非常重要的環(huán)節(jié)。實(shí)驗(yàn)教學(xué)是“信息論基礎(chǔ)”課程非常重要的組成部分，搞好實(shí)驗(yàn)教學(xué)，有助于提高教學(xué)質(zhì)量，鞏固學(xué)生對(duì)所學(xué)知識(shí)的理解[6，7]。不同于物理實(shí)驗(yàn)，“信息論基礎(chǔ)”的實(shí)驗(yàn)主要是通過計(jì)算機(jī)上機(jī)編程來實(shí)現(xiàn)信源編碼、信道編碼方案。

二、實(shí)驗(yàn)教學(xué)方案

在進(jìn)行課堂理論教學(xué)時(shí)，可以演示一些實(shí)驗(yàn)結(jié)果，結(jié)合生活實(shí)例，培養(yǎng)學(xué)生的興趣，使學(xué)生對(duì)實(shí)驗(yàn)教學(xué)知識(shí)點(diǎn)具有一定的了解，這樣等到學(xué)生動(dòng)手實(shí)驗(yàn)時(shí)就不會(huì)無所適從。選擇適用的實(shí)驗(yàn)，學(xué)生通過實(shí)驗(yàn)理解信息論的理論及其應(yīng)用，并提高編程能力。實(shí)驗(yàn)課程的開設(shè)，是對(duì)課堂教學(xué)內(nèi)容的有益補(bǔ)充，特別能鍛煉學(xué)生嚴(yán)謹(jǐn)?shù)墓ぷ髯黠L(fēng)，提高學(xué)生的綜合分析和實(shí)際動(dòng)手能力。

實(shí)驗(yàn)教學(xué)方案設(shè)計(jì)思路：以信息論基礎(chǔ)核心內(nèi)容信息熵、信源編碼、信道編碼應(yīng)用為主要實(shí)驗(yàn)課題，設(shè)計(jì)一系列實(shí)驗(yàn)把信息論基礎(chǔ)眾多知識(shí)點(diǎn)串聯(lián)起來;依據(jù)信息熵、信源編碼、信道編碼的步驟安排實(shí)驗(yàn)前后順序，進(jìn)行完課堂教學(xué)馬上進(jìn)行相應(yīng)的實(shí)驗(yàn)教學(xué)。教師通過開發(fā)實(shí)驗(yàn)課程講義、實(shí)驗(yàn)指導(dǎo)書、微課、實(shí)驗(yàn)平臺(tái)及教學(xué)大綱等，讓學(xué)生學(xué)會(huì)算法并將其加以應(yīng)用。教師對(duì)信息熵、信源編碼、信道編碼設(shè)計(jì)實(shí)驗(yàn)，通過編程實(shí)驗(yàn)，學(xué)生可以對(duì)信息熵、信源編碼、信道編碼進(jìn)行模擬，教學(xué)相長(zhǎng)。

（一）二進(jìn)熵函數(shù)曲線繪制

人們常說這條消息所含信息很多，那條消息所含信息較少，那么信息如何度量？有人說用文字多少定義信息量，一部《史記》文言文和翻譯后的白話文所含信息是一樣的，但字?jǐn)?shù)差別很明顯，所以用文字多少定義信息量是不合適的。直到1948年，信息論之父香農(nóng)提出了信息熵的概念，用它來度量信息。信息熵是信息論研究的基礎(chǔ)。

二進(jìn)熵函數(shù)曲線繪制的實(shí)驗(yàn)步驟[8]是：（1）理解熵的計(jì)算公式;（2）由數(shù)據(jù)計(jì)算熵;（3）繪圖。通過二進(jìn)熵函數(shù)曲線繪制的實(shí)驗(yàn)，學(xué)生可以形象地理解信息熵的性質(zhì)，例如熵函數(shù)的單調(diào)性，熵在什么情況下最大、什么情況下最小等。通過實(shí)驗(yàn)，學(xué)生能夠熟練地進(jìn)行熵函數(shù)的計(jì)算。

（二）利用Huffman編譯碼實(shí)現(xiàn)數(shù)字圖像數(shù)據(jù)的壓縮

Huffman編碼是消除編碼冗余最常用的技術(shù)。它是一種可變長(zhǎng)的前綴碼。1950年，Huffman在MIT學(xué)習(xí)。Robert Fano教授給學(xué)生布置了一個(gè)作業(yè)：找到最優(yōu)的二進(jìn)制編碼。這個(gè)作業(yè)促使Huffman編碼的誕生。Huffman編碼是學(xué)生接觸的第一個(gè)信源編碼方法，也是非常重要的信源編碼方法。計(jì)算機(jī)算法大師高德納（Donald E.Knuth）曾說過，Huffman編譯碼是一個(gè)計(jì)算機(jī)科學(xué)和數(shù)據(jù)通信領(lǐng)域一直在使用的基本想法。由此可見Huffman編譯碼的應(yīng)用非常廣泛，像我們平時(shí)用的ZIP和RAR壓縮文件、聽歌的MP3、高清電視等，里面都用到Huffman編碼。當(dāng)對(duì)信源符號(hào)逐個(gè)編碼時(shí)，Huffman編碼能給出最短的平均碼長(zhǎng)。Huffman編碼與人們的生活和工作緊密相連，被廣泛應(yīng)用到數(shù)字圖像處理等各個(gè)領(lǐng)域。這里設(shè)計(jì)Huffman編譯碼實(shí)現(xiàn)數(shù)字圖像數(shù)據(jù)的壓縮方案。

利用Huffman編譯碼的實(shí)驗(yàn)步驟[8]是：（1）將數(shù)字圖像轉(zhuǎn)化成灰度符號(hào)文集;（2）用Huffman算法編寫壓縮程序并對(duì)上述文件進(jìn)行壓縮;（3）編寫解壓縮程序以驗(yàn)證壓縮程序是否正確;（4）統(tǒng)計(jì)計(jì)算數(shù)據(jù)壓縮率。算法以Matlab為主要編程工具[9]，當(dāng)然C（或C++）也可以。通過上機(jī)實(shí)驗(yàn)完成數(shù)字圖像的壓縮與恢復(fù)，加強(qiáng)學(xué)生對(duì)Huffman編譯碼理解與應(yīng)用。進(jìn)一步介紹Huffman編碼的發(fā)現(xiàn)過程，激發(fā)學(xué)生對(duì)科研的興趣。另外，圖像處理是當(dāng)前非常熱門的研究方向，教師可以進(jìn)一步介紹常見的數(shù)字圖像處理技術(shù)及其他圖像編碼技術(shù)。學(xué)生學(xué)以致用，自然會(huì)對(duì)學(xué)習(xí)信息論產(chǎn)生濃厚興趣。

（三）利用LZW編碼實(shí)現(xiàn)生物序列數(shù)據(jù)的壓縮

LZ（Lempel-Ziv）算法是兩個(gè)猶太人J.Ziv和A.Lempel于1977年提出的，他們描述的算法被后人稱為L(zhǎng)Z77算法。1984年，Terry Welch發(fā)表論文描述了他在Sperry研究中心的研究成果，實(shí)質(zhì)上是對(duì)LZ算法的一個(gè)改進(jìn)，也就是后來非常有名的LZW算法。

應(yīng)用LZW算法可以對(duì)線性序列數(shù)據(jù)進(jìn)行壓縮。在眾多的線性序列中，生物序列數(shù)據(jù)長(zhǎng)度較長(zhǎng)，數(shù)據(jù)量大，是典型的“大數(shù)據(jù)”。利用數(shù)據(jù)壓縮算法對(duì)生物序列數(shù)據(jù)進(jìn)行壓縮是存儲(chǔ)和分析生物數(shù)據(jù)的重要手段。LZW編碼屬于通用編碼，它不像Huffman編碼需要概率等先驗(yàn)知識(shí)，而是基于字典的壓縮算法。

利用LZW編碼的實(shí)驗(yàn)步驟[8]是：（1）對(duì)生物序列數(shù)據(jù)進(jìn)行預(yù)處理;（2）用LZW算法編寫壓縮（編碼）程序并對(duì)上述文件進(jìn)行壓縮;（3）編寫解壓縮（譯碼）程序以驗(yàn)證壓縮程序是否正確;（4）統(tǒng)計(jì)計(jì)算數(shù)據(jù)壓縮率。對(duì)生物序列的壓縮工作屬于生物信息學(xué)范疇。生物信息學(xué)是綜合利用數(shù)學(xué)、信息科學(xué)來揭示大量而復(fù)雜的生物數(shù)據(jù)所賦有的生物學(xué)奧秘。生物信息學(xué)的研究目標(biāo)是生物數(shù)據(jù)，使用的工具方法是數(shù)學(xué)、計(jì)算機(jī)，主要進(jìn)行基于數(shù)學(xué)、信息科學(xué)基礎(chǔ)理論研究。通過上述實(shí)驗(yàn)，學(xué)生不僅掌握了編碼技術(shù)，而且也對(duì)生物信息學(xué)這樣的交叉學(xué)科有所了解，開闊了眼界。

（四）限失真信源編碼

在一般的數(shù)字圖像、音頻、視頻信號(hào)中，即使有一定的誤差也并不影響人的視覺、聽覺感受;因此可以近似地還原消息，也就是允許一定的失真存在，這種情況下的編碼就可以采用限失真信源編碼。數(shù)字圖像的數(shù)據(jù)壓縮就可以采用限失真信源編碼。

應(yīng)用JPEG算法思想進(jìn)行數(shù)字圖像壓縮的實(shí)驗(yàn)步驟[8]是：（1）使用JPEG算法編寫程序，對(duì)圖像文件進(jìn)行壓縮;（2）編寫解壓縮程序，計(jì)算圖像文件壓縮前后的大小;（3）使用不同參數(shù)，計(jì)算圖像文件壓縮前后的大小;（4）統(tǒng)計(jì)計(jì)算數(shù)據(jù)壓縮率。限失真信源編碼是信息論的一個(gè)難點(diǎn)，應(yīng)用也非常廣泛。雖然壓縮后圖像有些損失，但所損失的部分對(duì)理解原始圖像的影響很小，換來的卻是大得多的壓縮率。圖像文件畫質(zhì)沒有明顯下降，但文件的大小卻得到了明顯壓縮，有利于文件傳輸和存儲(chǔ)。通過上述實(shí)驗(yàn)，學(xué)生實(shí)際感受了圖像壓縮的效果，對(duì)限失真信源編碼的應(yīng)用擁有了感性認(rèn)識(shí)，增強(qiáng)了進(jìn)一步學(xué)習(xí)的動(dòng)力。

（五）信道編碼

通信是要把信息從一方準(zhǔn)確可靠地傳送到另一方。因?yàn)橐苿?dòng)通信過程中不可避免存在噪聲和干擾，信號(hào)在傳輸過程中會(huì)以一定概率出現(xiàn)差錯(cuò)，所以對(duì)信道傳輸要使用糾檢錯(cuò)編碼技術(shù)，來加強(qiáng)信號(hào)在信道傳輸時(shí)的抗干擾能力。信道編碼的核心基礎(chǔ)是糾錯(cuò)編碼理論[ 10 ]，是在信息碼后面附加上一些監(jiān)督碼，以便在接收端發(fā)現(xiàn)和糾正誤碼。通過編程實(shí)現(xiàn)線性分組碼，線性分組碼的編碼由監(jiān)督矩陣和生成矩陣實(shí)現(xiàn)。線性分組碼解碼時(shí)，前幾位碼字可以直接解出來，因而編解碼器的設(shè)計(jì)較為簡(jiǎn)單。

（n，k）線性分組碼編碼實(shí)驗(yàn)步驟是：（1）對(duì)信源序列進(jìn)行預(yù)處理，轉(zhuǎn)化為k列;（2）如果序列不能被k整除在后邊補(bǔ)0使其能被k整除;（3）將由（2）得到的序列與生成矩陣G相乘即得到編碼后的碼字。

信道編碼是當(dāng)今通信領(lǐng)域的核心問題，5G技術(shù)核心就是信道編碼領(lǐng)域的極化碼。華為用了10年時(shí)間將土耳其數(shù)學(xué)家的一篇論文，從理論變成了技術(shù)和標(biāo)準(zhǔn)，讓5G時(shí)代提前到來。這里介紹的線性分組碼編碼實(shí)驗(yàn)雖然是比較簡(jiǎn)單的信道編碼，但學(xué)生可以通過簡(jiǎn)單問題觸類旁通，對(duì)信道編碼技術(shù)形成初步的概念，既加深了對(duì)課本知識(shí)的理解，又了解了現(xiàn)代前沿通信技術(shù)，增強(qiáng)學(xué)習(xí)和探究未知領(lǐng)域的動(dòng)力。

三、結(jié)論

總之，學(xué)生通過對(duì)信息論問題的上機(jī)實(shí)驗(yàn)，可以發(fā)現(xiàn)數(shù)學(xué)知識(shí)在解決具體問題中的作用，發(fā)揮數(shù)學(xué)系學(xué)生的專業(yè)優(yōu)勢(shì)，并借此激發(fā)數(shù)學(xué)系學(xué)生學(xué)習(xí)信息論基礎(chǔ)的興趣。學(xué)生可以通過對(duì)實(shí)驗(yàn)結(jié)果的分析討論和教師的講解，加深對(duì)所學(xué)知識(shí)的認(rèn)識(shí)和理解，有效提高課堂學(xué)習(xí)效率。對(duì)理論的認(rèn)識(shí)也可以從表面的感性認(rèn)識(shí)上升到更加深刻的理性認(rèn)識(shí)。通過編程實(shí)驗(yàn)，學(xué)生可以使用軟件分析處理實(shí)際數(shù)據(jù)，解決實(shí)際問題，拓寬了學(xué)生的視野。學(xué)生可以運(yùn)用現(xiàn)實(shí)數(shù)據(jù)來驗(yàn)證已有的理論，同時(shí)也可能會(huì)發(fā)現(xiàn)理論與實(shí)際的不同，從而找出現(xiàn)實(shí)與理論之間的差異并分析和討論其原因，引導(dǎo)學(xué)生正確理解和認(rèn)識(shí)所學(xué)理論。感興趣的學(xué)生還可以在教師的指導(dǎo)下針對(duì)自己發(fā)現(xiàn)的問題進(jìn)行更進(jìn)一步的研究。

針對(duì)我校信息與計(jì)算科學(xué)+軟件專業(yè)學(xué)生的專業(yè)復(fù)合特色，發(fā)揮他們軟件編程能力較強(qiáng)的優(yōu)勢(shì)，指導(dǎo)學(xué)生自主設(shè)計(jì)實(shí)驗(yàn)項(xiàng)目和編寫實(shí)驗(yàn)程序，從而激發(fā)學(xué)生的積極性和創(chuàng)造力，培養(yǎng)學(xué)生的自主研究和學(xué)習(xí)能力，為學(xué)生將來工作和進(jìn)一步深造夯實(shí)了基礎(chǔ)。

參考文獻(xiàn)

[1]葉中行.信息論基礎(chǔ)[M].3版.北京：高等教育出版社，2020.

[2]車書玲，孫蓉，劉剛.《信息論基礎(chǔ)》慕課和翻轉(zhuǎn)課堂相結(jié)合的教學(xué)探索[J].教育現(xiàn)代化，2020，7（9）：46-48.

[3]楊凱新，林海濤，周媛媛，等.軍隊(duì)院?；旌鲜浇虒W(xué)模式的探索與實(shí)踐——以“信息論基礎(chǔ)”課程為例[J].教育教學(xué)論壇，2021（28）：92-95.

[4]高麗娟，代健美，陳龍.《信道編碼》課程教學(xué)方法研究[J].教育現(xiàn)代化，2019，6（44）：174-176+186.

[5]陳婧，賈世祥.信息論與編碼課堂教學(xué)方法探索[J].高教學(xué)刊，2020（28）：122-124.

[6]張正言，田雨波，張冰.MATLAB在“信息論與編碼”實(shí)驗(yàn)教學(xué)中的應(yīng)用[J].實(shí)驗(yàn)室科學(xué)，2010（13）：109-112.

[7]姜楠.“信息論”課程本科教學(xué)探索與實(shí)踐[J].計(jì)算機(jī)教育，2007（24）：52-54.

[8]沈世鎰，吳忠華.信息論基礎(chǔ)與應(yīng)用[M].北京：高等教育出版社，2004.

[9]傅玉青.信息論與編碼技術(shù)實(shí)驗(yàn)仿真平臺(tái)設(shè)計(jì)[J].福建師大福清分校學(xué)報(bào)，2017（2）：19-22.

[10]高麗娟，代健美，陳龍.《信道編碼》課程教學(xué)方法研究[J].教育現(xiàn)代化，2019，6（44）：174-176+186.