媒體認知中的人工智能技術教學方法探究

楊毅+鐘嫻+周天宇+喬飛+王生進

摘 要：媒體與認知是清華大學電子信息學科在課程體系改革過程中提出的一門重要必修課程。隨著人工智能技術的快速發展，將其引入信息專業本科生教學具有很重要的科研及教學意義。文章介紹媒體與認知課程中的人工智能教學及配套實驗平臺、人工智能內容的實驗內容及平臺并提供更多關于人類認知和媒體表達的知識，配合人工智能學科發展的要求。

關鍵詞：人工智能；媒體與認知；RealSense平臺；深度學習

文章編號：1672-5913（2017）07-0155-04

中圖分類號：G642

1 背 景

電子信息科學與技術是以物理和數學為基礎，研究通過電學形式表達和操控信息的基本規律以及運用這些基本規律實現各種電子系統的方法。在進入電子時代和信息社會的今天，電子信息科學技術已滲透各個領域。隨著電子信息技術日新月異，電子信息教學領域也面臨著全新的挑戰，需要培養具有全方位視野和超強能力的新一代工程師及領導者。本著這一目標，清華大學電子系自2008年開始著手進行課程改革，通過改革課程體系將原有課程重新整合，從學科范式的角度整理出電子工程本科教育的知識體系結構，從而梳理出新的本科課程體系，形成電子信息領域學科地圖[1-2]。

2016年AlphaGo戰勝李世石的事實，讓人工智能技術再一次向世人展示了自己的潛力。人工智能無論在傳統的制造加工行業，還是在新興的互聯網行業，都成為國內外各大企業爭相研究開發的目標，在學術界也是如此。2016年底，Gartner全球峰會發布2017十大技術趨勢報告[3]，預測2017年十大技術趨勢：人工智能與機器學習、智能應用、智能事物、虛擬和增強現實、數字化雙生、區塊鏈和已分配分類賬、對話式系統、格網應用和服務架構、數字化技術平臺、自適應安全架構。Gartner預計2017年全球將有超過60%的大型企業開始采用人工智能技術。

在2016年開設的媒體與認知課程內容中，我們參考國內外諸多名校相關課程的理論及項目內容，結合電子工程系在該領域研究的基礎優勢和創新性成果，建設了一套媒體認知人工智能技術教學課程內容及平臺，以期學生獲得人工智能技術中深度學習技術的基礎理論和開發能力。課程通過提供人工智能技術領域高層次專業人才必需的基本技能、專業知識及思維方式，力爭培養具有國際一流科研創新能力的人工智能方向的專業技術人才。

2 人工智能技術教學內容

美國MIT大學的Statistical Learning Theory and Applications課程[4]，致力于從統計學習和正則化理論的角度介紹機器學習的基礎和最新進展。除了經典的機器學習方法，如支持向量機、流形學習、有監督學習等之外，還重點介紹深度學習計算的理論框架并要求學生以項目形式給出基于機器學習和深度神經網絡的解決方案。

美國CMU大學的Deep Learning課程[5]通過一系列研討會和課程實驗介紹深度學習這一主題，涵蓋深度學習的基礎知識和基礎理論及應用領域，以及大量數據學習的最新問題。通過若干實驗題目，學生可以對深度神經網絡原理及應用加深理解。

美國Stanford大學的Deep Learning for Natural Language Processing課程[6]深入介紹應用于自然語言理解的深度學習前沿研究，討論包括循環神經網絡、長短期記憶模型、遞歸神經網絡、卷積神經網絡等非常新穎的模型。通過上機實驗，學生將學習使用神經網絡工作的技巧來解決實際問題，包括實施、訓練、調試、可視化和提出自己的神經網絡模型，最終的實驗項目涉及復雜的循環神經網絡并將應用于大規模自然語言理解的問題。

媒體認知課程參考了上述著名課程的理論內容和項目特色。我們結合電子工程系在人工智能領域研究的基礎、優勢和創新性成果，設計開發了一套以人工智能技術為基礎的前沿探索型媒體認知教學課程內容及實驗平臺，試圖構建具有國際水準的人工智能技術教學課程內容。

3 深度學習技術發展概況

傳統的人工智能系統一般采用機器學習技術，這類技術在處理原始形式的自然數據的能力上受到限制，一般困難集中在如何將原始數據變換為合適的內部表示或特征向量。深度學習（deep learning）近年來受到人工智能行業的廣泛關注，是一種表征學習（representation-learning）方法，由于擁有可以逼近任意非線性函數的特性，深度神經網絡（deep neural network，DNN）及其衍生的各種神經網絡結構有能力取代傳統模型，在語音、圖像、文本、視頻等各種媒體的內容識別系統中發揮作用。

著名的人工智能科學家Yann LeCun于2015年在Nature上發表文章[7]指出，深度學習允許多個處理層組成的計算模型學習如何表征具有多級抽象層面的數據。這些方法已經大大提高語音識別、視覺識別、目標檢測以及諸如藥物發現、基因學等許多領域的最新技術水平。深度學習通過使用反向傳播算法發現大數據集中的復雜結構，以指示機器如何改變其內部參數，這些內部參數是從深度神經網絡上一層的表示中計算每層中的表示。深度卷積網絡在處理圖像、視頻、語音和音頻方面帶來突破性的進展，而遞歸網絡則對文本、語音等順序數據提供解決方案。

遞歸網絡可被視作較深的前饋網絡，其中所有層共享相同的權重。遞歸網絡的問題在于難以在長期的時間內學習并存儲信息。為了解決這一問題，長短期記憶（long short-term memory，LSTM）模型網絡被提出，主要特點在于其存儲器單元在下一個加權值為1的時間段內與自身連接，因此能夠在復制自身狀態的同時累加外部信號，此外這種自我連接被另一個單元通過學習決定何時清除此類信息。長短期記憶模型被證明在語音識別和機器翻譯應用系統中比傳統的遞歸網絡更加有效。

4 基于深度學習的語音識別教學項目

在對上述課程及配套項目進行詳細研究的基礎上，結合現有科研及平臺，我們構建了一種基于深度學習的連續語音識別項目平臺，包括兩個主要項目：深度神經網絡語音識別項目及長短期記憶模型遞歸神經網絡語音識別項目。

4.1 深度神經網絡語音識別項目

典型的深度神經網絡語音識別模型[8-9]核心是對聲學特征進行多層變換，并將特征提取和聲學建模在同一網絡中進行優化。神經網絡可以通過非線性激活函數來擬合任何非線性函數，可以使用神經網絡取代原有聲學模型中的高斯混合模型，用來計算每一幀的特征與每個音素的相似程度。深度神經網絡原理的結構示意圖如圖1所示。

圖1代表了一個擁有3個隱含層的深度神經網絡。相鄰兩層中，每層的每一個節點都與另外一層的所有節點單向連接。數據由輸入層輸入，逐層向下一層傳播。對于節點間的連接權重，采用BP算法。BP算法對于給定的輸入輸出訓練數據，首先通過正向傳播由輸入得到輸出，之后通過實際輸出與理論上的正確輸出之差得到殘差，并由輸出層向輸入層根據激活函數與連接權重反向傳播殘差，計算出每一個節點與理想值之間的殘差，最后根據每個節點的殘差修正節點間連接的權重，通過對權重的調整實現訓練，從而更加靠近理論輸出結果。

將DNN實際利用到語音識別的聲學模型時，其結構示意圖如圖2所示。深度神經網絡的輸入層輸入從每一幀音頻中提取出的特征，通過網絡的正向傳播，在輸出層輸出當前幀對應不同音素的相似程度，從而作為HMM的發射概率進行語音識別。考慮到DNN沒有記憶特性，而語音信號即使是在音素層級上，其前后也有相當大的聯系。為了提高DNN在處理前后高度關聯的語音信號中的表現，一般選擇同時將當前幀的前后部分幀作為網絡的輸入，從而提高對當前幀識別的正確率。

4.2 長短期記憶模型遞歸神經網絡語音識別項目

長短期記憶模型應用于語音識別中聲學模型的思路和深度神經網絡類似[10-11]，取代高斯混合模型用于計算輸入幀與各音素的匹配程度。原理為首先根據輸入門判斷輸入的數據可以進入記憶細胞的比例，同時遺忘門決定記憶細胞遺忘的比例；之后由記憶細胞殘存的記憶部分和新輸入的部分求和，作為記憶細胞的新記憶值；將新的記憶值根據輸出門的控制得到記憶細胞的輸出，并通過遞歸投影層降維，降維之后的結果一方面作為3個控制門的反饋，另一方面作為網絡的輸出；非遞歸投影層則僅僅作為最終輸出的補充，而不會影響控制門。將長短期記憶模型實際利用到語音識別的聲學模型時，其結構示意圖如圖3所示。

與深度神經網絡不同，長短期記憶模型遞歸神經網絡因為有記憶特性，所以不需要額外的多幀輸入，只需要輸入當前幀。然而，考慮到語音前后的關聯性，一般會將輸入的語音幀進行時間偏移，使得對t時刻幀的特征計算得到的輸出結果是基于已知未來部分幀的特征之后進行的，從而提高準確度。

5 結 語

我們主要介紹了媒體與認知課程中的深度學習教學項目“基于深度學習的語音識別教學項目”，在現有開發平臺的基礎上引入多種深度學習算法并對其進行比較，使得學生掌握了目前主流的深度學習算法核心技術及應用方法。學生反饋表明，通過該部分教學內容，學生對深度學習技術加深了了解，調動了研究積極性，大部分學生對深度學習方向的前景十分樂觀。將這些內容與媒體認知教學課程結合并為學生提供研究平臺，使得學生開闊了科研視野，進一步為培養學術興趣、明確科研方向和堅定科研信念提供輔助和支撐，最終達到培養具備國際領先研究水平、同時具有突出創新實踐能力和持續探索精神的高素質人才的目的。下一步，我們將基于該深度學習項目平臺進一步開展研究探索，提高深度學習的實時性和魯棒性。

參考文獻：

[1] 清華大學電子工程系[EB/OL]. [2017-02-01]. http：//www.ee.tsinghua.edu.cn/.

[2] 楊毅， 徐淑正， 喬飛， 等. 媒體認知實驗教學改革研究與探索[J]. 計算機教育， 2015 （9）： 107-109.

[3] 搜狐科技. Gartner最新2017十大戰略技術趨勢： 以智能為中心實現萬物互聯[EB/OL]. （2016-11-09）[2017-02-01]. http：//it.sohu.com/20161109/n472678047.shtml.

[4] 9.520/6.860： Statistical learning theory and applications， fall 2016[EB/OL]. [2017-02-01]. http：//www.mit.edu/～9.520/fall16/.

[5] Deep Learning[EB/OL]. [2017-02-01]. http：//deeplearning.cs.cmu.edu/.

[6] Deep learning for natural language processing[EB/OL]. [2017-02-01]. http：//cs224d.stanford.edu/.

[7] LeCun Y， Bengio Y， Hinton G. Deep learning[J]. Nature， 2015， 521（7553）： 436-444.

[8] Hinton G E， Osindero S， Teh Y W. A fast learning algorithm for deep belief nets[J]. Neural computation， 2006， 18（7）： 1527-1554.

[9] Graves A， Mohamed A， Hinton G. Speech recognition with deep recurrent neural networks[C]//2013 IEEE International Conference on Acoustics， Speech and Signal（ICASSP）.Washington D C： IEEE， 2013： 6645-6649.

[10] Sak H， Senior A W， Beaufays F. Long short-term memory recurrent neural network architectures for large scale acoustic modeling[C]//15th Annual Conference of the International Speech Communication Association. Singapore： IEEE， 2014： 338-342.

[11] Botvinick M M， Plaut D C. Short-term memory for serial order： A recurrent neural network model[J]. Psychological review， 2006， 113（2）： 201.

（編輯：宋文婷）