口型模擬技術及其在網絡課程中的應用探索

【摘要】口型模擬是一種人工智能技術，目前已在多個領域得到應用。文章在介紹口型模擬技術的基礎上，比較了兩款典型軟件的特點，并探討了該技術在網絡課程制作中的應用。通過實驗證明，在網絡課程中采用口型模擬技術生成動畫來講解理論性知識，與真實教師視頻講解的教學效果基本接近，二者在測驗成績和認知負荷方面未呈現顯著差異。

【關鍵詞】口型模擬;網絡課程;TTS;語音合成;人工智能

【中圖分類號】G40-057【文獻標識碼】A【論文編號】1009—8097(2010)03—0035—04

隨著高校精品課程建設的推進，網絡課程的應用日益廣泛。與真實的課堂教學相比，網絡學習通常缺乏直面教師的臨場感。為此，人們在網絡課程中加入教師講課的視頻，但這在一定程度上也導致了課程的開發成本大幅提高。本文認為，可以嘗試借助口型模擬技術來解決這些問題。通過在網絡課程中提供虛擬的教師代理，對教學內容進行擬人化的講解，并為學習者提供必要的引導，從而降低制作成本，增強學習的臨場感和交互性，提高網絡學習的效果。

一 口型模擬技術概述

1 口型模擬技術的分類

口型模擬又稱為口形自動匹配，它是人工智能技術的一種。目前實現口型模擬的方法主要分為三種:基于文本驅動、基于自然語音驅動和音視頻混合建模方法[1][2][3]。

(1) 基于文本驅動的方法:該方法主要通過TTS(Text to Speech，文-語轉換)引擎來驅動人臉的口部運動。TTS引擎將輸入的文本信息轉化為對應的音素序列、音素時長以及對應的語音波形，然后在模型庫中選擇對應的模型單元，通過平滑處理和相應的同步算法最終呈現出和輸入文本內容相對應的語音和人臉口部動作。利用TTS合成語音的真實程度目前還不太理想，不適于實時的自然語音處理環境。

(2) 音視頻混合建模的方法:該方法通過混合從視頻圖像中提取的運動參數和音頻中提取的聲學參數來建立統計模型，然后將輸入的語音參數與模型庫通過轉換算法進行匹配，最后呈現出與語音內容相對應的可視人臉口部動作。這類方法涉及的算法比較復雜，所建立的模型的可擴展性有限。

(3) 基于自然語音驅動的方法:該方法將自然語音建模和可視口形建模分離，使其在各自建模階段參數之間保持相對獨立，只需通過識別出的語音模型標識序列來選擇對應的口形參數即可完成匹配過程。該方法可根據不同的要求建立不同的口部模型，具有較強的可擴展性，但其匹配的準確度依賴于對語音模型的正確識別率。

2 口型模擬技術的應用領域

目前口型模擬技術已在許多領域得到應用[4][5][6]，主要包括:(1)動漫電影人物語音與口形的自動匹配;(2)電信、銀行、航班、證券部門的聲訊服務;(3)智能人機界面，如交易網站的產品介紹、人機交互網站的智能代理;(4)虛擬現實、游戲中的虛擬人化身;(5)外語輔助教學，如輔助校正發聲、聽力練習、雙語教學等;(6)聾啞人輔助發聲訓練。

二 典型的口型模擬軟件及其特點

有關口型模擬技術的軟件雖然不少，但大多為科研實驗或商業應用而開發，適合于個人用戶使用的產品并不多。目前在互聯網上可供用戶免費試用的典型口型模擬軟件主要有兩款:Talking Photo和SitePal [7] [8]。

1 Talking Photo

Talking Photo又稱“會說話的照片”，它是由美國一家致力于移動計算、視頻以及互聯網服務的高科技公司PQ Computing發布的一款軟件，比較適合于制作博客或MSN的個性頭像，會說話的電子相冊、賀卡等[9]。該軟件的功能特點包括:(1)簡單易用。只需一張照片和一段音頻，便可合成復雜逼真的人物的動態表情。(2)使用Flash9/AS3實現復雜的人臉模型算法，可實時計算人臉表情。(3)智能語音識別，根據聲音自動對上人物口型，并支持任意一種語言。(4)人物的表情、動作、口形既可由程序自動生成，又可由用戶手動添加和控制。

2 SitePal

SitePal又稱“會說話的頭像”，是由美國的一家廣告媒體公司Oddcast發布的一款軟件，它支持用戶在線創建自定義的、會講話的虛擬替身(Avatar)，并可將其作為娛樂性插件嵌入個人主頁、博客、Flash程序、電子郵件、PowerPoint甚至eBay的交易網站中。該軟件目前已廣泛用于各類商業網站的廣告宣傳、天氣預報、股票和新聞播報等[10]，其功能特點包括:(1)全部制作過程在線完成，無需編程或下載安裝插件。(2)提供了豐富、專業的模特庫，用戶可對替身的年齡、膚色、發型、服裝等進行微調。(3)支持多種添加語音的方法。(4)提供了一些智能化功能，支持常見問題回答、顧客信息搜集和智能人機交互等服務。

3二者的比較

以上兩款軟件的具體性能特點對比如表1所示:

三 使用口型模擬軟件制作虛擬教師替身

將口型模擬技術應用于網絡課程的制作，可在一定程度上降低因視頻攝制和加工而帶來的成本。本文以Talking Photo軟件為例，選擇《現代教育技術》網絡課程的部分內容，嘗試制作一段虛擬的教師講解動畫，其基本制作過程如下:

(1) 制作替身。在模型庫選擇一個替身，或者導入教師自己的照片。根據提示，設置圖片中人物面部的主要參考點，如雙眼、鼻子、嘴巴、面龐和下頜。

(2) 導入聲音。將預先制作好的教師講解錄音導入到軟件中，此時軟件會自動對導入的聲音進行分析，并生成自動匹配的口型和面部表情。

(3) 預覽和修改。預覽制作效果，對系統自動生成的動畫效果進行觀察，包括面部表情、頭部運動以及發音的口型。如果有不滿意的地方，則可以自行對細節進行調整。

(4) 發布作品。軟件提供兩種發布形式:直接發布到Internet上特定的服務器上，或以指定的格式保存到本機中。前者要求調用作品時必須與Internet的服務器保持聯通，而后者只需下載專門的Flash播放器至本機，即可調用和播放作品。

模擬動畫制作完畢后，還需將其嵌入網絡課程的頁面中。一般只需將特定的HTML代碼插入到網頁中即可。代碼示例如下:

在以上代碼中，TalkingPhotoDemo.swf是用于播放模擬動畫的播放器文件名，action參數指定了模擬動畫的源文件名，sound參數則指定了與動畫對應的聲音文件名。

四 口型模擬軟件的教學效果驗證

為了驗證口型模擬軟件的教學效果，我們將以上制作的虛擬教師講解動畫(以下簡稱模擬動畫)作為實驗材料之一，針對真實教師的講解視頻，以網絡課程中普遍流行的“三分屏”布局設計教學內容，并展開教學效果對比實驗。

1 實驗過程

實驗選取了來自不同專業的47名大二學生作為被試，并隨機分為兩組。所有學生實驗前均沒有接觸過與教學內容相關的材料，其中實驗組24名被試的學習材料中教師形象區為模擬動畫，對照組23名被試材料中對應的則是真實教師講解視頻。實驗利用眼動儀記錄被試在網絡學習過程中的眼動情況，并以紙筆測試的方式檢驗學習效果和認知負荷。

2 實驗結果

實驗主要結果如表2、表3和圖2所示。對實驗數據的統計分析結果表明，兩組被試對教師形象區(A1)和PPT內容區(A3)的注視次數和時長呈現出顯著差異，即實驗組更多關注PPT的內容，而較少關注教師的形象;實驗組在認知負荷和測驗成績方面比對照組略低，但未呈現出顯著差異。這表明被試在學習模擬動畫的教學材料時，雖然在注意力分配方面與真實教學視頻存在一定差異，但是對最終的學習結果而言，二者是基本接近的。

3 主要結論

(1) 教學形象的逼真程度決定其受關注的程度。由于目前智能化模擬的逼真度仍然不夠理想，因此教師的真實授課視頻要比口型模擬動畫更容易引起學習者關注，相應的注視次數和注視時間也更多。

(2) 利用口型模擬技術輔助教學在一定程度上是可行的。雖然本實驗涉及的教學內容和被試均存在局限，但實驗結果至少證明:在某些理論性知識的教學中，采用虛擬教師替身來輔助學習，同樣可以接近或達到真人視頻教學的效果。

五 結束語

口型模擬技術應用于網絡教學，在一定程度上可以彌補因教師不在教學現場而缺少的臨場感和投入度，也可以降低網絡課程制作的成本。雖然目前該技術的形象逼真程度還有待提高，但隨著人工智能技術的發展，這一問題最終將得以解決。我們有理由相信，口型模擬技術在網絡學習領域所發揮的作用將越來越大。

參考文獻

[1] J Ostermann， MC Beutnagel， A Fischer， et al. Integration of talking heads and text-to-speech synthesizers for visual TTS[A].Proceedings of the International Conference on Speech and Language Processing[C].Sydney，1998.

[2] S Fu， R Gutierrez-Osuna， A Esposito， et al. Audio/visual mapping with cross-modal hidden Markov models[J].IEEE Transactions on Multimedia，2005，7(2):243-252.

[3] 歐陽建軍.基于自然語音驅動的口形自動匹配技術研究[D].深圳:深圳大學，2008.

[4] 童強，洪家平，孫玉霞.一種基于TTS的語音朗讀技術及其教育應用[J].中國電化教育，2007，(3):108-110.

[5] 新浪網.口型模擬技術獲突破，已故影星夢露“復活”唱歌[DB/OL].< http://tech.sina.com.cn/ o/2002-07-05/124403.shtml，2002-07-05.>

[6] 人民網.香港城大發聲臉部動畫系統榮獲杰出大獎[DB/OL].

[7] Avatars - Create an Animated Talking Character for Your Website[OL].

[8] Talking Photo[OL].

[9] Create a talking character using any photo or picture[OL].

[10] Oddcast——有趣的廣告媒體公司[DB/OL].

Exploration on Mouth Shape Simulation and Its Application in Web Course

ZHANG Jia-hua1 ZHANG Jian-ping2

(1. School of Teachers Education， Zhejiang Normal University， Jinhua， Zhejiang， 321004， China; 2. Institute of Educational Technology， Zhejiang University， Hangzhou， Zhejiang， 310028， China)

Abstract: Mouth shape simulation (MSS) is a kind of artificial intelligence technology， and it has been applied in many areas at present. This paper introduces the technology and compares two typical pieces of software of MSS. And it explores the application of MSS in the development of web course. From a contrast experiment， the result shows that there are no significant differences on test scores and cognitive load between two experimental groups. That is， the learning effect of the experimental group which used MSS is similar to the one which used real instruction video in some instructions on theoretical contents.

Keywords: Mouth Shape Simulation; Web Course; Text to Speech; Speech Synthesis; Artificial Intelligence

編輯:小禾