基于語音處理的外語聽力移動學習平臺構建

潘荔霞, 徐文斌, 任迎春, 李世寶

(中國石油大學(華東) 文學院，山東 青島 266580)

·文經管類實驗室·

基于語音處理的外語聽力移動學習平臺構建

潘荔霞, 徐文斌, 任迎春, 李世寶

(中國石油大學(華東) 文學院，山東 青島 266580)

移動互聯網的飛速發展，促進了外語聽力與移動學習的結合。針對現有聽力移動學習平臺存在交互不方便、反饋不實時、缺乏個性化等弊端，提出了一種基于語音處理的外語聽力移動學習平臺。將語音處理技術引入到移動學習中，通過語音識別對學生進行身份確認、聽力材料獲取、語音答題，實現非接觸式的人機交互；同時通過數據統計分析實現自動評測和個性化聽力材料推薦，并為教師課內教學提供參考數據。經線上運行測試，學生參與課后聽力學習的積極性明顯提高，綜合聽力水平有較大幅度上升。

學習平臺; 外語聽力; 移動終端; 語音處理

0 引 言

隨著我國國際影響力的不斷增強，參與國際事務的頻次快速增加，對外語聽說能力的要求日漸提高，《國家中長期教育改革與發展規劃綱要(2010-2020)》[1]中強調：要強化學生外語尤其是英語應用能力的培養[2]。在聽、說、讀、寫四項基本技能中，聽力作為語言交互的基礎，越來越受到人們的重視[3-4]。

傳統外語聽力學習主要依托每周1～2次的課堂教學，通過語音播放或者在聽力室中由計算機輔助完成，時間短、頻次低，遠遠不能滿足學生聽說能力的培養要求。聽力水平的提高需要通過不斷地練習，才能實現量變到質變的過程。在高校中，學生在學習外語的同時還有數學、物理、專業課等許多課程，而數理類課程的習題往往需要連續的時間段才能完成，學生課外比較完整的時間基本被這類課程所占用，留給聽力學習的只有碎片化的時間。而聽力學習本身對時間段的要求并不高，短的材料3～5 min就可完成，課間休息、乘坐公交、走路、跑步甚至騎車、用餐時都可以進行聽力的練習。顯然外語聽力學習的特點，非常適合與移動學習相結合[5-6]。

近年來，隨著無線通信和網絡技術的不斷融合以及移動終端性能的提升，移動互聯網以一種全新的形態、爆炸式的增長速度席卷人們生活的各個角落[7]。手機、pad、surface甚至智能眼鏡、智能手表等各式各樣的便攜式移動終端層出不窮，WiFi、3G、4G等無線網絡無處不在[8]，這為移動學習時代的到來提供了必要基礎條件。移動學習由戴斯蒙德基提出，倡導借助于手機等移動設備，充分利用碎片化時間，隨時隨地的學習，非常適合與聽力課后練習相結合[9-11]。本文在充分分析現有聽力移動學習軟件優缺點的基礎上，設計了基于語音處理的外語聽力移動學習平臺，實現聽力學習的實時評測、全程跟蹤、智能推薦等個性化教學模式，有效提高學生的英語水平和能力。

1 現有聽力學習平臺存在的問題

外語教學與移動學習的結合已經有許多嘗試[12-14]，而聽力學習與移動學習結合的研究相對較少?？偨Y來看，從所借助的移動終端來分，主要有：①借助于傳統的MP3、隨身聽等老式設備，可以實現隨時隨地的練習，但是由于設備能力的限制，不能實現智能互動。②借助于手機、pad等新式設備，聽力材料比較豐富，智能處理能力強?，F有的聽力學習平臺基本能夠充分利用碎片化的時間，達到了一定的效果，但仍存在一定的問題。

(1) 注重自由練習，忽略針對性的跟蹤指導。在下載一段聽力材料后，僅僅是聽，缺少相關的評測和是否有收獲的反饋，學生堅持練習一段時間后發現自己沒有明顯的提高就會放棄。有的學生會選擇帶有一定量測試題目的聽力材料，但是由于自身知識水平的限制，往往只關注題目的對錯，沒有系統化的分析總結，不知道自己聽力所處的水平和存在的問題，限制了聽力水平的提高。

(2) 需要與移動設備進行接觸性的操作交互，易用性不足，影響學習效率。例如間斷性的按鍵、觸屏等操作，甚至在一些有問題交互的聽力練習中，需要較長時間的觸屏操作。而學生可以充分利用的碎片化時間往往是一些不適合低頭操作的場合，例如在運動、走路、騎車等，與設備的頻繁交互既不安全也不方便。

(3) 聽力材料選擇比較隨意，沒有針對自身基礎進行個性化定制。學生自己從網上下載的材料，針對性不足，課堂布置的作業則是針對班級所有的人，忽略了不同學生的個性化差異。由于課堂老師的精力有限，無法做到全程實時跟蹤學生的學習情況，導致在聽力材料的選擇上比較單一，學生的學習效果不能達到最優。

針對以上問題，本文將語音處理技術融合到移動學習平臺中，通過語音處理技術實現對學生身份信息的識別、聽力資料的選取、語音答題、自動評測。依靠語音使得學生脫離觸屏等操作，實現真正的隨時隨地學習，同時結合數據統計和智能分析技術，為不同學生推薦個性化的聽力材料。

本平臺與現有的英語聽力平臺相比，具有3點優勢：①借助語音技術，不需要與移動終端進行接觸操作即可實現與聽力平臺的交互。②教師可以實時跟蹤學生的學習，將課內教學指導與課外自由學習無縫融合。③為不同學生提供個性化的聽力材料。

2 基于語音處理的聽力移動學習平臺設計

聽力學習的碎片化時間特征決定了移動學習平臺應能夠適應跑步、騎車、走路等多種場景的需求，以優良的用戶體驗和豐富的聽力材料，吸引學生參與。本文提出的基于語音處理的外語聽力移動學習平臺，基本組成如圖1所示，學生通過語音技術實現在不接觸手機屏幕的情況下，完成英語聽力練習，服務器端進行數據的統計分析和材料推送。

圖1 移動學習平臺基本組成

語音技術主要用在用戶身份識別，用于擺脫文字式的登錄模塊；流程控制,使用語音實現軟件的流程控制；語音答題,采用語音完成每套聽力材料之后的測試題等幾個方面。流程如圖2所示。

圖2 系統流程圖

2.1 學習平臺的整體結構

學習平臺整體上分為移動端和服務器端兩部分軟件，基于安卓系統和后端服務器進行開發的，系統功能結構如圖3所示。

圖3 系統結構框圖

移動端主要負責與聽力練習者的交互，包括語音登錄、聽力材料請求與獲取、語音播放、暫停以及跳轉、語音識別、數據上傳等功能。服務器端包含英語聽力資料實時處理、聽力材料存儲以及聽力材料的推送等功能。主要完成對聲紋識別、題目智能選擇和推送、對學生上傳答案的實時評測和統計分析等。

2.2 移動端軟件設計

移動端部份的核心是在安卓系統的基礎上開發的一款APP軟件，是實現人機交互的主要平臺。安卓作為一種移動終端開發的主流技術，具有高廣泛性和高普及性，采用Java作為設計語言，支持眾多插件和類庫，開發效率高、運行穩定。下面從人機交互前端設計、數據獲取與回傳、聽力練習與實時監測、語音答題、以及智能跟蹤和師生互動5個方面介紹移動端主要功能。

(1) 人機交互前端設計。有觸屏式和非接觸式兩種模式，分別通過圖形界面和語音控制來實現。圖形界面設計采用unity3D技術[15]，unity3D是一款強大游戲引擎軟件，可以實現精美的2D/3D界面的設計，相比于其他設計方式，使用unity3D設計的界面更加友好、美觀。在非接觸式交互模式時主要借助語音處理技術，例如登錄時可以采用語音方式，將說話人的語音信息上傳服務器，根據反饋結果實現登錄判決。

(2) 數據獲取與回傳。該模塊利用安卓開源框架xutils,主要應用在4個方面：語音登錄時上傳學生的語音信息；學生可以上傳自己的個性化設置，包括自己的簽名、頭像、喜好以及英語水平等；將服務器推送的材料下載到本地，再次下載不再消耗流量；聽力答案、反饋以及問題的上傳等。

(3) 聽力練習與實時監測。該模塊實現聽力播放、聽力跟蹤記錄功能，其中聽力播放采用安卓系統的開源音頻播放軟件Media Player，實現本地音頻的播放、暫停和跳轉等基本功能。聽力跟蹤部分實時監控學生在聽力測試中的聽力中斷情況，系統將記錄播放數據以及播放時間，并利用DBUtils將其保存在本地數據庫sqlite中，同時反饋服務器，當學生再一次進入軟件進行聽力練習時，系統將調用存在數據庫中的播放位置，智能的選擇聽力的起點，實現聽力的跟蹤。

(4) 語音答題。每一段聽力材料之后附有3～5個測試題，直接語音方式答題，采用語音識別中的孤立詞識別技術，實現對聽力答案的語義檢測，算法的處理流程如圖4所示。

圖4 DTW算法的流程

其中核心算法使用動態時間規整(Dynamic Time Warping，DTW)識別算法，改算法通過比較兩段孤立語音的強度趨勢比較兩端語音的距離得分，可以消除語音長短不一致帶來的識別問題。同時利用短時能量和短時平均過零率實現語音的端點檢測，提高判決精度。圖5為DTW匹配效果圖，從圖中能看出,在時間不對齊的情況下能夠有效地實現孤立語音的匹配。

圖5 DTW匹配效果圖

(5) 智能跟蹤和互動。系統對學生聽力進行實時跟蹤，防止學生重復收聽和作弊。學生可以將存在的問題寫在留言板上，教師利用服務器端的推送功能對學生的問題進行解答，實現師生互動。

2.3 服務器端數據分析與處理

該系統服務器端具有強大的數據分析與處理能力，主要實現聲紋識別、資料智能選擇、消息推送以及成績統計和存儲等。

(1) 聲紋識別。服務器端首先接收手機端上傳的用戶語音數據，然后利用聲紋識別技術找到該用戶信息。利用說話人的聲學特征實現對說話人的判決，代替了傳統賬號和密碼的登錄方式。該部分使用經典高斯混合模型(Gaussian MixtureModel，GMM)[16]作為說話人識別算法，特征參數提取流程如圖6所示。

(2) 資料的智能選擇。根據收到的語音識別出學生的信息，在數據庫中查詢該學生的信息以及平時的作答情況，智能選擇相應領域和聽力的難度，推送到該學生的手機上。

圖6 特征參數提取流程

(3) 消息推送。利用MQTT協議實現消息推送，該協議是為大量計算能力有限，且工作在低帶寬、不可靠的網絡的遠程傳感器和控制設備通信而設計的。網絡連接利用TCP/IP協議，該協議具有開銷小、協議交換小、流量少以及中斷檢測機制完善等特點，被廣泛應用到輕量級的消息推送中。根據登錄學生的信息實時推送聽力材料和試題。同時教師通過推送實時的回答學生提出的問題和發布一些公告信息，實現師生互動。

(4) 學生成績存儲和統計分析。教師通過數據庫記錄的信息，分析學生英語聽力情況，進而為每個學生制定合適的聽力學習路線。學生在聽完每一段聽力材料后，通過移動終端答題并進行提交，系統自動判斷答案正誤，并將相應的成績記錄在服務器，作為學生的平時成績。同時，根據學生在自主學習階段回答他人問題且答案被采用的情況給出一定的分數，積極為同學解決問題并且被采納的將會取得較高的分數，鼓勵同學互幫互助。

3 聽力移動學習平臺的應用

3.1 聽力材料

移動學習的平臺要想發揮最大作用，還需要有豐富的聽力材料，為了針對不同學生實現個性化的材料推送，本文以建立資料庫的方式為學生提供全面有效的英語聽力學習資料。資料庫設計要求范圍廣、功能全面。

(1) 資料來源。資料收集是教師根據已有的教學經驗、學生的興趣愛好以及學生平時的成績統計來制定的，同時迎合各個考試的需求。從內容上分：資料涵蓋經濟金融、人文地理、體育運動、環境保護、記敘文、故事小說、經典易錯對話等幾十個分類。從類型上分：包含當前各個考試平臺的所有聽力題目類型，實現學生的全方位練習。同時也包含很多閱讀資料，供學生自行下載閱讀，提高學生自主學習能力。

(2) 精細分類。在資料類型的基礎上又劃分了難易等級，以滿分100分的形式為每一篇聽力材料打分，分值越高，則越容易，分值的初始設置來自于教師多年考試積累的經驗。其中簡單題目多是CET四級水平或低于四級難度，為英語基礎差的學生提供詳細的學習資料；中等題目多介于CET四級和六級之間，為考四級和六級的學生提供豐富的資料；高困難度多在CET六級之上，為學生成績提升提供豐富的資料。同時聽力材料的難易度會根據學生實際做題過程的正確率動態修改，利用一定時間區間內，所有參與某題的學生平均得分值來修正該題的難易度值。這種將聽力材料精細分類的做法可以為學生推送最合適的練習素材。

(3) 資料更新。隨著系統的不斷使用，分析學生作答情況，根據學生的反饋信息，實時更新資料庫，使得資料庫具有針對性，實現資料庫的逐步完善，為學生提供更加精確的分類和推送。

3.2 平臺運行效果

該平臺在中國石油大學(華東)文學院英語專業中進行了應用，并且選取英語2013級成績非常相近的1班和2班兩個班級進行了對比測試，1班在本移動學習平臺上練習聽力，2班按照傳統上課方式進行。

表1為兩個班一個學期之后的對比，使用該平臺英語1301班比未使用該平臺英語1302班平均分高出了11分，優良率和及格率也以較大幅度領先。

表1 班級成績對比

隨機從兩個班中各選取5位同學，比較前后兩個學期的聽力成績，如表2所示?？梢姡?301班的同學成績經過一個學期的學習，成績提升明顯，最大的提高幅度甚至高達36%；而1302班整體成績提升較小，個別學生甚至還有退步。

表2 學生成績前后對比

圖7為統計自平臺上線以來，學生在線學習英語的時間，評價指標定義為人均每天在線練習的分鐘數。從圖中可以看出一開始的時候人均僅30 min左右，之后迅速提升到50 min，表明學生在體會到平臺的便利之后，課后自主練習聽力的積極性明顯提高了，到學期的后半段已經基本穩定在60～70 min，學生可以使用該平臺充分利用碎片化的時間進行學習。

圖7 在線時間統計

表3是1302班的學生課后在聽力學習方面的統計情況，由于該班沒有參與在線練習，故采用問卷調查的方式獲得統計數據。從表中可見,該班學生每月平均僅有12 d進行課后、聽力練習，每天練習時間平均也僅有27 min。而且大多是選擇一些娛樂性的材料，聽力練習以消磨時間為主。絕大部分的學生在練習之后感覺沒有明顯提高。

表3 1302班課后聽力練習情況

4 結 語

碎片化的聽力練習非常適合與移動學習結合，移動互聯網與智能終端的飛速發展為智能化的移動學習提供了強有力的基礎條件和技術保障。本文提出的基于語音處理的聽力移動學習平臺，基本解決了傳統聽力移動學習平臺的交互不方便、反饋不實時、缺乏個性化等問題，使得學生從接觸式的人機交互中解脫出來，真正實現了隨時隨地的移動學習。經線上運行測試，學生參與課后聽力學習的積極性明顯提高，聽力水平有較大幅度提升，同時也培養了學生自主學習的能力。

[1] 顧明遠. 學習和解讀《國家中長期教育改革和發展規劃綱要(2010-2020)》[J].高等教育研究, 2010, 31(7):1-6.

[2] 柯應根，董 艷.大學英語聽力教學研究現狀與問題分析——基于國內CSSCI 期刊論文的分析(1994-2013) [J].外語電化教學, 2014(5):74-78.

[3] 高 強, 劉 琳. 大學英語教師聽力教學信念及其與教學實踐關系探究[J]. 外語界, 2013(2):33-41.

[4] 教育部高等教育司.大學英語課程教學要求[Z]．北京: 外語教學與研究出版社，2007.

[5] 薛建強. 大學英語移動學習模式的構建與發展研究[J]. 實驗技術與管理, 2014,31(3):176-179.

[6] 唐良玉. 智能手機在英語聽說學習中的應用研究[J].海外英語, 2016(8):65-66.

[7] 吳吉義, 李文娟, 黃劍平,等.移動互聯網研究綜述[J].中國科學(信息科學),2015,45(1): 45-69.

[8] 閆麗靜，高俊國. 應用型專業基于智能手機移動教學的研究與應用[J].實驗技術與管理, 2015,32(10):83-86.

[9] 葉正茂, 劉華錦. 基于泛在學習的智能移動終端聯合分析[J]. 高等工程教育研究, 2015(6):173-178.

[10] 湯躍明, 查宏波. 移動云環境下自主學習系統的構建研究[J]. 中國遠程教育, 2014(1):83-88.

[11] 湯躍明, 付曉麗, 卜彩麗. 近十年移動學習研究現狀評述[J].中國遠程教育, 2016(7):36-44.

[12] 牛雪蓮. 基于Android 的英語聽力移動學習平臺設計與實現[J].自動化與儀器儀表, 2016(2):41-42.

[13] 馬金超, 楊 敏. 外語自主學習平臺的設計與構建[J]. 實驗室研究與探索, 2011(7):347-349.

[14] 劉 巖，葛忠強，賀 靜，等. 融合移動學習的大學英語混合教學新模式探索[J].實驗室研究與探索,2013,32(4):144-147.

[15] 王 娜, 徐魯雄. 基于Unity 3D的計算機網絡虛擬實驗室建設研究[J]. 實驗技術與管理, 2016,33(9):242-245.

[16] 王作英, 肖 熙. 基于段長分布的HMM語音識別模型[J].電子學報,2004,32(1): 46-49.

DevelopmentofMobileEnglishListeningLearningPlatformBasedonVoiceIdentification

PANLixia,XUWenbin,RENYingchun,LIShibao

(School of Arts, China University of Petroleum, Qingdao 266580, Shandong, China)

The rapid development of mobile Internet has promoted the combination of English listening and mobile learning. The existing listening learning platform is not convenient for interaction, is short of individuation, and its feedback is not timely. In order to solve these problems, we introduced mobile English learning platform based on voice processing technology. This platform is able to identify students, get listening material by voice identification, meanwhile the perform automatic evaluates and recommends personalized listening material by data statistics and analysis, thus it provides reference data for teachers. The online running test shows that students’ enthusiasm is obviously improved and their listening ability is greatly enhanced.

learning platform; english listening; mobile terminals; voice processing

G 434

A

1006-7167(2017)11-0274-05

2017-02-20

全國工程專業學位研究生教育2016-2017年度自選研究課題-教改項目(2016-ZX-271)；中央高?；究蒲袠I務費專項資金資助項目(14CX04060B)；石油大學(華東)青年教師教學改革項目(QN201432)

潘荔霞(1979-)，女，山東德州，碩士，講師，主要研究方向為應用語言學、商務英語。

Tel.:18866205280;E-mail：pan_lixia@upc.edu.cn