智能對外漢語學習系統的設計與研究

李 斌，王浩暢

(1.湖南科技大學，湖南 湘潭 411201；

2.東北石油大學 計算機與信息技術學院，黑龍江 大慶 163318)

0 引 言

近年來，隨著人們對人工智能技術的開發與研究，它在全球都受到了廣泛關注，人工智能技術不僅在科技方面有著不可替代的作用，而且在教育教學領域也有著非常廣闊的前景。中國對人工智能的重視已上升為國家戰略層面，不僅于2017年發布的《新媒體聯盟地平線報告：2017高等教育版》中表示：人工智能對今后的教育發展將產生重要影響[1]，而且于2018年4月召開的全國教育信息化工作會議中也提到“人工智能化領跑教育信息化2.0”[2]。不僅國內對人工智能教育領域應用十分重視，國外還專門針對這一領域設有權威學術期刊——《人工智能教育應用國際雜志》(International Journal of Artificial Intelligence in Education)。在這些信息的推波助瀾下，越來越多的高校和科研機構都對“人工智能+教育”進行了系統開發和深入研究。未來，人工智能技術與教育的融合將成為必然趨勢。

人工智能技術、信息技術和教育技術是實現“人工智能+教育”的三大技術支持。其中，機器學習、自然語言處理、圖像識別等技術都是人工智能技術和信息技術的整合；相關的教育技術有：教學設計、課程建設、教學方法等內容[3]。這些技術為人工智能在教育領域中的應用奠定了技術基礎。隨著中國國際地位的不斷提高，以及漢語國際教育在全球范圍的大力推廣，全世界掀起一股漢語熱的風潮，促使越來越多的外國學生選擇來華進行漢語學習。雖然學習漢語已經成為一種趨勢，但是對外漢語教師極為匱乏，不僅如此，單一的漢語教學模式、課上課下缺少強化練習過程、教師教學任務繁重以及缺少真實的語言練習環境等限制條件，從根本上制約了漢語學習者的學習。

由于計算機在語言教學中的應用，即計算機輔助語言學習(Computer Assisted Language Learning，CALL)可以使學習者突破時間和空間的限制進行有效的語言學習和訓練，便于學習者充分利用碎片時間進行個性化學習。一時間內，國內外學者和科學家開發了許多漢語學習軟件，并進行深入研究，研究內容主要集中在應用開發與設計、具體功能設計與實現、應用調查分析、具體內容分析與設計、應用效果分析等方面。

目前，漢語學習軟件種類繁多，大多數軟件都涵蓋了課件音頻、視頻的播放、漢字書寫和發音教學、詞匯學習等方面的內容，但由于在設計、技術、語言情境等方面上仍存不足，造成對外漢語學習者的學習支持力度不夠。對于語言學習來說，語境是至關重要的，學習語言的最佳路徑就是在真實的語境中進行一對一對話，然而利用智能聊天機器人系統就可以實現創設真實的或模擬的漢語學習環境，主要運用人工智能中的自然語言處理技術，創設出真實的語境，讓學習者與機器人用自然語言進行對話。智能聊天機器人是人工智能領域中的一個重要研究方向，它是通過模擬自然語言來與人類進行對話。人們學習語言的目的是為了交流，而學習語言的最佳途徑也是通過對話來學習交流，將聊天機器人與漢語學習相結合，開發具有理解功能的交互式人機對話漢語學習環境，對于提高對話和漢語表達能力，以及提高對外漢語教學質量有著舉足輕重的地位和實踐價值。基于以上原因，筆者開發了基于聊天機器人的智能對外漢語學習系統。

1 研究現狀

隨著人工智能技術的熱潮席卷全世界各個領域，人工智能技術在教育領域的應用逐漸具有了不可替代的作用，因此，越來越多的國內外研究者對在語言教學領域中使用人工智能技術產生了濃厚興趣。探討人工智能技術如何與語言教學領域進行有機結合，不僅能極大地推動人工智能技術的進步，還能夠促進整個語言教學科研領域的發展。

黃曉潔[4](2006)提出輔助閱讀系統和輔助教材編寫系統的設計構想，從理論層面和模型構想上探索利用自然語言處理技術實現對外漢語輔助教學系統。盧丹丹[5](2009)提出基于人工智能技術的大學英語輔助教學系統，主要包括兩個部分：一是基于專家系統理論的教師英語輔助教學專家系統模塊；二是基于BP神經網絡模型的學生自主學習系統模塊。安靜[6](2011)利用數據挖掘技術及人工智能中的專家系統理論，實現英語輔助教學系統。微軟首席研究官瑞克·拉希德(Rick Rashid)在2012年11月演示了計算機“同聲傳譯”系統，該系統不僅能將英文翻譯成中文，還可以模擬說話者的語音語調，該技術對實時口譯和語言學習等方面有很大幫助。陳穎[7](2013)利用自然語言理解、機器學習和智能搜索等人工智能技術，嘗試設計針對中學英語教學的人工智能系統，并探索該系統的具體實施條件和實現。郝丹[8](2015)通過將多媒體技術與自然語言處理技術相結合，開發漢語學習系統，實現漢語基礎知識學習模塊、專題瀏覽模塊以及語句學習、新聞摘要和情感分析三個結合自然語言處理技術的工具助手模塊。微軟亞洲研究院于2016年開發的微軟小英，是一款英語口語學習和訓練軟件，融合了自然語言處理、語音識別和語音合成等人工智能技術，主要通過情景模擬、情境對話和跟讀訓練等功能，幫助英語學習者完善發音、熟練口語，以及快速建立日常英語溝通能力。孫雅琳[9](2018)利用人工智能中的機器學習、深度學習等技術，實現對大學英語技能訓練系統中的口語主觀表達題的智能批改，將對減輕教師批改壓力、指導學生學習有很大幫助。賈積有博士[10]自主設計研發的“希賽可”，是一個模擬英語語言交流情境的智能英語學習系統，將自然語言處理、智能代理等人工智能技術應用于英語教學領域，該系統主要包括“希賽可”聊天機器人、“希賽可”教學平臺和“希賽可”背單詞軟件三個部分[11]。楊曉瓊等[12]介紹的批改網，是一款基于自然語言處理、人工智能等技術實現的在線自動英語作文批改系統，通過分析學生英語書面作文，檢測出其中的錯誤，并即時給出評分、改善建議以及內容分析結果，學生可根據提示自主修改多次提交，直至達到滿意為止，這種方式將有助于提升學生的英語寫作能力。不僅研究者在語言教學領域上運用人工智能技術非常重視，國內外研究機構和學者也組織了許多相關會議和語言評測，進一步促進人工智能技術在語言教學領域的應用。

計算機輔助語言學習的自然語言處理研討會(Natural Language Processing for Computer Assisted Language Learning，NLP4CALL)由北歐語言技術協會(Northern European Association of Language Technology，NEALT)組織，從2012年開始，每年舉行一次，致力于將自然語言處理和語音技術集成到CALL系統中，更好地理解和應用語言，從而使CALL智能化，將該研究領域取名為智能計算機輔助語言學習(ICALL)，主要探討研究內容如下：使用NLP工具來測試第二語言習得(SLA)理論和教學理論；利用SLA理論和教學實踐在ICALL工具中建模。從2016年起，將語言習得研究的自然語言處理研討會(Natural Language Processing for Research in Language Acquisition，NLP4LA)聯合在一起舉辦，目的是為研究語言習得過程中出現的理論和方法問題的研究人員提供一個會議場所，包括經驗和實驗研究以及基于NLP的應用。語言與智能高峰論壇(Language & Intelligence Summit)由中國中文信息學會和中國計算機學會聯合舉辦，2016年在北京首次召開，每年舉行一次。該高峰論壇主要探討語言與智能領域的新發展和新技術，目的在于向全世界介紹國際語言與人工智能領域的發展趨勢和創新成果，進一步推動國內語言與人工智能技術領域的發展。

北京洪堡論壇(BHF)于2013年11月創辦，由德國洪堡基金會和對外經濟貿易大學共同主辦，每年9月在中國舉行。第六屆北京洪堡論壇于2018年9月在對外經濟貿易大學舉行，以“綠色經濟·文化傳承·教育2035”為主題，將從多角度、多方位、多領域探討，其中包含“人工智能與語言研究”主題論壇，主要有以下議題：人工智能技術在語言研究和翻譯領域的應用、語言研究對人工智能研究的可能貢獻、人工智能與語言學發展的歷史關系等。

語言測試與評價國際研討會(International Conference on Language Testing and Assessment，ICLTA)是由教育部考試中心舉辦的年度學術會議，從2015年開始，該會議旨在及時傳遞國內外語言測試領域的最新研究成果和研究動態及未來的發展趨勢，將成為具有中國特色的現代外語能力評測體系。該會議主要圍繞語言能力標準的制定、語言教師的教學能力及測評素養、外語測試改革與發展以及人工智能技術在語言測評中的應用等議題進行深入的交流和研討。

通過以上研究成果發現，人工智能技術應用于語言教學有利于學習者自主學習和訓練；便于教師教學和研究，以及減輕教師日常工作中面臨的各種任務，例如語法錯誤標記、論文評分、創建測試和練習等；及時反饋有效增強學生學習。目前，大部分研究者利用人工智能技術對英語輔助學習進行探索和研究，然而對漢語輔助學習的研究少之又少，更沒有以對話形式系統地對學習者進行漢語輔助學習。因此，該文主要研究如何將智能聊天機器人和漢語學習相結合，利用聊天機器人系統輔助漢語學習，提供即時反饋，創設真實、交互的語言學習環境，讓學習者在模擬真實的語境中通過與聊天機器人對話來提高語言交流能力，實現學習效率最大化。

2 系統設計的理論基礎

系統主要以情境學習理論、建構主義等教育理論，以及人工智能中的自然語言處理技術為指導，設計開發了基于聊天機器人的智能對外漢語學習系統。

情境學習理論認為，學習不僅僅是一個個體性的意義建構的心理過程，而更是一個社會性的、實踐性的、以差異資源為中介的參與過程[13-14]。它關注學習對認知條件的依賴性，強調創建合適的情境來激發學習動機，鼓勵學習者參與到相關的社會活動中來進行練習，有效地掌握語言[15-16]。情境學習理論強調學習者需要在知識實際應用的真實情境中學習，對于漢語語言學習，最好的方法是讓學習者融入真實的日常生活情境中，借助恰當的語言情境交流促成漢語學習。該智能對外漢語學習系統為學習者創設了一個類似真實的漢語學習情境，在模擬真實的情境下，通過與聊天機器人進行場景對話練習，從而能有效地促進漢語學習者的漢語學習水平，并靈活應用于實際生活中。

建構主義學習理論認為，知識不是通過教師傳授得到的，而是學習者在一定的情境，即社會文化背景下，借助其他人(包括教師和學習伙伴)的幫助，利用必要的學習資料，通過意義建構的方式而獲得[17]。建構主義學習理論是以學習者為中心，強調學習者的主觀能動性，然而基于聊天機器人的智能對外漢語學習系統正體現學習者是學習主體的思想，強調學習過程是學習者積極主動構建的過程。建構主義還強調情境對漢語習得的意義構建的重要性，學習總是與一定的情境相聯系的，即應創建與學習者的實踐生活相近的學習情境和相應的交流活動，可以使學習者在這樣的語言環境和交流中完成意義建構。該智能對外漢語學習系統將學習者置于特定的情境之中，通過和聊天機器人的相互交流，使學習者在交互的情境中利用自己已有的經驗基礎去主動獲取當前學習到的新知識，從而完成意義建構，進而提高學習者對漢語學習的積極性和主動性，以及漢語語言運用能力。

聊天機器人系統的核心技術是自然語言處理技術，自然語言處理是將人類之間交流溝通所用的語言經過處理轉化為機器所能理解的機器語言，進而實現人際間相互交流[18]。它是一門綜合性的交叉學科，涉及到計算機科學、語言學和數學等領域的知識。該聊天機器人涉及到中文分詞、詞性標注、命名實體識別、關鍵詞提取等自然語言處理技術。利用自然語言處理技術的對外漢語學習系統的特點是不僅具有自然語言生成與理解能力，并且在學習過程中模擬真實的語言環境，利用簡單流暢的人機交互界面方式與機器人進行漢語對話交流，激發學習者的自主學習能力，通過創設自然的語言交流環境，達到對學習者所學知識的鞏固與反饋，提高學習效率。

3 系統結構

智能對外漢語學習系統主要側重于對話練習，為漢語對話提供場景模擬，為學習者提供對話練習的模擬語境，通過聊天機器人技術來實現對話質量良好的漢語對話練習，幫助用戶提升漢語水平。該文主要使用句子詞語切分和基于向量空間模型的計算實現句子語義相似匹配的對話檢索方法，利用TF-IDF算法將句子切分轉為利用關鍵詞表征的向量，構造語句的空間向量模型后，通過計算兩個向量的余弦相似度來獲取用戶輸入文本和語料庫中問題Questions的相似度，根據相似度得分進行排序，選擇得分最高的Questions對應的回復Answer作為回答反饋給用戶，達到聊天的目的?；诹奶鞕C器人的智能對外漢語學習系統是一個能夠檢索語料庫產生回復和用戶進行漢語聊天的系統，系統結構和流程如圖1所示。系統構成主要包括：輸入預處理、自然語言理解、中文-拼音匹配、對話管理、答案生成、輸出處理。

圖1 基于聊天機器人的智能對外漢語學習系統結構

3.1 輸入預處理

輸入預處理模塊主要負責對學習者輸入的文本進行前期的處理，然后交由自然語言理解模塊進行處理。

3.2 自然語言理解

自然語言理解模塊主要通過中分分詞、詞性標注、關鍵字提取等技術，理解用戶輸入問句的語義，從完整語句中提取出需要的信息，產生一個特定的語義表示。此語義表示是一個或多個關鍵字，并將其轉換為向量的形式。該系統采用了中國科學院計算機技術研究所研發的NLPIR-ICTCLAS漢語分詞系統[19]，實現將語句進行分詞、詞性標注和關鍵詞提取等功能。NLPIR-ICTCLAS漢語分詞系統采用基于層疊隱馬爾可夫模型CHMM(Cascaded Hidden Markov Model)，其分詞正確率達97.58%[8]，所以最終采用該漢語分詞系統。

3.3 中文-拼音匹配

中文-拼音匹配模塊首先檢測學習者輸入的文本是否符合格式要求，利用正則表達式匹配所有中文字符，然后根據規則將中文字符與詞典中的詞條進行逐一匹配。本模塊主要是按照順序方向來對語句進行掃描，按最大詞優先的匹配優先策略，完成中文字符切分，最后從微軟提供的語言包ChnCharInfo.dll讀取拼音，實現漢字轉拼音及顯示聲調的功能。該語言包庫功能強大，對于多音字都能轉換出來。

3.4 對話管理

對話管理模塊是整個系統的核心，主要通過檢索關鍵詞，利用TF-IDF算法計算詞語權重，并將用戶輸入的句子進行向量表達，計算句子的相似度。接著進行知識匹配，在對話模板語料庫中尋找到與之相匹配的問句模板，然后按照對應的應答模板將此答案模型交由答案生成模板進行進一步的處理。該系統聊天機器人對話模板語料庫(問題-答案對)的構建主要以基于人工模板和規則的方法實現，模板匹配的任務就是從對話模板語料庫中檢索出與學習者輸入的文本最相關的問題，檢索通過基于關鍵詞的匹配方法，從中選擇回復效果最好的語句返回給用戶。

TF-IDF(即詞頻-逆文檔頻率)經常應用在信息檢索和文本處理等領域，由Jones[20]首次提出。該算法的實現原理是將句子分成若干個詞語，每個詞語對句子的重要程度是由語料庫中出現該詞語的文檔數和該詞語在句子中出現的次數共同決定的，如果一個詞語在句子中出現的次數越多，在語料庫中含有這個詞語的文檔數越少，則表明該詞語對句子具有很強的代表性。其中，TF指的是詞在句子中出現的次數，IDF是一個詞語普遍重要性的度量，利用TF*IDF來表示詞語在句子中的權重，其計算公式如下：

(1)

逆文檔頻率(IDF)=

(2)

詞語在句子中的權重(TF-IDF)=TF×IDF

(3)

(4)

由式(4)可知，Sim(T,T')的值越大，說明兩者的相似度越高，反之則越低。相似性的得分范圍在[0,1]，將得分最高的問題Questions文本相對應的回復Answer輸出給用戶。對話模板語料庫中包含特定主題語料和開放主題語料，特定主題語料適合于初級學習者，該庫增加了回答引導功能，在特定對話場景中通過機器人提問引導學習者進一步學習漢語，機器人回復的內容是多樣化的，有效增加了聊天的趣味性。開放主題語料的聊天話題沒有限制，聊天方式也沒有限制，可由機器人提問，也可學習者提問，模擬了在現實生活中人與人之間的聊天形式的語境，更有利于學習者對話訓練，并靈活應用于實際生活中。聊天機器人的語料庫規模越大，質量越高，返回的答案將越精準，效果越好。語料庫中數據的獲取主要通過以下兩種方法實現：一是通過對軟件或網站的解析，利用八爪魚采集器進行數據爬取，整合所有數據之后進行處理和清洗，然后存儲在數據庫中；二是從網絡中查找一些相關開源的中文聊天語料，在此基礎上進行修改和優化，從而進一步擴充語料庫的規模以及提高語料數據的質量。

3.5 答案生成

答案生成模塊的主要任務是從當前對話答案模型中提取出最終答案，然后將其與中文-拼音匹配模塊中輸出的拼音進行合成，將回復文本交由輸出處理模塊。

3.6 輸出處理

輸出處理模塊主要負責將文本答案輸出給用戶，這將完成了學習者與聊天機器人一次完整的對話流程。該智能對外漢語學習系統的設計充分考慮到了情境學習在漢語學習中的重要作用，融合情境學習和建構主義學習理論，突出以學習者為中心，學習者可以隨時與聊天機器人進行交流，在情境對話中，系統能模擬現實生活中的真實對話情境，使學習者進行對話練習時能更好地掌握對話的實際使用方法，能有效地激發學習者的學習動機，提高學習興趣，幫助學習者在構建的語言學習情境中對拼音、漢字、詞語及情境對話形成直觀的認識，并完成對漢語對話的意義建構。

4 系統教學特點及應用效果

基于聊天機器人的智能對外漢語學習系統應用在對外漢語教學上，具有如下特點：

(1)實時聊天。學習者可以在任何時間通過電腦打開系統，并和該系統進行聊天，前提是此電腦必須安裝此系統軟件。學習者在使用系統的過程中不受時間、地點及聊天內容的約束，目前該系統僅支持文本輸入、輸出方式，聊天方式側重于對話訓練，根據學習者輸入的語句，理解此語句的語義，然后在模板庫找到相對應的問題-答案對，生成答案返回給學習者，保障對話的流暢進行。

(2)靈活即時反饋。學習者向系統輸入文本時，聊天機器人都會即時給出合適的輸出響應，當學習者連續提出相同問題時，聊天機器人輸出的答案是靈活多樣的，不是單一死板的，這樣，學習者可從眾多反饋結果中選擇自己認為合適的答案，并用于日常對話中。

(3)拼音聲調顯示。此功能根據學習者輸入的文本產生對應的拼音和聲調。對于那些漢語初學者，可以通過拼音和聲調來進行對話和學習，從而達到較好的學習效果。

(4)對話場景選擇。學習者可以根據自己的漢語能力水平選擇相應的對話場景來進行學習，包括特定主題的聊天和開放主題的聊天，通過選擇不同的對話場景，能使學習者沉浸在不同的情境中。特定主題的聊天適合于初級學習者，由于漢語水平不高、不愿多談、缺乏自信，跟聊天機器人的對話則不多，所以需要由聊天機器人引導，在某一特定主題進行限制性對話。對于高級學習者則適合于開放主題的聊天，由于這些學習者對漢語熟練、比較健談，所以選擇開放主題無限制的聊天，進一步提高漢語會話水平。

(5)真實、輕松的語言學習環境。該系統為學習者創建了一個輕松愉快的語言學習環境，能夠在一對一的交流過程中，有效地減少因面部表情、性別、種族、社會地位等因素的影響，緩解學習者緊張情緒，增強自信心[21-22]。因此，該系統不僅能調動漢語學習者的學習主動性，更能激發學習熱情和對話練習動機，使他們能夠流利地使用漢語。通過與聊天機器人之間的對話，模擬真實情景的學習，幫助學習者更好地掌握對話的實際使用方法，從而達到學以致用的目的。為了檢驗智能對外漢語學習系統的設計及應用實踐效果，主要采用問卷調查的形式對系統進行評價與反饋，隨機抽取本校國際教育學院多名留學生作為對外漢語學習系統的試應用對象，并要求他們對系統使用效果與收獲做出評價。

學習者使用效果與收獲主要從情感態度、知識與技能兩個層面展開，從調查結果可以看出，學習者的漢語學習態度和學習能力都得到了一定的提高。學習者能夠在漢語對話中增強自信，提高學習漢語的興趣，并且能夠學到實用的會話句型和知識，對漢語交流的流利程度，以及漢語表達都有所提高。從中可以發現，學習者使用系統進行漢語學習時，讓學習者處于一個類似真實的交互式人機對話漢語學習環境中，能有效地提高學習者的漢語水平，但在場景主題的個數、場景對話的長度、對話回答的質量等方面還需要加以強化。

5 結束語

在基于聊天機器人的智能對外漢語學習系統的設計和開發中，要注重其系統功能方面的設計和實現，同時，也要注重運用教育理論和教學方法，在這些基礎上，使整個系統結構更加科學、合理，為學習者提供一個個性化、真實的語言學習環境。該系統的創新之處表現在理論和實踐兩個方面。理論上將情境學習理論和建構主義學習理論應用到了對外漢語學習系統中，實現了一個直觀形象可互動的語言交流學習環境。實踐上將聊天機器人與漢語學習系統相結合，也是將人工智能技術應用到教育領域，通過自然語言的方式進行人機對話，輔助學習者漢語會話的學習。

就目前而言，該智能對外漢語學習系統仍需要進一步進行完善和提高。例如：提高對話的準確率，擴充對話語料庫的規模，以及使用關鍵詞檢索與基于語義相似度匹配結合的方法，使聊天機器人回復的效果更好、質量更高；增加對話場景的個數，并控制如何展開聊天話題；根據用戶各異的學習風格創建適合的、獨特的談話類型，從而使談話具有個性化，以此發揮學習者的自主性，支持個性化學習，增加學習者的信心，并激發其學習興趣；對于不同水平的漢語學習者，如何讓他們更快和更好地適應；研究語音識別技術，并將其結合到該系統中，使用戶能夠用語音功能進一步進行漢語學習，提高漢語對話和口語水平等。