智能答疑系統的設計與實現

宋萬里　卜磊

摘要：教師不能有效及時的回答學生學習過程中遇到的問題，會影響學生的學習興趣及學習效率。該文通過自然語言處理技術、模板分類技術、支持向量機技術構建智能答疑系統，對問題和答案進行分詞處理、模板匹配和分類訓練，自動對問題和答案進行課程類別判斷。再通過余弦相似性算法對問題和答案計算相似度，返回相似度最大的答案。如用戶對系統反饋答案不滿意，可以將問題拋入公共問答區，來尋求其他用戶幫助。系統將對用戶答案進行審核，審核通過則將此問題答案對添加到題庫中，使得題庫中的問句不斷擴充。該文是以網絡論壇中的用戶提問作為問題庫，通過此庫進行答案的反饋。測試結果表明，該系統能夠很好地服務于大學生，體現出教學的智能化。

關鍵詞：智能問答；學科分類；問句分類；相似度；智能教學

中圖分類號：TP391 文獻標識碼：A 文章編號：1009-3044（2017）36-0163-03

Abstract： This is a tough task for teachers to answer questions from students effectively and timely. In this paper， we design and implements an intelligent question answering system using Natural Language Processing， template classification， support vector machine. The system processes the questions and answers by word segmentation， template matching and classification training， and automatically classifies the questions and answers by subject category. This system also calculates the similarity between the questions and answers by cosine similarity algorithm， and returns the most similar answer. If the answer given by the system is not satisfied with the user， the system will write the question into the public question and answer area to seek help from other users. The system will evaluate the answer given by the user， then add the passed answer and the corresponding question to the QA base， so that the questions and answers in the QA base continue to expand. We use the QA base of a network forum as the basic to carry out the experiments. The implementation and experimental results indicate that the proposed approach is achievable.

Key words： intelligent question and answer； subject classification； question classification； question similarity； intelligent teaching

1 背景

智能答疑系統又叫做QA系統，隨著互聯網技術以及自然語言處理技術的不斷發展，對智能答疑系統的研究也在不斷的推進[1]。它允許用戶以自然語言進行提問，而系統通過推理分析，從一定的信息來源提取文本信息，反饋給用戶有效答案。智能問答系統被分為開放領域和封閉領域兩類，封閉領域將用戶問句限定在某一領域內；而開放領域不設定問題的范圍，提問者可以提問自己感興趣的任何問題，并且能夠從系統中獲得滿意的答案。目前流行的問答機器人多是基于開放領域的，如基于互聯網預料及用戶點擊日志的微軟小冰，基于百度搜索日志的百度語音助手等。這些開發性的機器人無法針對特定領域（如政府、金融、保險、教育）給出準確的回答。銀行問答系統，金融問答系統，電商機器客服等問答系統則是針對特定領域的。如北京理工大學自然語言處理實驗室開發的銀行領域的智能問答系統BAQS，哈爾濱工業大學研究生開發的面相金融的問答系統，它們隨時都能回答用戶的問題，極大節省了人力資源。

學生在學習過程中會遇到各種問題，需要及時的被解答。本文研究設計了一套針對計算機基礎知識領域的問答系統，該系統能夠滿足用戶對該領域問答的需求。智能問答系統主要包括三個部分：問題分析、信息檢索和答案抽取[2]。本文是基于FAQ（Frequently Asked Questions）庫的限定領域的答疑系統。主要對課程關鍵詞提取，中文問句課程分類，中文問句類型分類，中文問句相似度計算進行研究與實現。本系統的價值在于提高學生學習的興趣和學習的效率，并促使教學往智能化的方向發展。

2 系統流程設計

系統流程從用戶提出問題開始，首先使用分詞工具對問句進行處理，包括去停用詞和用戶自定義詞的提取。根據基于規則的中文問句分類方法對問句類型進行判斷，然后通過訓練好的SVM模型來判斷問句所屬課程類型，最后在FAQ庫同類問句中進行余弦相似度計算，取出相似度最高的問句答案反饋給用戶。由于FAQ庫不可能包含用戶提問的所有問題，在此情況下相似度將會很低，即系統反饋的答案不能使用戶滿意。此種情況下，用戶可以將問句發往公共問答區尋求其他用戶幫助，并由用戶自己選出滿意的回答。最后系統將對此問題和答案審核，如果審核通過則將此問題答案對添加到FAQ庫中。在使用的過程中，FAQ庫將會被不斷完善，那么系統反饋正確答案的能力也將越來越強[3-5]。問答流程如圖1所示。

3 系統實現

3.1 利用TF-IDF算法提取課程關鍵詞

本文將問題所屬課程分為四類，“數據結構”、“數據庫概論”、“計算機網絡”、“其他課程”。每個課程都有其關鍵詞[6-7]，關鍵詞是判斷問句所屬課程的關鍵。例如：TCP、路由器、交換機、網絡協議等很明顯是屬于計算機網絡這門課程的關鍵詞。本文就采用TF-IDF算法來收集每門課程的關鍵詞，再結合人工收集對關鍵詞進行補充完善。如果一個詞在其他文章中很少出現，但在該文章中多次出現，則我們就認為該詞就是我們所要找的關鍵詞。這個重要性調整系數就是逆文檔頻率（IDF），它的值和一個詞的常見程度成反比。知道了詞頻（TF）和逆文檔頻率（IDF），將它們相乘就能得到一個詞的TF-IDF[8]。如果TF-IDF值越大，則說明該詞對這篇文章越重要，即為關鍵詞。

詞頻計算公式：

3.2 利用LibSVM判斷課程類別

LibSVM是臺灣大學林智仁教授等開發設計的一個簡單、易于使用和快速有效的SVM模式識別與回歸的軟件包。我們有多個課程要分類，屬于多分類問題，而SVM是一個二分類器，當遇到多類別的時候[9]，一般采取如下兩種策略。一個是一對多法：訓練時依次把某個類別的樣本歸為一類，其他剩余的樣本歸為另一類，這樣k個類別的樣本就構造出了k個SVM。分類時將未知樣本分類為具有最大分類函數值的那類。另一個是一對一法：其做法是在任意兩類樣本之間設計一個SVM，因此k個類別的樣本就需要設計k（k-1）/2個SVM。當對一個未知樣本進行分類時，最后得票最多的類別即為該未知樣本的類別。LibSVM中的多類分類就是根據第二個方法實現的。

我們把利用TF-IDF所收集的三門課程的關鍵詞作為分類的屬性。我們規定課程“數據結構”的標簽為1，課程“數據庫概論”的標簽為2，課程“計算機網絡”的標簽為3 。比如數據庫中有100條計算機網絡課程的問句，我們將選取80條用來作為訓練的數據，另外20條用來測試訓練出來的模型。我們將每一條問句分詞，并將這些詞和屬性詞集進行比對，如果問句所分詞出現在屬性詞集當中，則將該屬性標為1，其余屬性標為0。利用這種方法將訓練集中的“數據結構”、“數據庫概論”、“計算機網絡”問句全部轉為這種數據格式，傳遞給LibSVM用于訓練，獲得模型。

3.3 基于模式匹配的中文問句分類

問句的分類對問答系統來說非常重要，它能夠縮小數據的查找范圍，在一定層面上決定了答案抽取的準確性。本文通過對問題集的收集，分析每種問題所包含的比例，有側重的提出一套適合于計算機基礎問句領域中文問句分類規則。系統將本領域問題分為原因類、比較類、描述類、列舉類、其他類。如表1所示。

首先對中文問句進行分詞，例如：JAVA為什么可以跨平臺？可以被分為“JAVA”，“為什么”，“可以”，“跨”，“平臺”這幾個詞。將這幾個詞和原因類的特征詞相比較，顯然為什么是屬于原因類的特征詞。如果沒有匹配上，則依次和比較類，描述類，列舉類的特征詞相比較。如果都沒有匹配上，則看問句中是否出現了本領域的特征詞。比如用戶就輸入“數據結構”四個字，很明顯沒有疑問詞的出現。但“數據結構”是本領域的特征詞，所以我們默認為用戶提問的是“什么是數據結構？”，即將其歸為描述類問句。如果沒有疑問詞也未出現本領域的特征詞，則將其歸為其他類問句。問句分類的流程圖如2所示。

3.4 利用余弦定理計算問句相似度

問句相似度的計算是本系統的關鍵步驟，通過用戶輸入的問句，在同類型的問句中匹配相似度最高的問題答案返回給用戶[10]。通過對兩個中文文句進行分詞，然后將其轉為向量，最后利用余弦定理來計算兩個句子的相似度。兩個問句經過處理后得到如下兩個向量。

4 實驗結果及分析

4.1 實驗方法

由于本文研究的智能答疑系統是基于FAQ庫的，測試數據就是FAQ庫中所有的問題答案對。首先是對課程分類模型進行測試，FAQ庫中共有1000個常見問題。其中“數據結構”問句300條，“數據庫概論”問句300條，“計算機網絡”問句300條，其他課程問句100條。每科各取80%作為訓練數據，剩余20%作為模型的測試數據。對系統反饋答案的準確率進行統計，準確率受問句類型判斷和相似度計算的影響。任意抽取30%的問句進行提問，統計系統反饋答案的準確率。為了取得更好的測試結果，抽取的問句應平均分布在不同的問句類別中。

4.2 實驗結果

經過測試，類別判斷的準確率達到86.4%。其中“數據結構”類型判斷準確率為86.7%，“數據庫概論”類型判斷準確率達到85.4%，“計算機網絡”的準確率達到87.3%。具體實驗數據如表2所示。

5 結束語

本文對智能答疑系統的設計與實現，該系統通過分詞工具對問句進行預處理，過濾關鍵詞和去停用詞；利用TF-IDF技術提取本課程的關鍵詞，關鍵詞集合作為問句課程分類的依據；利用基于模式匹配的方法進行問句分類；利用LibSVM訓練問句分類模型，利用該模型來判斷問句所屬課程；通過余弦相似性算法計算中文問句之間的相似度。通過實驗表明，本文提出的智能答疑系統能夠滿足用戶對問答的需求，提高了學生的學習興趣和學習效率，體現了教學的智能化。下一步是對中文語義理解的研究，以提高系統反饋答案的正確率。

參考文獻：

[1] 劉祥. 基于課程知識的問答系統研究與應用[D]. 大連： 大連海事大學， 2010.

[2] 鄭實福， 劉挺， 秦兵，等. 自動問答綜述[J]. 中文信息學報， 2002， 16（6）：46-52.

[3] 張巍. 融合FAQ、本體和推理技術的問答系統研究[D]. 太原： 太原理工大學， 2011.

[4] 段建勇， 李俊， 張梅， 等. 限定領域的自動問答系統研究[J]. 北方工業大學學報， 2010， 22（1）：23-27.

[5] 成思聰. 基于語義理解的中文問答系統的設計與實現[J]. 中國電子商情·通信市場， 2013（5）：76-83.

[6] 牛彥清， 陳俊杰， 段利國， 等. 中文問句分類特征的研究[J]. 計算機應用與軟件， 2012， 29（3）：108-111.

[7] 姜芳， 李國和， 岳翔. 基于語義的文檔關鍵詞提取方法[J]. 計算機應用研究， 2015， 32（1）：142-145.

[8] 張建娥. 基于TFIDF和詞語關聯度的中文關鍵詞提取方法[J]. 情報科學， 2012（10）：110-112+123.

[9] 莊新妍. 基于SVM的中文文本分類系統的研究與實現[D].長春： 吉林大學， 2007.

[10] 周永梅， 陶紅， 陳姣姣， 等. 自動問答系統中的句子相似度算法的研究[J]. 計算機技術與發展， 2012， 22（5）：75-78.