基于語句相似度計算的智能答疑系統(tǒng)機(jī)理研究

李春生，盧鵬飛，張可佳

(東北石油大學(xué) 計算機(jī)與信息技術(shù)學(xué)院，黑龍江 大慶 163318)

0 引 言

使用互聯(lián)網(wǎng)進(jìn)行在線學(xué)習(xí)的過程中，出現(xiàn)了多種答疑方式，主要可以分成3類：基于電子郵件、BBS的答疑方式，該方式只適合規(guī)模較小的網(wǎng)絡(luò)課程，且實(shí)時性差;基于QQ、微信的答疑方式，該方式是對第一種答疑方式的延伸，將答疑移到了即時通訊軟件上，一定程度上提高了實(shí)時性，但只限于特定時段進(jìn)行答疑;基于關(guān)鍵字檢索的答疑方式，該方式類似于搜索引擎的檢索，這種答疑方式雖然實(shí)時性強(qiáng)，但由于系統(tǒng)的智能性差導(dǎo)致準(zhǔn)確度低[1-3]。

針對上述問題，文中提出一種基于語句相似度計算的智能答疑方案，解決現(xiàn)有答疑方式實(shí)時性差、準(zhǔn)確度低的問題。

1 智能答疑系統(tǒng)機(jī)理研究

1.1 答疑流程與系統(tǒng)結(jié)構(gòu)設(shè)計

通過分析研究，智能答疑系統(tǒng)應(yīng)具有針對性強(qiáng)、智能性高的特點(diǎn)[4]。當(dāng)學(xué)習(xí)者使用自然語言輸入問題后，系統(tǒng)會根據(jù)詞庫中的內(nèi)容對自然語言進(jìn)行分詞處理，然后系統(tǒng)根據(jù)分詞結(jié)果與問題庫中存在的問題進(jìn)行相似度計算，并按照語句的相似度，將計算結(jié)果返回給學(xué)習(xí)者。最終顯示的結(jié)果與學(xué)習(xí)者提出的問題是否一致由學(xué)習(xí)者決定，如果學(xué)習(xí)者滿意則答疑結(jié)束，如不滿意則將問題交由教師進(jìn)行答疑，教師答疑后將問題添加到問題庫中。因此隨著答疑系統(tǒng)的使用，問題庫中的問題將會更充實(shí)，系統(tǒng)將會變得更加實(shí)用[5-6]。

根據(jù)需求與分析設(shè)計了智能答疑系統(tǒng)的系統(tǒng)結(jié)構(gòu)，如圖1所示。

圖1 智能答疑系統(tǒng)結(jié)構(gòu)

該系統(tǒng)分為三層，分別是應(yīng)用層、邏輯層、數(shù)據(jù)層。應(yīng)用層為學(xué)習(xí)者提供了一個友好的答疑界面，滿足用戶的答疑需求；邏輯層主要負(fù)責(zé)語句分詞和相似度計算，為答疑的精確度提供了保證；數(shù)據(jù)層主要存放各種數(shù)據(jù)，為整個答疑系統(tǒng)的運(yùn)行提供數(shù)據(jù)支撐[7-8]。

1.2 數(shù)據(jù)庫結(jié)構(gòu)設(shè)計

(1)問題庫結(jié)構(gòu)設(shè)計。

設(shè)計問題庫的目的主要是存放一門課程所涉及到的問題，它是智能答疑系統(tǒng)數(shù)據(jù)層的核心。為了提高系統(tǒng)的效率，問題庫分為常用問題庫和一般問題庫。當(dāng)學(xué)習(xí)者輸入問題后，系統(tǒng)先從常用問題庫檢索，如未檢索到，再從一般問題庫檢索，常用問題庫中存放的問題由學(xué)習(xí)者的提問頻率決定[9]。問題庫的結(jié)構(gòu)如圖2所示。

圖2 問題庫結(jié)構(gòu)

T_QID、T_QNAME、T_QANSWER分別存儲問題的編號、名稱、答案；T_RPOINT1-T_RPOINT3存儲與該問題相關(guān)的知識點(diǎn)連接。如學(xué)習(xí)者檢索到“數(shù)組的概念”答案后，該問題的T_RPOINT1-T_RPOINT3字段可能存儲的就是“一維數(shù)組的定義”、“一維數(shù)組與二維數(shù)組的區(qū)別”、“數(shù)組的使用”等與該知識點(diǎn)相關(guān)的問題，方便學(xué)習(xí)者了解相關(guān)的知識；T_KEYW1-T_KEYW3存儲問題關(guān)鍵詞，方便語句相似度計算時的分詞。

(2)詞庫設(shè)計。

設(shè)計詞庫的主要目的是在分詞中使用，詞庫為分詞的準(zhǔn)確提供了資源。詞庫分為專業(yè)詞庫和常用詞庫，兩詞庫的表結(jié)構(gòu)相同。詞庫的結(jié)構(gòu)如圖3所示。

圖3 詞庫結(jié)構(gòu)

(3)同義詞庫設(shè)計。

設(shè)計同義詞庫的目的是增加系統(tǒng)的準(zhǔn)確性，使系統(tǒng)充分理解學(xué)習(xí)者提出的問題。同義詞庫的結(jié)構(gòu)如圖4所示。

圖4 同義詞庫結(jié)構(gòu)

在同義詞庫中如某個記錄的T_WORDNAME字段存儲的是“概念”，那這個記錄的同義詞存儲的可能是“含義”、“定義”等與之相關(guān)的同義詞。

(4)學(xué)習(xí)者問句庫設(shè)計。

設(shè)計學(xué)習(xí)者問句庫的作用是存儲學(xué)習(xí)者提出而問題庫中不存在的問句，教師答疑后由教師決定是否將問題加入到問題庫中。學(xué)習(xí)者問句庫的結(jié)構(gòu)如圖5所示。

圖5 學(xué)習(xí)者問句庫

2 智能答疑系統(tǒng)的關(guān)鍵技術(shù)

目前常用的分詞方法主要有三種，分別是基于理解的分詞方法、基于統(tǒng)計的分詞方法和基于字符串匹配的分詞方法[10-11]。通過分析與研究，發(fā)現(xiàn)學(xué)習(xí)者提出的問題具有專業(yè)性強(qiáng)、語句短小的特點(diǎn)[12]。出于對提問問題的特點(diǎn)以及效率等多方面因素的考慮，該系統(tǒng)采用正向最大匹配算法實(shí)現(xiàn)分詞。正向最大匹配算法的設(shè)計思想如下：用MAXLEN表示詞庫中最大詞長，從詞庫中查找長度為MAXLEN的詞，按照從左至右的順序，與句長為MAXLEN的子串進(jìn)行匹配，若匹配成功則切分出字符串，指針后移MAXLEN位繼續(xù)匹配，若失敗MAXLEN長度減一位后繼續(xù)匹配，直至匹配的字符串長度為2；若還未匹配成功，則將當(dāng)前漢字切割成詞，然后后移一位繼續(xù)匹配[13-14]。如：“C#數(shù)據(jù)類型的種類”，分詞的處理步驟如下：

Step1：從專業(yè)詞庫中匹配出“C#”，“數(shù)據(jù)類型”。

Step2：對剩余的字串“的種類”進(jìn)行分詞，從常用詞庫中匹配出“的”，“種類”。

所以最后的分詞結(jié)果為“C#”，“數(shù)據(jù)類型”，“的”，“種類”。

(1)詞形相似度計算。

詞形相似度計算的原理是通過計算兩個句子中相同詞的個數(shù)來比較相似度。它的核心思想是如果兩個句子相同的詞數(shù)越多，那這兩個句子的相似度就越高。計算過程是將兩個句子L1、L2分詞后存放在數(shù)組ArrayL1和ArrayL2中，經(jīng)過計算后得到的兩個句子中相同詞的個數(shù)用SameWorld表示。如果有相同的詞重復(fù)出現(xiàn)，則取最小的數(shù)。len(L1)表示句子L1分詞后詞的個數(shù)，詞形相似度計算的公式如下：

(1)

其中，SimilarS(L1,L2)∈[0,1]。

例如：L1=一維數(shù)組的概念是什么，L2=什么是一維數(shù)組。

分詞后的結(jié)果為：ArrayL1={“一維數(shù)組”，“的”，“概念”，“是”，“什么”}，ArrayL2={“什么”，“是”，“一維數(shù)組”}。len(L1)=5，len(L2)=3，SimilarS(L1,L2)=3/5=0.6。

(2)句長相似度計算。

句長相似度計算是通過計算兩個句子的長度來比較兩個句子的相似度，它的核心思想是如果兩個句子的長度越相近，那么這兩個句子的相似度越高。len(L1)表示句子L1單字的個數(shù)，句長相似度計算公式如下：

(2)

其中，SimilarLen(L1，L2)∈[0,1]。

例如：L1=一維數(shù)組的概念是什么，L2=什么是一維數(shù)組。

len(L1)=10，len(L2)=7，SimilarLen(L1，L2)=1-abs(10-7)/17≈0.82。

(3)字形相似度計算。

字形相似度計算的原理是通過計算兩個句子中相同字的個數(shù)來比較相似度。它的核心思想是如果兩個句子相同的字?jǐn)?shù)越多，那這兩個句子的相似度就越高。它是對詞型相似度的一個補(bǔ)充，詞型相似度的準(zhǔn)確性取決于分詞的結(jié)果，而分詞的準(zhǔn)確性依賴于詞庫的詞，如果詞庫的詞不完整，那么詞型相似度的結(jié)果就會大打折扣。因此利用字形相似度計算來彌補(bǔ)詞型相似度計算存在的一些不足。字形相似度計算的過程類似于詞形相似度。首先將兩個句子L1、L2的單字拆分后存放在數(shù)組ArrayL1和ArrayL2中，計算出的兩個數(shù)組中相同字的個數(shù)用Same表示，如果有相同的字重復(fù)出現(xiàn)，則取最小的數(shù)。len(L1)表示句子L1中字的個數(shù)，字形相似度計算的公式如下：

(3)

其中，Similarchar(L1，L2)∈[0,1]。

例如：L1=一維數(shù)組的概念是什么，L2=什么是一維數(shù)組。

以上兩句話中相同的字?jǐn)?shù)為7個，Similarchar(L1，L2)=7/10=0.7。

(4)語句相似度計算。

語句相似度的計算公式為：

Similar(L1,L2)=Q1* SimilarS(L1,L2)+

Q2* SimilarLen(L1,L2)+

Q3* Similarchar(L1,L2)

(4)

其中，Q1、Q2、Q3表示各個相似度計算的子項(xiàng)所占整個語句相似度計算的權(quán)重，且Q1+Q2+Q3=1。設(shè)Q1=0.4，Q2=0.2，Q3=0.4。則L1與L2最終相似度為：

Similar(L1，L2)=0.4*0.6+0.2*0.82+

0.4*0.7≈0.68。

3 實(shí)驗(yàn)結(jié)果及分析

由于一直以來關(guān)于智能答疑系統(tǒng)的評測沒有一個統(tǒng)一標(biāo)準(zhǔn)，只能通過大量的實(shí)驗(yàn)來檢驗(yàn)系統(tǒng)的準(zhǔn)確率。以《C#程序設(shè)計》課程為例，把《C#程序設(shè)計》課程的問題輸入到系統(tǒng)中，從兩個方面測試系統(tǒng)，使用基于關(guān)鍵字的檢索方法和基于相似度計算的檢索方法對比測試系統(tǒng)的答疑準(zhǔn)確度[15]。使用帶常用問題庫的答疑系統(tǒng)與不帶常用問題庫的答疑系統(tǒng)對比測試系統(tǒng)的答疑效率。

準(zhǔn)確度計算公式如下：

準(zhǔn)確度=答對題數(shù)/總題數(shù)

(5)

檢索效率的計算公式如下：

檢索平均時間=檢索總時間/檢索總題數(shù)

(6)

實(shí)驗(yàn)結(jié)果如表1和表2所示。

表1 準(zhǔn)確度對比

表2 效率對比 s

實(shí)驗(yàn)結(jié)果表明，基于關(guān)鍵字的檢索方法與基于相似度計算的檢索方法相比，后者的準(zhǔn)確度更高。帶常用問題庫的答疑系統(tǒng)與不帶常用問題庫的答疑系統(tǒng)相比，前者的檢索效率更高。但由于受制于詞庫的限制，有的詞不能被正確劃分，直接影響了答疑效果。因此，接下來主要的目標(biāo)是如何提高分詞的正確率。

4 結(jié)束語

為解決現(xiàn)有答疑方式答疑實(shí)時性差、準(zhǔn)確度低、效率低的問題，提出一種基于語句相似度計算的智能答疑系統(tǒng)的實(shí)現(xiàn)方案。測試結(jié)果表明，相對于原有答疑方式，該答疑系統(tǒng)在實(shí)時性、準(zhǔn)確度、效率方面都有一定的提高，一定程度上滿足了學(xué)習(xí)者的需求。

參考文獻(xiàn)：

[1] 康文寧,楊志強(qiáng).相似度計算在智能答疑系統(tǒng)中的研究及應(yīng)用[J].計算機(jī)技術(shù)與發(fā)展,2010,20(2):71-74.

[2] KANAAN G,HAMMOURI A,SHALABI R A,et al.A new question answering system for the Arabic language[J].American Journal of Applied Sciences,2009,6(4):797-805.

[3] 付春捷,胡 萍.基于中文分詞的智能答疑系統(tǒng)的設(shè)計[J].科技視界,2014(14):14.

[4] 鄭曉潔,張 琳.一個基于多課程本體的簡單答疑系統(tǒng)[J].現(xiàn)代計算機(jī),2013(16):53-57.

[5] SEENA I T,SINI G M,BINU R.Malayalam question answering system[J].Procedia Technology,2016,24:1388-1392.

[6] 肖坤峨,虞 泉.基于WEB的智能答疑系統(tǒng)的研究與構(gòu)建[J].軟件,2015,36(6):31-36.

[7] 陳品帆.基于Web的遠(yuǎn)程答疑系統(tǒng)的關(guān)鍵技術(shù)探討[J].信息技術(shù)與信息化,2015(2):52-53.

[8] 李攀飛,敖永紅,葉昭暉,等.基于大規(guī)模在線學(xué)習(xí)平臺的智能答疑系統(tǒng)研究與設(shè)計—以“教育技術(shù)”MOOC為例[J].工業(yè)和信息化教育,2015(11):33-37.

[9] LIU Y F,HE C.Design and implementation of question and answer system based on mobile phone platform[J].Advanced Materials Research,2014,1049-1050:1977-1980.

[10] 徐 曉.智能答疑系統(tǒng)的設(shè)計與研究[J].微型機(jī)與應(yīng)用,2014,33(5):8-10.

[11] 郭文儉.基于課程教學(xué)網(wǎng)站的智能答疑系統(tǒng)的設(shè)計與實(shí)現(xiàn)[D].長春:吉林大學(xué),2015.

[12] 趙 靜,黨麗瓊.基于自然語言理解的在線答疑系統(tǒng)設(shè)計與實(shí)現(xiàn)[J].計算機(jī)時代,2015(5):10-12.

[13] ZHANG P Y.Sentence similarity metric and its application in FAQ system[J].Advanced Materials Research,2013,718-720:2248-2251.

[14] 管 燕,仲兆滿.基于課程知識本體的FAQ庫自動生成方法研究[J].中國遠(yuǎn)程教育,2010(13):68-72.

[15] DONG W J,GENG G H.Research and implementation of intelligent question answering system in MOOC[J].Applied Mechanics and Materials,2014,678:639-643.