基于生成與檢索雙模型的對(duì)話機(jī)器人設(shè)計(jì)

卞政 穆寶良 王蓓 唐福龍

（沈陽(yáng)師范大學(xué) 遼寧省沈陽(yáng)市 110034）

1 緒論

1.1 研究背景

隨著社會(huì)信息化程度的加深，我們的生活有越來(lái)越多的方面有了智能系統(tǒng)的參與。在許多領(lǐng)域，智能系統(tǒng)與自動(dòng)化設(shè)備相似，不斷地進(jìn)行著縮短工序、提高效率和減少成本等優(yōu)化操作。在20世紀(jì)90年代之前，問(wèn)答系統(tǒng)并談不上智能。常見(jiàn)的問(wèn)答系統(tǒng)模型通常采用依賴模板或基于人工制定規(guī)則的對(duì)話方式，缺乏語(yǔ)義分析能力的同時(shí)也不具有知識(shí)庫(kù)，無(wú)法理解用戶輸入的含義，進(jìn)而導(dǎo)致對(duì)話效果難以令人滿意。

但在近30年，信息量和信息處理能力都大幅飛躍，智能問(wèn)答系統(tǒng)開(kāi)始嶄露頭角。與此同時(shí)，深度學(xué)習(xí)技術(shù)使得智能對(duì)話系統(tǒng)的效果得到較大提升，因此，在一些需要進(jìn)行服務(wù)性對(duì)話的應(yīng)用場(chǎng)景中，逐漸有實(shí)際的對(duì)話機(jī)器人與答疑機(jī)器人的出現(xiàn)。

1.2 研究現(xiàn)狀與目的

目前對(duì)話機(jī)器人的主要實(shí)現(xiàn)分為檢索式與生成式兩大類(lèi)。

其中，檢索式對(duì)話機(jī)器人在技術(shù)上主要依賴問(wèn)答庫(kù)。產(chǎn)生的對(duì)話會(huì)圍繞著問(wèn)答庫(kù)中已存在的數(shù)據(jù)進(jìn)行，內(nèi)容可控性強(qiáng)，適合事實(shí)類(lèi)問(wèn)答功能的實(shí)現(xiàn)[1]。然而，實(shí)現(xiàn)包含所有情形的問(wèn)答庫(kù)是不現(xiàn)實(shí)的，同時(shí)檢索式方法也在問(wèn)答定位的準(zhǔn)確度上有所缺失。

實(shí)現(xiàn)生成式對(duì)話機(jī)器人的技術(shù)是對(duì)大量的對(duì)話語(yǔ)料進(jìn)行學(xué)習(xí)。對(duì)話的產(chǎn)生會(huì)在一定程度上與人類(lèi)日常對(duì)話的形式相仿，因此適合應(yīng)用在多樣性與泛化性強(qiáng)的應(yīng)用場(chǎng)景中[2]。然而，生成式方法產(chǎn)生的對(duì)話具有較強(qiáng)的不可控性，同時(shí)也容易出現(xiàn)前后文信息不一致、“安全回答”等問(wèn)題。如果產(chǎn)品設(shè)計(jì)對(duì)于智能化程度的要求較高，上述的兩種方式實(shí)現(xiàn)的對(duì)話機(jī)器人都有各自的缺點(diǎn)從而無(wú)法滿足需求。本文設(shè)計(jì)了一種基于生成式和檢索式方法相結(jié)合的對(duì)話機(jī)器人。

兩種方法的結(jié)合使用可以在一定程度規(guī)避各自的缺點(diǎn)，結(jié)合兩者的優(yōu)點(diǎn)，從而構(gòu)建一個(gè)通用性較強(qiáng)的對(duì)話機(jī)器人，使得其能夠?qū)Ω黝?lèi)情況做出較好的處理。

2 理論與方法基礎(chǔ)

2.1 檢索式模型

檢索式模型主要依賴于信息檢索技術(shù)。建立檢索式模型，首先要構(gòu)建出一個(gè)由大量問(wèn)答對(duì)構(gòu)成的對(duì)話語(yǔ)料庫(kù)，隨后對(duì)輸入進(jìn)行特征提取，并根據(jù)特征在語(yǔ)料庫(kù)中匹配出少量問(wèn)答對(duì)作為候選集，最后選用合適的指標(biāo)從候選集中挑選出最佳回復(fù)[3]。在深度學(xué)習(xí)技術(shù)引入NLP領(lǐng)域之前，檢索式模型的實(shí)現(xiàn)通常是基于傳統(tǒng)信息檢索算法的，如TF-IDF技術(shù)[4]。可見(jiàn)，無(wú)法生成新的內(nèi)容是檢索式模型的一個(gè)局限。

對(duì)于封閉域的對(duì)話機(jī)器人，其語(yǔ)料庫(kù)的建立可以以人工的方式進(jìn)行，即手動(dòng)的將該封閉域內(nèi)可能出現(xiàn)的情形形成問(wèn)答對(duì)的形式，隨后加入語(yǔ)料庫(kù)。而在開(kāi)放域，可以考慮采用網(wǎng)絡(luò)爬蟲(chóng)等自動(dòng)方式來(lái)快速、大量地收集語(yǔ)料。同時(shí)，由語(yǔ)料庫(kù)的普遍組建方法也可以看出，封閉域中將產(chǎn)生的對(duì)話可控性更強(qiáng)，但只有在語(yǔ)料庫(kù)足夠龐大、完備的情況下才能保證兼容性。而開(kāi)放域語(yǔ)料庫(kù)又因?yàn)閱?wèn)答對(duì)質(zhì)量的參差不齊，雖然兼容性較強(qiáng)，但很難保證對(duì)話有效性。

基于上述，在實(shí)際應(yīng)用中檢索式對(duì)話機(jī)器人在封閉域的效果更好。

2.2 生成式模型

生成式模型的主要思路是錄用大規(guī)模的語(yǔ)料訓(xùn)練模型，從而學(xué)習(xí)人類(lèi)對(duì)話的模式和特征，使得模型能夠自行生成與輸入相匹配的回復(fù)。生成式模型的普遍模式是編碼解碼模式，多為seq2seq模型的改進(jìn)版[5]，即通過(guò)編碼機(jī)器學(xué)習(xí)語(yǔ)義特征，通過(guò)解碼器生成回復(fù)。這種模式的特點(diǎn)是生成的回復(fù)流暢、自然且泛用性強(qiáng)，但隨之而來(lái)也常有“安全回復(fù)”的問(wèn)題。

生成式模型的最佳應(yīng)用環(huán)境與語(yǔ)料庫(kù)的內(nèi)容分布有較大的關(guān)聯(lián)，如果語(yǔ)料庫(kù)所涉及的廣度較大，則該模型在開(kāi)放域的表現(xiàn)會(huì)更好。反之，如果語(yǔ)料庫(kù)在某角度的深度較大，則該模型可以適用在封閉域。但事實(shí)上，在封閉域情景中，我們通常難以提供滿足訓(xùn)練seq2seq模型的需求規(guī)模的語(yǔ)料庫(kù)。相反，作用于開(kāi)放域的語(yǔ)料庫(kù)則可以非常容易的從社交媒體數(shù)據(jù)庫(kù)、影視文化作品的腳本等地獲取。

基于上述，在實(shí)際應(yīng)用中生成式對(duì)話機(jī)器人在開(kāi)放域的效果更好。

2.3 模型輸出評(píng)估標(biāo)準(zhǔn)

對(duì)話效果評(píng)估方式一般分為兩類(lèi)，分別是人工評(píng)估和自動(dòng)評(píng)估。人工評(píng)估雖然存在人工要求高和效率低的缺點(diǎn)，但仍是最準(zhǔn)確和有效的評(píng)估方式。目前主要的人工評(píng)估方法有對(duì)對(duì)比和李克特量表評(píng)價(jià)兩種。自動(dòng)評(píng)估可以分為不需要參考回復(fù)和需要參考回復(fù)的兩類(lèi)評(píng)估方式。其中，需要參考回復(fù)的評(píng)估方式主要針對(duì)生成式模型的對(duì)話效果進(jìn)行評(píng)估，而不需要參考回復(fù)的評(píng)估方式同時(shí)適用于生成式和檢索式模型。因此，本文主要討論不需要參考回復(fù)的評(píng)估方式。

2.3.1 檢索式模型評(píng)估指標(biāo)

檢索式模型算法的核心是在匹配中的候選集中排序的方式，常見(jiàn)的實(shí)現(xiàn)是基于傳統(tǒng)信息檢索系統(tǒng)中常用的若干指標(biāo)：

（1）召回率=系統(tǒng)檢索到的相關(guān)回復(fù)/系統(tǒng)所有相關(guān)的回復(fù)總數(shù)

（2）準(zhǔn)確率=系統(tǒng)檢索到的相關(guān)回復(fù)/系統(tǒng)所有檢索到的回復(fù)總數(shù)

F值（F-measure）：指召回率和準(zhǔn)確率的調(diào)和平均值，它綜合了兩者的評(píng)價(jià)效果。

召回率是考察系統(tǒng)找全回復(fù)的能力，而準(zhǔn)確率考察系統(tǒng)找準(zhǔn)回復(fù)的能力，兩者相輔相成，從兩個(gè)不同側(cè)面較為全面地反映系統(tǒng)性能。當(dāng)即F1值，是召回率和準(zhǔn)確率的調(diào)和平均數(shù)。

隨著測(cè)試集規(guī)模的擴(kuò)大以及人們對(duì)評(píng)測(cè)結(jié)果理解的深入，研究者提出能更準(zhǔn)確反映系統(tǒng)性能的新評(píng)價(jià)指標(biāo),包括：

（2）P@K：指的是單個(gè)查詢中檢索出的前10個(gè)回復(fù)的準(zhǔn)確率。

（3）平均準(zhǔn)確率MAP(Mean Average Precision)：AP(Average Precision)是指單個(gè)查詢檢索的平均精確度，MAP是對(duì)整個(gè)測(cè)試集求平均AP值。

2.3.2 生成式模型評(píng)估指標(biāo)

生成式模型主要評(píng)價(jià)的是生成回復(fù)的質(zhì)量，其評(píng)估指標(biāo)主要聚焦于回復(fù)本身的信息量和生成概率。目前比較常見(jiàn)的指標(biāo)有如下四種：

（1）困惑度（Perplexity）。語(yǔ)言模型中通常用困惑度來(lái)衡量一句話出現(xiàn)的概率，也常常被用在對(duì)話生成評(píng)測(cè)中，評(píng)價(jià)生成回復(fù)語(yǔ)句的語(yǔ)言質(zhì)量。其基本思想是測(cè)試生成的回復(fù)語(yǔ)言質(zhì)量越高，困惑度越小，越接近人類(lèi)正常說(shuō)話，模型越好。困惑度指標(biāo)的缺點(diǎn)是不能評(píng)估在對(duì)話中回復(fù)與上文的相關(guān)性。

（2）熵（Entropy）。熵可用于度量生成的回復(fù)的信息量。

（3）回復(fù)多樣性指標(biāo)Distinct-1&2。針對(duì)對(duì)話系統(tǒng)中萬(wàn)能回復(fù)的問(wèn)題，通過(guò)計(jì)算生成回復(fù)中一元詞和二元詞的比例來(lái)衡量回復(fù)的多樣性。具體來(lái)說(shuō)，Distinct-1和 Distinct-2分別是不同的unigrams和 bigrams的數(shù)量除以生成的單詞總數(shù)。

（4）平均回復(fù)長(zhǎng)度。用平均長(zhǎng)度來(lái)衡量對(duì)話生成效果，認(rèn)為生成長(zhǎng)句子的模型相對(duì)質(zhì)量更高。

3 生成式與檢索式模型協(xié)同處理

我們注意到，基于生成式模型的對(duì)話機(jī)器人在開(kāi)放域的表現(xiàn)更好，基于檢索式模型的對(duì)話機(jī)器人在封閉域的表現(xiàn)更好。但在一些應(yīng)用場(chǎng)景中，對(duì)話機(jī)器人被要求同時(shí)能夠處理開(kāi)放域和封閉域的對(duì)話任務(wù)。顯然，單一模型的對(duì)話機(jī)器人難以在兩個(gè)領(lǐng)域都實(shí)現(xiàn)令人滿意的效果。容易想到的是采用由檢索式模型和生成式模型結(jié)合而成的聯(lián)合模型去解決該問(wèn)題。

聯(lián)合模型的原理可以是并行或串行的。并行使用兩個(gè)模型，對(duì)檢索式和生成式模型的回復(fù)設(shè)計(jì)算法進(jìn)行評(píng)估，如果檢索式回復(fù)的效果較好，則以檢索式回復(fù)作為結(jié)果，否則返回一個(gè)生成式回復(fù)。并行方案的缺點(diǎn)是對(duì)于單個(gè)任務(wù)要分別調(diào)用兩個(gè)模型，造成了計(jì)算開(kāi)銷(xiāo)。串行使用兩個(gè)模型，以檢索式模型的回復(fù)作為基礎(chǔ)，在刪去檢索式模型回復(fù)中的無(wú)關(guān)內(nèi)容后由生成式模型對(duì)空缺處進(jìn)行填充。串行方案的設(shè)計(jì)理念很好，但在實(shí)際應(yīng)用上常常效果無(wú)法令人滿意。其原因是任務(wù)在本質(zhì)上只會(huì)屬于封閉域或開(kāi)放域兩者之一，而根據(jù)串行方案的原理，實(shí)際上是給出了一種較為中間的解決方案，這樣對(duì)于有二元性的任務(wù)反而并不能起到很好的效果[6]。

本文提出了一種基于并行方案的優(yōu)化方法：對(duì)檢索式模型的語(yǔ)料庫(kù)做預(yù)處理，并設(shè)計(jì)算法將任務(wù)內(nèi)容結(jié)合語(yǔ)料庫(kù)的預(yù)處理結(jié)果去計(jì)算當(dāng)前任務(wù)屬于封閉域問(wèn)題的概率，當(dāng)概率高于某個(gè)閾值時(shí)，使用檢索式模型做出回復(fù)，反之則使用生成式模型生成回復(fù)。該方法的優(yōu)點(diǎn)是實(shí)際上對(duì)于每個(gè)任務(wù)僅會(huì)調(diào)用一個(gè)模型，減小了計(jì)算開(kāi)銷(xiāo)。缺點(diǎn)是，需要以合適的方式對(duì)語(yǔ)料庫(kù)做預(yù)處理，造成了額外的時(shí)空開(kāi)銷(xiāo)。難點(diǎn)在于模型最終效果高度取決于預(yù)處理方式和判別算法。同時(shí)，基于任務(wù)的二元性，本方案在理論上會(huì)比串行方案效果更好。

3.1 算法思想

首先將封閉域場(chǎng)景問(wèn)句中出現(xiàn)的詞匯分為三類(lèi)：

（1）普通詞Normal：在任何句子里都有較高可能遇見(jiàn)的詞，例如“是”、“什么”、“然后”等詞。以及在該封閉域內(nèi)常出現(xiàn)的專(zhuān)業(yè)詞匯。

（2）屬性詞Attr：部分屬于封閉域詞匯中的限定詞，部分是用來(lái)衡量程度的詞匯，常與核心詞結(jié)合使用。

（3）核心詞Core：可以以較大概率唯一標(biāo)記問(wèn)答對(duì)的詞匯。

根據(jù)定義，句子中一般含有大量Normal詞和少量的Attr，Core詞。而且Core既可單獨(dú)出現(xiàn)，也可以與Attr結(jié)對(duì)出現(xiàn)。則句子的構(gòu)成可能是一個(gè)或多個(gè)Core/Core-Attr與若干Normal的組合。在理想情況下，若任務(wù)中出現(xiàn)Core/Core-Attr，可以認(rèn)為任務(wù)屬于封閉域。

算法的核心思想是對(duì)Word/Word-Word成為Core/Core-Attr的概率進(jìn)行判定，隨后根據(jù)任務(wù)中Core/Core-Attr的出現(xiàn)情況，計(jì)算任務(wù)屬于封閉域的概率大小。

3.2 算法流程

首先將語(yǔ)料庫(kù)中所有問(wèn)答對(duì)的問(wèn)句分詞，并統(tǒng)計(jì)詞頻，從小到大排序。

（1）挑選一個(gè)核心詞系數(shù)c，對(duì)詞頻最小c%的詞進(jìn)行Core判定。

（2）將不進(jìn)行Core判定的詞(Attr Candidate)的詞頻歸一化。

（3）對(duì)于每一個(gè)要進(jìn)行Core判定的詞Word：

1.首先要進(jìn)行Core-Attr對(duì)的判定

①在含有Word的句子集合中構(gòu)建Word-Attr Candidate對(duì)集合，其中每個(gè)W-AC對(duì)的權(quán)值由Attr Candidate的詞頻決定；

②使用SVM對(duì)W-AC對(duì)的權(quán)值進(jìn)行二分類(lèi)，由F1值計(jì)算高詞頻部分構(gòu)成Core-Attr的概率。

1)如果F1比較大，意味著高詞頻部分構(gòu)成Core-Attr的概率很大，我們將高詞頻部分的Attr Candidate加入Attr集合留作后用；

2)如果F1比較小，意味著Word可能是Normal或者是單獨(dú)出現(xiàn)的Core，記錄該Word到C/N。

（4）對(duì)于C/N中的每個(gè)Word：

1.首先與Attr集合構(gòu)建Word-Attr對(duì)集合；

2.在含有Word的句子集合中，檢查Word-Attr對(duì)的出現(xiàn)頻率。

①如果頻率較高，則以較高概率認(rèn)定Word為Normal；

②反之則以較高概率認(rèn)定Word為Core。

3.3 算法分析

在算法流程1中，c越大，預(yù)處理的效果就越好，判斷成功的概率會(huì)上升，但時(shí)空開(kāi)銷(xiāo)也會(huì)增大。同時(shí)，因?yàn)榻^大部分的Core會(huì)分布在低詞頻的區(qū)間，選取過(guò)大的c可能會(huì)將更多的非Core詞加入概率判斷，反而降低了判斷成功的概率。如果語(yǔ)料庫(kù)并不龐大，可以采用模擬退火算法求出c的近似最優(yōu)解。

4 結(jié)語(yǔ)

業(yè)界對(duì)對(duì)話機(jī)器人的表現(xiàn)與應(yīng)用范圍的要求越來(lái)越高，對(duì)當(dāng)前市場(chǎng)上對(duì)話機(jī)器人的表現(xiàn)有所不滿。目前采用聯(lián)合模型的對(duì)話機(jī)器人研究相對(duì)較少，聯(lián)合模型開(kāi)發(fā)有較大的發(fā)展空間。本文提出了一種基于聯(lián)合模型并行方案的優(yōu)化方案，主要著力于在對(duì)語(yǔ)料庫(kù)預(yù)處理算法上的改進(jìn)。該模型還有一些設(shè)計(jì)上和原理上的不足，由于筆者能力有限，僅做拋磚引玉之用，為對(duì)話機(jī)器人同時(shí)處理開(kāi)放域和封閉域的對(duì)話任務(wù)提供一個(gè)思路。