基于深度學(xué)習(xí)的生成式聊天機(jī)器人算法綜述

孫立茹 余華云

摘要：隨著深度學(xué)習(xí)算法的發(fā)展，聊天機(jī)器人也迎來了發(fā)展的黃金時(shí)期，本文主要研究的是生成式聊天機(jī)器人，這種方式區(qū)別于檢索式的聊天機(jī)器人，使得聊天機(jī)器人的遷移性與泛化性更佳。具有非常廣闊的應(yīng)用場(chǎng)景。本文首先對(duì)生成式聊天機(jī)器人領(lǐng)域主流框架進(jìn)行實(shí)驗(yàn)，在此基礎(chǔ)上加入attention注意力模型機(jī)制來提高生成效果，為了避免大量的無(wú)意義的安全回復(fù)，又采用強(qiáng)化學(xué)習(xí)評(píng)估對(duì)話的未來獎(jiǎng)勵(lì)，保證對(duì)話的自然流暢。

關(guān)鍵詞：深度學(xué)習(xí)；聊天機(jī)器人；強(qiáng)化學(xué)習(xí)

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2018）23-0227-02

聊天機(jī)器人思想出現(xiàn)是從20世紀(jì)70年代，當(dāng)時(shí)稱為專家系統(tǒng)，由龐大的知識(shí)庫(kù)構(gòu)建而成。隨著2015年人工智能技術(shù)的飛速發(fā)展，把深度學(xué)習(xí)模型應(yīng)用到自然語(yǔ)言處理領(lǐng)域取得了很好的效果，成為近幾年來了熱門研究方向。聊天機(jī)器人分為兩種方式，檢索和生成兩種方式。生成式聊天機(jī)器人與原來的檢索不同，是指在人與機(jī)器進(jìn)行對(duì)話時(shí)，機(jī)器自動(dòng)組織語(yǔ)言回復(fù)。聊天機(jī)器人在未來有廣闊的應(yīng)用前景。但是目前聊天對(duì)話有很多不完善的地方，比如對(duì)話過程中容易產(chǎn)生安全回答，前后信息不一致以及容易使聊天陷入僵局等情況。在文章中我們會(huì)簡(jiǎn)單介紹生成式聊天機(jī)器人中所涉及的幾種算法。

1 基于RNN的seq2seq模型

目前在深度學(xué)習(xí)模型中，循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）在自然語(yǔ)言處理領(lǐng)域中應(yīng)用越來越廣。但是因?yàn)镽NN有一定局限性，一些學(xué)者在原來模型的基礎(chǔ)上進(jìn)行了改進(jìn)，也就是LSTM和GRU模型?！?br>