基于Web的對話應用設計系統

黃巍　李紀奇　劉國華

摘要：信息技術領域的客服系統存在人力資源的運用效率低等問題，這給企業帶來了大量的維護成本，對企業創新帶來了一定的阻礙。因此本文提出一種新型的基于Web的對話應用設計系統，不僅提供了基于分支、循環、順序等設計對話的基礎流程控制單元，還包含大量垂直領域內的話題通用組件以輔助在短時間內設計出快速響應、容錯率高的場景對話機器人，并提供了深度學習服務用于對話的匹配以及用于提高識別精度的再訓練機制，使得對話系統能持續升級和提高對話的效率。本系統使用了先進的開源技術實現，能夠快速生成腳本整合進其他現有應用，改善企業客服系統運作效率。

關鍵詞：對話應用設計;對話系統;深度神經網絡;Web應用

【Abstract】Thecustomerservicesysteminthefieldofinformationtechnologyhasproblemssuchaslowefficiencyintheuseofhumanresources，whichbringsalotofmaintenancecoststoenterprises，andbringscertainobstaclestoenterpriseinnovation.Therefore，thispaperproposesanewWeb-baseddialogueapplicationdesignsystem，whichnotonlyprovidesbasicprocesscontrolunitsfordesigningdialoguesbasedonbranches，loops，andsequences，butalsocontainsalargenumberoftopicalcommoncomponentsintheverticalfieldtoassistinthedesigninashorttime.Ascenedialoguerobotwithfastresponseandhighfaulttoleranceisprovided，andadeeplearningserviceisprovidedfordialoguematchingandaretrainingmechanismtoimprovetherecognitionaccuracy，sothatthedialoguesystemcancontinuetoupgradeandimprovetheefficiencyofdialogue.Thissystemisimplementedusingadvancedopensourcetechnology，whichcanquicklygeneratescriptsandintegratethemintootherexistingapplicationstoimprovetheoperationalefficiencyofenterprisecustomerservicesystems.

【Keywords】dialogueapplicationdesign;dialoguesystem;deepNeuralNetwork;Webapplication

作者簡介：黃巍（1996-），男，碩士研究生，主要研究方向：自然語言處理、對話系統;李紀奇（1998-），男，碩士研究生，主要研究方向：Web開發、工業互聯網;劉國華（1966-），男，博士，教授，主要研究方向：外包數據庫、隱私保護、文檔復制檢測等。

收稿日期：2020-11-27

0引言

信息技術的發展為企業帶來了新的發展機遇，更快的設備和更強大的計算能力驅動企業創造新的產品體驗和獲取更多的用戶，隨著產品變得龐雜，對用戶使用產品進行引導和解決問題的客服機制也逐漸引起了學界的興趣。然而客服行業存在的重復率高、響應需求快等特點與人工處理帶來的體驗產生了沖突。得益于數據量激增以及GPU等為圖形計算而生的設備的出現為深度學習[1-2]在智能對話領域注入了新的想象力，使得智能對話系統能有效地提高客服領域的運作效率?？头I域分支眾多，所以提供能夠快速根據需求搭建領域特定的對話系統變得日益重要。

目前，主流的對話系統搭建方式主要有使用提供搭建對話機器人的服務平臺如Google的Dialogflow、外包給設計對話機器人的公司或自行研發。分析可知，第一種主要存在定制化能力不強、不易與企業內部系統整合等問題，第二種會存在大量的溝通問題且維護費用也比較可觀，第三種的研發成本卻十分高昂。

基于此，本文設計并實現了基于Web的對話應用設計系統。該系統具備以下特點：提供基于可視化流程圖的對話過程設計（如圖1所示），方便設計和修改對話流程以適應各種客服場景，還提供即時的對話應用測試功能;在初始的深度學習模型上，自動收集與預期情況不符合的答案進行再訓練、提供給用戶添加額外定義的實體和屬性等信息進行訓練，持續改進對話效果，讓對話更加準確。

1系統設計

1.1架構設計

系統的整體架構如圖2所示。本系統使用前后端分離的B/S架構[3]進行設計，前端基于Web平臺，服務器端提供RESTfulAPI供前端訪問，同時前端還會訪問機器學習服務來進行對話過程中的實體、屬性的抽取以及對話的匹配等。對此擬展開研究闡述如下。

（1）客戶端的選擇?？蛻舳耸褂肳eb平臺，主要基于Web平臺具有無平臺屬性，即在任意系統上如MacOS、Linux或Windows上都可以獲得一致的訪問體驗，且Web平臺技術發展迅速、開發效率高、性能表現良好。

（2）服務器端的選擇。服務器端選擇了基于Node.js的Koa框架，這是新一代的Web服務器端開發框架，開發效率高，數據庫使用MySQL，同時選用SequelizeORM框架來簡化后端與數據庫的交互。

（3）機器學習服務的選擇。機器學習服務使用注意力機制將對話模型與大規模知識圖譜技術相結合，主要包含3個模塊：編碼器-解碼器模塊、知識解釋模塊和知識生成模塊。其中，知識解釋模塊采用基于靜態的注意力機制[4]，將詞向量和檢索到的知識圖譜圖形[5]向量連接起來。知識生成模塊采用動態的注意力機制，根據關注權重來讀取圖中影響選擇生成的詞語。

（4）數據通信方式選擇。數據的通信使用HTTP協議，數據的交互主要使用JSON格式[6]，這是一種通用的數據交互格式，能被大多數語言所支持。后端和機器學習服務通過Koa框架提供RESTfulAPI的形式調取使用MXNet深度學習框架訓練的模型供前端進行訪問。

1.2對話匹配算法設計

在設計對話應用過程中，主要通過與用戶交互的場景來預設一系列問題和答案，當用戶輸入的文字與預設的問題匹配，則會選擇對應問題的答案返回給用戶。為此，本系統設計了一套對話匹配算法?？梢赃x擇使用ML機器學習的匹配或關鍵詞的匹配，匹配命中的結果主要根據一套優先級規則來確定。算法描述詳見如下。

算法1對話匹配算法

即最小化交叉熵損失函數等價于最大化訓練數據集所有標簽類別的聯合預測概率。

訓練使用的是Adam優化算法來進行處理，重點是基于訓練迭代地更新神經網絡權重，適合解決大規模數據和參數的優化問題。

當定義了用戶在輸入面板中對應的匹配內容后，在對話任務進行過程中，會抽取用戶對話中的實體、屬性關系等，接著去定義的輸入面板內容中進行檢索，并匹配相關度高的內容，再對相關度高的內容進行重排序，選擇最終的結果來進行后續響應動作的觸發。

2系統實現

本系統采用目前最先進的開源技術進行研發，包括前后端及深度學習框架等，同時應用了業界較為熱門的數據集和知識庫。對此研究中擬做闡析分述如下。

2.1前端實現

前端使用螞蟻集團開源的插件化的企業級前端應用框架UmiJS來實現，其主要的特點是開箱即用，內置路由、構建、部署、測試等完整的開發生命周期。

在前端開發中，先要設計一系列路由界面，將邏輯分發到不同的界面里，以完成需要的功能，UmiJS內置了ReactRouter路由體系，使得開發者只需專注于路由路徑及組件邏輯的編寫。ReactRouter擁有簡單的API與強大的功能，例如代碼緩沖加載、動態路由匹配、以及建立正確的位置過渡處理。在編寫路由的時候，可通過管理應用的URL，實現組件的切換和狀態的變化，會大量應用在復雜前端應用的開發中，同時也是React官方唯一維護的路由框架，社區活躍，新功能迭代快速。

本系統根據具體的場景，設計了包含故事面板頁、模板頁、故事頁、用戶輸入頁、響應用戶動作、測試對話系統的運行狀態等6類頁面，前端路由設置詳見表1。

前端在開發過程中使用了AntDesign組件庫來加速開發，開發中主要涉及的就是可視化故事搭建面板的實現和測試故事任務面板的實現。文中對此將給出詳述如下。

（1）故事搭建面板的實現。故事搭建面板是一個樹狀圖示，在每個分支的末端可以通過一個加號來擴展對話流程中的響應動作，核心主體采用了D3.js[8]來進行流程的可視化展示，其中用到的按鈕圖標調取自Iconfont圖標庫，內部的核心是維護了一個JavaScript數組，通過該數組來記錄這個樹狀流程的關系以及屬性等，又通過D3.js的樹狀形狀初始化函數來讀取這個數組，接著分配對應的屬性來進行渲染。研發得到的故事搭建面板則如圖3所示。

（2）動作面板的實現。動作面板主要包含2個部分，即：用戶輸入的匹配和動作的響應。對這兩部分的研發探討具體如下。

①用戶輸入的匹配。如圖4所示。主要是一系列選項，以及針對每個選項有一個下拉框，這個下拉框可以是機器學習式的匹配或者是關鍵詞的匹配，選項列表與下拉框均使用AntDesign提供的組件庫。機器學習匹配與關鍵字匹配具體的匹配算法參見前文算法1。

②動作響應面板。如圖5所示。響應的動作是一個順序流程，先是響應延遲，即在用戶輸入多久之后回復用戶，接著可以添加一系列回復內容，如文本、圖片、卡片、輪播圖等，還能詢問用戶問題以獲取更多的上下文信息，在點擊左方的按鈕后，右方會自動添加一個新的虛線以及對應的響應，同樣，當用戶的輸入匹配到了這個動作，在響應中就會額外回復最近添加的一個新的響應動作。

動作響應面板中可以添加額外的人工支持，當機器人無法回答用戶的問題時，可以提醒用戶進行流轉人工操作，獲得用戶同意后，機器人服務提供方的人工客服會介入處理用戶的問題，提升機器人的使用體驗。

其中，按鈕、流程的展示使用AntDesign組件庫，圖標使用了Iconfont圖標庫。

（3）對話面板的實現。通過可視化流程圖構建了對話機器人的必要元素后，就可以通過聊天面板測試機器人的運行狀況，見圖6。對話面板中，先會觸發歡迎動作，發送歡迎語，接著根據用戶的選擇和回復進行匹配以觸發后續的流程，對話面板使用aurora-imui來進行方便的搭建，只需傳輸聊天數據的JavaScript數組信息就能夠可視化地渲染最終的聊天結果。

2.2后端的實現

后端服務使用Koa2實現。Koa2是Express原班人馬打造的一個Web框架，使用ES7的Async/Await函數的方式來處理路由操作，相比Express而言要更為輕量、健壯，能加速Web應用的編碼。

數據庫使用MySQL，搭配SequelizeORM框架可以高效地操作數據庫。MySQL是一款優秀的數據庫，并且隨著技術演變，也在不斷地吸納新的特性以改善使用體驗，而Sequelize是JavaScript的ORM框架，開發的友好性使得開發者可以隔離繁瑣的原生SQL語句操作細節，專注于應用的高效開發。

后端根據以上路由列表編寫對應的API，前端使用FetchAPI發起HTTP請求訪問后端的路由端口，進行數據的交互。

2.3深度學習服務的實現

深度學習服務使用亞馬遜開源的MXNet深度學習框架，并使用Node.js的Koa2框架來提供模型的訪問。MXNet是可擴展的、可以進行快速的模型訓練，并靈活支持多種語言，如C++、Python、Julia、JavaScript和Go，MXNet[9]還可以方便擴展到多個GPU來進行訓練，也是亞馬遜AWS的深度學習框架。

模型使用了有2層GRU結構的編碼器-解碼器，每一層有512個隱藏單元。詞嵌入的大小設置為300，詞匯量限制在10000或30000，使用TransE來獲取實體和關系的表示，實體和關系的嵌入大小設置為100。模型使用以100為一個批量的小批量的Adam優化器[10]，學習率設置為0.0015，模型訓練的輪次設置為15輪次。

通過與領域內3個基準模型做比較來驗證模型的優勢，由此得到：

（1）Seq2Seq[11]模型.這是一個廣泛用于開放領域的對話系統模型。

（2）改編自Ghazvininejad等人[2]的知識基礎模型MemNet。存儲單元存儲TransE的知識三元組嵌入。

（3）CioyNet模型[12]。從知識三元組中復制一個單詞或者從詞匯表里面生成一個單詞。

在模型開發結束后，利用常識知識庫[4]和常識對話數據集來進行模型的訓練和測試。模型的評價定義了2個指標：內容級別的合適性ppx（回答在語法、主題和邏輯層面是否合適）;在給定知識水平下提供的信息性ent（回答相比已經生成的內容是否提供了更多的信息和知識）。

模型的結果見表3。表3中，分數是模型（CCM）超過其他基準模型的百分比。

3結束語

本文主要解決針對信息技術客服領域重復勞動率高、人力資源的運用效率低等問題，設計并實現了一個基于Web的對話應用設計系統。此系統提供可視化的對話流程設計，以及通過用戶輸入-對話響應等形式獲得高效的對話體驗，并且通過深度學習模型來進行用戶話語的識別和匹配，提升對話任務的準確性和效率。企業在引進了本文靈活設計對話機器人的系統后，即可提升客服領域解決問題的效率，為企業的發展提供有益的助力。

參考文獻

[1]LECUNY，BENGIOY，HINTONG.Deeplearning[J].Nature，2015，521（7553）：436.

[2]GHAZVININEJADM，BROCKETTC，CHANGMingwei，etal.Aknowledge-groundedneuralconversationmodel[C]//ProceedingsoftheThirty-SecondAAAIConferenceonArtificialIntelligence（AAAI-18）.NewOrleans，Louisiana，USA：AAAI，2018：1-9.

[3]HUANGSuping，GUOXiaojun，LIUAijun，etal.ApplicationofB/SstructuredesigntothemanagementsystemforexaminingconstructiondrawingsbasedonInternet[J].JournalofChemicalandPharmaceuticalResearch，2014，6（7）：510-520.

[4]ZHOUHao，YOUNGT，HUANGMinlie，etal.Commonsenseknowledgeawareconversationgenerationwithgraphattention[C]//InternationalJointConferenceonArtificialIntelligence（IJCAI-18）.Stockholm，Sweden：ArtificialIntelligenceOrganization，2018：4623-4629.

[5]DUANNan.OverviewoftheNLPCC-ICCPOL2015sharedtask：OpendomainChinesequestionanswering[M]//LIJ，JIH，ZHAOD，etal.NaturalLanguageProcessingandChineseComputing.NLPCC2015.LectureNotesinComputerScience.Cham：Springer，2015，9362：562-570.

[6]LVTeng，YANPing，HEWeimin.SurveyonJSONDataModelling[J].JournalofPhysicsConferenceSeries，2018，1069（1）：012101.

[7]HOY，WOOKEYS.Thereal-world-weightcross-entropylossfunction：Modelingthecostsofmislabeling[J].IEEEAccess，2019，8：4806-4813.

[8]BostockM.d3js.D3.js[EB/OL].[2020].https：//github.com/d3/d3.

[9]GUOJian，HEHe，HETong，etal.GluonCVandGluonNLP：Deeplearningincomputervisionandnaturallanguageprocessing[J].JournalofMachineLearningResearch，2020，21：23：1-23：7.

[10]KINGMAD，BAJ.Adam：Amethodforstochasticoptimization[J].arXivpreprintarXiv：1412.6980v8，2017.

[11]SUTSKEVERI，VINYALSO，LEQV.SequencetoSequencelearningwithneuralnetworks[C]//Proceedingsofthe27thInternationalConferenceonNeuralInformationProcessingSystems.Quebec，Canada：dblp，2014，2：3104-3112.

[12]ZHUXun，LYUChen，JIDonghong.KeyphrasegenerationwithCopyNetandsemanticWeb[J].IEEEAccess，2020，8：44202-44210.

[13]LIXiang，TAHERIA，TULifu，etal.Commonsenseknowledgebasecompletion[C]//Proceedingsofthe54thAnnunalMeetingoftheAssociationforComputationalLinguistics.Berlin，Germany：ACL，2016：14451455.