基于重建誤差的任務型對話未知意圖檢測

畢然，王軼，周喜

（1.中國科學院新疆理化技術研究所，烏魯木齊 830011；2.中國科學院大學，北京 100049；3.新疆民族語音語言信息處理實驗室，烏魯木齊 830011）

0 概述

意圖識別［1］是任務型對話系統［2］自然語言理解（Natural Language Understanding，NLU）模塊［3］中的子任務，旨在識別用戶隱藏在對話語句中的真實意圖。隨著深度學習技術的發展，意圖識別研究不斷深入并取得諸多成果。然而在真實場景中，用戶意圖隨著時間推移頻繁變化，系統無法針對未在訓練過程中出現的新意圖進行有效檢測。

目前，針對未知意圖檢測任務主要包括基于生成對抗網絡（Generative Adversarial Networks，GAN）［4-6］、基于置信度分數［7-8］以及基于異常 檢測［9-10］3 類方法。基于生成對抗網絡的方法生成大量與已知意圖在空間上接近的未知意圖，再將兩者送入分類器學習，然而無法解釋生成樣本的合理性，且GAN 在文本離散數據中可能表現不佳。基于置信度分數的方法會輸出一個額外的置信度分數衡量測試樣本屬于已知意圖或未知意圖的概率，然而該方法需要足夠且類別分布均勻的樣本訓練分類器，在類別分布不平衡時可能失效。基于異常檢測的方法先通過改進交叉熵損失［11-12］訓練分類器，使模型的類間方差最大化、類內方差最小化，各類別特征的空間分布界限分明，再通過局部異常因子（Local Outlier Factor，LOF）［13］算法將測試樣本中的離群點視為未知意圖，然而經過交叉熵損失訓練得到的特征簇分布相對狹長［14］，無法保證特征簇的整體間距、密度和分散情況均勻一致，導致LOF 算法的檢測效率受到影響。

本文提出一種基于重建誤差的未知意圖檢測模型LeCosRE，優化特征的空間分布，利用自動編碼器無法重建非正類樣本的特性檢測未知意圖。在訓練階段：首先使用融入標簽知識的聯合損失函數LeCos 訓練已知意圖分類器，使各類別特征盡可能向自身的類別中心靠攏；然后利用自動編碼器［15-17］充分學習已知意圖的相關信息，并將其作為未知意圖檢測器。在測試階段，利用自動編碼器重建已知意圖特征，從而將已知意圖與未知意圖進行有效區分。

1 相關工作

1.1 意圖識別

任務型對話系統先判斷用戶意圖，再提取語句中的關鍵槽值［18］，最終將整合的信息傳遞給對話管理模塊，從而完成后續回復。目前，考慮到意圖識別和槽值提取任務間存在較大的相關性，許多研究人員將兩者作為聯合任務進行訓練。XU等［19］基于CNN 的方法通過聚合相鄰單詞的詞嵌入從而構建句子嵌入表示。LIU等［20］基于RNN 的方法將單詞的詞嵌入進行順序編碼以此提取句子嵌入表示。CHEN等［21］將BERT 引入自然語言理解任務，解決了傳統模型泛化能力較差的問題。ZHANG等［22］提出意圖-槽值聯合訓練應在語義層面共享參數的思想，并基于BERT 的方法先檢測用戶的意圖，再通過整體的語義信息和意圖語義信息預測槽值的位置。

任務型對話在學術界和工業界得到越來越多關注，但也面臨一些挑戰，例如如何提高數據使用效率以促進資源匱乏環境中的對話建模［23］。當對話系統預設的意圖類別不能滿足用戶在真實場景下的全部需求時，系統雖然可以利用已有的標注數據訓練一個具有較強判別能力的分類器，但在出現新意圖時無法進行有效回復。

1.2 未知意圖檢測

傳統意圖識別任務訓練及測試階段數據標簽類別相同，即在測試階段不會引入一類完全不同于訓練階段意圖類別的新意圖。目前，關于未知意圖檢測問題的研究較少，其研究難點是無法在訓練階段獲取未知意圖的任何信息。LIN等［9］使用增強邊緣余弦損失（Large-Margin Cosine Loss，LMCL）訓練已知意圖分類器，使模型的類間方差最大化，并在測試時使用LOF 算法檢測離群點作為未知意圖，而其余正常點送入分類器。LOF 算法是一種基于密度的離群點檢測算法，通過對每個特征點分配一個依賴于鄰域密度的離群因子判斷其所屬。YAN等［10］假設學習到的特征服從高斯混合分布，提出增強語義的高斯混合損失（Semantic-Enhanced large-margin Gaussian mixture loss，SEG）以提高特征的類內緊湊性，更符合LOF 算法的要求。

圖像領域自動編碼器（autoencoder）和生成對抗網絡的應用為未知意圖檢測提供了思路。自動編碼器是一種無監督的神經網絡模型，目的是完成對原始輸入的重建，其數據相關性（data-specific）導致無法拓展一種編碼器在另一類數據上應用，可以作為檢測離群點的工具。AN等［15］利用變分自動編碼器的重建概率進行判別，已知樣本的重建概率較未知樣本更高。SABOKROU等［24］訓練一個生成對抗網絡，將生成器作為數據重構器，判別器作為未知檢測器，將樣本依次通過數據重構器、未知檢測器和Sigmoid 函數獲得概率值進行判斷。本文利用自動編碼器重建誤差的思想代替LOF 算法檢測未知意圖，解決因特征分布不均勻導致檢測效率不高的問題。

2 基于重建誤差的未知意圖檢測

2.1 任務定義

使用訓練集Dtr=(Xtr，Ytr)訓練模型，其中，Xtr是訓練集語句，Ytr是訓練集的意圖標簽，標簽Ytr∈{y1，y2，…，yk}=Cseen均屬于已知意圖，k表示已知意圖類別數。在測試階段，測試集Dte=(Xte，Yte)中的意圖標簽Yte既包含已知意圖Cseen，又包含未知意圖yk+1=Cunseen。模型針對訓練階段并未出現未知意圖這一情況，旨在對測試集中的已知意圖語句進行正確分類，并檢測出更多的未知意圖。

2.2 整體模型

本文提出的LeCosRE 模型整體架構如圖1 所示。在訓練第一階段，每個已知意圖語句x通過基于自注意力機制的雙向LSTM 網絡編碼為特征zx。同時，用相同方法編碼每個已知意圖標簽Cseen，通過融入標簽知識的聯合損失函數LeCos 訓練已知意圖分類器，不斷優化網絡參數。在訓練第二階段，根據提取的特征zx訓練自動編碼器作為未知意圖檢測器，將訓練結束時已知意圖特征的平均重建損失作為閾值。在測試階段，測試語句x先通過特征提取得到zx，再通過自動編碼器得到重建特征，重建誤差大于閾值則判為未知意圖，標簽記為Cunseen，重建誤差小于等于閾值標簽記為Cseen并正常分類。

圖1 LeCosRE 模型整體架構Fig.1 Overall architecture of LeCosRE model

2.3 特征提取

給定一個具有T個詞語組成的語句x={w1，w2，…，wT}，wt∈Rdw是第t個詞嵌入表示，每個詞語被雙向LSTM 編碼，如式（1）所示：

單詞wt的詞向量由連接前向推算結果和后向推算結果表示，即，綜合所有詞向量得到的語句向量表示為H=[h1，h2，…，hT]∈R2dh×T。此外，利用自注意力機制可以更有效地捕捉關鍵詞語，提升整體的語義表示，對H進行以下操作：

其中：a∈RT是自注意力權重向量；Ws1∈Rda×2dh和Ws2∈R1×da是可訓練的參數，da表示自注意力權重向量維度，dh表示隱狀態向量維度；Ws∈Rdz×2dh也是可訓練的前饋權重參數，dz表示句向量維度。在訓練過程中對H的每個詞表示賦予不同權重，zx∈Rdz是x的最終表示。

2.4 已知意圖分類器

交叉熵損失在許多問題上被廣泛使用，然而經WEN等［14］驗證，交叉熵損失訓練得到的特征雖在類間可分，但類內距離較大，每類特征的空間分布相對狹長。傳統的交叉熵損失如式（3）所示：

其中：pi是特征向量zx屬于類別i的概率；N為訓練樣本個數；C為分類類別總數；fj一般是全連接層的激活值，可以通過網絡的權重W及偏移量b計算。若將偏移量設置為0，則fj可以表示為如下形式：

其中：θj是Wj和特征向量zx的角度。

W和zx的范數及兩者間的夾角影響分類置信度，對權重歸一化處理，并將最后一個全連接層的輸入zx的范數固定為s，交叉熵損失如式（5）所示：

全連接層的權重和輸出的特征需要進行歸一化操作，如式（7）所示：

Llmc無法避免特征分布相對狹長的問題，決策邊界占據很大空間，擠壓類別特征分布的范圍。因此，本文第一個創新點是引入中心損失［14］約束類內距離緊湊，如式（8）所示：

其中：Lcenter要求每個特征與其類別中心距離的平方和盡可能小；n表示類別標簽為yi的特征個數；zi表示全連接層之前的特征；cyi表示第yi個類別的特征中心。cyi經過隨機初始化后會在訓練過程中更新梯度及自身位置，如式（9）所示：

若特征的標簽yi和cj的類別相同，則δ(yi=j)=1，cj需要更新；若yi和cj的類別不同，則δ(yi=j)=0，cj不需要更新。此外，將每個類別的標簽yi通過2.3 節特征提取模塊得到的特征表示作為類別中心不停迭代以此替代cyi，每個已知意圖特征zi學習標簽知識，使得同類特征間相似度更大、不同類特征之間相似度更小，融入標簽知識的中心損失Lcenter如式（10）所示：

Llmc和Lcenter均通過梯度下降算法不斷減小，因此利用結合Llmc和Lcenter的損失函數LLeCos訓練已知意圖分類器，如式（11）所示：

其中：λ表示超參數。

2.5 未知意圖檢測器

本文第二個創新點是使用自動編碼器檢測未知意圖，解決LOF 算法對于特征的空間分布要求較高的問題。自動編碼器結構如圖2 所示。

圖2 自動編碼器結構Fig.2 Structure of autoencoder

編碼器通過非線性仿射映射將輸入zx映射到隱藏表示h中。

其中：Wzxh是編碼器的權重；bzxh是編碼器的偏移量；σ是非線性變換函數。

解碼器通過與編碼器相同的變換將隱藏表示h映射回原始空間輸出。

其中：Whzx′是解碼器的權重；bhzx′是解碼器的偏移量。

在訓練自動編碼器的過程中，本文對特征輸入zx添加一項微小的高斯隨機白噪聲η模擬訓練集和測試集之間的差異性，增加模型的魯棒性［24］。訓練過程使用均方損失訓練使輸出zx′與輸入zx+η的誤差盡可能小，訓練結束時樣本的平均重建損失作為判斷未知意圖的閾值。

訓練自動編碼器全程只有已知意圖特征參與，自動編碼器充分學習了已知意圖的信息，而未知意圖的特征只包含極少量已知意圖的信息，已知意圖和未知意圖通過自動編碼器得到的重建誤差不同。已知意圖重建后與原特征點偏移距離較小，而未知意圖則與原特征點的偏移距離較大，如圖3 所示。

圖3 測試樣本的重建差異Fig.3 Reconstruction difference of test samples

在測試階段，將測試樣本的特征表示zx輸入自動編碼器得到重建特征表示。若重建誤差大于閾值，則該樣本屬于未知意圖；若重建誤差小于等于閾值，則該樣本屬于已知意圖并正常分類。

3 實驗與結果分析

3.1 數據集與基線模型選取

在SNIPS［25］和ATIS［26］兩個真實的任務型對話數據集上對本文提出模型進行評估。SNIPS 數據集是一個開源的多領域單輪對話數據集，包含7 種類型的用戶意圖，每個意圖的數據量較為平均。ATIS 數據集是航空旅行領域的對話數據集，包含18 種類型的用戶意圖，且每個意圖的數據量極為不平衡。兩個數據集的詳細信息如表1 所示。

表1 SNIPS 和ATIS 數據集詳細信息 Table 1 Details of SNIPS and ATIS dataset

基線模型主要包括：MSP［7］和DOC［8］為每個 樣本輸出一個置信度分數，分數越小越有可能屬于未知意圖；LMCL［9］和SEG［10］嘗試優化損失函數并利用LOF 算法判斷未知意圖。LeCos 可以視為損失函數的有效性驗證。

3.2 實驗設置與參數說明

參照SEG 的實驗設置，對數據集的所有意圖類別加權，抽取相應比例的已知意圖類別，并把其余意圖類別視為未知。隨機從每個意圖中選取30%的數據作為測試集，剩余70%數據中的已知意圖類別數據作為訓練集。此外，由于ATIS 數據集中一個意圖的樣本量占總體的96%，意圖分布極不平衡，使用Macro F1 得分作為評價指標。

對于SNIPS 和ATIS 數據集中的樣本分別使用300 維的FastText 和Glove 預訓練詞向量進行嵌入表示。在特征提取模塊中，設置雙向LSTM 的層數為2，輸出維度dz為128，自注意力層中注意力向量的長度T為10。在訓練已知意圖分類器模塊中，選取間隔m為0.35，范數s為30，融入標簽知識的中心損失中的超參數λ為0.5。每個語句經過訓練由一個256 維的特征向量進行表示。在未知意圖檢測器模塊中，將256 維的向量分別通過一個128 維、64 維和32 維的線性層，每次降維后使用Tanh 激活函數增加非線性因素，并用對稱的結構重建向量至256維。

對于基線模型，按照原文獻的參數設置進行實驗。設置MSP 和DOC 的閾值為0.5，在訓練時使用梯度截斷避免梯度爆炸問題。設置LMCL 的超參數m=0.35、s=30。設置SEG 的超參數m=1、λ=0.5，經過特征提取模塊后得到的特征均為12維。由于LMCL 和SEG 均使用LOF 作為未知意圖檢測器，因此對LOF 算法設置的超參數進行統一。為證明本文提出模型具有適應性，將所有模型運行超過5 次實驗的平均結果作為最終結果。

3.3 不同模型在SNIPS 數據集上的實驗結果對比

在已知意圖占比為25%、50%和75%時，各模型整體Macro F1 得分如表2 所示，各個占比的前兩名結果均用粗體標記。LeCos 損失函數在LMCL 基礎上進行改進，融入標簽知識后整體Macro F1 得分均有所提升，證明了標簽知識的有效性。此外，LeCosRE 未知意圖檢測模型在已知意圖占比為25%、50%、75%時均獲得了比基線模型更好的結果，Macro F1 得分相比于表現最優的SEG 基準模型分別提升了16.93%、1.14%和2.37%，尤其在訓練集樣本類別和數量較小的情況下，整體樣本的Macro F1得分大幅提升。

表2 SNIPS 數據集上的Macro F1 得分對比 Table 2 Comparison of Macro F1 score on the SNIPS dataset

3.3.1 損失函數實驗結果與分析

圖4 為分別使用LMCL 和LeCos 對訓練集已知意圖樣本進行訓練及樣本特征經t-SNE 降維后的可視化圖像。

圖4 LMCL 和LeCos 訓練集樣本特征分布Fig.4 Sample feature distribution with LMCL and LeCos training set

由圖4 可以看出，經LeCos 訓練的已知意圖特征在空間表現上效果更好，LeCos 不但在類間添加了足夠的間隔距離，也使每個意圖類別的特征向其類別中心靠攏。

測試集樣本特征經t-SNE 降維后的可視化圖像如圖5 所示，其中，Seen 代表已知意圖特征，Unseen代表未知意圖特征。

圖5 LMCL 和LeCos 測試集樣本特征分布Fig.5 Sample feature distribution with LMCL and LeCos test set

由圖5 可以看出，訓練集和測試集間具有差異性。經LMCL 學習的特征分布更加狹長，甚至有類別間重合的情況，且有一個已知意圖類別的特征被未知意圖特征基本覆蓋，增加了LOF 算法的檢測難度，而LeCos 較LMCL 的特征分布更加合理。

3.3.2 未知意圖檢測實驗結果與分析

使用自動編碼器代替LOF 算法作為未知意圖檢測器，在已知意圖占比為25%時已知、未知意圖樣本的識別準確率及Macro F1 得分如表3 所示，其中最優指標值用粗體標記。

表3 SNIPS 數據集上已知意圖占比為25%時的準確率及Macro F1 得分 Table 3 Accuracy and Macro F1 score when the proportion of known intents is 25% on the SNIPS dataset

在未知意圖檢測階段，LeCos 表示使用LOF 算法，而LeCosRE 表示使用自動編碼器，本文也驗證加入一個極小的隨機噪聲即LeCosRE w/o noise 可以模擬訓練集及測試集間的差異性。由表3 可以看出，LeCosRE 在已知意圖占比較小時，對于已知意圖和未知意圖的檢測效果明顯提高。

表4 和表5 分別是已知意圖占比為50%和75%時已知意圖與未知意圖的識別準確率及F1 得分，其中最優指標值用粗體標記。由表4、表5 可以看出，LeCosRE 可以在基本不影響已知意圖分類整體水平的情況下，檢測出更多的未知意圖，尤其是語義與已知意圖較為類似的未知意圖，使系統的整體性能進一步提升。

表4 SNIPS 數據集上已知意圖占比為50%時的準確率及Macro F1 得分 Table 4 Accuracy and Macro F1 score when the proportion of known intents is 50% on the SNIPS dataset

表5 SNIPS 數據集上已知意圖占比為75%時的準確率及Macro F1 得分 Table 5 Accuracy and Macro F1 score when the proportion of known intents is 75% on the SNIPS dataset

可見，自動編碼器重建誤差的方法較LOF 算法能檢測出更多未知意圖的原因主要為：1）兩者確定已知意圖邊界的方式不同，LOF 算法更傾向于使每類意圖的樣本盡可能保持同一密度，但特征分布很難保證這一前提，而自動編碼器的優勢在于其數據相關的特性，可以得到針對已知意圖更合理的邊界；2）在訓練自動編碼器時，加入微小的高斯隨機白噪聲項用于模擬訓練集與測試集之間的差異性，通過實驗對比可知，隨機噪聲可提升模型的魯棒性。

3.4 不同模型在ATIS 數據集上的實驗結果對比

為驗證本文提出模型的通用性，在ATIS 數據集上的實驗結果如表6 所示，在3 種已知意圖占比下的前兩名結果均用粗體標記。

表6 ATIS 數據集上的Macro F1 得分對比 Table 6 Comparison of Macro F1 score on the ATIS dataset

ATIS 數據集是一個類別分布極不平衡的數據集，其中一個意圖“flight”的樣本量占總體的96%，將該意圖始終劃為已知意圖。在這種條件下，LeCos仍可以獲得不錯的分類效果，而本文提出的模型LeCosRE 在已知意圖占比為25%時較現有模型提升明顯，主要原因總結為以下2 點：

1）ATIS 數據集是航空旅行領域的對話數據集，不同意圖語句間的關聯性比SNIPS 數據集更強，且其中一個意圖“flight”的樣本量占總體的96%，特征提取模塊學習到的信息基本只有“flight”本身。在測試時未知意圖特征在空間分布上表現為散落在“flight”內部或周圍。對于該意圖內部的未知意圖特征點，所有模型基本無法有效檢測，而LeCosRE 較僅使用LOF 算法學習到的已知意圖的特征邊界更加合理，因此可以檢測到更多在該意圖周圍的未知意圖。ATIS 數據集上已知意圖占比為25%時的未知意圖檢測結果如表7 所示，可以看出LeCosRE 學習的特征分布更加合理，已知意圖的識別效果提升明顯，對于未知意圖檢測效果也更好。

表7 ATIS 數據集上已知意圖占比為25%時的準確率及Macro F1 得分 Table 7 Accuracy and Macro F1 score when the proportion of known intents is 25% on the ATIS dataset

2）“flight”樣本量過大，會導致無法有效學習監督分類器。ATIS 數據集除“flight”意圖外，其余意圖只有幾十個甚至幾個樣本。當已知意圖占比更大時，沒有足夠的樣本訓練已知意圖分類器，分類結果不理想。Macro F1 得分的評價指標容易受樣本量較少類別意圖的影響，因此各模型整體Macro F1 得分均不高。尤其MSP 和DOC 隨已知意圖占比的增加，整體Macro F1 得分驟降。

4 結束語

為解決在實際應用場景中用戶語句與對話系統預設意圖不相符以至于無法進行有效檢測的問題，本文提出基于重建誤差的未知意圖檢測模型LeCosRE。首先使用融入標簽知識的聯合損失函數LeCos 訓練已知意圖分類器，使得已知意圖特征的空間分布類間距離大且類內距離小。然后使用已知意圖特征訓練自動編碼器作為未知意圖檢測器，由于自動編碼器僅學習已知意圖的相關信息，對未知意圖的重建誤差較大，因此可以檢測出更多的未知意圖樣本。在SNIPS 和ATIS 數據集上的實驗結果表明，LeCos 損失函數賦予不同類別樣本更為合理的空間分布，LeCosRE 未知意圖檢測模型可以提升對話系統整體性能，并檢測出更多的未知意圖樣本，尤其在訓練樣本數量、類別較少的情況下檢測效果相比于基線模型提升明顯。后續將嘗試利用膠囊網絡、BERT 等網絡結構結合聯合損失函數對語句特征進行學習，探索更適合下游任務的特征空間分布，提升未知意圖檢測效率。