意圖識別與語義槽填充的雙向關聯模型

王麗花，楊文忠，姚 苗，王 婷，理姍姍

1.新疆大學 軟件學院，烏魯木齊830046

2.新疆大學 信息科學與工程學院，烏魯木齊830046

目前階段的人機交互方式主要以人機對話為主，如谷歌Home、天貓精靈等。口語理解是人機對話系統中的重要環節，旨在形成一個語義框架來捕獲用戶話語或查詢的語義[1]。意圖識別和語義槽填充又是口語理解的兩個重要子任務，通過意圖識別挖掘用戶在自然語言中表達的意圖，再利用語義槽填充提取話語中的語義概念。

對于給定的一組用戶話語，意圖識別是在句子層面理解整個語句的語義，然后識別出該語句的意圖[2]；語義槽填充任務在單詞級別標注這句話，每個詞對應一個槽標簽，最終輸出與輸入序列長度相同的槽標簽序列。如表1為意圖識別和語義槽填充任務的一個標注實例，取Snips[3]數據集中的一條數據“play a popular chant by Brian Epstein”作為輸入。在語義槽標注時采用Begin/In/Out（BIO）標簽標注分詞結果，槽標注結果如“Slots”一行所示，槽標簽“B-artist I-artist”為藝術家的名字，意圖的識別結果如“Intent”一行。輸入的話語通過意圖識別與語義槽填充任務處理之后，形成一個簡單的語義框架，可以很好地捕捉用戶話語的語義。

表1 用戶話語標注示意表

意圖識別和語義槽填充作為口語理解的兩個關鍵子任務，兩者之間存在緊密的聯系，考慮到單獨研究意圖識別和語義槽填充模型容易出現誤差傳播，使口語理解性能下降，提出意圖識別語義槽填充的聯合模型[4]。基于此本文提出了基于門控機制的雙向關聯模型（Bidirectional Association Gate，BiAss-Gate）來完善現有的聯合模型，通過深入挖掘意圖識別與語義槽填充之間的聯系，建立雙向關聯機制，彌補了現有聯合模型中存在的淺層關聯、單向關聯的不足。

1 相關工作

在傳統的研究中，意圖識別和語義槽填充任務分別單獨處理。

意圖識別常被視為多分類任務。對于給定的一組話語，預測出該話語所對應的意圖類型。常用的意圖分類方法有支持向量機（Support Vector Machine，SVM）[5]、樸素貝葉斯[6]，近年來，深度神經網絡方法也被用來進行意圖分類[7]，并取得了不錯的效果。文獻[8]提出了一種基于注意力機制的CNN（Convolutional Neural Networks）-LSTM（Long Short-Term Memory）模型來預測用戶意圖，并將無監督聚類方法應用于用戶意圖分類。文獻[9]提出基于門控機制的信息共享網絡來檢測口語意圖。

語義槽填充通常被視為序列標注任務，對于給定的一組話語，輸出所對應的最大概率的槽標簽序列[10]。條件隨機場（Conditional Random Fields，CRF）[11]和長短時記憶網絡（LSTM）[12]常常被用來處理序列標注任務。文獻[13]用遞歸神經網絡（Recursive Neural Network，RecNNs）來處理語義槽填充任務；文獻[14]用語句級信息和編碼器LSTM來填充語義槽。

最近，學者們提出將意圖識別和語義槽填充聯合建模，聯合模型可以同時生成每個話語的意圖和槽標簽序列，利用兩個任務之間的關聯關系從而進一步提高SLU任務的性能。采用流水線式的級聯方式來聯合建模不但容易造成誤差傳播，而且未捕捉到兩任務之間的關聯關系。文獻[15]將基于三角鏈CRF 的CNN 模型用于意圖識別與語義槽填充的聯合學習任務；文獻[16]使用RecNNs 將句法結構和連續空間的單詞、短語表示合并到組合模型中，建立意圖識別和語義槽填充的聯合模型；文獻[17]將基于知識導向結構的注意力機制網絡（K-SAN）應用于語言理解任務；文獻[18]提出將RNN（Recurrent Neural Network）與CNN共同用于意圖識別和語義槽填充的聯合任務中，兩個任務共享統一的損失函數；文獻[19]引入了雙向的RNN-LSTM 模型，實現語義槽填充、意圖檢測和領域分類的聯合建模，但未建立語義槽填充和意圖識別之間的明確關系；文獻[20]提出基于注意力的RNN 模型，但只應用聯合損失函數將這兩個任務隱式地關聯起來；文獻[21]提出slot-gated 機制，將意圖上下文信息應用于語義槽填充任務，建立了意圖到語義槽的單向聯系，語義槽填充的性能得到一定提升，但語義槽上下文信息并未用于意圖識別任務，未建立兩任務之間的雙向關聯關系。

意圖和語義槽是用戶行為的語義表征，共享用戶話語信息，一個任務的信息可以被另一個任務利用來互相提高彼此的性能[22]，意圖識別和語義槽填充的上下文信息可為對方任務提供線索，互相促進。因此，本文提出了基于門控機制的雙向關聯模型（BiAss-Gate）用來處理意圖識別和語義槽填充的聯合任務。BiAss-Gate 模型建立兩個任務間的雙向關聯，將意圖上下文信息和語義槽上下文信息通過雙向門控機制進行融合得到特征權重r，r作為兩任務之間的互相關聯的紐帶，實現了意圖識別與語義槽填充的雙向關聯，并使兩任務性能互相提升。在ATIS[23]、Snips[3]數據集上都取得了比其他模型更好的性能，證實了本文模型的有效性。

2 相關技術

2.1 詞嵌入

將文本轉換成詞向量是各種NLP（Natural Language Processing）任務中文本向量化的首選技術，one-hot 模型來構建的詞向量具有高維稀疏的缺點，它不僅丟失了詞義以及詞之間的聯系，而且無法準確表達不同詞之間的相似度。基于此本文使用Mikolov等人[24]提出的word2vec模型來構建詞向量，將輸入序列的詞編碼成相對低維稠密的連續向量。word2vec 模型能夠捕捉詞語的語法和語義，計算詞語之間的相似度，并且挖掘人們很難察覺的詞語之間的關系，在大部分的NLP 任務上word2vec模型都有很好的表現。

2.2 Bi-LSTM網絡

長短期記憶神經網絡（Long Short-Term Memory，LSTM）[25]是一種改進之后的循環神經網絡（RNN），LSTM網絡引入了門機制和單元狀態c，它既很好地解決了RNN 不能捕捉長期依賴關系的問題，又避免了RNN所存在的梯度消失和梯度爆炸問題。對于當前時刻的輸入xi，經過LSTM單元會產生兩個輸出，當前時刻的隱藏狀態hi和當前時刻的單元狀態ci。LSTM的單元狀態c用來保存長期的狀態，門控機制的三個門用來控制單元狀態c所保存的信息，遺忘門決定了上一時刻的單元狀態c有多少信息需要保留到當前時刻的ci，輸入門決定了當前時刻的輸入xi有多少信息需要保留到當前時刻ci，輸出門來控制當前時刻的單元狀態ci有多少信息輸出到當前時刻的隱藏狀態hi。計算公式如下：

σ是sigmoid函數，i、f、o、c分別是輸入門、遺忘門、輸出門和單元狀態，W是權重矩陣，例如Wi代表輸入門的權重矩陣。b為偏置項，例如bi為輸入門的偏置項。是點積運算。

圖1 模型框架圖

雙向長短時記憶網絡（Bi-directional Long Short-Term Memory，Bi-LSTM）[13，26]方法廣泛應用于序列標注和分類任務，通過Bi-LSTM 可以更好地捕捉雙向的語義依賴，建模上下文信息，解決了網絡LSTM 無法編碼從后到前信息的問題。Bi-LSTM 由前向LSTM 層和后向LSTM層組成，分別用于編碼從前到后和從后到前的輸入序列信息。將詞嵌入層的輸出作為Bi-LSTM的輸入，前向LSTM層生成隱藏狀態hfi，后向LSTM層生成隱藏狀態hbi，第i時間步的最終隱藏狀態hi由hfi、hbi拼接形成。Bi-LSTM 層最終可以得到與輸入序列長度相同的隱藏狀態序列Bi-LSTM層的輸出被兩個任務共享，計算公式如下：

2.3 條件隨機場

條件隨機場（CRF）[9]是目前序列標注任務的主流模型。CRF模型的目標函數不僅考慮輸入的狀態特征，而且還引入了標簽轉移特征，這使它會考慮輸出標簽之間的順序，并可以充分利用相鄰標簽之間的相互關系，在給定輸入數據的條件下CRF模型可以輸出使目標函數最大化的最優標簽序列，另外CRF層還可以從訓練數據中學到一些約束規則來保證預測標簽序列的合理性[27]。

3 BiAss-Gate模型

3.1 BiAss-Gate模型總體框架

本文提出的基于門控機制的雙向關聯模型如圖1所示。對于給定的一組話語輸入序列X[x1,x2,…,xT]，首先將X輸入到最底層的詞嵌入層，通過詞嵌入捕捉詞之間的語義和聯系，并將輸入序列映射成詞向量矩陣作為Bi-LSTM 網絡的輸入，然后通過Bi-LSTM 網絡捕捉輸入序列的上下文依賴關系，并將隱藏狀態序列作為注意力層的輸入，注意力機制可以捕捉隱藏狀態hi無法捕捉到的附加依賴信息[27]，通過意圖-語義槽注意力層分別獲得意圖的上下文信息向量cI和語義槽的上下文信息向量。最后將輸入到雙向關聯門控層獲得聯合權重特征r，并將r作為加權特征應用于兩任務，實現雙向關聯。將隱藏狀態序列、上下文向量以及聯合權重特征作為意圖識別和語義槽填充任務的輸入，最后語義槽填充任務采用CRF模型對全局打分得到最優的槽標注序列作為最終的輸出。

3.2 意圖-語義槽注意力層

Bi-LSTM的每一時刻的隱藏狀態hi都承載著整個序列的信息，但信息會在正向和反向傳播過程中有所丟失，而注意力機制不但可以捕捉全局聯系，并且關注了元素的局部聯系，對輸入的每個元素考慮不同的權重參數，更加關注與輸入的元素相似的部分，而抑制其他無用的信息。本文通過注意力機制[28]選擇性地關注Bi-LSTM層中相對重要的一些隱藏狀態，并加大它們的權重。通過意圖-語義槽注意力層獲得意圖的上下文信息向量和語義槽的上下文信息向量，利用、構建兩任務的聯合特征權重r。

T是注意力層的維度，σ是激活函數，ei,k計算的是hk和當前輸入向量hi之間的關系分別為hk和hi的權重矩陣。

在意圖識別任務中，通過意圖注意力層得到意圖上下文信息向量cI。計算方式同語義槽上下文向量。

3.3 雙向關聯門控機制

基于文獻[21]提出的slot-gated機制，本文提出基于門控機制的雙向關聯模型（BiAss-Gate），利用意圖上下文向量和語義槽上下文向量來建模意圖與語義槽之間的關聯關系。本文將意圖上下文向量cI和語義槽上下文向量作為雙向關聯門控層的輸入，產生一個雙向增強的聯合權重向量r，如圖2 所示。r越大，說明意圖-槽注意力層對序列關注的重合部分占比越大，進一步說明意圖與語義槽的相關度越高，聯系越緊密。r的計算公式如下：

v，W分別為可訓練的權重，的聯合權重表示，然后再將r作為權重特征和上下文向量、隱藏狀態一同用于意圖識別和語義槽填充任務。

圖2 BiAss-Gate結構圖

3.4 意圖識別

3.5 語義槽填充

雖然可以在模型的最后使用softmax函數得到輸出序列，如公式（14），但輸出序列的每個槽標簽相互獨立，它只在每一步中挑選出每個詞所對應最大概率值槽標簽作為輸出，沒有考慮到輸出序列標簽之間的影響，而且會導致輸出不合理的標簽序列。

因此本文在處理語義槽填充任務時在Bi-LSTM 網絡后面加一層CRF。狀態特征P是網絡模型的輸出的打分矩陣，矩陣的元素是輸入序列X中第i個單詞對應第j個槽標簽時的分數，Pi為特征矩陣的第i列，即輸入序列的第i個詞對應所有可能槽標簽的分數向量[29]。槽標簽轉移特征矩陣用A表示，Ai,j表示從槽標簽轉移到槽標簽的分數。當輸入序列X所對應的輸出序列為yslot時的得分為公式如下：

訓練時，CRF的目標是使正確標簽序列的概率最大化。預測時，將得分最高的槽標簽序列作為最終輸出序列，此時得到的槽標簽序列為最優的輸出序列[30]。公式如下：

4 實驗

4.1 數據集

為驗證本文模型的有效性和泛化性，實驗采用SLU任務中最常用的兩個公開數據集：ATIS（Airline Travel Information Systems）數據集、Snips 數據集。如表2 所示。ATIS 數據集由預訂航班用戶的音頻記錄組成，本文使用與文獻[21]相同的數據集分割。把ATIS-2 和ATIS-3語料庫的4 978條記錄劃分為訓練集和驗證集兩部分，訓練集包含4 478 條，驗證集包含500 條，另外測試集的893 條記錄來自ATIS-3 NOV93 和DEC94 語料庫，訓練集包含120個語義槽標簽和21個意圖類型。

表2 數據集

Snips 數據集是從Snips 個人語音助手中收集得到。訓練集、驗證集分別包含13 084 條、700 個條記錄，并另將700個條記錄作為測試集。Snips訓練集包含72個語義槽標簽和7個意圖類型。

在表2 中Vocabulary_size 為詞匯量大小；Average Sentence Length 為句子平均長度，Intent_num為意圖類型數量；Slot_num 為槽標簽數量；Training_set_size、Development_set_size、Test_set_size分別為訓練集、驗證集和測試集的大小。

4.2 評價標準

在實驗中，意圖識別和語義槽填充分別采用準確率（Accuracy）和F1 值作為其性能的評價指標，此外，實驗還采用句子級（Sentence）的準確率來評判話語級語義框架的性能，句子級準確率就是指在整個測試集中，預測出的意圖類型和語義槽標簽序列都正確的句子所占的百分比。

4.3 參數設置

實驗采用Adam（Adaptive Moment Estimation）優化算法[31]更新神經網絡的參數，并使用早停策略防止過擬合。模型參數如表3所示。

表3 模型參數表

其中num_units 為Bi-LSTM 網絡隱藏層單元數；batch_size為單次迭代訓練批處理樣本的個數；num_layers為Bi-LSTM 網絡層數；max_epochs 為最大訓練周期；learning_rate為模型學習率。

4.4 實驗結果

4.4.1 模型實驗

將本文模型BiAss-Gate 與其變體BiAss-Gate（without CRF）、BiAss-Gate（Stack-Bi-LSTM）進行對比。從表4 可以看出BiAss-Gate 模型與BiAss-Gate（without CRF）模型相比，特別在Snips數據集上語義槽填充的F1值增長了3.46個百分點，句子級準確率提升了5.58個百分點。CRF 不僅可以提高語義槽填充的性能還優化了話語級語義框架的性能。

本文嘗試用堆疊的Bi-LSTM 網絡來捕捉輸入序列的上下文信息。實驗表明，在ATIS和Snips數據集上含單層Bi-LSTM網絡的BiAss-Gated模型比含堆疊Bi-LSTM網絡的BiAss-Gated（Stack-Bi-LSTM）模型表現更好。因為堆疊的Bi-LSTM 網絡加深了網絡的深度，雖然可以挖掘更深的語義關系但同時增加了模型的復雜度，對于ATIS、Snips這種句子語義相對簡單的數據集，性能提高不明顯。

表4 模型實驗對比 %

表5 其他模型對比實驗 %

4.4.2 對比其他模型實驗

為驗證本文模型的有效性，將本文模型BiAss-Gate分別與文獻[19]中的Joint Seq 模型、文獻[20]中的Attention BiRNN模型以及文獻[21]中的Slot-Gated-Full的模型進行對比。實驗結果如表5 所示，基線模型中，Slot-Gated-Full模型與Joint Seq模型、Attention BiRNN模型相比，取得了最好的性能，說明slot-gated機制比使用共享損失函數更能捕捉意圖識別與語義槽填充之間的關聯關系。

與Slot-Gated-Full 模型相比，本文模型BiAss-Gate模型在ATIS數據集和Snips數據集上，語義槽填充的F1值分別提高了1、4.82個百分點，意圖識別的準確率分別增長了3.49、1.29 個百分點，句子級的準確率分別實現了4.36和8.93個百分點的提升。表明雙向關聯的BiAss-Gate模型比單向關聯的Slot-Gated-Full模型更能很好地挖掘意圖識別與語義槽填充任務之間的關聯關系，并實現了意圖識別和語義槽填充任務性能的互相提升。特別是句子級的準確率提升幅度最大，說明BiAss-Gate模型可以充分利用兩任務之間的關聯關系，優化聯合模型的全局性能。

本文的模型在兩個數據集上的性能都取得了明顯的提升，但模型在兩數據集上性能提升的幅度卻存在差異。在ATIS 數據集上，語義槽填充和話語級語義框架的性能比在Snips 數據集上的好，這是因為數據集本身的特點，如表2所示，ATIS數據集與Snips數據集相比句子的平均長度較短，ATIS 語料為同一領域，而Snips 的語料跨多領域，比較復雜。然而Snips 數據集上的意圖識別任務的性能比ATIS數據集上的好，因為在Snips數據集語料庫遠大于ATIS的數據集的情況下，Snips所標注的意圖類型數量卻遠小于ATIS 數據集，ATIS 數據集的類圖類型更細粒度化，意圖識別的準確率稍低。

5 結束語

為了充分利用意圖識別和語義槽填充之間的關系，來提升聯合模型的性能，本文提出了BiAss-Gate模型來深度挖掘意圖識別與語義槽填充任務之間的關聯關系，利用意圖和語義槽的上下文信息建立兩個任務之間的雙向關聯，促進兩個任務性能的互相提升，進而優化全局性能。BiAss-Gate 模型在ATIS、Snips 數據集上與其他模型進行對比，實驗結果表明，本文所提的BiAss-Gate模型在兩個數據集上表現出了最佳性能。

本文的模型有一些不足：（1）所選的數據集比較簡單，為進一步驗證本文模型的有效性，還需在更復雜的數據集上對本文方法進行評估。（2）本文僅采用詞級嵌入來捕獲輸入句子的語義，這使得到的語義關系比較單薄，下一步的工作中將把字符級嵌入與詞級嵌入相結合，捕捉更豐富的語義信息來提高SLU的性能。在后續的研究中，將把多意圖識別作為研究重點，一個句子中可能包含多個意圖，識別句子中的多個意圖將會進一步提高SLU的的性能。