面向工業運維人機對話的意圖和語義槽聯合識別算法

摘 要：

在工業運維人機對話任務中，為解決運維數據中包含復雜嵌套實體以及存在少量缺字、錯字的問題，提出一種改進的BERT聯合任務算法GP-GraphBERT，利用意圖和語義槽識別任務的關聯性提升對話性能。首先，由BERT得到隱藏層狀態后，通過構建鄰接矩陣將其轉換為圖結構，嵌入加權殘差圖注意力網絡（WRGAT）增強模型的鄰居感知能力。其次，改進融合旋轉式位置編碼（rotary position embedding，RoPE）的全局指針機制（GlobalPointer），使模型能夠無差別地識別常規實體和嵌套實體。最后，設計意圖識別和語義槽識別任務的聯合損失函數，利用兩者的關聯性提高預測精度，在模型訓練過程中引入動態掩碼處理，增強模型的魯棒性和泛化能力。實驗結果表明，GP-GraphBERT算法在工業運維人機對話數據集上意圖識別和語義槽識別的F1分數達到87.5%和86.4%，相較于原網絡JointBERT分別提升9.2和3.0百分點，同時能夠滿足運維數據嵌套實體識別需求。實驗充分驗證了算法在聯合識別任務中的性能。

關鍵詞：人機對話；意圖識別；槽位填充；聯合建模

中圖分類號：TP391"" 文獻標志碼：A""" 文章編號：1001-3695（2024）12-016-3645-06

doi： 10.19734/j.issn.1001-3695.2024.06.0148

Joint recognition algorithm of intents and semantic slots for human-machine dialogue in industrial operation and maintenance

Zhou Chao1， Wang Cheng1， Xia Yuan2， Du Lin2

（1.School of Internet of Things， Jiangnan University， Wuxi Jiangsu 214122， China; 2.Jiangyin Yiyuan-Jiangnan University Joint Laboratory of Industrial Intelligent Maintenance， Wuxi Jiangsu 214400， China）

Abstract：

In the task of human-machine dialogue for industrial operation and maintenance， in order to solve problems such as complex nested entities， missing words and typos in the data， this paper proposed an improved BERT joint algorithm GP-GraphBERT， which used the correlation of intent and semantic slot recognition to improve dialogue performance. Firstly， after obtaining the hidden layer states from BERT， it constructed an adjacency matrix to convert them into a graph structure and embedded it into WRGAT to enhance the model’s neighbor-awareness capabilities. Secondly， the algorithm improved the GlobalPointer mechanism incorporating RoPE， enabling the model to uniformly recognize both regular and nested entities. Finally， it designed a joint loss function for intent recognition and semantic slot recognition tasks， leveraging their correlation to improve prediction accuracy. During model training， it introduced dynamic masking to enhance the model’s robustness and generalization capabilities. Experimental results showed F1 scores of GP-GraphBERT algorithm achieved 87.5% and 86.4% for intent recognition and semantic slot recognition on the industrial operation and maintenance human-machine dialogue datasets， which were respectively improved by 9.2% and 3.0% compared to the original network， while also met the requirements for nested entity identification. The experiments fully verifies the performance of the algorithm in the joint recognition task.

Key words：human-machine dialogue; intent detection; slot filling; joint modeling

0 引言

工業智能運維利用物聯網、大數據和人工智能等賦能技術來實現工業領域設備運維方式的革新。在智能運維中利用人機對話系統，可以提供實時的問題解答，提高工業運維的效率和質量。在工業運維領域，人機對話系統需要滿足高準確性和實時性的要求。雖然大語言模型如GPT、Qwen和GLM在理解和響應人類指令方面表現出色，但在垂直領域中其生成結果可能缺乏真實性和準確性，并且訓練和部署的硬件要求較高。采用結合領域知識庫的任務導向對話系統范式（task-oriented dialogue system paradigm），能夠生成更具真實性的回答，同時更容易滿足訓練和部署的硬件要求。該范式通過識別用戶意圖、提取關鍵信息，并結合知識庫提供精確的回答來完成特定任務。

意圖識別（intent detection， ID）和槽位填充（slot filling， SF）是全面理解和處理用戶輸入的關鍵［1］，能夠與知識庫協同構建對話系統［2］。本文對工業運維領域的意圖識別和槽位填充任務展開研究。同時，由于工業運維文本數據專業性強，術語密集，包含大量嵌套實體，將針對槽位識別中的嵌套實體識別進行研究。

意圖識別和槽位填充通常分別被歸為文本分類問題和實體識別問題［3］。早期的研究中意圖識別和槽位填充被視為流水線任務，忽略了兩個任務的聯系性［4］。針對意圖識別和槽位填充模型高度依賴、容易產生錯誤級聯的問題，Zhang等人［5］提出使用雙向門控循環單元（bidirectional gating recurrent unit，BiGRU）提取語義信息，條件隨機場（CRF）預測槽位標簽，然而這種方法只是簡單考慮了意圖和語義槽識別的聯合損失，沒有在兩個任務之間建立協作機制。Li等人［6］通過在語義槽中利用門控機制整合意圖信息，提高了意圖識別的準確率，但是未考慮實體槽位對意圖識別任務的影響。E等人［7］提出SF-ID網絡，利用SF和ID兩個子網絡互相提供信息并引入迭代機制，加強意圖與語義槽的關聯。

隨著Transformer架構和預訓練模型的興起，2018年Google［8］提出BERT（bidirectional transformer encoder）。在自然語言處理任務中，BERT通過引入雙向上下文建模和預訓練-微調的方法，利用少量標注數據微調即可達到優秀的性能。Chen等人［9］針對意圖識別和槽位填充任務，提出基于BERT的聯合模型，通過意圖和語義槽雙向建模，充分利用了兩者的相互聯系性，同時提高了兩個任務的性能。由于圖結構可以建模文本序列中token間的復雜關系，Lu等人［10］提出在BERT引入圖卷積網絡（graph convolutional network， GCN），通過在節點表示中引入卷積操作來捕捉節點在圖中的語義信息，利用文本中蘊涵的語義關系圖提高自然語言處理任務的性能。Qin等人［11，12］提出引入圖交互層來建模意圖和槽位的相關性，其后又提出全局-局部圖交互網絡，形成意圖和槽識別的非自回歸框架，加快推理速度。但這種圖交互機制在面對稀疏和噪聲數據時容易產生過擬合現象。受圖卷積網絡機制啟發，文獻［13］提出了圖注意力網絡（graph attention network， GAT），在聚合節點特征時引入注意力權重，使得其能夠自適應地學習節點之間的重要性權重，以更好地捕捉節點之間的關系。

工業運維人機對話數據中包含大量的嵌套實體，如表1所示。傳統的序列標注不能實現嵌套命名實體識別，針對復雜嵌套實體難以識別的問題，Ju等人［14］引入動態堆疊平面NER層和分層標注策略，在每個平面NER層利用內部命名實體的上下文信息輔助外部實體的識別，從而完成嵌套命名實體識別任務。但這種方法如果先識別出外部實體，則無法正確識別內部實體，形成錯誤傳播。針對以上問題，Luan等人［15］提出DyGIE模型。該模型首先枚舉出輸入文本中的所有實體，然后使用動態span圖來表示實體并預測標簽，以此提升嵌套實體識別性能，但這種基于跨度的表示需要很高的計算成本。Su等人［16］采用全局指針機制GlobalPointer，通過將實體的起始和結束位置作為一個整體來考慮，避免了獨立預測頭部和尾部所帶來的局部最優問題，增強了模型對整個實體跨度的全局感知能力，能夠在嵌套實體識別中減少遺漏和錯誤覆蓋。為了給輸入序列的每個token提供位置信息，在Transformer架構中通常采取絕對位置編碼。Du等人［17］提出的GLM模型，通過采用旋轉式位置編碼，使模型更好地理解序列的長距離依賴關系，并且繼承sinusoidal位置編碼的遠程衰減特性，使遠距離token的關聯性隨距離增加而減弱，提供更準確的相對位置信息。旋轉式位置編碼為眾多自然語言處理任務提供了改進思路。

工業運維知識查詢過程中，可能存在未知術語或者缺字、錯字的情況，需要提高模型的適應能力。文獻［8］指出在BERT的預訓練過程中，將輸入序列的部分片段進行掩碼操作，讓模型依據上下文信息預測掩碼片段。文獻［18］提出用遮擋詞組的方式代替BERT遮擋單個token的方式，增強模型的魯棒性。Liu等人［19］提出RoBERTa模型，在模型訓練過程中隨機地設置掩碼的位置，避免了模型每輪訓練中數據的重復，使模型學習不同的語言表征，增強模型對未知情況的適應性。

綜上，針對工業運維場景中的意圖識別和槽位填充任務，本文設計了基于改進BERT的端到端聯合模型GP-GraphBERT，主要工作如下：

a）通過構建鄰接矩陣（adjacency matrix），將BERT隱藏狀態輸出轉換圖結構，嵌入改進的圖注意力網絡WRGAT，通過學習序列內部的動態依賴關系提高預測準確率；

b）引入全局指針機制GlobalPointer和旋轉式位置編碼RoPE，增強模型對整個實體跨度的感知能力，并且能夠無差別地識別嵌套實體和非嵌套實體；

c）在訓練階段對模型輸入進行動態掩碼處理，通過引入隨機性增強模型的泛化能力和魯棒性；設計兩個任務的聯合損失，利用任務間的關聯性提升模型性能。

1 意圖和語義槽聯合識別模型

本章介紹一種基于改進BERT的意圖和語義槽聯合識別模型GP-GraphBERT。GP-GraphBERT網絡的主體結構如圖1所示。該模型在BERT基礎上，將BERT輸出的原始特征通過邊索引（edge index）構建鄰接矩陣，從而實現圖結構轉換。將原始特征和鄰接矩陣輸入加權殘差圖注意力網絡WRGAT，得到的結果矩陣作為新的特征表示。提取其中的CLS特征，CLS特征通過全連接層得到意圖標簽的預測序列，其他特征利用融合旋轉式位置編碼的全局指針機制GlobalPointer，輸出語義槽標簽的預測序列。在模型訓練中采用動態掩碼引入隨機性，并設計了意圖和語義槽聯合識別任務的損失函數。

1.1 引入圖結構轉換的聯合任務網絡

選用BERT作為意圖識別和語義槽識別編碼器，其輸出的語義隱藏向量和構建的鄰接矩陣通過殘差連接的GAT層，為語義向量賦予鄰居信息。

1.1.1 意圖識別和語義槽識別編碼器

為了減少對標注數據的依賴，提高意圖識別和槽位填充任務的效果和訓練效率，本文基于預訓練語言模型BERT設計聯合任務網絡，如圖2所示。其中，輸入文本序列長度為n，BERT隱藏層維度為768，句首和句尾分別添加［CLS］和［SEP］標記。BERT對輸入序列{［CLS］，w1，w2，…，wn，［SEP］}進行編碼，其輸出的最后一層隱藏狀態為{eCLS，e1，e2，…，en，eSEP}。eCLS通過全連接層，得到意圖標簽的預測序列xCLS；{e1，e2，…，en}通過全連接層，得到槽位標簽的預測序列xi。全連接層由一個dropout層和一個線性層構成，語義向量通過全連接層得到預測序列的公式如下所示。

xCLS=WID（eCLS）+bI，

xi=WSD（ei）+bS（1）

其中：WI和WS分別為意圖識別和語義槽識別任務的可訓練參數；bI和bS表示偏移向量；D表示dropout處理。

1.1.2 加權殘差圖注意力網絡WRGAT

為了捕獲token間的異質化關系，通過構建鄰接矩陣將節點特征的序列結構轉換為圖結構。構建形狀為（l，3）的邊索引，其中第一列是源節點索引，第二列是目標節點索引，第三列是鄰接矩陣的交互權重值，l是邊的總數量。邊索引為序列中的源節點和目標節點構建一條有向邊。通過邊索引構建意圖和語義槽節點的鄰接矩陣M，矩陣大小為A×A，矩陣元素為兩兩節點的交互權重。設輸入文本長度為n，則鄰接矩陣的階A為n+1，邊索引中邊的總數量l為（n+1）2。在序列中，越鄰近的節點賦予越高的權重，節點自身賦予最高的權重，意圖和語義槽交互的節點權重設置為1。鄰接矩陣權重如式（2）所示。

1.2 融合旋轉式位置編碼的全局指針機制

對于任意單句文本，GlobalPointer構建一個上三角矩陣來遍歷所有的片段，并計算每個片段判定為某類型實體的得分，實現常規實體和嵌套實體的識別。設實體類型數量為etype，最大序列長度為slen，構建形狀為（etype，slen，slen）的三維矩陣，按照實體的實體類型T、起始位置ps和結束位置pe將［T，ps，pe］賦值為1，構建的上三角矩陣如圖6所示。

將BERT模型輸出的最后一層隱藏狀態通過全連接層映射到新的維度，進行拆分與堆疊，提取出Q/K向量。將旋轉式位置編碼應用在Q/K向量上，增強模型對位置信息的感知能力。基于Q/K向量計算實體得分。

1.2.1 改進的全局指針機制

設長度為n的輸入文本編碼后的向量序列為［d1，d2，…，dn］，通過線性變換qi，α=Wq，αdi和ki，α=Wk，αdi，得到Q向量［q1，α，q2，α，…，qn，α］和K向量［k1，α，k2，α，…，kn，α］，作為識別第α種類型實體所用的特征向量，其中W為權重矩陣。以qi，α與kj，α的內積作為從i到j片段為α類型實體的打分，即

sα（i， j）=qTi，αkj，α=（Wq，αdi）T（Wk，αdj）（7）

這種方式對每個片段均進行了所有實體類別的打分，實際上很多非實體的實體打分沒有意義，因此可以先判斷從i到j的片段是否為實體，再判斷實體的類別，從而減少參數量，提升模型性能。對此，將實體打分分為抽取和判別兩個部分，通過兩項組合記錄新的打分函數：

s′α（i， j）=（Wqdi）T（Wkdj）+wTα［di‖dj］（8）

其中：第一項（Wqdi）T（Wkdj）是所有片段共享的實體抽取步驟；第二項wTα［di‖dj］是基于特征拼接實現實體分類。改進的GlobalPointer通過精簡參數實現了更高效的實體識別。

1.2.2 旋轉式位置編碼

為了使實體顯式地具備相對位置信息，引入旋轉式位置編碼RoPE，如圖7所示。對每個token位置Q/K向量的元素，根據其在單句文本的位置，按照兩兩一組進行旋轉變換。

設Ri、Rj滿足關系式RTiRj=Rj－i，分別表示為

Ri=cos iθ－sin iθsin iθcos iθ，

Rj=cos jθ－sin jθsin jθcos jθ（9）

將Ri、Rj應用在抽取步驟中，式（8）修改為

s″α（i， j）=（RiWqdi）T（RjWkdj）+wTα［di‖dj］=

（Wqdi）TRTiRj（Wkdj）+

wTα［di‖dj］=

（Wqdi）TRj－i（Wkdj）+wTα［di‖dj］（10）

式（10）說明，位置為i的向量qi乘矩陣Ri，位置為j的向量kj乘矩陣Rj，則實體打分sα（i， j）將被賦予相對位置信息。

1.3 動態掩碼處理

工業運維知識查詢過程中可能存在未知術語或者缺字的情況，通過動態掩碼能夠使模型在訓練時候模擬這種隨機缺失，同時強制模型每次都從全新視角去理解和處理相同的文本。動態掩碼示意如圖8所示，在模型每輪訓練前，根據文本復雜度對數據集每個單句文本w={［CLS］，w1，w2，…，wn，［SEP］}動態調整掩碼比例，其比例為

0"""" nlt;n1［0，20%］n1≤nlt;n2［0，50%］n≥n2（11）

其中：n1和n2分別為中型文本和長文本的最低序列長度閾值。每輪訓練選取掩碼比例中的隨機值，對隨機位置進行掩碼處理。

1.4 聯合損失函數設計

聯合任務網絡既減少了工作量，同時利用意圖識別和語義槽識別任務的關聯性提高了兩個任務的性能。基于聯合訓練設計新的損失函數，其中意圖識別任務使用交叉熵損失進行計算，計算公式如下：

CE（，y）=log（y）+（1－）log（1－y）（12）

L1=－∑ni=1 ∑NIj=1CE（（j，I）i，y（j，I）i）（13）

式（12）中：表示真實的標簽分布，y表示預測的各個類別的概率分布。式（13）中：NI是意圖標簽的總數量，（j，I）i是意圖標簽的真實值，y（j，I）i是輸出的意圖標簽的預測值，n是單句文本的token數量。

在語義槽識別任務中，將損失分為非全局指針部分和全局指針部分。非全局指針部分的損失通過與意圖識別損失聯合計算，提高模型迭代過程中意圖識別的性能。該部分損失計算為

L2=－∑ni=1 ∑NSj=1（j，S）ilog y（j，S）i（14）

其中：NS表示語義槽標簽的總數量；（j，S）i是語義槽標簽的真實值；y（j，S）i是輸出的語義槽標簽的預測值。

引入全局指針機制后，假設文本序列長度為n，那么候選實體有n（n+1）/2個，該任務變成n（n+1）/2的多標簽分類問題。設候選實體的集合為Ω，Pα表示單句中實體類型為α的從i到j的片段，Qα表示該句中非實體或者非真實標簽對應實體的片段，分別表示為

Ω={（i， j）|1≤i≤j≤n}（15）

Pα={（i， j）|片段（i， j）是類型為α 的實體}（16）

Qα=Ω－Pα（17）

采用softmax函數配合交叉熵損失函數，引入全局指針部分的語義槽識別損失函數為

L3=log（1+∑（i， j）∈Pαe－sα（i， j））+log（1+∑（i， j）∈Qαesα（i， j））（18）

其中：sα（i， j）為從i到j片段為α類型實體的打分。

將多個損失以線性函數進行組合，模型的聯合損失函數為

L=λ1L1+λ2L2+λ3L3（19）

其中：λ1、λ2和λ3為超參數。

2 實驗與分析

2.1 實驗數據集

本實驗分別在工業運維人機對話數據集和MixATIS英文數據集進行訓練和驗證，詳細信息如表2所示。工業運維人機對話數據集包含了SMP中文人機對話評測數據和工業現場運維人員查詢意向文本數據。

2.2 實驗環境與評價指標

實驗測試平臺為Ubuntu 20.04.1，Python 3.6，GPU為3080Ti。預訓練語言模型選擇Chinese BERT-Base模型和English uncased BERT-Base模型，其中層數為12，隱藏層維度為768，隨機失活率dropout為0.1，初始學習率設置為2E-5，訓練過程采用Adam優化。

本文采用準確率（accuracy， ACC）、精確率（precision， P）、召回率（recall， R）和F1值作為意圖識別和語義槽識別任務評價指標。在MixATIS公共數據集選取意圖準確率（intent ACC）、語義槽F1值（slot F1）和整體準確率（overall ACC）作為對比實驗的評價指標，其中整體準確率代表測試集中意圖和語義槽均預測正確的句子的比例。不同數據集選取評價指標有差異的原因是：主流的意圖和語義槽聯合識別算法選取MixATIS英文數據集進行實驗，以意圖準確率作為意圖識別任務的評價指標，但是工業運維人機對話數據集存在意圖標簽分布不平衡的現象，訓練過程中模型可能會忽略標簽數量極少的類別。為避免此類情況，在中文數據集意圖識別任務中添加了F1分數作為評價指標。

2.3 模塊消融實驗

為驗證各模塊對模型性能的影響，本節基于工業運維人機對話數據集對各個模塊進行消融實驗，消融實驗結果如表3所示，w/o（without）表示本文方法去除某個模塊后的模型。

由表3可知，未嵌入圖注意力網絡時，工業運維數據集的意圖識別和語義槽識別的F1值分別降低了5.2和2.3百分點；去除全局指針機制時，語義槽識別的F1值降低了3.0百分點；未進行動態掩碼處理時，意圖識別的F1值降低了4.2百分點；本文模型的意圖識別和語義槽識別的F1值較基線模型提升了9.2和3.0百分點。

由消融實驗結果可分析得出，圖注意力網絡通過圖結構建模意圖和語義槽各個節點的關聯性，捕捉序列內部的動態依賴關系，同時提高意圖識別和語義槽識別任務的性能；全局指針機制將實體頭部和尾部視為一個整體進行判別，同時考慮首尾的上下文信息，融合RoPE為實體打分賦予相對位置信息，在完成嵌套實體識別任務的同時提升語義槽識別的效果；引入動態掩碼后，使模型不再依賴于特定位置的詞匯，而是理解整個句子，增強模型對于噪聲和信息不完整的容忍度，提高模型的魯棒性，從而提高意圖識別任務的性能。

2.4 對比實驗

為驗證GP-GraphBERT的性能，設計獨立建模和聯合模型、本文算法和主流聯合算法兩個方面的對比實驗并進行分析。

2.4.1 意圖和語義槽識別獨立模型和聯合模型對比實驗

基于工業運維人機對話數據集，分別以獨立模型和聯合模型進行意圖識別和語義槽識別的性能對比，結果如表4所示。實驗結果表明，本文使用的聯合模型相比單獨任務，意圖識別和語義槽識別的F1值分別提升了10.6和3.3百分點，說明聯合算法意圖和語義槽識別的性能優于獨立建模。聯合模型利用兩個任務的相互依存關系，提升了意圖和語義槽的識別效果，減少了獨立建模帶來的誤差傳播，同時提高數據的利用效率和模型的計算效率。

2.4.2 意圖和語義槽聯合算法性能對比實驗

為驗證改進后GP-GraphBERT意圖和語義槽識別的性能，選取主流的聯合算法，基于MixATIS英文公共數據集，在意圖準確率（intent ACC）、語義槽F1值（slot F1）和整體準確率（overall ACC）方面進行對比，對比結果如表5所示。可以看出，本文算法相較其他主流的聯合算法均有一定的提升。與SLIM相比，本文算法在MixATIS數據集上的意圖準確率提高了2.3百分點，整體準確率提高了5.5百分點；語義槽F1值降低了0.6百分點，但GP-GraphBERT算法更側重于同時實現常規實體和嵌套實體識別，無法在此數據集中體現。

由實驗結果可知，本文方法通過引入加權殘差圖注意力網絡和動態掩碼處理，利用實體識別信息輔助意圖推斷，并且在模型訓練過程中模擬隨機信息缺失，有效提升了意圖識別性能；通過引入圖結構轉換，將意圖和語義槽表達的豐富信息映射到圖結構中，利用節點之間的關聯性捕捉它們的高層次語義特征，增強了整體語義預測能力。

針對工業運維數據和SMP人機對話評測數據，基線模型Joint-BERT、SLIM和本文算法GP-GraphBERT的部分識別案例如表6所示?？梢钥闯?，在語義槽識別任務中，Joint-BERT和SLIM均無法準確識別出嵌套實體，而GP-GraphBERT可以正確識別出來；與基線模型JointBERT相比，GP-GraphBERT針對常規實體的識別結果更加完整，較少出現缺字現象，且意圖識別的結果更加準確。由實驗結果可以分析得出，GP-GraphBERT通過引入全局指針機制GlobalPointer，將傳統方法中針對每個位置單獨預測的策略，轉變為對文本中所有潛在實體組合進行整體預測，提高了對整個實體跨度的感知能力，能夠同時識別常規實體和嵌套實體，滿足工業運維數據語義槽識別需求。

2.5 聯合損失參數分析

為探討聯合算法受損失函數參數的影響情況，針對聯合損失中的不同參數比例進行實驗，分析不同比例對模型性能的影響，具體結果如圖9所示，其中聯合損失參數比例λ1∶λ2∶λ3記為ratio。逐步增大全局指針部分語義槽識別損失的參數，可以觀察到語義槽F1值逐漸增大，聯合損失參數比例為8∶8∶1，4∶2∶1和2∶1∶1時，意圖F1值均達到了較高的分數。綜合考慮以上因素，選用2∶1∶1作為聯合損失比例，模型在意圖識別和語義槽識別任務中均有較好的性能表現。

2.6 意圖和語義槽識別應用案例

在人機對話交互過程時，意圖和語義槽識別的應用案例如圖10所示。當用戶發起對話時，通過本文的GP-GraphBERT算法提取出輸入中的意圖和語義槽，再將其轉變為Cypher查詢語言，通過查詢Neo4j圖數據庫獲取工業運維領域知識，最終得到輸出結果返回給用戶。GP-GraphBERT算法能夠有效識別用戶輸入中的意圖和語義槽，為工業運維人機對話提供可靠依據。

3 結束語

本文針對工業運維人機對話任務，提出了意圖和語義槽聯合識別算法GP-GraphBERT。通過鄰接矩陣構建加權殘差圖注意力網絡，提高模型對意圖和語義槽交互信息的理解。建立融合旋轉式位置編碼的全局指針機制，使模型無差別地完成運維數據中常規實體和嵌套實體識別任務，同時提高模型的位置理解能力，從而提升語義槽識別的性能。通過對輸入數據進行動態掩碼處理，提高模型的泛化能力和魯棒性，增強對運維數據中的缺字、錯字等異常情況的適應能力。分別在中文和英文公開數據集以及工業運維數據集上，通過對比實驗和消融實驗證明了模型的有效性，能夠滿足工業運維人機對話的需求。未來將研究如何通過知識抽取、實體鏈接等技術優化知識圖譜的構建，同時通過用戶反饋自動優化意圖和語義槽聯合識別模型。

參考文獻：

［1］李艷玲， 顏永紅. 統計中文口語理解執行策略的研究 ［J］. 計算機科學與探索， 2017， 11（6）： 980-987. （Li Yanling， Yan Yonghong. Research on execution strategy about statistical spoken language understanding ［J］. Journal of Frontiers of Computer Science and Technology， 2017， 11（6）： 980-981.）

［2］周天益， 范永全， 杜亞軍， 等. 基于細粒度信息集成的意圖識別和槽填充聯合模型 ［J］. 計算機應用研究， 2023， 40（9）： 2669-2673. （Zhou Tianyi， Fan Yongquan， Du Yajun， et al. Joint model of intent detection and slot filling based on fine-grained information integration ［J］. Application Research of Computers， 2023， 40（9）： 2669-2673.）

［3］侯麗仙， 李艷玲， 李成城. 面向任務口語理解研究現狀綜述 ［J］. 計算機工程與應用， 2019， 55（11）： 7-15. （Hou Lixian， Li Yanling， Li Chengcheng. Review of research on task-oriented spoken language understanding ［J］. Computer Engineering and Applications， 2019， 55（11）： 7-15.）

［4］張玉慧， 陳黎， 琚生根， 等. 基于圖注意力網絡的多意圖識別與語義槽填充聯合模型 ［J/OL］. 軟件學報. （2024-02-05）. https：//jos. org. cn/jos/article/pdf/7062. html. （Zhang Yuhui， Chen Li， Ju Shenggen， et al. Joint model for multi-intent detection and slot filling based on graph attention network ［J］. Journal of Software. （2024-02-05）. https：//jos. org. cn/jos/article/pdf/7062. html.）

［5］Zhang Xiaodong， Wang Houfeng. A joint model of intent determination and slot filling for spoken language understanding ［C］// Proc of the 25th International Joint Conference on Artificial Intelligence. 2016： 2993-2999.

［6］Li Changliang， Li Liang， Qi Ji. A self-attentive model with gate mecha-nism for spoken language understanding ［C］// Proc of Conference on Empirical Methods in Natural Language Processing. 2018： 3824-3833.

［7］E Haihong， Niu Peiqing， Chen Zhongfu， et al. A novel bi-directional interrelated model for joint intent detection and slot filling ［C］// Proc of the 57th Annual Meeting of the Association for Computational Linguistics. 2019： 5467-5471.

［8］Devlin J， Chang M W， Lee K， et al. BERT： pre-training of deep bidirectional transformers for language understanding ［C］// Proc of Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. 2019： 4171-4186.

［9］Chen Qian， Zhuo Zhu， Wang Wen. BERT for joint intent classification and slot filling ［EB/OL］. （2019-02-28）. https：//arxiv. org/abs/1902. 10909.

［10］Lu Zhibin， Du Pan， Nie Jianyun. VGCN-BERT： augmenting BERT with graph embedding for text classification ［C］// Proc of the 42nd European Conference on IR Research. 2020： 369-382.

［11］Qin Libo， Xu Xiao， Che Wanxiang， et al. AGIF： an adaptive graph-interactive framework for joint multiple intent detection and slot filling ［C］// Proc of IEEE Workshop on Automatic Speech Recognition and Understanding. Piscataway，NJ：IEEE Press， 2020： 1807-1816.

［12］Qin Libo， Wei Fuxuan， Xie Tianbao， et al. GL-GIN： Fast and accurate non-autoregressive model for joint multiple intent detection and slot filling ［EB/OL］. （2021-06-03）. http：//arxiv. org/abs/2106. 01925.

［13］Velikovic＇ P， Cucurull G， Casanova A， et al. Graph attention networks ［EB/OL］. （2017-10-30）. https：//arxiv. org/abs/1710. 10903.

［14］Ju Meizhi， Miwa M， Ananiadou S. A neural layered model for nested named entity recognition ［C］// Proc of Conference of the North American Chapter of the Association for Computational Linguistics. 2018： 1446-1459.

［15］Luan Yi， Wadden D， He Luheng， et al. A general framework for information extraction using dynamic span graphs ［C］// Proc of Confe-rence of the North American Chapter of the Association for Computatio-nal Linguistics： Human Language Technologies. 2019： 3036-3046.

［16］Su Jianlin， Murtadha A， Pan Shengfeng， et al. Global pointer： novel efficient span-based approach for named entity recognition ［EB/OL］. （2022-08-05）. https：//arxiv. org/abs/2208. 03054.

［17］Du Zhengxiao， Qian Yujie， Liu Xiao， et al. GLM： general language model pretraining with autoregressive blank infilling ［C］// Proc of the 60th Annual Meeting of the Association for Computational Linguistics. 2022： 320-335.

［18］Sun Yu， Wang Shuohuan， Feng Shikun， et al. Ernie 3. 0： large-scale knowledge enhanced pre-training for language understanding and genera-tion ［EB/OL］. （2021-07-05）. https：//arxiv.org/abs/2107.02137.

［19］Liu Yinhan， Ott M， Goyal N， et al. RoBERTa： a robustly optimized BERT pretraining approach ［EB/OL］. （2019-07-26）. https：//arxiv.org/abs/1907.11692.

［20］Gangadharaiah R， Narayanaswamy B. Joint multiple intent detection and slot labeling for goal-oriented dialog ［C］// Proc of Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. 2019： 564-569.

［21］Chen Lisong， Zhou Peilin， Zou Yuexian. Joint multiple intent detection and slot filling via self-distillation ［C］// Proc of IEEE International Conference on Acoustics， Speech and Signal Processing. Piscataway，NJ：IEEE Press， 2022： 7612-7616.

［22］Cai Fengyu， Zhou Wanhao， Mi Fei， et al. Slim： explicit slot-intent mapping with bert for joint multi-intent detection and slot filling ［C］// Proc of IEEE International Conference on Acoustics， Speech and Signal Processing. Piscataway，NJ：IEEE Press， 2022： 7607-7611.