基于距離損失和決策邊界的開放意圖檢測方法

文章編號：1008-1542（2024）06-0618-09

摘" 要：

針對開放意圖檢測任務中對特征分布處理不足有可能導致所得特征分布不夠緊湊的問題，提出一種融合BERT、距離損失、決策邊界的開放意圖檢測方法。首先，通過BERT模型捕獲文本間的上下文特征；然后，通過距離損失令樣本特征學習更為緊密；最后，進行決策邊界學習，實現(xiàn)開放意圖檢測任務。結果表明，所提方法在公開數(shù)據(jù)集StackOverflow上具有較好的表現(xiàn)，在2種不同的已知意圖比例設置下表現(xiàn)均為最好，準確率達到88.28%和84.43%，F(xiàn)1值達到87.51%和87.40%。研究結果補充了針對邊界檢測的特征表示再處理方法，

可為解決開放意圖檢測問題提供參考。

關鍵詞：

自然語言處理;意圖識別; 意圖檢測; 距離損失; 決策邊界

中圖分類號：TN391

文獻標識碼：A

DOI：10.7535/hbkd.2024yx06006

收稿日期：2024-01-04；修回日期：2024-09-15；責任編輯：馮民

基金項目：國家自然科學基金（61772075）；

河北省自然科學基金（F202208006，F(xiàn)2023207003）；河北省高等學校科學研究青年基金項目（QN2024196）

第一作者簡介：

張盼盼（1998—）男，河北邯鄲人，碩士研究生，主要從事自然語言處理及意圖挖掘方面的研究。

通信作者：高凱，教授。E-mail：gaokai@hebust.edu.cn

池云仙，博士。E-mail：chiyunxian_hebtu@163.com

張盼盼，華宇，勾智楠，等.

基于距離損失和決策邊界的開放意圖檢測方法

［J］.河北科技大學學報，2024，45（6）：618-626.

ZHANG Panpan， HUA Yu，GOU Zhinan，et al.

Open intent detection based on distance loss and decision boundary

［J］.Journal of Hebei University of Science and Technology，2024，45（6）：618-626.

Open intent detection based on distance loss and decision boundary

ZHANG Panpan1， HUA Yu1，GOU Zhinan2，CHI Yunxian1，GAO Kai1

（1.School of Information Science and Engineering， Hebei University of Science and Technology，

Shijiazhuang， Hebei 050018， China;

2.School of Management Science and Information Technology， Hebei University of Economics and Business，

Shijiazhuang， Hebei 050061， China）

Abstract：

In order to solve the problem that the feature distribution is not compact enough due to insufficient processing of feature distribution in open intent detection task， an open intent detection method integrating BERT， distance loss and decision boundary was proposed. Firstly， the context features between texts were captured by BERT model. Then， the learning of sample features was made more compact by distance loss. Finally， decision boundary learning was carried out to achieve the task of open intent detection. The results show that the proposed method has high performance on the public dataset StackOverflow， with the best performance under two different known intent ratio settings， achieving the accuracy of 88.28% and 84.43%， and the F1 values of 87.51% and 87.40%， respectively. The research results

complement the future representation reprocessing method for boundary detection，and can provide reference for open intent detection.

Keywords：

natural language processing; intent recognition; intent detection; distance loss; decision boundary

意圖識別在自然語言理解中起著至關重要的作用。傳統(tǒng)的意圖識別任務屬于封閉環(huán)境下的分類任務，而封閉環(huán)境下的意圖類別均是模型在訓練階段接觸過的，即后續(xù)的所有意圖類別均會被識別為已知的意圖類別。隨著有監(jiān)督分類方法的發(fā)展，傳統(tǒng)的意圖識別取得了很大的進展［1-2］。然而隨著社交網絡等新媒體的快速發(fā)展，不計其數(shù)的社交網絡對話數(shù)據(jù)往往不再受限于封閉環(huán)境下的分類任務，傳統(tǒng)封閉環(huán)境下的意圖識別已經不能夠滿足任務需要［3］，因此有必要進行開放意圖檢測。

開放意圖檢測是在保證封閉環(huán)境下已知意圖識別質量的同時，還具備較好的開放意圖檢測能力。

最早的開放集問題是在計算機視覺任務中被探索［4］，開放集識別的設置與開放意圖檢測任務最為接近，目的同樣是識別已知類的同時拒絕未在訓練集中出現(xiàn)的未知類，與之類似的還有開放領域適應任務［5］。然而開放集識別的設置可以使用未知類的數(shù)據(jù)進行參數(shù)調優(yōu)。與之相比，開放意圖檢測任務中，

為貼近真實場景，在訓練期間僅使用已知部分數(shù)據(jù)，對開放意圖數(shù)據(jù)則完全不可見。依據(jù)已有工作［6-7］，將開放的意圖定義為第（n+1）類。該任務的目標是在將訓練環(huán)境已知的n類意圖準確識別的同時，能夠檢測出開放環(huán)境的第（n+1）類樣本。

相關工作中，HENDRYCKS等［8］采用softmax概率作為置信度評分，通過設置統(tǒng)一的置信度分數(shù)閾值來進行開放類別檢測，分數(shù)越低則越有可能超出開放邊界；BENDALE等［9］對分類結果進行韋伯分布擬合，使用OpenMax層校準置信度分數(shù)；SHU等［10］使用多個sigmoid替代單個softmax作為分類函數(shù)，通過統(tǒng)計學計算得到各個類別的置信度閾值，但該方法經驗性較強；LIN等［6］提出通過最大邊距余弦損失學習深層次意圖特征，使用局部離群因子方式來檢測未知意圖；ZHANG等［7］將意圖特征表示看作高維空間坐標，通過自適應的球型決策邊界為閾值，作為區(qū)分未知意圖的依據(jù)；YAN等［11］和ZHANG等［12］

通過融合了類標簽信息的高斯混合模型獲取更合適的特征表示，采用局部離群因子方式來檢測未知意圖；ZHAN等［13］與CHENG等［14］通過數(shù)據(jù)增強的方式為（K+1）的分類器構造偽開放樣本，在模型執(zhí)行分類任務時將開放樣本識別為開放類；ZHOU等［15］通過構造輔助模型存儲歷史樣本，與新批次樣本進行K近鄰對比學習計算，提高同類別樣本密度，通過離群因子檢測方法檢測開放樣本；WU等［16］提出一種重新分配的對比學習方法和自適應的局部閾值機制來實現(xiàn)未知意圖的檢測。

雖然開放意圖檢測任務中已有部分優(yōu)秀的工作，但針對已知意圖訓練表示的重視程度不足，大多仍為預訓練搭配后處理方法進行未知意圖檢測，已知意圖的類內凝聚程度不足以及類間樣本接近容易出現(xiàn)混淆交叉等問題。受文獻［6-7］啟發(fā)，為了解決上述問題，本文提出基于距離損失和決策邊界的開放意圖檢測算法（open intent detection based on distance loss and decision boundary， OID-DD）。首先，該方法在預訓練結束后，通過采用類內平均距離損失的方式對已知意圖特征分布進行再訓練，使得類內樣本向類心收縮，縮小封閉區(qū)域風險，進一步加強已知意圖訓練，得到特征表示的凝聚程度；其次，經過再訓練后得到類內凝聚程度更高、類間混淆交叉較弱的特征分布后，通過對每個已知意圖分布的邊緣距離訓練，將更為貼近已知意圖邊緣的類內距離決策邊界作為閾值，以此來進行開放意圖樣本的檢測，從而提升開放意圖檢測的效果。

1" 基于距離損失和決策邊界的開放意圖檢測模型

1.1" 開放意圖檢測任務

任務定義：給定S=（s1，s2，…，sn）表示包含n個單詞的源文本序列，其中si為文本的第i個單詞。另外，Y=（y1，y2，…，ym）表示數(shù)據(jù)集共包含m個意圖標簽。開放意圖檢測任務過程中，根據(jù)預設的已知意圖比例（known intent ratio， KIR）從m個意圖標簽中選出KIR×m個標簽作為已知意圖標簽，并將對應樣本作為訓練樣本，在訓練結束后將所有標簽對應數(shù)據(jù)集輸入模型進行意圖檢測，即需要模型在對KIR×m個標簽進行意圖分類的同時，還需檢測出模型訓練階段未曾見過的開放意圖標簽。

本文提出的OID-DD模型主要由文本意圖特征表示預訓練、基于距離損失的特征再訓練、決策邊界的參數(shù)學習3個階段組成，如圖1所示。第1階段，文本意圖特征表示預訓練。利用文本編碼器將每個文本S轉換為一個文本表示S′，然后文本表示S′將由BERT模型［17］進行文本意圖特征表示預訓練，從而得到深度特征表示X。第2階段，基于距離損失的特征再訓練。將模型原本的分類層和預測層進行替換，轉而使用每個意圖標簽的樣本到類心的類

間距作為距離損失，進行文本特征表示二次訓練，對深度特征表示X進行分布調整。第3階段，決策邊界的參數(shù)學習。固定文本編碼器與BERT模型部分參數(shù)，轉而對每個意圖標簽的距離邊界進行訓練學習，從而為每個意圖標簽得到最優(yōu)的意圖判斷閾值，即決策邊界。最后，固定模型所有參數(shù)，將所有樣本輸入模型，得到預測意圖標簽，并通過決策邊界進行是否為已知意圖的判斷，從而完成開放意圖檢測任務。

1.2" 文本意圖特征表示預訓練

如圖1所示，將BERT模型作為特征抽取器，將詞嵌入表示輸入BERT模型得到深度特征表示，采用交叉熵損失函數(shù)對模型進行預訓練，BERT模型結構如圖2所示。

給定S=（s1，s2，…，sn）表示長度為n的文本S，將S進行詞嵌入處理后得到的文本表示S′=（s′0，s′1，s′2，…，s′n+1）用作BERT模型的輸入，其中s′0和s′n+1分別代表文本開始字符［CLS］和結束字符［SEP］，s′i由詞嵌入、段落嵌入、位置嵌入構成。如圖2所示，BERT模型的核心由12層Transformer Encoder組成。

X=（x0，x1，…，xn+1）為BERT編碼層的輸出，xi∈Rd是s′i的詞特征向量，d是特征維度。經過池化、密集層操作后得到zi∈Rd，用作給定文本S的句特征向量。依據(jù)已有工作［7］的建議，池化階段采用平均池化方法。

Z作為文本S的特征表示，經過線性分類器后得到分類結果Y′=（y1，y2，...，ym），其中yi（i=1，2，…，m）表示樣本在對應類別上的置信度分數(shù)，m表示已知的意圖種類數(shù)量。本階段的損失函數(shù)LossCE如式（1）所示。

LossCE=-1N∑Ni=1iln yi ，（1）

式中：N為一批次的樣本數(shù)量；yi為一批次中第i條樣本對應的真實標簽值；i為第i條樣本的分類結果。

1.3" 基于距離損失的特征再訓練

該模塊為對特征抽取器的再訓練，目的是在已有的訓練數(shù)據(jù)上得到類內平均距離，通過距離損失使得到的特征表示分布更加緊湊、類間更為疏離，為后續(xù)決策邊界閾值的訓練做好鋪墊。如圖3 a）所示，左側為預訓練結束后得到的特征表示分布示意圖，其中藍色點和橘色點分別代表相鄰的2類已知意圖樣本，虛線代表求得的類內已知樣本到類心的平均距離。本模塊由類內平均距離作為區(qū)分，以距離損失作為懲罰函數(shù)，對特征抽取器進行再訓練。圖3 b）為經過基于距離損失的特征再訓練后得到的特征表示分布示意圖，經過本階段訓練后樣本點向類心收縮，相鄰意圖間原本距離較近、較易出現(xiàn)混淆的現(xiàn)象減弱，由此可得到更為緊湊、有效的已知意圖特征分布。

訓練集中所有樣本特征表示及標簽集合表示為S*={（zi，yi），…，（zN，yN）}，子集S*k表示為第k個已知意圖所屬的所有樣本集合。對S*k所屬樣本的特征表示進行平均計算得到類心ck∈Rd，如式（2）所示；各類間距取樣本特征到該意圖類心距離的平均值，如式（3）所示。

ck=1|S*k|∑（zi，yi）∈S*kZi ，（2）

dk=1|S*k|∑（zi，yi）∈S*k‖zi-ck‖2 ，（3）

式中：|S*k|表示S*k中樣本數(shù)量；‖zi-ck‖2表示類內樣本特征表示到對應類心的歐氏距離。

該階段設計思路為令類內特征表示與類心間的距離盡可能向小型球形分布貼近，具體實現(xiàn)為若類內樣本與類心的歐氏距離超出平均間距，則計入損失，否則不計入，以此作為懲罰函數(shù)來對各個已知意圖的類內樣本進行再訓練，使其向類心收縮，降低類間開放風險。本階段采用歐氏距離損失函數(shù)LossDIS如式（4）和式（5）所示。

LossDIS=1N∑Ni=1δi×（‖zi-ci‖2-di） 。（4）

δi=0，" ‖zi-ci‖2≤di，

1，" ‖zi-ci‖2gt;di，（5）

式中：zi為樣本的特征表示；ci為樣本標簽對應的類心坐標；‖zi-ci‖2為樣本特征表示到對應標簽類心的歐氏距離；di為樣本對應標簽類別的類內平均間距。

1.4" 決策邊界的參數(shù)學習

基于第2階段的類間距過渡，對于第k個已知意圖對應的樣本集合S*k，定義約束邊界Δk為第k個已知意圖對應的決策邊界，滿足式（6）的約束。本階段目的是針對每個已知的意圖類別，得出合適的決策度量Δ。受文獻［7］啟發(fā)，本階段采用度量損失函數(shù)LossBoundary，如式（7）所示。

Zi∈S*k，" ‖zi-ck‖2≤Δk" ，（6）

LossBoundary=1N∑Ni=1［δi×（‖zi-ci‖2-Δi）+（1-δi）×（Δi-‖Zi-ci‖2）］ ，（7）

式中Δi表示樣本對應意圖的決策距離。

1.5" 模型訓練與使用

模型訓練共分為3階段：第1階段為文本意圖特征表示預訓練，損失函數(shù)采用LossCE（見式（1）），該階段目標為使加載的預訓練模型在當前數(shù)據(jù)集上得到良好的分布;第2階段為基于距離損失的特征再訓練，損失函數(shù)采用LossDIS（見式（4）），該階段目標為使特征抽取器得到的特征表示更加向類心聚集，使特征分布更加緊湊，便于第3階段決策邊界的參數(shù)學習；第3階段為決策邊界的參數(shù)學習，該階段將類內距離參數(shù)化，損失函數(shù)采用LossBoundary（見式（7）），學習目標為合適的決策邊界，以此來分割封閉區(qū)域與開放區(qū)域。OID-DD的訓練流程如下。

輸入：任務訓練集Dk，Bert模型參數(shù)Pbert，樣本類心參數(shù)Ck，距離參數(shù)Δ。

輸出：Bert模型參數(shù)Pbert，樣本類心參數(shù)Ck，距離參數(shù)Δ。

1：for i from 1 to epoch1 do

2： for" Xi∈Dk do

3： 通過交叉熵損失函數(shù)更新Bert模型參數(shù)Pbert ;

4： end for

5： end for

6： for i from 1 to epoch2 do

7： 初始化樣本類心參數(shù)Ck、距離參數(shù)Δ;

8：for Xi∈Dk do

9： 通過距離損失函數(shù)更新Bert模型參數(shù)Pbert ;

10： end for

11： end for

12： 固定Bert模型參數(shù)Pbert;

13： for i from 1 to epoch3 do

14： for" Xi∈Dk do

15： 通過邊界損失函數(shù)更新距離參數(shù)Δ;

16： end for

17： end for

18： return Pbert、Ck、Δ。

訓練結束后，該方法使用每個已知意圖類別的類心與學習到的決策邊界對輸入樣本進行識別。對輸入樣本進行特征抽取后得到特征表示，將該特征表示與訓練時得到的意圖類心進行歐氏距離計算，取距離最近的為所屬意圖。此外，將得到的歐氏距離與學習得到的決策度量進行比較，若大于決策度量則當前樣本將被識別為開放意圖，如式（8）和式（9）所示。

ymin=argmink∈Y‖zi-ck‖2 ，（8）

ypred=

open，" ‖zi-cymin‖2gt;Δymin，

ymin，" ‖zi-cymin‖2≤Δymin，（9）

式中：ymin表示距離最近質心所屬意圖類別；ypred為模型最終預測結果。

2" 實驗設計

2.1" 環(huán)境及參數(shù)設置

模型在一個GPU（NVIDIA GeForce RTX 3090， 24 GB）上訓練。根據(jù)驗證集上的評估選擇結果最好的模型參數(shù)，并報告測試集上的結果。

參數(shù)方面，BERT模型使用BERT-Base的中文預訓練模型進行實驗。該模型有12層，隱藏層維度為768，注意力頭數(shù)為12，包含110×106個參數(shù)，模型使用Adam作為優(yōu)化器，epoch設置為100。訓練過程中，前2階段學習率設置為2×10-5，第3階段學習率設置為0.02。

2.2" 實驗測度

受已有研究［6-7］啟發(fā)，本文將除已知意圖外所有開放意圖當作一個開放類，采用準確率（Accuracy）和F1值作為整體評價指標，并在已知意圖和開放意圖上分別計算F1值作為細粒度的性能指標，表示為F1-known和F1-open。

2.3" 基線模型

為了驗證OID-DD模型在開放意圖檢測任務中的有效性，與以下經典的開放分類方法基線模型進行對比實驗。

OpenMax［9］" 首先使用softmax損失在已知意圖上訓練分類器，然后對分類器的輸出logits值進行Weibull分布擬合，最終使用OpenMax層校準置信度分數(shù)。

MSP［8］" 一個簡單的基線模型，采用最大softmax值作為已知類的預測依據(jù)，并將0.5作為閾值來檢測開放類。

DOC［10］" 通過高斯擬合計算每個已知類的不同概率閾值，以此識別開放類。

DeepUnk［6］" 首先利用邊際損失學習深度特征，然后利用離群因子檢測方法進行未知類檢測。

ADB［7］" 基于已知的意圖特征表示學習自適應決策邊界，以此檢測開放類。

KNNCL［16］" 利用K近鄰的對比學習損失與交叉熵損失做權重加和得到總損失學習深度特征，使用離群因子檢測方法進行未知類檢測。

為統(tǒng)一驗證模型效果，本文將所有基線方法的基礎模型統(tǒng)一替換為BERT模型，其余部分保持不變。其中，計算機視覺的開放集檢測方法OpenMax需要開放類樣本對超參數(shù)進行校驗，因此對于OpenMax方法本文采用默認超參數(shù)。

2.4" 主體實驗

OID-DD模型中詞嵌入與深度特征表示抽取為公共部分，3階段中的前2階段采用不同的損失函數(shù)進行訓練，第3階段固定公共部分模型參數(shù)，進行決策邊界的閾值學習，模型訓練完成后進行評測。

模型評估選用數(shù)據(jù)集StackOverflow。該數(shù)據(jù)集包含“oracle”、“matlab”、“spring”等20種類別，每種類別1 000個樣本，共20 000個樣本，其中訓練集、驗證集和測試集分別包含12 000、2 000和6 000個樣本。

在OID-DD模型訓練前對數(shù)據(jù)集StackOverflow重新進行劃分，根據(jù)預設的已知意圖比例KIR從m個意圖標簽中隨機選出KIR×m個作為已知意圖標簽，并將對應樣本作為訓練樣本，在訓練結束后將所有標簽對應的數(shù)據(jù)集輸入模型進行意圖檢測，并利用準確率和F1值驗證模型測試結果。

2.5" 對比驗證實驗

OID-DD模型采用3階段方法，為證明其有效性，基于第1階段文本特征表示預訓練，在第2、第3階段利用對比驗證進行消融實驗研究。

為驗證距離損失特征再訓練的影響，OID-DD模型先將第2階段前后的特征表示進行降維處理，再利用二維圖像進行顯示，并給出有、無第2階段參與的不同訓練結果對比，加以驗證。

為驗證決策邊界方法的影響，OID-DD模型將第3階段決策邊界（decision boundary， DB）方法和局部離群因子檢測（local outlier factor， LOF）方法進行比較，并整理結果，加以驗證。

3" 實驗結果與分析

3.1" 主體實驗結果與分析

本文OID-DD模型與上述基線模型在StackOverflow數(shù)據(jù)集上進行實驗對比。為全面對比模型效果，采用不同的已知意圖比例（known intent ratio， KIR）設置進行實驗，實驗結果如表1所示。

由表1可以看出，本文提出的OID-DD在Accuracy、F1、F1-known以及F1-open 4個指標上的得分均明顯優(yōu)于其他模型。相對于已有模型ADB，KIR設置為50%時各項得分分別提升了3.20、3.23、3.25、2.93；KIR設置為75%時各項得分分別提升了2.81、2.28、2.18、3.87。而相對于KNNCL模型，KIR設置為50%時各項得分分別提升了0.66、0.33、0.28、0.82；KIR設置為75%時各項得分分別提升了0.58、0.34、0.24、1.93。本文方法相對于OpenMax、DeepUnk等方法，在各項評分上均有明顯提升。以上結果表明本文所提方法能夠有效地完成開放意圖檢測任務。

OID-DD模型在StackOverflow數(shù)據(jù)集上關于F1值和F1-known的分值提升較少，在Accuracy和F1-open上的得分提升較多。Accuracy表示模型的準確率，F(xiàn)1-open表示模型在未知意圖檢測上的綜合表現(xiàn)，可以比較均衡地展現(xiàn)模型的精確率和召回率，Accuracy和F1-open分值越高，則代表模型的準確率、精確率和召回率越好，即表示模型在未知意圖檢測上綜合表現(xiàn)更佳。而F1值和F1-known值相比較于已有模型雖然提升較少，但得分仍然高于已有模型，表示OID-DD模型在已知意圖檢測上的表現(xiàn)優(yōu)于已有模型，證明本文所提方法在開放意圖檢測任務上的效果有整體提升。

3.2" 對比驗證實驗結果與分析

1）基于距離損失的特征再訓練的影響

本文提出基于距離損失的意圖特征再訓練，目的是通過本文設計的距離損失令同一類別樣本點向類心收縮，縮小類內樣本間距，從而能夠更好地進行意圖識別，并且為開放意圖樣本的檢測做好鋪墊。

為了進一步驗證基于距離損失的特征再訓練模塊的作用與影響，本文將第1階段預訓練結束后得到的文本意圖特征表示分布與第2階段基于距離損失的特征再訓練后得到的高維特征表示分布進行降維顯示，并給出有、無第2階段參與的不同訓練結果對比，加以驗證。

第1階段文本意圖特征表示預訓練后得到的特征表示如圖4所示，圖內特征不僅包含已知意圖的表示，而且還有訓練過程中沒有接觸過的未知意圖表示，圖內每一團簇即為一類已知意圖，中心散點為未知意圖表示。圖內已知意圖特征表示簇內收縮不夠緊密，且部分已知意圖與開放意圖（中心綠色散點）分布距離較近，已經發(fā)生混淆。

圖5為經過第2階段基于距離損失的特征再訓練后得到的特征表示分布，圖內已知意圖特征表示收縮較為緊密，且與開放意圖（中心綠色散點）分布距離適中，混淆現(xiàn)象較弱。

對比實驗采用不同的KIR和標注比例（labeled ratio， LR）設置進行實驗，其中OID-DD表示有第2階段參與，No-DL表示無第2階段參與，隨機種子值設置為0，實驗結果如表2所示。

由圖4、圖5對比可知，經過基于距離損失的特征再訓練后得到的已知意圖特征表示類內更加緊密，經過再訓練后得到的已知意圖特征表示與未知意圖特征表示區(qū)分度更高。

由表2對比可知，相較于無第2階段基于距離損失的特征再訓練的實驗，OID-DD模型在4組不同的已知意圖比例和標注比例下表現(xiàn)俱佳，擁有最優(yōu)的Accuracy和F1值，說明OID-DD模型中基于距離損失的特征再訓練模塊提高了模型對已知意圖和未知意圖的分辨能力，有利于開放意圖檢測。

2） 決策邊界方法的影響

為了驗證決策邊界方法的有效性，將第1階段文本意圖特征表示預訓練與第2階段基于距離損失的特征再訓練后得到的高維特征表示作為基礎特征，對比決策邊界方法和局部離群因子檢測方法，實驗結果如表3所示。

由表3可知，與基于密度的局部離群因子檢測方法相比，決策邊界在4組不同的已知意圖比例和標注比例下表現(xiàn)俱佳，擁有最優(yōu)的Accuracy和F1值。

結合圖5可知，中心區(qū)域未知的開放意圖散點在經過第2階段基于距離損失的特征再訓練后得到的特征分布同樣變得較為緊湊，密度較高，因此基于密度的局部離群因子檢測方法在開放意圖檢測上效果不佳。

綜上可得，OID-DD模型結構合理、效果突出，在開放意圖檢測任務上具有有效性。

4" 結" 語

通過預訓練語言模型BERT提出樣本特征表示；采用距離損失函數(shù)對特征表示進行強制收縮，使類內收縮更為緊密；固定特征表示對類內距離值進行訓練學習，得到合適的決策邊界距離閾值，減少類間樣本出現(xiàn)混淆交叉現(xiàn)象，從而完成開放意圖檢測任務。本研究解決了開放意圖檢測任務中存在的意圖表示類內凝聚程度不足以及類間樣本接近容易出現(xiàn)混淆交叉等問題。

本文所提方法主要在意圖表示處理中進行了研究，未來擬在更好的預訓練語言模型方向進行探索，探究在少量樣本情況下的開放意圖檢測方法。

參考文獻/References：

［1］" QIN Libo，XIE Tianbao，CHE Wanxiang，et al.A survey on spoken language understanding：Recent advances and new frontiers［C］//Proceedings of the Thirtieth International Joint Conference on Artificial Intelligence.［S.l.］： International Joint Conferences on Artificial Intelligence Organization， 2021：4577-4584.

［2］" WELD H，HUANG Xiaoqi，LONG Siqu，et al.A survey of joint intent detection and slot filling models in natural language understanding［J］.ACM Computing Surveys，2023，55（8）：1-38.

［3］" 陳晨，朱晴晴，嚴睿，等.基于深度學習的開放領域對話系統(tǒng)研究綜述［J］.計算機學報，2019，42（7）：1439-1466.

CHEN Chen，ZHU Qingqing，YAN Rui，et al.Survey on deep learning based open domain dialogue system［J］.Chinese Journal of Computers，2019，42（7）：1439-1466.

［4］" GENG Chuanxing，HUANG Shengjun，CHEN Songcan.Recent advances in open set recognition： A survey［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2021，43（10）：3614-3631.

［5］" 劉星宏，周毅，周濤，等.基于自步學習的開放集領域自適應［J］.計算機研究與發(fā)展，2023，60（8）：1711-1726.

LIU Xinghong，ZHOU Yi，ZHOU Tao，et al.Self-paced learning for Open-Set domain adaptation［J］.Journal of Computer Research and Development，2023，60（8）：1711-1726.

［6］" LIN Tingen，XU Hua.Deep unknown intent detection with margin loss［C］//Proceedings of the 57th Conference of the Association for Computational Linguistics.Florence：Association for Computational Linguistics，2019：5491-5496.

［7］" ZHANG Hanlei，XU Hua，LIN Tingen.Deep open intent classification with adaptive decision boundary［C］//The Thirty-Fifth AAAI Conference on Artificial Intelligence.［S.l.］：［s.n.］，2021：14374-14382.

［8］" HENDRYCKS D，GIMPEL K.A baseline for detecting misclassified and out-of-distribution examples in neural networks［EB/OL］.（2016-10-07）［2024-06-10］.https：//arxiv.org/abs/1610.02136.

［9］" BENDALE A，BOULT T E.Towards open set deep networks［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Las Vegas： IEEE Computer Society，2016：1563-1572.

［10］SHU Lei，XU Hu，LIU Bing.DOC：Deep open classification of text documents［C］//Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing. Copenhagen：Association for Computational Linguistics，2017：2911-2916.

［11］YAN Guangfeng， FAN Lu， LI Qimai，et al.Unknown intent detection using gaussian mixture model with an application to zero-shot intent classification［C］//Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. ［S.l.］：Association for Computational Linguistics，2020：1050-1060.

［12］ZHANG Jianguo，HASHIMOTO K，LIU Wenhao，et al.Discriminative nearest neighbor few-shot intent detection by transferring natural language inference［C］//Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing. ［S.l.］：Association for Computational Linguistics，2020：5064-5082.

［13］ZHAN Liming， LIANG Haowen， LIU Bo，et al.Out-of-scope intent detection with self-supervision and discriminative training［C］//Proceedings of the 59th Annual Meeting of the As-sociation for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing. ［S.l.］：Association for Computational Linguistics，2021：3521-3532.

［14］CHENG Zifeng， JIANG Zhiwei， YIN Yafeng，et al.Learning to classify open intent via Soft labeling and manifold mixup［J］.IEEE/ACM Transactions on Audio， Speech， and Language Processing， 2022，30：635-645.

［15］ZHOU Yunhua， LIU Peiju， QIU Xipeng.KNN-contrastive learning for out-of-domain intent classification［C］//Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics.Dublin：Association for Computational Linguistics，2022：5129-5141.

［16］WU Yanan， HE Keqing， YAN Yuanmeng，et al.Revisit overconfidence for OOD detection：Reassigned contrastive learning with adaptive class-dependent threshold［C］//Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics：Human Language Technologies.Seattle：Association for Computational Linguistics，2022：4165-4179.

［17］DEVLIN J，CHANG M W，LEE K.BERT：Pre-training of deep bidirectional transformers for language understanding［C］//Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics：Human Language Technologies.Minneapolis：Association for Computational Linguistics，2019：4171-4186.