基于VAE-GAN與改進RoPE的文本意圖識別方法

中圖分類號：TP391.1 文獻標志碼：A

Abstract： Although the Transformer model has a certain advantage in handling long-sequence positional information compared to some other deep learning models with the help of positional encoding，there are still areas for improvement in the specific task scenario of intent recognition. In response to the scarcity of high-quality available segmented domain text corpora and the limitations of using the Transformer model for intent recognition，a text intent recognition method based on VAE-GAN and improved RoPE is proposed. Firstly，a corpus expansion method based on VAE and GAN was constructed，which enriched the corpus without compromising its quality; Secondly，a Transformer model position encoding based on improved RoPE was constructed，which not only improves the flexibility of the model but also enables the model to obtain dependency relationships for long texts; Finally，after corpus expansion and model training，comparative experiments were carried out with a series of commonly used model backbones. The experimental results show that the accuracy rate of the improved model trained on the new corpus has reached 97.28% ，and the values of Precision， Recall and AUC have also been improved，which are 89.988，92.925 and 0.945 respectively， proving the effectiveness of the proposed method. Key words：NLP；corpus expansion;Transformer;intent recognition

0 引言

在文本意圖識別領域，其中一個關鍵點是怎樣使連續token里的語義信息與意圖標簽相互匹配[].要解決這一問題，關鍵在于構建針對不同長度的token集合實現長短距離信息依賴的方式，構建出能夠體現意圖標簽的潛空間向量，進一步結合分類網絡把這些向量映射為標簽.要構建這種映射關系，在意圖識別模型研究中，一般通過對token在不同維度和方向上進行采樣和建模.Qin等2提出了SDCUP，該模型從單向重要程度的角度對長短期記憶挖掘能力進行了采樣，通過預訓練模型來增強對表格語義的理解和解析能力，利用鏈接信息來提升模型在處理表格語義相關任務時的性能，從而更準確地對表格中的數據進行語義分析和解析，為表格數據的理解和應用提供更有效的技術支持.Sheykin等3提出了GlobalE，對SDCUP單向重要程度采樣進行了優化，從雙向重要程度進行了采樣，從而達到對不同的token給予不同注意力的效果，

但是，上述方法都只從單個token的角度進行了采樣.為了改進這個問題，Zhou等[4]提出了ClarET方法，從token的組合方向出發，通過將token進行不同長度的組合，給予token不同關注傾向. Yu 等[5為了解決token同權的問題，提出了Paramixer模型，通過給token加上權重的方法，在不進行采樣的情況下進行了token的關注度參數輸出.Liu等提出的HiLAT采用了一定位置編碼映射，通過將位置編碼映射到高維空間來獲取更豐富的特征，通過自動學習的角度解決了特征權重分配的問題.Tunstall等提出的SetFit則更進一步，不僅對高維空間進行了映射，并且在token的組合上也進行了模型框架的構建和擬合，從而從數據和模型兩方面進行了優化.

綜上所述，目前文獻中存在的方法很多僅從模型層面進行了改進，對于數據質量并沒有設計適當的框架進行規約.另外，模型中對token的建模一般通過詞典或者詞嵌人進行實現，在構建長短距離依賴方面仍然存在一定制約.因此，本文提出了一種基于VAE-GAN的語義拓展和改進RoPE的旋轉不變性位置編碼建模方法.一方面本文方法在數據上進行隱藏語義的提取和拓展，另一方面本文方法引入拓展框架從理論上賦予模型更加強大的特征挖掘能力.

1本文方法

1. 1 VAE-GAN融合網絡模型的語料拓展

目前的自然語言理解研究領域當中，通過潛空間變量映射的方法獲取語言文本的嵌入向量，從而將離散的文本文字轉化成連續的可計算結構數值進行建模成為一種成熟的方法[8.9].通過變分自動編碼器（VAE）進行建模[1°]，能夠有效地對嵌人向量進行提取，從而進行更深層次的信息挖掘.但由于VAE的結構限制，在進行高精度數值計算時無法做到精細化擬合，對于深層語義的理解存在一定上限制約[1].生成式對抗網絡（GAN）的提出很好彌補了這一點，GAN通過生成器和判別器的對抗，使得判別器的判斷概率接近0.5，從而使得生成樣本與真實樣本達到無限接近的效果[12].而GAN訓練不穩定，難以收斂的問題又很容易被VAE的高收斂特性彌補[13].因此，本文選擇VAE和GAN融合方式.

VAE能夠為GAN提供具有先驗信息的采樣標準，防止GAN的判別偏差和模式崩潰；GAN能夠幫助VAE調整生成模式，為VAE的輸出保留盡可能多的語義信息.本文所設計的模型在網絡結構中保留了完整的VAE結構和GAN結構，如圖1所示.其中VAE接收原樣本的輸人，通過編碼器-解碼器結構得到生成樣本，同時保留經過編碼器編碼之后的嵌入向量，該部分向量即為輸入樣本的語義表達，該部分嵌入向量以及解碼器生成的生成樣本將作為生成對抗網絡的輸人[14].其中，嵌人向量通過生成器網絡，生成基于GAN的生成樣本，該部分的生成樣本（fake）與VAE解碼器輸出的生成樣本（real）將同時通過GAN的判別器，判別器輸出真樣本和假樣本的相似度，從而完成一輪“編碼-生成-判別\"篩選的過程，通過該過程閥值判別的樣本將作為生成樣本加入語料庫當中.該方法的核心在于首先生成器不直接接受原始樣本，而是接受原始樣本映射的嵌入向量，在生成之前就獲得較為豐富的特征先驗；其次，這種保留了整個VAE和GAN結構的組合能夠較好的訓練收斂效果.該網絡中VAE的損失函數為：

L_V==E_{x～Pdata（x），z～Pz（z）}（x-z）²

式（1）中： x 表示原始樣本數據， z 代表潛空間變量.

GAN網絡中的生成器最小化損失函數為：

L_G=E_{z～Pz（z）}[log（1-D（G（z）））]

式（2）中： G（z） 表示GAN中的生成器網絡，D（G（z）） 判別器網絡對生成器生成的假樣本的判別結果.

GAN網絡中的判別器最大化損失函數為：

L_D=E_{x～Pdata（x）}[log（D（x））]+

E_{z～Pz（z）}[log（1-D（G（z）））]

式（3）中：第一項 E_{x～Pdata（x）}[log（D（x））] 鼓勵判別器將真實樣本分類為正類；第二項E_{z～Pz（z）}[log（1-D（G（z）））] 鼓勵判別器將生成的樣本分類為負類. D（x） 表示判別器網絡對原始真實樣本的判別結果.

圖1 VAE-GAN融合網絡

1.2 改進RoPE的Transformer位置編碼

Transformer模型完全依靠注意力模塊搭建，本身不具有識別語言閱讀順序的能力.注意力結構則是基于矩陣運算，所有位置的文字在同一時間同時被模型識別，雖然使得模型具有了并行性，速度加快，但是注意力模塊丟失了字和單詞在句子中的順序信息，模型無法識別出不同位置上字和單詞的區別[15，16]

位置編碼（PositionalEncoding）是給模型提供識別字或者單詞在句子中相對位置的算法[17].RoPE（RotaryPositionEmbedding）是一種改進Transformer模型位置編碼的方法[18].通過將位置信息編碼為旋轉矩陣，將詞嵌人在高維空間中，旋轉一個與詞位置相關的角度.這種方法的優勢在于，保持了自注意力操作的線性特性，同時充許模型更加有效地捕捉到序列中的相對位置信息.對于每個詞的嵌人向量，旋轉操作可定義為：

x_rot=R（θ）*x

式（4）中： x 是原始的詞嵌人向量， x_mt 是旋轉后的向量， R（θ） 是旋轉矩陣，其取值依賴于旋轉角度 θ .對于二維空間角度來說， R（θ） 對應角度 θ 的矩陣可表示為：

由式（5）可以看出，原有的RoPE引人了旋轉角度的超參數，但并沒有引入旋轉半徑的超參數，而這個半徑的超參數可以由旋轉矩陣的形狀來體現.將序列編碼與旋轉矩陣的乘積（RoPE編碼的結果）看成一個圓周的積分過程，那么圓周的積分則能夠代表加人了RoPE之后的信息增益，而圓周積分的計算是由圓周角和圓周半徑共同決定的，半徑的大小很大程度上也決定了信息增益的程度.

本文的改進方法基于旋轉不變特性的編碼（Rotationalinvariance-RoPE），通過對增益表達式進行近似擬合的方法，將旋轉角這一變量從增益表達式中去掉，從而得到了與 θ 無關的表達式，達到旋轉不變的效果.整個方法主要包括序列分段表示、重要性采樣和位置編碼調整三個部分.

序列分段表示將原始的序列分成若干個小的分段，并且對于每個小的分段單獨使用RoPE，從而在小序列中更有效地捕獲關鍵詞信息.直接固定子序列的長度，然后按照子序列對應索引的進行分段，設置子序列長度分段為8.因為子序列的長度通常設置為2的k次方，如果長度取4，則和普通的分詞效果近似，如果長度取16，在本文所取的數據集上又無法得到很好的劃分效果.

重要性采樣是針對序列分段進行的補充，序列分段是按照字詞的絕對位置關系進行的分段，而重要性采樣則從transformer中的自注意力參數出發，在進行注意力參數排序的同時根據參數大小進行采樣.根據RoPE的積分方法，以本文中設定的最長tokenembedding為10oOo計算，那么根據圓周的積分公式，計算 c_RoPE（t-s） 的增益的公式如下：

式（6）中： Ψ_t 表示當前token， s 表示 χ_t 之前的token序列， θ_n 表示與每個維度或計算項相關的旋轉角度參數.

進一步的，公式（6）可以轉化為下面的形式：

式（7）中： θ=e^-ln104x

得到穩定連續表示后，序列重要性測算變為確定每個tokenembedding的重要性，借助導數確定連續性，篩選出連續卻不穩定的字符集.因為增益積分依據旋轉角的余弦值，所以不管哪種采樣方法，重要性采樣期望都是有限個同旋轉角余弦波之和.當旋轉角到 2πr 位置，余弦波值皆為1，此后值增減，余弦波值就減小，導致增益降低、位置編碼失效.為此，本文提出連續單調性采樣，在不同子序列獲最大累積增益，從而得到整體最大累積增益.先對 s 做重要性采樣，本文設定sample_ratio =0.7 ，鑒于正態分布抽樣最優期望是 71.9% ，取此值能讓均值附近樣本最大程度被選取.此時 s 可以表示為 s=sampling（s， （204號ratio =0.7× .公式（7）可以轉化為：

式（8）中： 表示經過重要性采樣后，基于RoPE編碼的當前token與采樣后的token序列之間的信息增益值.

可以看到，求得的最優信息增益已經轉化為一個與 θ 無關的式子，這個式子與原來的RoPE的不同之處在于首先對 s 進行了重要性采樣，另外在末尾加上了歸一化因子，該歸一化因子的作用在于幫助該信息增益的值更加符合實際embedding的分類，起到了對于整體公式的歸一化作用.

據此， R 的旋轉角公式可以表述為：

式（9）中：C的表達式為：

得到了信息增益的推導公式之后，對于嵌入向量所對應高維向量的不同維度來說，基于旋轉不變特性的RoPE通過對每個維度旋轉進行拓展，對于具有交叉關系的維度 i 和維度 j ，旋轉過程可以定義為：

x_mt，i，j=R_i，j（C_i，j）*x_i，j

式（11）中： x_mt，i，j 代表向量 x 在維度 i 和 j 上的特征值， R 表示對應的旋轉矩陣， C_i，j 是根據位置 Π_P 和維度 ij 計算出的特征旋轉角度對應的信息增益.可以看到，對比原有的RoPE表達式，上述公式中去掉了旋轉角 θ ，而改用與旋轉角無關的增益表達式來進行替代.同時，根據 R 的旋轉角公式，可以得到使得增益最大的旋轉半徑，半徑的值即為R（C） 的形狀的1/2.

2實驗結果與分析

2.1 實驗環境

本文模型實驗運行環境的硬件配置有GPU：GTX2080Ti；固態硬盤：512GSSD；操作系統：LinuxUbuntu 16;CUDA：CUDA11.0;處理器：2.3GHz 八核IntelCorei9；軟件配置有程序軟件：Python3.7;環境管理軟件：Anaconda5.3.1;深度學習框架：Pytorch1.10；IDE：Pycharm.

2.2 數據集

本文使用的語料庫是來自coggle數據科學的一個的語音對話含義分類數據集（https：//github.com/769541/data.git），其包含了一系列用戶與智能語音系統交互的文本，該數據集分為旅行查詢、音樂播放、廣播、天氣等12種語義分類與對應標簽（如HomeAppliance-Control 、Weather-Query、FilmTele-Play、Video-Play、Travel-Query、RadioListen、Music-Play等）.該數據集語料庫主要拆分為train、test、dev三個部分，表示用來進行訓練、測試、指標衡量三個部分，樣本數分別為9680、3000、2420.另外，該數據集還提供了一系列的badcase來幫助進行模型修正，樣本數為146.

2.3 語料拓展

語料拓展前，先進行分詞預處理，再經過VAE-GAN融合方法得到的新樣本，在進行樣本拓展的過程中，引人了隨機因子來對VAE的引入噪聲比例進行了量化，該隨機因子表示在VAE構建的過程中，構建embedding是加入噪聲的比例，加噪比例越高，生成句子的詞表差異越大，但是語義基本不變.以HomeAppliance-Control分類中數據為例，經過VAE-GAN融合方法得到如表1所示的新樣本示例.

表1語義拓展的樣本示例

集成新樣本后，原始語料庫變得更加豐富，在后續的位置編碼改進過程中，可以有效地將這些新生成樣本以及其位置編碼信息進行擬合.數據集拓展情況如表2所示.語料拓展之后，樣本數有了近10倍的增長，另外在分類數上也可以做到與拓展前保持大致不變.基于這些拓展數據，對于使用的語義分類器Transformer進行位置編碼改進，使位置編碼能夠更加符合預期的改進需求.

表2樣本拓展前后樣本數和分類覆蓋數對比

2.4 訓練實驗

原始數據輸人后，數據經過一系列的預處理步驟，包括特征工程，樣本處理可視化以及語義增強和樣本拓展，以增強數據的質量和可解釋性.之后使用PPGAN和VAE來生成新的、高質量的特征.數據進入深度模型結構建立階段，使用tensor-flow庫來構建和訓練一個深度學習模型.在模型訓練的過程中，使用adam優化器來加速模型的訓練速度和提高模型的性能.當模型訓練完成后，使用BatchNormalization進行批量歸一化，以確保模型的穩定性和泛化能力.

根據模型訓練結果得到混淆矩陣.從圖2所示的多分類混淆矩陣可以看出，在模型改進之后的多分類任務中，錯誤率一般都能夠控制在0.1以下，也就是說，對于每一個分類，模型在各個分類上的判誤性能是基本均等的，都具有一定的容錯性.從判正程度來看，基本上對于top6的分類來說，判正性能都較為優良且均等，因此可證明模型的基礎判斷能力已經得到良好的學習和訓練.

每個類別都有自己的ROC曲線和AUC（AreaUnderCurve）值.AUC值可以量化分類器在不同類別上的性能，數值越接近1表示性能越好.從圖3可以看到，微平均和宏平均的AUC值分別是0.88和0.89，而類別0和類別1的ROC曲線的AUC值都是0.89.這表明模型在多分類任務上表現得相對均衡且效果較好.

圖2 top6混淆矩陣

SomeextensionofReceiveroperatingcharacteristictomulti-class

圖3 ROC曲線

2.5 對比實驗

本文使用Precision（精確率）、Recall（召回率）、F1-Score（F1值）和Acc（準確率）作為分類模型的評價指標.由于本文中所描述的方法涉及到Transformer結構的改進，因此也是一個完整的端到端模型，對比實驗將基于BERT、GPT、RoBER-Ta三種模型對比來進行，結果如表3所示.

表3對比實驗結果

可以看到對比起主流的NLP框架，本文模型框架在各個指標上都取得了一定的改進效果，從縱向對比來看，相比起原始數據集，各個框架在各自的指標上都取得了一定的改進效果.其中在BERT，GPT，RoBERTa模型上均取得了約 2% 的準確率提升和 3% 的召回率提升.這證明了使用VAE-GAN來進行語義拓展訓練是有效的，使用編解碼器結構來進行樣本拓展工作，通過編碼器和解碼器的分離，模型可以在解碼的過程中更好地利用上下文的信息，并且對不同語義等級還能夠進行更深層次的挖掘，使得樣本文本中更深層次的含義能夠得到提煉和擬合.

由于本文不僅改變了Transformer的編碼規則，同時還是用了拓展文本來進行語義擴充，屬于一個比較完整的文本分類模型pipeline，因此為了凸顯本文所設計的模型pipeline的優越性，還使用了一系列常用的模型backbone來進行對比實驗，實驗結果如表4所示.

表4backbone對比結果

本文使用的模型不僅在數據上進行了隱藏語義的提取和拓展，而且在模型的組合結構上也采用了新穎的基于旋轉不變性的位置編碼.不僅如此，本文的使用的模型backbone由于引入了更加富語義的拓展框架，在模型進行分類的前置任務上就已經將具有同等語義信息的分布插值進行了提取和嵌入，因此無論是在準確和召回上相較于無前置依賴的其他backbone更具優勢.另外，本文的模型backone在分類相關的AUC上得到了0.945的分數，說明在拓展語義之后，在同等的測試集上，本文模型的魯棒性和測試的準確度都得到了一定的提升，更一步說明了模型改進帶來的優越性.

2.6 消融實驗

在上述對比實驗中，通過與其他框架的對比，已經說明了模型設計的優越性.接下來，將通過一系列的內部消融實驗來說明本文的兩個改進點，再加上Transformer的模型剪枝，描述對于效果的改進.使用模型剪枝的原因在于在傳統的Trans-former結構當中，模型剪枝和壓縮的有效性通常表征了模型的有效性.換而言之，通過模型的剪枝和壓縮，模型的表征編碼得到進一步壓縮，如果在壓縮結果上仍然能夠取得較好的指標，那么說明模型在保留了主干部分的條件下仍然是有效的.基于上面的理論，結合structbert的編碼器作為基底backbone，其實驗結果如表5所示.從表中可以看到，在加人了基于VAE-GAN的語料拓展機制，Transformer位置編碼以及模型的剪枝和壓縮之后，本文所述的模型框架分別在準確率、召回率、精確率以及AUC四個指標上都取得了一定的提升.另外可以看到，在消融實驗的過程中，對于使用了VAE-GAN增強數據的模型，在Acc上存在 0.5% 左右的提升的同時，對于召回率和精確率上同樣具有大約 3% 的提升.在使用了本文提出的基于旋轉不變性的位置編碼之后，同樣在各個指標上也得到了一定的提升，證明了本文改進方案的有效性.

表5消融實驗結果

3結論

在NLP領域，文本意圖識別被廣泛應用.在此背景下，針對高質量可用的細分領域文本語料庫較少的問題，本文通過構建一種VAE-GAN的融合網絡模型進行語義拓展，將原始語料庫的數量從9680拓展為113562，得到了10倍增長的高質量語料庫，可以使模型得到更有效的訓練，并為后續的研究和應用提供了更多的可能性.針對使用Transformer模型進行意圖識別時捕捉長序列位置信息能力不足的問題，本文通過構建一種旋轉不變的RoPE位置編碼對Transformer模型進行了改進，將意圖識別的準確率提升到 97.28% ，滿足了人機交互使用場景對意圖識別準確率的要求.該方法對高效人機交互的進一步研究和應用提供了有力的支持.

參考文獻

[1]劉嬌，李艷玲，林民.人機對話系統中意圖識別方法綜 述[J].計算機工程與應用，2019，55（12）：1-7，43.

[2]Qin B，WangL，Hui B，etal.Linking-enhanced pre-training for table semantic parsing[DB/OL].https：//arxiv. org/abs/2111.09486，2021-11-18.

[3]Sheykin A A，Markov MV，Paston SA.Global embedding of BTZ spacetime using generalized method of symmetric embeddings construction[J].Journal of Mathematical Physics，2021，62（10）：1-16.

[4]Zhou Y，Shen T，GengX，et al. Claret：Pre-traininga correlation-aware context-to-event transformerfor event-centric generation and classificationDB/OL].https：//arxiv. org/abs/2203.02225，2022-03-04.

[5]Yu T，KhalitovR，ChengL，etal.Paramixer：Parameterizing mixing links in sparse factors works better than dotproduct self-attention[C]//Proceedings of the IEEE/ CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE，2022：691-700.

[6]LiuL，PerezConcha O，Nguyen A，etal.Hierarchical label-wise attention transformer model for explainable ICD codinglJ」. Journal ot Biomedical Intormatics，zozz，133： 104 161.

[7] Tunstall L，Reimers N，Jo U E S，et al. Efficient few-shot learning without prompts[DB/OL]. https：//arxiv. org/ abs/2209.11055，2022-09-22.

[8] Geng Z，Chen G，Han Y，et al. Semantic relation extraction using sequential and tree-structured LSTM with attention [J].Information Sciences，2020，509：183-192.

[9]任喜偉，杜豐怡，向啟懷，等.基于RBBLA 混合模型的文 本相似度計算方法[J].陜西科技大學學報，2024，42（4）： 184-190，198.

[10]Kevin X，W S T，SR G，et al.Generalization of finetuned transformer language models to new clinical contexts[J]. JAMIA Open，2023，6（3） ：00ad070.

[11] Ghimire S，Nguyen Huy T，AL Musaylh MS，et al. Integrated multi-head self-attention transformer model for electricity demand prediction incorporating local climate variables[J].Energy and A1，2023，14：100 302.

[12] Zhao W ZH，Zhang JY，Yang JC，et al. A novel joint biomedical event extraction framework via two-level modeling of documents[J]. Information Sciences，2020，550： 27-40.

[13]王威，李玉潔，郭富林，等.生成對抗網絡及其文本圖像 合成綜述[J].計算機工程與應用，2022，58（19）：14-36.

[14] Liu Y，Gu J，Goyal N，et al. Multilingual denoising pretraining for neural machine translation[J].Transactions of the Association for Computational Linguistics，2020， 8：726-742.

[15]Yi Tay，Mostafa Dehghani，Dara Bahri，et al. Efficient transformers：A survey[J]. ACM Computing Surveys， 2022，55（6）：1-28.

[16］高利軍，薛雷.基于Transformer架構的語音情感識別 研究[J].工業控制計算機，2023，36（1）：82-83，86.

[17] Su J，Zhang X，Liu G，et al. A long-pulse generator based on tesla transformer and pulse-forming network[J]. IEEE Transactions on Plasma Science，20o9，37（10）： 1 954-1 958.

[18]SuJ，Lu Y，Pan S，etal.Roformer：Enhanced transformer with rotary position embedding [J]. Neurocomputing， 2024，568：127 063.

【責任編輯：蔣亞儒】