基于生成對抗模型的告警數據增強研究

商英俊 王瑩 湯士黨

摘要：隨著網絡通信技術的不斷發展，網絡結構也變得越來越復雜，網絡故障的診斷和處理問題也越來越復雜，網絡告警數據的采集提取以及處理成為了有難度的問題。為了利用較少的告警數據訓練模型以診斷告警，引入了數據增強算法以擴充數據，訓練模型。但以循環神經網絡（RecurrentNeural Network， RNN）為代表的一些深度學習模型存在梯度消失、暴露偏差等問題，本文提出了一種以生成式對抗網絡（Generative Adversarial Networks， GAN）為基礎的告警日志數據擴充方法，通過生成模型與判別模型二者之間的博弈對抗訓練，提升數據生成的性能。仿真結果表明，基于GAN的告警數據擴充方法生成數據效果更佳。

關鍵詞：數據增強；生成式對抗網絡；強化學習；告警數據

中圖分類號：TP319文獻標志碼：A文章編號：1008-1739（2022）11-58-5

近年來，網絡通信的發展越來越迅速，網絡的結構越來越復雜，網絡故障的診斷和處理問題也越來越復雜。大多數故障診斷算法需要學習故障數據的特征來重構故障診斷模型，因此它們依賴于故障數據集來提供豐富的信息數據。但是在現實的網絡運行場景中，網絡故障數據發生頻率和規模較低，難以有效覆蓋網絡故障數據全集，從而無法準確構建網絡故障診斷模型。為解決網絡架構和網絡告警數據日漸復雜的情況，告警診斷模型難以獲得足夠的告警數據的問題，采用深度學習模型的文本生成技術根據真實數據生成告警數據進行數據增強，取得了一些顯著的成果。

Sivasurya使用長短期記憶（Long Short-Term Memory，LSTM）網絡作為基礎，結合數據的上下文關系，用以生成文本數據；Kiddon等人[1]以循環神經網絡（Recurrent Neural Network，RNN）為基礎生成文本數據，對于生成長文本數據時模型表現不佳的問題，引入神經核對表模型，通過存儲并更新全局信息以更好地模擬文本生成的過程；Sayan等人[2]以LSTM網絡作為基礎生成文本，同時考量文本數據中的情感信息，通過一個附加的設計參數自定義生成句中的情感內容。

但傳統的文本生成模型，如帶有LSTM單元的RNN，存在暴露偏差問題，可以通過使用生成式對抗網絡（Generative Adversarial Networks，GAN）來避免這個問題[3]。GAN通過在生成器和判別器之間引入對抗性機制來匹配合成數據和真實數據的分布。由于對抗訓練的性質，判別器比較的是真實句子和合成句子，而不是單個單詞，可以有效地緩解暴露偏差問題。

Zhang等人[4]提出了一個通過對抗訓練生成真實文本的框架，通過核化差異度量來匹配真實句子和合成句子的高維潛在特征分布，該方法通過減輕模式崩潰問題來簡化對抗訓練。Akmal等人[5]提出了一種使用知識蒸餾的方法來有效利用GAN進行文本生成。Jingjing Xu等人[6]提出了一種多樣性促進生成對抗網絡（DP-GAN）。為重復生成的文本分配低獎勵，為新穎和流暢的文本分配高獎勵，鼓勵生成器生成多樣化和信息豐富的文本。

因此，針對網絡故障數據集不平衡的問題，借鑒GAN網絡模型，提出了一種基于GAN的告警數據生成方法，除了訓練一個用于生成數據的生成模型外，同時訓練一個判別模型，通過在訓練中二者之間的博弈，提升數據生成的質量。仿真結果表明，GAN所生成的告警數據質量更高。

1.1基于LSTM網絡的數據生成器

引入一個LSTM網絡模型作為數據生成器，每個時間步的輸出都與之前時間步的輸出相關，可以解決一般的RNN較難學習到長時間前的信息、長期記憶效果差的問題。LSTM中引入了輸入門、遺忘門和輸出門3個門，以及與隱藏狀態維度相同的記憶細胞，以記錄額外的信息。基于LSTM網絡的數據生成器模型如圖1所示。

為了進一步對比2種算法生成文本的質量，進行了實驗比較訓練過程中2種算法生成數據的BLEU-2，BLEU-3，BLEU-4各個指標值，對比結果如圖4、圖5和圖6所示。

從圖4可以觀察到，隨著迭代次數的增加，本文算法的BLEU-2值不斷增加，在迭代前期上升較快，在迭代后期上升速度略有下降，最終得到的BLEU-2數值為0.80。與此相同的是，LSTM模型在迭代前期BLEU-2數值快速上升，在迭代后期BLEU-2數值不斷波動，最終BLEU-2數值收斂于0.70。本文提出的算法在BLEU-2指標上高于LSTM模型14.2%。這說明了本文提出的基于GAN的告警數據生成方法要優于基于LSTM模型的告警數據生成方法。

從圖5可以觀察到，隨著迭代次數的增加，本文算法的BLEU-3值不斷提高，最終達到收斂狀態。在迭代前期，本文算法的BLEU-3值提高速度較快，在迭代后期速度減緩，而BLEU-3最終收斂于0.62，可以看出在N-gram中由于值的提高，BLEU-3值明顯小于BLEU-2值。LSTM模型在迭代前期BLEU-3值的提升速度較快，在迭代后期BLEU-3的數值不斷波動，最終收斂于0.50。本文提出的算法在BLEU-2指標上高于LSTM模型24%。這說明了本文提出的GAN告警數據生成方法要優于基于LSTM模型的告警數據生成方法，更貼近實際的告警日志數據。

從圖6可以觀察到，隨著迭代次數的增加，本文算法的BLEU-4值不斷提高，且在多次迭代后仍然呈現上漲趨勢，在有限迭代次數內BLEU-4值為0.50。LSTM模型在迭代前期BLEU-4值不斷提高，迭代后期呈現波動趨勢，最終迭代BLEU-4值為0.38。可以得到在BLEU-4指標上，本文提出的算法高于LSTM模型31.5%。

3結束語

本文針對告警數據生成問題，提出了一種基于GAN的告警數據生成算法，克服了其他深度學習模型可能存在的暴露偏差、梯度爆炸等問題，最終在仿真實驗中證明生成的告警數據質量更高。

[1] KIDDON C，ZETTLEMOYER L，CHOI Y. Globally Coherent Text Generation with Neural Checklist Models[C]// Proceedings of the 2016 Conference On Empirical Methods in Natural Language Processing.Texas：Association for Computational Linguistics，2016： 329-339.

[2] GHOSH S，CHOLLET M， LAKSANA E， et al. Affect-LM： A Neural Language Model for Customizable Affective Text Generation[C]//Annual Meeting of the Association for Computational Linguistic. [s.l.]： ACL，2017：634-642.

[3] GOODFELLOW I， POUGET A J，MIRZA M， et al.Generative Adversarial Nets Advances in Neural Information Processing Systems[C]//Proceedings of the 27th International Conference on Neural Information Processing Systems. Montreal： [s.n.] 2014：2672-2680.

[4] ZHANG Y，GAN Z，FAN K，et al. Adversarial Feature Matching for Text Generation[C]//International Conference on Machine Learning.Sydney：[ACM]，2017：4006-4015.

[5] HAIDAR M， REZAGHOLIZADEH M.Textkd-gan： Text Generation Using Knowledge Distillation and Generative Adversarial Networks[C]//Canadian Conference on Artificial Intelligence. Kingston：Springer，2019：107-118.

[6] XU J J，REN X C， LIN J Y. Diversity-promoting GAN：A Cross-entropy Based Generative Adversarial Network for Diversified Text Generation[C]// Conference on Empirical Methods in Natural Language Processing.Brussels：EMNLP， 2018：3940-3949.

[7] KIM Y. Convolutional Neural Networks for Sentence Classification[C]// Conference on Empirical Methods in Natural Language Processing.New York：EMNLP，2014： 1746-1751.

[8] PAPINENI K，ROUKOS S，WARDd T，et al.Bleu： A Method for Automatic Evaluation of Machine Translation[C]//Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics.Philadelphia： Computational Linguistics，2002：311-318.