對話文本情緒分析及其在客戶服務滿意度預測中的應用

摘要：文章提出了一種基于對話長文本的情緒預測模型，用于預測通信運營商客戶的服務滿意度。該模型結合了PEGASUS文本摘要和BERT情緒識別算法，將用戶滿意度分為滿意、平靜和不滿意三個等級，為運營商主動修復客戶滿意度提供數據支撐。實驗證明，該模型能夠有效預測用戶滿意度，推動運營商服務模式從被動解決投訴問題向主動修復滿意度轉型。

關鍵詞：人工智能；電信運營商；客戶服務數字化轉型；中國聯通

中圖分類號：TP399 文獻標識碼：A

文章編號：1009-3044（2025）09-0029-04 開放科學（資源服務） 標識碼（OSID） ：

0 引言

隨著通信行業競爭加劇，服務品質成為運營商的關鍵競爭力。傳統的被動式投訴處理模式已無法滿足用戶需求，如何主動提升服務品質和用戶滿意度成為亟待解決的問題。

1 研究背景

隨著通信市場的開放和競爭加劇，電信服務的產品同質化使得服務質量成為運營商差異化競爭的核心。研究表明，消費者在選擇服務商時更重視價格和服務體驗而非產品獨特性[1-2]。因此，提高服務質量以增強用戶滿意度和忠誠度變得至關重要。本文旨在利用自然語言處理技術[3]，通過分析客服對話文本中的用戶情緒，預測用戶滿意度，并為主動提升服務質量提供支持。

2 模型設計

2.1 整體設計

傳統上，滿意度預測依賴于問卷調查和統計分析方法，如多元回歸分析[4-6]。隨著人工智能技術的發展，特別是機器學習和神經網絡的應用，該領域正經歷智能化和數據驅動的轉型，顯著提升了預測的準確性和實用性。例如，Bekiros 和 Wu 分別利用神經網絡在航運業和搜索領域分析用戶評價[7-8]。電信行業同樣受益于此趨勢，茍磊通過XGBoost和LSTM等算法處理時間序列數據，以預測用戶滿意度[9]。許鵬翔則基于寬帶感知數據集，使用神經網絡建模分析用戶情緒[10]。

本研究實驗的整體設計是一個多階段的過程。首先，我們從電信運營商客服部收集大量用戶與客服人員的對話長文本，這些數據覆蓋了不同的服務場景和用戶群體。在數據預處理階段，我們對這些文本數據進行清洗和脫敏處理，然后使用PEGASUS模型來縮短對話文本并提取關鍵信息，為后續的情緒識別打下基礎。在情緒識別的關鍵步驟中，本研究嘗試了BERT自然語言處理模型。實驗表明，BERT模型在情緒分類上展現出很好的性能，能夠準確地識別用戶在與客服溝通時的情緒狀態。本研究將用戶分為不同的情緒類別，并針對這些類別制定了精準化的運營策略和滿意度修復動作。

2.2 實驗數據

本研究基于PEGASUS和BERT模型構建用戶情緒識別系統，使用了2萬條電信運營商客服對話文本。數據預處理包括脫敏個人信息、去除無關符號等，清洗后的文本平均長度為619個token，其中68%超過500個token，最長達到1 129個token。由于BERT模型的輸入限制，對超過長度限制的文本，首先使用PEGASUS模型進行摘要，再用BERT模型對摘要進行情緒分類。這種方法有效解決了長文本處理問題，確保了情緒分析的準確性。

2.3 基于PEGASUS構建摘要模型

PEGASUS模型[11]是Google開發的一種基于Trans?former[12]的自然語言處理模型，專用于抽象性文本摘要生成。其核心思想是通過對原始文本中某些句子的選取及遮擋，模擬摘要生成的過程進行預訓練。PEGASUS模型融合了自回歸與自編碼的特性，它并非隨機地對單詞進行遮擋，而是采用非均勻抽樣的方法挑選出關鍵的句子進行遮蓋，并進行預測。這種策略增強了模型在理解、提煉文本核心內容和生成流暢摘要方面的能力。在生成摘要的過程中，模型會根據上下文來預測被遮蓋的句子，并考慮到句子的語義角色，從而提高了語義理解與文本生成的能力。結構如圖1所示。

本研究采用Randeng-Pegasus-238M-Summary-Chinese預訓練模型，在對話文本數據集上進行訓練。在實驗中，需要多次迭代來調整超參數[13]，最終的參數設置如表1所示。

2.4 基于BERT 構建情緒分類模型

BERT[14]基于Transformer編碼器，利用自注意力機制理解文本，并同時考慮前后上下文信息，從而準確捕捉語義關系。其預訓練通過Masked LanguageModel 和Next Sentence Prediction 任務學習詞的內部表示和句子間的關系。這種能力使BERT在情緒分類上表現出色，能夠精準識別和理解文本中的情感內容和上下文線索。結構如圖2所示。

本實驗使用PEGASUS模型預測的摘要語料作為訓練數據，將用戶的情緒劃分為不滿意、中立和滿意三個級別。為了對比實驗效果，提升實驗精度，加載bert-base-chinese預訓練模型作為基礎模型。為不破壞預訓練模型的權重，凍結BERT模型底部1～6層的參數。同時，作為對比，實驗也嘗試了不凍結模型底部1-6層的參數。實驗參數如表2所示。

3 實驗結果分析

3.1 PEGASUS摘要模型實驗分析

PEGASUS模型在訓練集和驗證集損失隨訓練輪次變化如圖3所示。可以看出，到第7輪模型開始逐漸收斂。

對實驗結果進行分析，可以發現模型在各項ROUGE 指標上均展現出不俗的表現。具體來看，ROUGE-1指標反映了模型在一元詞組上的表現，其精確率（Precision） 達到了64.2%，召回率（Recall） 為61.9%，F1 分數（F-measure） 為63.1%。這表明PEGASUS模型在捕捉對話中的基礎詞匯信息方面表現優異，能夠有效識別并保留原始對話中重要的單個詞匯。在更為復雜的二元詞組評估上，即ROUGE-2 指標，模型展示了62.7%的精確率、58.8%的召回率以及62.1%的F1分數。雖然相較于ROUGE-1略有下降，但這些數據依然顯示出模型具備良好的能力去識別和生成對話中的關鍵短語。這說明PEGASUS不僅能夠處理單獨詞匯，而且對于連貫表達的短語也具有較高的準確性。最后，ROUGE-L指標——用于衡量生成摘要與參考摘要之間的最長公共子序列長度，其精確率為59.7%，召回率為57.4%，F1分數為58.5%。這一成績表明PEGASUS模型在保持摘要邏輯結構的連貫性方面尤為出色，確保了生成的摘要不僅是信息濃縮的結果，同時也保留了原文本的邏輯流動性和上下文關聯性。

綜合以上，可以得出PEGASUS模型在此次實驗中不僅有效提取了對話長文本的關鍵信息，而且保持了摘要的連貫性和可讀性，從而很好地達到了實驗的預期目標，證明了其在實際應用中的適用性和有效性。預測數據示例如表4所示。

3.2 BERT 情緒分類模型實驗分析

BERT模型在訓練集和驗證集損失隨訓練輪次變化如圖4所示。可以看出，模型在20個Epoch之后開始收斂。

本實驗采用準確率（Accuracy） [16-18]、精確率（Preci?sion） 和F1分數作為模型的評價指標。模型在訓練集和驗證集上的分數如表5所示。

在本實驗中，筆者分別對BERT模型的預訓練權重進行了凍結和未凍結兩種設置來進行對比實驗。結果顯示，這兩種設置下的模型性能存在顯著差異，尤其是在訓練集和驗證集上的表現尤為明顯。

對于不凍結預訓練權重的模型，在訓練集上達到了78%的準確率、75.4%的精確率以及77%的F1分數；而在驗證集上，這些指標分別為74%、68% 和71%。相比之下，當凍結了預訓練權重后，模型在訓練集上的準確率提升到了95%，精確率達到92.5%，F1分數為93.7%。這表明，凍結預訓練權重可以極大地提高模型在訓練階段的學習效率，使模型更快地達到更高的性能水平。

更重要的是，在驗證集上的評估結果顯示，凍結預訓練權重后的模型依然能夠保持出色的泛化能力，其準確率為91%，精確率為87.5%，F1分數為89.2%。與未凍結預訓練權重的模型相比，凍結權重不僅提高了各項性能指標，還有效減少了過擬合的風險，增強了模型在未知數據上的適用性和穩定性。這種方法還能有效節省計算資源，縮短訓練時間，特別適合處理大規模數據集或實時應用需求。

不凍結參數增加訓練難度，并破壞預訓練過程中學到的語言結構信息。預測數據示例如表6所示。

3.3 實踐反饋

模型訓練完成后，該情緒預測模型被應用于公司客服部門對用戶每日對話記錄的分析。平均每天處理約25000條通話記錄，以支持客服團隊高效應對海量客戶互動數據。為了確保數據分析的時效性和準確性，系統設定在每日21：00之后開始對當天所有通話記錄進行情緒分類預測。

根據模型的預測結果顯示，每天的通話記錄中，“平靜”標簽占比約為51.31%，“滿意”標簽占比約為44.29%，而“不滿意”標簽僅占約4.4%，對應大約1100人次。次日，標記為“不滿意”的用戶信息通過公司內部的應用程序及時傳達給一線網格員，網格員對這些用戶進行電話回訪。本公司共有約400名一線網格員，平均每人每日需跟進約2.75例電話回訪任務。

網格員們針對諸如收費明細疑問、產品套餐理解障礙等問題提供即時解釋，并力求獲得用戶的正面評價。對于涉及寬帶故障、信號質量不佳或基站少等技術問題，他們會安撫用戶情緒，并立即向網絡部門反饋，確保問題得到迅速響應和妥善處理，直至用戶滿意。

經過兩個月的實踐應用，公司的客戶滿意度在工信部的整體測評中顯著提升，從81.94% 提高到了85.89%，遠超行業平均水平82.97%。這不僅證明了情緒預測模型的有效性，還展示了主動開展修復動作能顯著提升用戶對公司的滿意度。

4 結束語

本文提出的基于PEGASUS和BERT的情緒預測模型，能夠有效預測用戶滿意度，并推動運營商服務模式由被動響應向主動修復轉型。未來研究可進一步優化模型，并探索其他人工智能技術在客戶服務中的應用。