基于文本挖掘的客戶投訴工單處理系統設計與應用

王 騰 袁 萍 王 璞 孔令琪 陳新民

1.中國電信股份有限公司江蘇分公司；2.浙江省公眾信息產業有限公司

0 引言

為加快推進網絡強國、數字中國的建設，踐行“以客戶為中心”的服務理念，全面實施云改數轉戰略，通過對客戶投訴行為的分析提煉，了解客戶的負面感知，精準預警客服熱點問題，精確修復客戶不滿意因素，全力提升客戶滿意度，已經成為運營商客戶服務的一項重要工作。

投訴是服務問題的重要反饋窗口，一般由話務員通過語音應答進行處理，而語音記錄具有占用大量存儲空間、難以通過語義識別進行批量歸類與分析的問題，導致實際應用中不能通過全量工單分析來精準預警客服熱點問題。隨著語音識別技術在客戶服務領域的廣泛應用，投訴處理錄音轉換成了文本形式的投訴辦結單，解決了工單存儲問題，但工單的歸類仍然停留在由話務員一單一單地進行人工處理的階段，具有以下三大不足：（1）受話務員業務能力、理解能力、責任心等主客觀因素影響，歸類準確度難以保證；（2）話務員手工點選辦結原因，每單平均額外耗時約69.8 秒，降低了工單處理效率；（3）語音轉換成的文本，在實際生產工作中沒有得到充分使用，一定程度上浪費資源。

本研究旨在探討建立一套系統，利用文本挖掘技術和機器學習等人工智能的方法，挖掘客戶投訴熱點，對產品、套餐和營銷活動進行服務預警，對客戶不滿意因素進行精準派單修復。

1 系統流程與功能設計

系統設計的關鍵點就是要通過文本挖掘技術對投訴辦結單的語意進行精確識別、精確歸類并最終應用于解決客戶服務中的熱點問題。

首先，要對投訴辦結單進行智能分詞，并結合專有名詞、社會用語形成通用的熱點詞庫，再通過模型訓練將熱點詞庫轉換成規范的投訴工單六級分類，之后，根據生產應用過程中的實際情況，通過設定預判規則，分析形成投訴熱點問題，最終將這些熱點問題進行預警、派單與統計。系統總體設計如圖1 所示。

圖1 系統流程總體設計圖

1.1 投訴熱詞采集

電信運營商在運營過程中會產生大量的數據，這些數據以結構化的形式存儲在各類運營系統的數據庫中。電信投訴工單中也包含著大量的信息，這些信息多為用戶語言表述，以語音轉文本的非結構化形式記錄在投訴處理系統中。要對投訴工單進行準確分類與應用，就要結合結構化數據對非結構化文本進行文本挖掘。文本挖掘的過程，首先要對文本進行分詞，再利用模型反復訓練，形成有效的熱詞庫。

一是對知識庫系統、BSS 銷售品系統、VSOP 增值業務系統等電信運營系統中的專有名詞進行提取，主要包括產品名稱、套餐名稱、營銷活動名稱等，如5G 暢享融合399 元套餐、橙分期5G 終端讓利/200 元/24 個月-202009 等。

二是從百度、搜狐、谷歌等搜索引擎中捕獲出適用于電信行業常用的服務、行為、心理等社會用語，如AI、5G、區塊鏈、機器人、工業物聯網、云服務器、產業智能化、電信詐騙、AI 反詐、AI 換聲等。

電信專有名詞和社會用語都屬于結構化詞匯，形式與內容一定時期內都相對固定。

三是對歷史投訴工單進行智能分詞。客戶的自然表述是非結構化的，其中有方言、有俗稱、有俚語，甚至還有情緒化表達，這就需要從文本中將詞匯分離出來，再進行反復機器訓練使其成為結構化熱詞。

為了適應不同的詞語性質在算法中占有的權重不同，將對詞庫進行結構化分類，分為三主四輔。主運營詞庫：電信專有名詞、同義詞、停用詞。擴充詞庫：銷售品名詞、地點名詞、機構名詞、人員名詞。

1.2 投訴分類與打標

投訴的分類有兩種，一種是按投訴現象進行分類，根據客戶描述的現象分類后派往相關單位進行處理；一種是按投訴原因進行分類，這是對處理好的投訴找出具體原因后進行的分類，更有利于促進源頭整改。我們要探討的就是這種分類。

目前，中國電信的投訴原因分類是六級2104 條。其中，第一級投訴分類有移動業務、寬帶業務、固話業務、智慧家庭、物聯網、翼支付、互聯網及增值業務、電子渠道、ICT、用戶權益與關懷、信息安全及專項、5G 業務、其他。以第一級分類的5G 業務為例，第二級分類有個人移動業務、家庭業務、政企業務。以第二級分類的個人移動業務為例，第三級分類有網絡質量、業務開通/退訂、基本費用爭議、增值業務費用爭議、規則政策類、流量服務、營業廳/代理商渠道服務、終端。部分三級分類之后還有四級、五級、六級分類，不一一詳述。

1.3 投訴熱點分析、預警與派單

根據投訴管控的需要，在系統中建立多維度的分析、預警和派單功能。從時間維度可分為日、周、月、季、年等任意周期；從業務角度可按照統一的投訴目錄，在移動業務、寬帶業務、固化業務、增值業務等一級目錄下，細分到第6 級共2104 個業務小類，為了便于聚類分析，日常多用第三級目錄進行監控展示和預警；從地域和單位角度，既可以按照責任單位分類（分公司、省直屬單位/專業公司、省公司、集團公司等），也可以按照用戶歸屬地分類（全省各地市），必要時還可細分到區縣；從投訴關鍵指標角度可分為省內投訴、集團投訴、省管局申訴、工信部申訴、有效申訴、5G 申訴等。全省相關部門和單位均可按需自主多維度查看和查詢有關數據及其對應的投申訴清單。

系統會根據設定的預警條件按綠、橙、紅三個級別進行預警，并可通過發送短信派單到相關人員，提示需重點關注，及時采取有效措施解決問題。

2 基于文本挖掘的工單處理模型設計

文本挖掘是指從大量文本數據中抽取事先未知的、可理解的、最終可用的知識的過程，同時運用這些知識更好地組織信息以便將來參考。首先利用切分技術，抽取文本特征，將文本數據轉化為能描述文本內容的結構化數據，然后利用基于leader-follower 算法的文本增量聚類技術、基于邏輯回歸的文本分類技術和關聯分析等數據挖掘技術，形成結構化文本，并根據該結構發現新的概念。

（1）文本挖掘的流程

系統建設過程中的文本挖掘過程由投訴分類、模型訓練和生產應用三個階段構成，如圖2 所示。

圖2 文本挖掘流程圖

（2）投訴分類梳理過程

電信運營商依托完善的客戶投訴處理流程積累了大量的數據，并對非結構化的數據進行了結構化數據標注。依托著電信集團的投訴原因分類，快速便捷地完成算法分類標簽的設計以及人工分類樣本的提供。結合指定規則進行樣本的初步處理，去除無意義的或分類有誤的數據，形成可以供算法學習的訓練樣本集。

（3）模型訓練的流程

首先，進行數據的準備，以投訴六級分類為基礎選取過去半年內有用戶相關投訴的891 個分類作為投訴模型的標簽。模型訓練樣本選用六級分類下的83599 條投訴工單中的80%作為訓練集。

其次，進行文本的預處理。中國電信的投訴原因分類涉及2104 個小類，業務覆蓋十分全面，在這些分類中有投訴的熱點分類，也有投訴量發生比較少的分類，從圖3 可知，選取的三個分類的訓練樣本的數量呈現出明顯的分化。

圖3 樣本不平衡示例

類不平衡的情況易造成模型無法正確地判別產生投訴量比較少的分類。本課題中，數據選擇過程會采用smote 算法這種過采樣技術來處理訓練樣本在訓練集中的類別分布不均的情況，解決不同投訴分類學習樣本差距過大的問題。根據預定的分詞過濾邏輯進行文本分詞處理，對文本進行過濾停用詞，計算同義詞，提取電信專有名詞等一系列操作。

最后，采用貝葉斯加權平均算法建立模型，對處理過的內容進行算法的自動計算，特征向量的提取。計算出詞頻（TF）、逆向文檔頻率（IDF）以及分詞對各個分類的貢獻度TF-IDF 值。以5G 業務為例，其模型分類規則如圖4 所示。

圖4 模型分類規則示例

模型訓練結束后，采用邏輯回歸的思想進行分類模型的預測，使用訓練集中的未參與訓練的20%的數據進行模型的檢測，以評估模型訓練質量。

3 基于文本挖掘的工單處理模型實現

系統中算法的實際應用場景主要包括模型的使用、模型準確度測試以及模型的運營和優化。

模型經過初始的評估達到上線標準后，還要經過實際應用場景的測試。算法模型在客戶投訴處理的閉環流程中每日為1300 多個投訴工單進行分類自動標注，一線話務員可以對標注錯誤的投訴分類進行人工修改，從而達到了為一線話務員減負、提升運營效能的目標。同時這些新的業務數據為算法的自動學習提供了新的學習語料，為算法模型提供了基礎的優化運營。

良好的技術應用離不開完善的運營策略，系統在算法模型的優化運營上做了相關的研究。算法模型運營初期，算法的準確率維持在50%左右，經過一系列的運營優化過后達到了80%以上的標注準確率，在每日出現頻次超過10 次的分類條件下，準確率達到了每日保持在90%以上的效果。模型的優化過程如表1 所示。

表1 模型優化流程圖

4 結束語

本系統通過文本挖掘模型，實現了客戶投訴工單中的非結構化數據文本的自動分類，并應用于投訴熱點分析、預警與派單。為進一步提升模型準確率，還可以從樣本、工具和算法3 個方面對模型進行不斷優化，運營商也可以建立一套有效的運營機制，加強工單錯誤分類的人工分析力度，不斷調整，實現更高水平的人工智能，更好地服務客戶。