多模型融合的客服工單文本分類方法的研究與實現

張亮，代曉菊，鄭榮，賀同澤

多模型融合的客服工單文本分類方法的研究與實現

張亮1，代曉菊1，鄭榮1，賀同澤2

（1. 上海理想信息產業（集團）有限公司，上海 201315；2. 北京郵電大學，北京 100876）

電信呼叫中心客服在人工進行工單分類時存在歸檔耗時長、效率低、準確率難以保障的問題，但此場景下類別數量多，且類別間具有層級關聯，導致傳統文本分類方法準確率較低。針對此問題，提出了一種基于多模型融合的文本分類方法，根據不同層級的數據特點使用不同模型進行分類，考慮了類別的層級關聯以提升準確率，并驗證了此方法的有效性，可以優化客服生產系統運營流程，加快現場人工客服響應能效，提升客服熱線整體運營效率，實現人工智能注智生產。

文本分類；客服工單；多模型融合；運營效率

1 引言

目前國內傳統的呼叫中心，主要通過人工客服和自助語音助手兩種方式，全天候提供咨詢、訂購辦理、投訴建議等熱線服務。目前自助語音助手只能幫助用戶進行簡單的查詢和訂購操作，而面對復雜業務訴求，諸多用戶還是會選擇人工客服來處理訴求。人工客服不但要記住客戶訴求，還要在相關業務運營系統進行分類歸檔，勢必會耗費大量時間，完全采用人工的方式進行管理越來越不能滿足實際的需求，并且伴隨用戶需求劇增和變化，對呼叫中心的接通率提出更高和更全面的要求，勢必需要融入各種新技術來使之適應需求。

以電信客服呼叫中心為例，目前日均呼入量為25 000通，而接通率為92%，電話訴求日均受理量已達到20 000多件，每位人工客服日均受理80通電話或錄音。每通電話平均處理時長為5.75 min，其中通話平均時長為3.25 min，案頭歸檔平均處理時長為2.5 min。平臺完全依賴人工、服務能力趨于飽和，人工客服工作強度大，服務效率難以提升，最終導致接通率難以保證。人工客服在受理訴求時，需要耗費大量時間去理解分析、手工整理用戶訴求內容，并且工單業務分類體系復雜（多層級、多類別）、操作流程煩瑣，十分依賴于人工客服的知識儲備和經驗能力，是造成電信客服呼叫中心運營效率產生瓶頸的主要原因。

為進一步提升呼叫中心服務渠道“對內智能輔助、對外智能服務”的能力，通過引入人工智能技術——中文文本自動分類，實現用戶訴求的快速記錄及工單準確分類歸檔。

本文針對電信客服呼叫中心人工客服在實際運營系統的重點、難點問題，結合并使用了目前若干前沿的中文本分類技術和算法，提出了一個多模型融合的客服工單文本分類方法，解決人工客服進行工單分類歸檔耗時長和準確率低的問題，為呼叫中心提供了一種自動快捷、高效準確的面向分類結構復雜的工單文本分類系統，優化客服生產系統運營流程，加快現場人工客服響應能效，提升客服熱線整體運營效率。

目前隨著機器學習、深度學習算法研究的逐漸深入，文本分類的方式、方法得到不斷改進、優化，特別是在中文文本分類領域的研究成果日新月異，但很多研究的前沿技術都聚焦在較少類別的分類體系任務上，對超多類別且成層級體系的文本分類問題研究較少。多層級分類體系的特點在于不同層級的數據具有不同的規模，且層級間存在一定聯系。然而，現有方法通常著重于挖掘層級間關聯，對每個層級使用相同的模型，卻忽略了每個層級的數據特點不同，單一模型并不適用于全部層級。因此，本文將基于電信客服領域工單文本，設計了多模型融合算法（multi model fusion algorithm，MMF），根據各層級的數據特點選擇合適的模型，實現工單自動多級分類，以及提高分類準確度作為主要研究方向。

2 文本分類算法

中文文本自動分類是計算機對中文自然語言按照一定的分類體系或標準進行自動化歸類、標記的過程，根據一個已標注的文檔集合，訓練學習得到文檔特征和文檔標簽類別之間的關系模型，然后利用這種關系模型對新的文檔進行類標簽進行判斷、預測?，F針對本文實驗過程中使用的算法如XGBoost、TextCNN、HFT-CNN、BERT做具體介紹。

2.1 XGBoost算法

極度梯度提升（extreme gradient boosting，XGBoost）算法，是一種boosted tree的可擴展機器學習算法，經常被用在一些大型文本類比賽中，效果顯著。它是目前最快最好的開源boosted tree工具包，能夠高效、靈活和便利地進行大規模并行boosted tree算法操作。XGBoost 所應用的算法就是全梯度下降樹（gradient boosting decision tree，GBDT）的改進，既可以用于分類也可以用于回歸問題。XGBoost算法的實現流程如下。

輸入 訓練樣本={(1,1), (2,2),…, (,)}，最大迭代次數，損失函數，正則化系數、；

輸出 強學習器()；

迭代輪數：=1,2,…,；

步驟1 計算第個樣本（=1,2,…,）在當前輪損失函數，計算所有樣本的一階導數和二階導數。

步驟2 基于當前節點嘗試分裂決策樹，默認分數值為0，和為當前需要分裂的節點的一階二階導數之和。

步驟3 基于最大值對應的劃分特征和特征值分裂子數。

步驟4 如果最大值為0，則當前決策樹建立完畢，計算所有葉子區域的權重，得到弱學習器，更新強學習器，并進入下一輪弱學習器的迭代。如果最大值不為0，則從步驟2繼續嘗試分裂決策樹。

XGBoost廣泛應用最重要的原因是具有可擴展性。從工業界應用的落地情況來看，XGBoost的分布式版本具有廣泛的可移植性，支持在MPI、YARN等多個平臺上運行，同時得益于XGBoost保留了單機并行版本的各種優化，使得工業界數據規模的問題可以得到很好的解決。

2.2 TextCNN算法

TextCNN算法模型結構是CNN結構的一個變體，如圖1所示。

圖1 TextCNN算法結構模型

其中，表示一個非線性函數，表示權重，表示偏移量。

然后對每一個特征向量進行最大化池化操作并拼接各個池化值，最終得到句子的特征表示，將這個句子向量輸入分類器進行分類，至此完成整個流程。

針對文本淺層特征的抽取TextCNN能力很強，在短文本搜索、對話等領域專注于意圖分類時效果很好，并且速度快，應用較為廣泛。由于TextCNN主要靠濾波器窗口抽取特征，針對長文本領域中的長距離建模方面能力受限，且對語序不敏感，因此應用不是特別突出。

2.3 HFT-CNN算法

HFT-CNN模型類似于TextCNN，使用的是fastText進行詞向量計算，輸入是由詞向量拼接而成的短文本句子序列，接著使用卷積核為的卷積層提取句子特征，然后添加池化層，將這些池化層的結果拼接然后經過全連接層和Dropout（降低過擬合的可能性進而提高模型的泛化能力）得到上層標簽[A,B,...]的概率，損失函數采用交叉熵。

HFT-CNN針對下層標簽的預測是基于在上層標簽的預測模型中已經學到了通用特征，但更深層的網絡需要去學習原始數據集中比較詳細的信息。因此模型中對詞嵌入和卷積層參數保持不變，在這個基礎上進行微調學習，這一步標簽也由[A,B]變為[A1,A2,B1,B2]。采用了兩種得分方式來對最終文本分類的結果進行判斷：布爾評分函數（boolean scoring function，BSF）和乘法評分函數（multiplicative scoring function，MSF）。這兩種得分方法都是設置一個閾值，預測文本在某個分類標簽的得分超過閾值則認為是該分類標簽。區別在于BSF只有在文本被分到一級分類標簽時才會認為分類的二級分類標簽是正確的，MSF則沒有此限制。對標簽的分類，模型是先學習比較通用的特征知識，然后再進行細分。

圖2 TextCNN算法流程

HFT-CNN模型標簽層級化微調思路值得深入研究，但是也存在一些問題：一方面是關于差異性特征抽取問題；另一方面，按照遍歷遞進思路，多元標簽數量多，層級也比較高，則模型會變得異常復雜，訓練的速度很慢。這也是工業界未能廣泛應用的重要原因。

2.4 BERT算法

BERT（bidirectional encoder representation from transformers）算法模型是一種基于雙向Transformer構建的語言模型。語言模型（language model）是指找到一串字或詞序列的概率分布，可以表示一個句子或序列出現的概率，通過概率模型表示文本語義，從而可以量化地衡量一段文本存在的可能性，也就是這個句子或序列的邏輯是否通順。對于一段長度為的文本序列，序列里每個單字或詞都有上文預測該單字或詞的過程，所有單字或詞的概率乘積可以用來評估文本存在的可能性。Transformer是首個完全依靠自注意力機制來計算其輸入和輸出表示，而不使用序列對齊的循環或卷積的神經網絡轉換模型，旨在解決序列到序列的關聯任務，同時能夠輕松處理長時序依賴。此處“轉換”是指將輸入序列轉換成輸出序列。Transformer創建的核心理念是通過注意力和重復機制，徹底處理輸入和輸出之間的依賴關系。BERT的模型架構是一個多層雙向Transformer編碼器，且BERT模型中與Transformer相關的實現和原Tranformer結構幾乎一樣。BERT的設計不同于單向語言模型（ELMo、GPT）來學習通用語言表征，它是受到完型填空任務的啟發，通過在所有網絡層中對單個字或詞的左右上下文進行聯合調節，將來自未標記文本的深層雙向表示進行預先訓練，減輕單向語言模型的約束問題。

圖3 BERT算法的預訓練和微調

使用BERT主要有兩個步驟：預訓練和微調，如圖3所示。在預訓練期間，BERT模型的主要作用是在不同任務的未標記數據上進行訓練學習；而微調的時候，BERT模型是用預訓練好的參數進行初始化，基于下游任務的已有標簽的數據來訓練學習的。盡管最初的時候都是用預訓練好的BERT模型參數，但每個下游任務有自己的微調模型。模型將預訓練模型和下游任務模型結合在一起，下游任務中仍然使用BERT模型，而且支持文本分類任務，在做文本分類任務時不需要對模型做修改。將BERT在大量的領域相關數據上繼續訓練，使得BERT更好地適應于相關領域的文本分布表示，最終在該領域的下游任務上取得進一步的提升。

很多實驗證明BERT適合處理句子對匹配類的任務，在GLUE（general language understanding evaluation）這種綜合的NLP數據集下，對幾乎所有類型的NLP任務（除了生成模型外），BERT預訓練都有明顯促進作用。但是，GLUE的各種任務有一定比例的數據集規模偏小，領域也還是相對有限，例如在書面文本領域表現較好，而對于口語文本領域的表現就相對較差。隨著BERT本身能力的各種增強，絕大多數NLP子領域都會被統一到BERT兩階段+Transformer特征抽取器的方案框架上，預訓練技術對于很多應用領域的確產生了很大的促進作用。

3 多模型融合算法分類方法

3.1 基本思路

由于單級的文本分類系統在分類類別特別多時，受到類別空間大、數據稀疏性的影響，準確率較低，因此現有的針對超多類別的文本分類系統多為基于分級結構的方法。然而，現有的基于分級結構的方法多為每級使用相同的機器學習模型或深度學習模型，但忽略了不同的層級上的數據特點不同，適合的模型也不同，導致部分層級準確率較低。為了驗證這一觀點，本文使用TextCNN在四級分級結構的每一層直接進行分類，結果見表1。第一級和第二級的類別個數相對較少，且每一類別的數據量也較為充足，TextCNN在這兩級的也有著較高的準確率。而第三級的類別個數則多至上百個，每個類別的數據量有明顯的降低，在第四級這種現象進一步加劇，導致TextCNN模型的準確率很低。因此本文提出了基于分級結構的多模型融合算法，結構如圖4所示，提升分類準確率。

圖4 MMF模型整體結構

表1 各級分類數據及直接使用TextCNN分類準確率情況

為了充分利用標簽的分級特性，解決深度模型在靠后層級上分類準確率下降的問題，將分類模塊設計為兩個子模塊，分別為粗分類模塊和細分類模塊，分類流程如圖5所示。粗分類模塊的目的是將文本分類到非最后一層的某一層葉節點類別上，由于數據量充足且類別空間較小，可以采用深度學習模型進行分類，本文采用TextCNN作為分類器。細分類模塊則是將粗分類得到的結果繼續沿著分級結構向下分類，直至分類到最后一層類別節點上，由于分類空間變大，數據更加稀疏，所以本文采用針對每一個類別訓練分類器的方式，并使用對數據量要求較低的XGBoost作為分類器。

圖5 分類流程

3.2 基于TextCNN的粗分類

粗分類模塊流程如圖6所示，以粗分類級數為2級為例。在粗分類模塊中，將文本分類到較高層的類別，由于分類空間相對最后一集較小，所以很多深度學習方法都可以使用，選擇了經典的TextCNN模型。

圖6 粗分類模塊流程

然而，接近百種類別的類別空間仍然會導致模型受到數據稀疏性的影響，對于TextCNN這種含有大量的參數的模型而言，在小數據集上訓練會極大地影響泛化能力，通常會導致過度擬合，為緩解這種影響，本文采用微調的技術訓練模型。微調的動機是觀察到TextCNN上層可以捕捉到對許多任務都有效的通用的特性，TextCNN后面的層則逐漸變得更與任務相關聯，以捕捉到原始數據集中包含的細節。這個動機與將類別標簽做分級的動機是相同的，因為本文首先將不同的類別在層次結構的上層進行相對粗粒度的區分，然后在底層進行更加細粒度的區分，也就是說，上層的標簽更加具有泛化性。因此在層級之間對TextCNN做微調，可以充分利用類別標簽的層級結構。具體的方法是，將第一層TextCNN模型的上層參數，包括詞向量、卷積層、池化層傳遞到第二層的TextCNN模型，然后對下層參數，即全連接層使用訓練數據微調，以此類推。

考慮到前面幾級的類別標簽數量較少，且具有較強正交性，即類別之間區分較為明顯，對后續的分類有更強的影響。如果第一級模型將文本分類為交通類，那第二級的模型應該更關注在交通類的子類別中進行細分，又因為模型在前面幾級分類準確率較高，所以本文采取在后續層級的分類中引入上一級模型向量的方式來輔助當前層級模型的學習。圖6中，將第一級TextCNN模型的最后一層向量與第二級TextCNN模型的最后一層向量做拼接后，經過全連接層輸出分類類別。如果粗分類包括多于兩級的話，則對其他級也做如上操作。

3.3 基于XGBoost的細分類

經過粗分類后，每個樣本被分類到了中間層的某個類別上。這時，如果繼續用粗分類的框架繼續分類，則會面臨分類空間巨大，數據非常稀疏的情況，深度學習方法由于需要足夠數據量支撐，不再適用，即使通過微調的方式緩解，模型的準確度依然不高。為解決這個問題，本文采用針對每個類別單獨訓練模型的方式，而不是使用一個模型分類所有類別。這樣做的優勢在于每個模型的分類空間變小，分類難度降低。但同時，考慮到每個模型對應的訓練數據也變少了，使用對訓練數據量要求較小的XGBoost算法。相比于深度學習算法，XGBoost有較強的非線性擬合能力，在訓練數據較少時仍有比較好的記憶性，且只占用CPU資源，可以同時進行多個模型的訓練和預測。

XGBoost算法需要人為構造特征作為輸入。通過觀察數據發現，多數類別是具有較為明顯的關鍵詞的，所以首先將文本數據集分詞并且除去停用詞以后，進行文本特征詞的提取。在文本的特征詞提取中，關注的是某個詞與類別是否存在比較強的相關性。如果是，那么這個詞就具有表征此類文章的能力，則可以作為此類文本的特征詞。為了表示某個詞與某個類別的相關性，本文使用CHI檢驗方法提取特征詞。通過給每一類文本選出150維的特征并去重，可以獲得1 000維左右的特征，接著為每個文本構造向量空間模型，即使用詞頻-逆文件頻率（TF-IDF）的方法計算各特征的權重得到表示該文本的特征向量，就將原本的單個文本轉化成了1 000維特征向量，對應一個分類類別號這種可以方便使用XGBoost算法分類的數據。

在某一層進行分類后，每條樣本都會得到對應分類類別的概率分布，常用的是類別選擇方式是貪心搜索，即將概率最高的類別當作此條樣本在這一層的類別，下一層在這個類別的基礎上繼續分類，但由于在下一級是針對每個類別的子類別進行細分，層級之間具有強依賴關系，這種貪心搜索的方式只能保證局部最優而不能保證全局最優，如果在上一級分錯，那下一級的分類結果也一定是錯的。為了緩解這個問題，本文采用束搜索的方式，通過挑選概率最高的兩個類別，然后在下一層用這兩個類別對應的子模型進行分類，每個子模型同樣保留概率最高的兩個類別，當分類到最后一層時，每個分類類別都對應著一條路徑，將這個路徑上對應的概率相乘，將乘積最大對應的類別作為最終的分類結果。如圖7所示，加粗的路徑為按照上述邏輯選出來的路徑。

圖7 細分類模塊流程

4 實驗結果及分析

4.1 實驗數據

為了驗證基于分級結構的多模型融合工單分類方法的可行性和優勢，本文將其與現有的文本分類模型進行驗證和比對。實現了基于分級結構的多模型融合工單分類方法包括文本預處理模塊和分類模塊，分類模塊又可以分為基于TextCNN的粗分類和基于XGBoost的細分類兩個子模塊。文本樣本輸入系統后，首先進行文本預處理，處理為適合下游模型輸入的數據格式，常用手段包括過濾非中文信息、模板提取和文本分詞等。然后輸入分類模塊開始進行分類，得到分類結果。

實驗驗證數據集為客服中心某套餐業務2018年、2019年的工單數據。數據集包含80 482條樣本，將其劃分為訓練集和測試集，訓練樣本72 000條，測試樣本8 482條，數據集的標簽體系分為四級，每級的類別數和數據情況見表1。

數據預處理基于 Python3/SKLearn 實現；模型訓練和驗證，基于 Python3/TensorFlow1.14 實現。

4.2 實驗環境

實驗環境硬件采用的是P40顯卡（運行內存24 GB），軟件開發環境為：CUDA（10.1）、cuDNN（7.4）、Anaconda（4.10.1）、Python（3.6）、 Tensoflow-gpu（1.14）、Scikit-learn（0.23.2）。

4.3 評估方法

實驗分別驗證了TextCNN、分級TextCNN、BERT、分級BERT、XGBoost、分級XGBoost、HFT-CNN和本文提出的MMF共8種模型在數據集上的準確率（所有預測四級分類全部正確的樣本/總樣本）。對于TextCNN模型，設置其卷積核窗口大小為（2，3，4），步長為1；對于BERT模型，使用與論文中相同的超參數設置。對于XGBoost模型，由于數據量較少容易導致過擬合，對其進行了較為細致的調參，設置樹模型最大深度為5，樹的個數為100，特征子采樣比率為0.7，L1正則化參數為0.5，L2正則化參數為1，學習率為0.05。

4.4 實驗結果和分析

4.4.1 實驗結果對比

模型實驗對比結果見表2，通過對比可以看出，直接用單一模型分類所有類別的TextCNN、BERT和XGBoost方法準確率較低，BERT相比于TextCNN的提升也十分有限。而基于分級的方法，分級TextCNN、分級BERT、分級XGBoost、HFT-CNN和本文提出的方法則明顯優于非分級方法，說明在類別空間非常大的時候，利用標簽的分級體系進行分類是非常有必要的。其中，分級BERT和HFT-CNN比分級XGBoost方法的準確率更高，說明進行級別之間的參數共享是可以進一步緩解數據稀疏性的。

表2 模型試驗對比結果

本文提出的MMF明顯超過了其他對比方法，相比分級BERT方法高出3.8%，相比HFT-CNN方法高出3.9%，相比分級XGBoost方法高出5.1%，相比分級CNN高出6.3%。主要原因在于使用了粗分類和細分類的分類架構，前者利用數據量較為充足的優勢，使用分級的TextCNN模型進行分類，并且為了充分利用層級結構，本文使用了層級之間TextCNN模型的參數共享。后者采用對每個子類別單獨分類的方法，用訓練更多模型換取更高的精度，同時使用對數據量要求較小的XGBoost方法作為分類器，減輕過擬合的風險。在粗分類的時候，同時還將第一級模型的最后一層的向量加入到后續層級的模型中，使得后續層級分類時更關注在其父類類別上。此外，細分類時本文采用束搜索的方式來獲得全局最優的分類效果。

本文在粗分類里將第一級模型的最后一層的向量加入后續層級的模型中，提高粗分類的分類精度，在細分類中采用束搜索的方式來獲得全局最優的分類效果，為了驗證這兩個操作的有效性，本文分別針對這兩個操作進行消融實驗，實驗結果如圖8所示，模型嵌入（model embedding，ME）和束搜索（beam search，BS）分別代表著模型分別將這兩個操作去掉的實驗結果，可以看到，粗分類中將第一級模型向量加入后續模型可以帶來1.48%的收益，這說明第一層模型的分類效果對后續模型有著較大的影響，通過讓后續模型關注在父類類別的子類別上，可以有效縮小分類空間，提升粗分類精度。此外，細分類中的束搜索可以帶來0.93%的收益，這說明與貪婪搜索相比，束搜索通過擴大搜索空間，可有效減輕單個模型精度不足導致的錯分情況。

圖8 模型向量和束搜索的有效性驗證

4.4.2 分級方法性能比較

為了更好地體現本文提出的分類框架的優越性，本文將每一級的準確率指標與同為分級方法的分級TextCNN、分級BERT、分級XGBoost、HFT-CNN進行比較，其結果如圖9所示。與分級BERT、分級XGBoost方法相比，本文提出的方法在前兩級的分類效果上有明顯提升，原因在于模型的粗分類模塊是用的分級TextCNN，準確率要好于分級XGBoost算法；在后兩級上，本模型的表現也好于另外3種分級的方法（分級TextCNN、分級BERT、分級XGBoost），這說明了針對每個子類單獨訓練XGBoost模型可以有效緩解分類空間大的問題，并且使用XGBoost作為分類器有效防止了數據量少帶來的過擬合問題。

圖9 分級方法性能比較

5 結束語

文本分類一直有著廣泛的應用需求，然而現有的方法在針對分類類別數目較少的情況時性能較好，當分類空間增大時，算法的準確性會降低。

由于文本的多層級的特殊性，即使每層的分類器準確率超過90%，受到多層級分類器累積的影響，最終準確率值并未達到一個較高的水平。后續建議在提高語音轉文本準確率的同時，加強數據預處理操作（包括停用詞、同義詞、糾錯等方式）提高輸入數據的質量，同時希望能結合領域專家知識，重新梳理工單本身的分類結構體系，保證工單類別盡可能精確、獨立。

本文在分析了現有方法劣勢的基礎上，提出了一個基于分級結構的多模型融合的工單分類方法，包括粗分類和細分類兩個子分類模塊，前者使用層級TextCNN獲得粗粒度的分類，后者通過對每個子類別學習多個樹分類器，進行更精細的分類。通過在實際生產數據集上的實驗驗證可發現，本文提出的分類框架可有效提升分類效果。

[1] KIM Y. Convolutional neural networks for sentence classification[C]//Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP). USA: Association for Computational Linguistics, 2014.

[2] MA M B, HUANG L, ZHOU B W, et al. Dependency-based convolutional neural networks for sentence embedding[C]//Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 2: Short Papers). USA: Association for Computational Linguistics, 2015.

[3] Devlin J, Chang M W, Lee K, et al. BERT: pre-training of deep bidirectional transformers for language understanding[EB]. 2018.

[4] ZHAO Z W, WU Y Z. Attention-based convolutional neural networks for sentence classification[C]//Interspeech 2016. [S.l:s.n.], 2016.

[5] SHIMURA K, LI J Y, FUKUMOTO F. HFT-CNN: learning hierarchical category structure for multi-label short text categorization[C]//Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. USA: Association for Computational Linguistics, 2018.

[6] CHEN T Q, GUESTRIN C. XGBoost: a scalable tree boosting system[C]//Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York: ACM Press, 2016: 785-794.

[7] ZHANG Z Y, HAN X, LIU Z Y, et al. ERNIE: enhanced language representation with informative entities[C]//Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. USA: Association for Computational Linguistics, 2019.

[8] KALCHBRENNER N, GREFENSTETTE E, BLUNSOM P. A convolutional neural network for modelling sentences[C]// Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). USA: Association for Computational Linguistics, 2014.

[9] YIN W P, SCHüTZE H. Multichannel variable-size convolution for sentence classification[C]//Proceedings of the Nineteenth Conference on Computational Natural Language Learning. USA: Association for Computational Linguistics, 2015.

Research and implementation of text classification method for customer service orders based on multi-model fusion

ZHANG Liang1, DAI Xiaoju1, ZHENG Rong1, He Tongze2

1. Shanghai Ideal Information Industry (Group) Co., Ltd., Shanghai 201315, China 2. Beijing University of Posts and Telecommunications, Beijing 100876, China

Due to the large amount of order categories and their hierarchical associations, traditional manual order classification method of customer service in telecom call center has the problems of long archiving time, low efficiency and unsustainable accuracy. To solve this problem, a novel text classification algorithm based on multi-model fusion was proposed, which intelligently classify orders with multiple models based on data characteristics and their hierarchical associations, the effectiveness of this method was verified. The current manual operation process was optimized and operation efficiency was enhanced, which support the intelligent transformation and upgradation of existing customer service system.

text classification, customer service order, multi-model fusion, operational efficiency

TP391.1

A

10.11959/j.issn.1000?0801.2021236

張亮（1991?），男，上海理想信息產業（集團）有限公司軟件產品研發工程師，主要研究方向為人工智能技術、自然語言處理、大數據挖掘與分析。

代曉菊（1990?），女，上海理想信息產業（集團）有限公司軟件產品研發工程師，主要研究方向為人工智能技術、自然語言處理、大數據挖掘與分析。

鄭榮（1981?），男，上海理想信息產業（集團）有限公司軟件產品研發高級工程師，主要研究方向為人工智能技術、自然語言處理、大數據挖掘與分析。

賀同澤（1996?），男，北京郵電大學碩士生，主要研究方向為推薦系統、自然語言處理、大數據挖掘與分析。

Shanghai Internet Big Data Engineering Technology Research Center (No.15DZ2250700)

2021?03?22；

2021?10?14

上海互聯網大數據工程技術研究中心資助項目（No.15DZ2250700）