基于投訴文本記錄的數據挖掘系統

林 波 丁東輝 郭靖羽 林偉佳 黃 翰

基于投訴文本記錄的數據挖掘系統

林 波 丁東輝 郭靖羽 林偉佳 黃 翰

本文研究開發了一套基于廣東移動投訴文本記錄的數據挖掘系統。系統主要分為聚類分析、情感分析和匹配文本記錄三個功能模塊，處理的數據是大量的廣東移動的投訴文本記錄。廣東移動呼叫中心平均每天需要為用戶提供超過70萬人次的人工話務支撐，這是一個十分龐大的數字，這些大數據背后隱藏了無限的挖掘潛力。這些待挖掘的潛力無論是在公司應對消費者投訴處理方面還是在改善服務質量方面都有很重要的意義。本文是使用JSP動態網頁技術開發完成。系統采用了MVC設計模式，基于Oracle 11g數據庫和Tomcat7.0服務器開發平臺。

隨著市場競爭越來越激烈，作為企業生命力源泉的業務，各大企業開始不斷地開發適合不同需求客戶群的多種業務及其組合。因此如何開發出合理、合適、高效益的業務成了企業的關注熱點。廣東移動呼叫中心平均每天需要為用戶提供超過70萬人次的人工話務支撐，這是一個十分龐大的數字，這些大數據背后隱藏了無限的挖掘潛力。這些待挖掘的潛力無論是在公司應對消費者投訴處理方面還是在改善服務質量方面都有很重要的意義。

盡管以客戶分析為基礎開發業務將會成為企業的重中之重。未來的市場營銷將會是精準營銷的天下，開發出真正針對客戶需求的業務，實現精準營銷，才能獲得客戶的青睞。因此我們以開發適合不同需求的客戶群的多種業務為目標，以客服文本數據為基礎，提供各個業務的詳細數據，分析業務的優缺點，幫助企業面對越來越激烈的市場競爭。而傳統客戶分析有以下主要缺點：技術手段低效。

客服系統目前僅解決了企業與外部市場進行信息接入的問題，產生的大量數據通過報表等傳統的統計方法，只能得到一般意義上的業務信息反匱。其原因有以下幾點：

1）數據繁復，信息過少

2）難以獲得各種業務的優缺點分析

3）難以挖掘出潛在的市場規律

4）難以把將新舊數據結合，數據之間形成鼓搗

5）難以獲得業務套餐組合的合理分析數據

1系統需求分析

經過多次調研分析，確定了系統的功能需求。系統的功能模塊分為五個功能模塊：聚類分析模塊、情感分析模塊、匹配文本記錄模塊、情感詞庫管理模塊和關鍵詞庫管理模塊。每個功能模塊又有子功能。關鍵詞匹配文本記錄模塊包括業務關鍵詞庫管理和匹配文本記錄兩大子功能，每個子功能下還有對應的功能點。用戶角色分為系統管理員和用戶兩種角色。

（1）聚類分析模塊：聚類分析模塊分為投訴細項聚類分析和投訴原因短語聚類分析兩個子功能。聚類分析模塊對每個時間間隔中的投訴文本記錄的投訴細項和投訴原因短語進行聚類分析，其聚類結果以云標簽的形式進行顯示。用戶點擊云標簽的關鍵字，能夠自動匹配出相對應的投訴文本記錄的投訴內容。

（2）情感分析模塊：系統對投訴文本記錄進行情感分析，并顯示出情感分析結果。每一條投訴文本記錄通過分析分為三種情感程度，輕度、中度和重度。在頁面加載時，統計各種情感程度的投訴文本記錄，顯示情感程度的分布情況。在點擊“輕度”、“中度”和“重度”按鈕圖標是，頁面顯示該情感程度對應的投訴文本記錄。當用戶點擊任何一條頁面中的投訴文本記錄時，顯示該投訴文本記錄對應的情感詞信息。

（3）匹配文本記錄模塊：根據用戶的輸入，篩選并導出相匹配的文本記錄。在頁面加載時，業務關鍵詞庫成功顯示在列表中。用戶輸入模糊的查詢內容，從關鍵詞庫中篩選出包含該輸入內容的關鍵詞，由用戶從詞語列表中自行過濾掉不需要處理的詞語（使用按鈕“刪除待匹配詞語”）。確認刪除后，系統根據剩余的待匹配的關鍵詞篩選出對應的文本記錄，并以文件形式導出文本記錄。

（4）情感詞庫管理模塊：該功能針對投訴文本記錄進行情感分析，識別投訴文本記錄的語氣強度。在情感詞庫中，存在三種不同程度的情感詞，分為為輕度、中度和重度。系統用戶管理情感詞分為三個子功能：新增情感詞、刪除情感詞和查詢情感詞。

圖1　系統功能架構

圖2　數據庫E-R圖設計

（5）關鍵詞庫管理模塊：關鍵詞庫主要是為了用戶匹配投訴文本記錄使用。系統用戶可以進行業務關鍵字詞庫管理，分為新增關鍵詞、刪除關鍵詞和查詢關鍵詞三個子功能。

系統設計

數據庫設計

（1）E-R設計。在進行需求分析之后，各個模塊的功能將比較清晰。現在進行數據庫設計，本系統主要的實體主要有投訴文本記錄、問題細項、投訴短語、業務關鍵詞和情感關鍵詞。E-R圖如圖2所示。

（2）在數據庫E-R圖設計之后，接下來進行數據庫表的設計。數據庫表如下：投訴文本記錄表、問題細項表、業務關鍵詞表、情感關鍵詞表、投訴短語表。

MVC設計模式

系統采用的是MVC設計模式，即模型-視圖-控制器（model-view-control）框架。Mvc設計模式現在已被廣泛使用，是在80年代由Xerox PARC發明的。

圖3　mvc設計模式

模型層：模型層主要是與數據庫交互，封裝數據，在與數據庫交互的過程中系統使用的技術是hibernate。Hibernate是一個開放源代碼的對象關系映射框架。

視圖層：視圖層使用的技術是JSP。JSP是一種跨平臺的動態網頁技術，還有前臺技術css、javascript、js、jquery等。通過業務邏輯給用戶展示不同的視圖，將結果反饋給用戶。

表1　投訴文本記錄表

表2　問題細項表

表3　業務關鍵詞表

表4　情感詞表

表5　投訴短語表

控制層：主要是負責業務邏輯的處理，使用的技術的Struts 2。Struts2是Struts的下一代產品，是在struts 1和WebWork的技術基礎上進行了合并的全新的Struts 2框架。業務邏輯與模型層進行交互然后直到最后將數據返回給視圖層。

系統開發環境

操作系統：Windows xp，Win7

編譯環境：MyEclipse 2014或以上版本

瀏覽器： IE 10、Chrome

數據庫： Oracle 11g

服務器：Tomcat7.0

基于JSP的系統實現

模型層

（1）Hibernate連接Oracle數據庫

Resources.properties文件配置參數：

hibernate.dialect=org.hibernate.dialect. Oracle10gDialect

hibernate.hbm2ddl.auto=update

hibernate.show_sql=true

hibernate.format_sql=false

hibernate.query.substitutions=true 1， false 0

hibernate.default_batch_fetch_size=16

hibernate.max_fetch_depth=2

hibernate.bytecode.use_reflection_ optimizer=true

//四大配置參數

connection.driver_class=oracle.jdbc. OracleDriver

connection.url=jdbc：oracle：thin：@localhost：1521：orcl

connection.username=

connection.password=

//c3p0連接池

c3p0.minPoolSize=5

c3p0.maxPoolSize=30

c3p0.initialPoolSize=10

c3p0.maxIdleTime=60

c3p0.acquireIncrement=5

聚類分析模塊

聚類分析的界面設計如圖4所示。在頁面的上方是導航欄，對應于“匹配文本記錄”、“聚類分析”頁面和“情感分析”頁面，這三個頁面的用戶角色都是普通用戶。當點擊文字圖標時，三個按鈕之間可以相互跳轉，下劃線代表了當前頁面。

在導航欄的下方，有五個按鈕圖標，對應于五個不用的時間間隔，分別是“最近1小時”、“最近2小時”、“最近3小時”、“當天”和“兩天內”，點擊任意一個按鈕圖標，對相應時間間隔內的投訴文本記錄進行分析。

在五個按鈕圖標的下方，分別是投訴細項聚類分析結果和投訴原因短語聚類分析結果兩大部分。每個部分分為左邊云標簽和右邊投訴文本記錄兩大塊。云標簽顯示的是聚類分析后的投訴細項或者投訴原因短語，而右邊顯示的是投訴文本記錄。在點擊云標簽上的短語后，右邊需要顯示相應的投訴文本記錄。

情感分析模塊

情感分析的界面設計如圖5所示。在頁面的上方是導航欄，如“聚類分析”頁面的導航欄一樣，實現三個頁面之間的跳轉。

圖4　聚類分析界面

圖5　情感分析界面

圖6　匹配文本記錄界面

在導航欄的下方，頁面從上往下4大部分。首先是情感強度的顯示，左邊是餅狀圖，形象地顯示三種情感程度的比例，右邊顯示的是情感程度比例最大的情感程度。然后是三個情感程度按鈕，分別是“輕度”、“中度”和“重度”。之后是一個＜select＞html標簽，用于顯示投訴文本記錄。在點擊情感程度圖標按鈕時，下方將顯示投訴文本記錄。最后的話是情感詞顯示框。在點擊投訴文本記錄時，情感詞顯示框內將顯示該文本記錄的情感詞信息。

圖7　業務關鍵詞庫管理界面

圖8　情感詞庫管理界面

匹配文本記錄模塊

匹配文本記錄的界面設計如圖6所示。在頁面的上方是導航欄，如“聚類分析”頁面的導航欄一樣。

在導航欄的下方，頁面分成左邊和右邊兩大部分。左邊部分是為了搜索出關鍵詞使用，包括搜索輸入框、搜索按鈕圖標、關鍵詞顯示列表和刪除關鍵詞按鈕圖標。模糊搜索中支持模糊匹配，也支持多個關鍵詞搜索，中間用空格區分。關鍵詞顯示列表＜select＞標簽是在點擊“搜索”按鈕之后返回的關鍵詞列表顯示。刪除待匹配詞是刪除此時要匹配的關鍵詞，不是數據庫中的關鍵詞。

右邊主要是“匹配文件”按鈕、“導出文本記錄”按鈕和一個文本提示信息的顯示區域。在點擊“匹配文件”按鈕后，若成功匹配到文件，則“導出文本記錄”按鈕切換圖片，變成可以點擊；點擊“導出文本記錄”按鈕圖標后，將匹配好的投訴文本記錄存儲在一個文件中。

業務關鍵詞庫管理模塊

庫管理的界面設計如圖7所示。在頁面的上方是導航欄，對應于“關鍵詞庫管理”和“情感詞詞庫管理”頁面，當點擊按鈕圖標時，如點擊“情感詞庫管理”管理，系統會跳轉到情感詞庫管理頁面。圖標的下劃線代表了當前顯示頁面。

在頁面的左側，是一個下拉列表標簽＜select＞標簽，是為了顯示關鍵詞列表使用。在頁面的右側上方，是一個文本顯示區域，顯示查詢到的關鍵詞。文本顯示區域下方對應該情感詞庫的三個功能，查詢關鍵詞、新增關鍵詞和刪除關鍵詞。三個按鈕在點擊、懸浮和移除時會切換圖標，給用戶好的使用體驗。最后提示信息顯示區域。如“成功刪除關鍵詞”、“成功添加關鍵詞”等等。

情感詞庫管理模塊

情感詞庫管理的界面設計如圖8所示。在頁面的上方是導航欄，和關鍵詞庫管理的頁面的導航欄是相同的，因為這兩個功能模塊的用戶角色是系統用戶，詳見需求分析。

在頁面的左側，是一個下拉列表標簽＜select＞標簽，是為了顯示情感詞列表使用。在頁面的右側上方，是一個文本顯示區域，顯示查詢到的情感詞。文本顯示區域下方對應該情感詞庫的三個功能，查詢情感詞、新增情感詞和刪除情感詞。頁面中所有的按鈕按鈕圖標在點擊、懸浮和移除時會切換圖標，給用戶好的使用體驗。其中新增情感詞是因為有情感詞的內容和情感詞的程度，所以在點擊“添加”情感詞是需要點擊“輕度”、“中度”和“重度”按鈕來選擇情感詞的強度。最后提示信息顯示區域。如“成功刪除情感詞”、“成功添加情感詞”等等。

結語

本文設計實現了一個基于廣東移動投訴文本記錄的數據挖掘系統。系統對廣東移動大量的投訴文本記錄進行投訴細項和投訴原因短語聚類分析和情感分析，挖掘出有用的信息。實驗表明，將文本挖掘技術應用于廣東移動投訴文本記錄所開發出來的系統，能夠獲取客服過程中客戶及時的反饋等有效信息，幫助企業來提高他們業務營銷的效率，推出大眾期望的新套餐或改進原有的套餐，更有針對性地解決客戶的需求。

10.3969/j.issn.1001-8972.2015.21.014