基于負面清單管理模式的電力客戶服務評價方法*

劉志欣，黃旭，魏加項，于亮，葉晶晶

(1. 國網北京市電力公司，北京 100031； 2. 北京交通大學 電氣工程學院，北京 100044)

0 引 言

準確有效地評價客戶服務質量是供電企業提高服務水平的重要手段。通常，客戶服務質量的評價可以通過外部的滿意度測評和內部的服務過程評價來實現[1]。外部滿意度測評在國內外通常采用以調查問卷為基礎的定量評價方法[2-6]。調查問卷具有容易量化，便于統計，可以開展大規模調查的優點，但它存在調查問題的設計體現設計者的主觀考慮，很難完全客觀反映出被調查者的整體感受過程，動態追蹤性較差的問題。與依賴于調查問卷的滿意度測評相比，服務過程評價有三個優點：能更全面更客觀地評估業務過程的執行質量；能更直接地發現客戶服務中的不足和瓶頸；能充分發揮業務大數據的作用，進而實現常態化評估。

然而，面向業務數據的服務質量評價面臨許多挑戰，主要困難包括：如何建立一套客觀、實用、可量化的指標體系，如何規避無效或低價值業務數據的干擾，以及如何提高評價機制的動態跟蹤性能等。文獻[1]針對供電服務的業務統計數據構建了一套內部評價指標體系，并利用模糊層次分析法來確定指標權重。文獻[7]將主成分回歸賦權方法與熵權值賦權法相結合構建了一個多因素，多層次的指標體系，彌補單一主觀賦權法的不足。文獻[8]從6個維度以平衡計分卡為理論基礎構建滿意度評價指標體系，利用網絡層次法和模糊綜合評價法建立動態測評模型，解決以往客戶滿意度評價單一指標主觀性較強的問題；文獻[9]建立四級評價體系，采用逼近理想點法和專家打分法計算不同級的指標權重，既考慮了指標本身的數值意義，又考慮了專業管理的目標，增強了評價指標得分的合理性和客觀性。以上這些方法在一定程度上克服了專家打分法主觀性較強的缺點，但仍屬于常規的綜合評分法。

在客戶服務質量評價中，多數研究采用了自下而上的評分結構。也就是說，通過指標體系分層、子項打分、按權重疊加來得到一個綜合分值。文獻[10]借鑒ACSI模型結構和其他行業的客戶滿意度模型，不考慮難以量化的客戶忠誠指標，對提升客戶滿意度工單進行“+”處理，對降低客戶滿意度工單進行“-”處理。文獻[11]基于費耐爾模型研究影響顧客滿意度的各種因素以及相關關系，用正負號表示變量之間的相互關系及相關程度。文獻[9]采用“二八原則”和下凹型效用函數對指標進行評分，計算出正向指標和負向指標，計算結果弱化了數量級帶來的影響。雖然這類分值能反映出服務質量的相對高低，但是個體分值的含義并不明確，這削弱了分值的參考意義。

總而言之，客戶服務質量評價或滿意度測評應當滿足以下的基本要求：首先，評分結果應呈現科學合理的概率分布，且各分數段對應明確的含義，從而更有效地支持業務改進；其次，評價體系應當緊密結合具體業務，能客觀地反映客戶體驗；最后，評分基準、指標權重等重要參數可自適應調節。圍繞上述需求，主要完成了以下工作：(1)提出了一種基于RATER指數的客戶服務評價分層架構；(2)提出了基于負面清單管理模式的評分方法，旨在解決大量無效數據干擾問題和凸顯負面清單對企業形象及信譽的影響；(3)設計了基于改進蟻群算法的賦權方法，從而提高權重系數的客觀性。最后，通過實際業務數據對提出的方法進行了分析和驗證。

文中剩余內容安排如下：第1節介紹評價體系、評分方法及權重系數的確定步驟;第2節設計基于改進蟻群算法的權重系數辨識方法;第3節通過實際數據驗證所提評分方法并測試靈敏度;第4節總結所提方法的優勢、適用性及完善方向。

1 評價體系設計

1.1 體系架構組成

采用綜合評價方法實現服務質量評價，搭建基于RATER指數的關鍵指標。RATER指數是一種被廣泛應用、可以有效衡量客戶服務質量的指標體系，包括五個子項：信賴度(Reliability)、專業度(Assurance)、有形度(Tangibles)、同理度(Empathy)和反應度(Responsiveness)。因此，綜合評價總分公式可表達如下：

(1)

式中k取1到5且分別對應RATER五個指標；ωk和xk分別為第k個指標的權重系數和基于百分制的指標得分。

表1 RATER指數考核要點

表1列出了RATER各指數的考核要點。考核要點直接與服務工單的類別相關聯，可通過工單中所登記的業務代碼實現歸類。部分歸類結果如表2所示。

表2 業務歸類部分結果

通過業務代碼將工單歸類到RATER的五個指標，歸類后工單處理的質量將直接影響到各個指標的評分。在計算指標分值過程中，有兩個關鍵問題需要解決：一是如何根據業務數據得到指標得分；二是如何確定權重系數。

1.2 指標評分方法

傳統的指標評分方法采用綜合評分方法，其實現步驟如下：首先，將指標劃分為業務細項；然后，對每個業務細項分別評分；最后，按照權重得到指標評分。由于業務分類能確保總體評價的精度，這種方法得以廣泛采用。然而，在多數情況下，從業務過程中可以提取到的、能直接反映客戶服務質量的信息很少，甚至有些信息是不可靠或不準確的。例如，業務執行時間通常可以從數據庫中通過時間比較得到，但該時長受多種因素影響，與客戶所體驗到的實際業務時間并非對應。再比如，系統所收集的客戶滿意度評價結果在概率統計上往往呈現偏態分布而非正態分布。其中一個重要原因是被服務對象常常不予評價或給出偏高評價。

表3 經典五級滿意度分類下的工單數量(2016年)

在傳統服務質量管理中，周報、月報統計包含了不滿意率等統計指標。然而，該指標較為籠統，波動量小，而且不能體現具體業務細類中的問題及影響程度。例如，由于客戶預留電話號碼錯誤導致停送電信息短信通知失敗，引發此類負面評價的主要原因并非服務品質問題。

與面向調查問卷的評價相比，基于業務大數據的指標評價在基本需求基礎上還應滿足以下兩個需求：能基于不確定的業務數據實現自動評分，并且對負面評價具有較高靈敏性。由此，提出了基于負面清單管理模式的評分方法。五級指標中的不滿意、非常不滿意評價被視為負面評價，其中非常不滿意評價包含了涉及電力公司服務質量的投訴及舉報全部工單。

步驟1：選取一個負面工單j，根據評價級別(即不滿意、非常不滿意)設置懲罰系數為α，如不滿意和非常不滿意分別設為1和2；

步驟2：根據工單所屬業務明細(如表2所示)判定其指標分類為k，用δ表示該明細與服務品質的關聯度，δ∈[0, 1]。如“青苗賠償”的負面評價通常與客戶對賠償數額的期望有關，不完全依賴于客戶服務品質。在實際應用中，關聯度通過“1-9標度法”確定。

步驟3：工單j的負面影響用λj=αδ表示，則指標k的負面影響計算為：

(2)

式中J為涉及該指標的負面工單集合;K為服務工單總數。

步驟4：完成所有負面工單統計后，指標k的評分為：

(3)

式中，如ηk太大則xk將出現負值，可改為：

(4)

式中 函數max( )將返回兩操作數中的較大值。

上述方法根據負面評價的級別、關聯程度和數量將指標分值歸一化，從而防止數量龐大的中性評價或無效評價鈍化總評分值，提高負面評價的靈敏度。同時，由于負面評價數據較為詳實且具有很高可信性，所以基于負面清單管理模式的評分方法能更準確地反映服務品質的變化。

1.3 權重系數的確定方法

通常，權重系數由主觀賦權法或客觀賦權法來確定。其中，主觀賦權法包括德爾菲法(專家法)、相鄰指標比較法以及層次分析法，由于簡便易行主觀賦權法被廣泛應用于綜合評價中。

如表2所示RATER指數與電力公司業務存在明確的相關性，所以可以采用基于層次分析模型的“1-9標度法”確定各指標的權重。在具體操作中，可以借助于專業軟件來降低計算難度，如超級決策軟件(Super Decision)。根據對電力客戶服務專業人員和抽樣客戶的問卷調查，采用超級決策軟件分析，得到的主觀權重系數如下：信賴度為0.06、專業度為0.60、有形度為0.04、同理度為0.11、反應度為0.19。從主觀角度來看，在電力客戶服務質量的影響因素中，專業度和反應度的權重較大，而有形度和信賴度權重較小。

在實際業務中，業務明細劃分和引起負面評價的原因都比較復雜，這導致主觀賦權法存在局限性。因此，通過以下參數識別策略進一步提高賦權的客觀性：

步驟1：根據主觀賦權法得到RATER五個指標的權重系數作為初值，并設定取值范圍，然后整理篩選出一定數量的負面評價工單作為樣本集;

步驟2：按照業務分類及式(2)和式(3)計算樣本集中每個負面評價工單的得分，并按照表2所示的分類標準將負面評價工單歸類到RATER的五個指標;

步驟3：當計算完樣本集中所有負面評價工單后，由式(1)得到綜合評分，與滿意度評分的參考值比較求出平均相對誤差百分值(MAPE);

步驟4：按一定規則調整權重系數，到步驟2繼續計算。當達到預設迭代步驟后，選出最小MAPE對應的一組權重系數作為最優權重系數。

步驟3中的滿意度評分的參考值是一個數組，表示多個月或多周的評分。該參考值由專家根據每個月的客戶服務總體水平給出，或根據上級管理部門的總體評分設定。需要注意的是，該參考值應當根據預設的分值區間進行折算，從而保持相同的評分敏感度。因此，目標函數設計為：

(5)

式中φ為最優權重系數的可選解；Φ為解空間；M為擬合月數；zm為第個m個月的參考分值；ym為按式(1)得到的第m個月的評分。

式(5)所示的目標函數可以采用非線性優化算法求解，將在下節中詳細介紹。基于實際服務工單數據對權重系數進行辨識可以提高賦權客觀性，也能提高評價模型的適用性。更重要的是，辨識得到的權重系數隱含了對關聯度的自適應調整，能進一步提高評價方法的準確性。

2 基于改進蟻群算法的權重系數識別

2.1 解空間

蟻群優化算法(ACO)常用于解決組合優化問題，經過多年的發展，已經成功應用于許多研究領域中，其有效性和可靠性得到了充分證明。在電力系統方面，蟻群算法常用于綜合規劃問題的尋優，一般面向離散域進行設計和求解[12-16]。然而，權重系數的辨識屬于連續域尋優，為此采用網格劃分策略來設計蟻群算法。假設待求參數僅有一個，用實數變量v表示，v∈[vmin，vmax]。根據取值范圍將變量v的解空間劃分為N格，則每格寬度為Δv=(vmax-vmin)/N。以每格中心作為節點(城市)，其取值為：

(6)

式中j=1,…,N。

當蟻群算法運行時，螞蟻需要完成2步：第1步是根據每個節點上所殘留的信息素通過轉移概率算法來選擇走哪一個節點，即選取一個符合要求的參數vj；第2步是根據選取的參數vj計算目標函數值，更新對應節點的信息素。經過多次循環后信息素最高的節點所對應的vj即為最優參數vopt。

為了提高連續變量的識別精度，應對離散蟻群算法做一定改進。每循環一定次數后，適當縮小格寬度Δv(即重新設置vmin和vmax)，公式如下：

(7)

式中γ是收縮系數，γ∈[0, 1]，使網格寬度逐漸縮小，從而不斷提高識別精度。

針對基于負面清單管理的客戶滿意度評價指標體系，待識別參數為5個權重系數，因此蟻群算法的解空間即為5×N的節點網格，稱為5列N行，如圖1所示。節點變量vij表示第i列第j行的取值，每只螞蟻都需要從左到右走過5個節點完成單次尋優過程。

圖1 解空間的網格劃分示意圖

2.2 算子設計

在式(5)所示目標函數中，方均誤差表示為：

(8)

則蟻群算法的信息素更新公式設計為：

(9)

式中ρ為信息素揮發系數;Q為信息素強度;c為一個極小的正小數防止被零除。

RATER指數需要5個權重系數，則每只螞蟻都要走過5個節點連成的一條路徑。由于每列有N個節點，螞蟻必須根據狀態轉移概率選擇走哪一個。在此，轉移概率的計算公式如下：

(10)

當一只螞蟻走完5個節點后，根據式(9)更新這些節點的信息素。信息素的持續更新使眾多螞蟻之間相互影響，促使蟻群尋找最優路徑。

2.3 求解過程

所提蟻群算法由兩個循環結構組成，即蟻群循環和網格收縮循環，具體過程如下：

(1)設置待求系數的取值范圍；設置收縮系數；設置蟻群總數量；設置網格收縮循環的次數;

(2)根據式(6)初始化待求參數；設置信息素強度和揮發系數；初始化信息素矩陣;

(3)執行蟻群循環，讓所有螞蟻走完5個節點所構成的尋優路線。其中，每只螞蟻的執行過程分成3步：第1步，螞蟻根據式(10)選出路線上的5個節點；第2步，將被選中的節點輸入式(6)求出對應的5個參數，按照式(1)～(4)統計所有負面評價工單并輸出評價總分；第3步，根據式(8)和式(9)更新5個節點的信息素;

(4)檢查是否達到網格收縮循環的最大次數或達到預設精度，是則轉至下一步，否則根據式 縮小變量范圍并轉至第(2)步;

(5)輸出辨識得到的最優權重系數。

3 案例分析

3.1 權重系數識別及對比驗證

以95598電力客戶服務中心2016年上半年6個月的數據為例，進行客戶服務質量的評價。主要包括以下具體環節：

(1)首先進行數據整理，根據非結構化的數據庫字段“客戶意見”通過關鍵詞匹配篩選出負面評價工單，然后根據業務代碼確定工單所隸屬的RATER指標；

(2)根據歷史統計數據設定各指標的負面評價常規占比及其自評分數；

(3)通過專家打分得到權重系數初值，再利用改進的蟻群算法確定權重系數；

(4)根據確定的權重系數等參數計算得到每個月的客戶服務質量綜合評分。

不滿意和非常不滿意的懲罰系數設置為1和2，業務細類與服務品質的關聯度基于歷史統計信息并通過“1-9標度法”確定，部分關聯度如表4所示。

表4 業務細類與服務品質關聯度的部分設置

表5列出了所需的相關參數。其中，根據2015年全年的分類統計結果設定負面評價的總數占比，根據國家電網公司客戶服務管理要求設定自評分值，根據主觀賦權結果設置權重系數的取值區間。

表5 參數初值設置

2016年1 月～6月的專家評估分值折算到[60, 100]區間后分別為：90、90、86、83、70、79，根據該目標分值采用蟻群算法即可識別出最優權重系數，結果為：0.03、0.41、0.06、0.11、0.39。可見，基于實際數據得到的反應度權重更高，體現了該指標對總體評價的影響恒大。采用辨識出的權重系數，計算總評分值為88、90、86、80、71、76，與參考分值的對比如圖2所示，其中擬合誤差MAPE為1.8%，吻合程度很高，表征該組權重系數能較為準確地描述客戶服務質量。

圖2 總評分數的計算結果

4.2 評價方法靈敏度測試

在電力客戶服務中，專業度、反應度和同理度相關的負面評價最容易出現，也更易于得到改進。辨識得到的三者權重也最大。因此，采用定量法測試這三個指標對負面評價的靈敏度。將2016年1月隸屬各個RATER指標的不合格工單比例分別增加0.05‰和0.10‰、減少0.05‰和0.10‰，根據式(4)計算總評分值，與圖2中的1月份總評分值88分對比得到偏差分數，如圖3所示。

圖3 RATER指標的靈敏度測試結果

由圖3可知：(1)各指標分值均能響應不合格工單比例的變化；(2)最受關注的專業度和反應度呈現較高敏感度；(3)由于同理度設置了較高的自評分值(表征管理者對該指標的服務質量較滿意)，雖然權重系數較高但是靈敏度較低；(4)盡管有形度權重較低，由于設置了更低的自評分值(表征管理者希望提升該指標的服務水平)，使得其靈敏度較高。

與綜合評價方法不同，基于負面清單管理模式的評分方法除了具有出色的抗不良數據干擾能力之外，還能更積極地響應負面評價服務工單數量的波動。通過調整針對RATER各個指標的自評分值，可以為電力客戶服務部門提供目標清晰、靈活性高的質量管控策略。

4 結束語

傳統的綜合評分方法對于業務數據的準確性和可靠性有很高的要求。然而，電力客戶服務數據通常存在大量中性或無效信息，真正反映客戶訴求的評價信息數量偏少，這嚴重影響了傳統方法的準確性和可信性，也極大降低了評分的敏感度。

提出了一種基于負面清單管理模式的客戶服務評價方法，側重關注不合格工單的數量和質量變化。該方法的主要優勢如下：(1)對數據質量的要求不高，具有很強的抗干擾能力；(2)得益于預設的不合格工單的眾數占比及自評分值，評分結果能體現清晰的管理期望；(3)通過改變自評分值可調整評價分數的靈敏度，從而實現目標明確、靈活性高的管控策略；(4)因為只考慮了負面清單對滿意度的影響，極大地減少了計算量，適合于大數據系統分析；(5)主觀賦權法和基于蟻群的參數識別相結合，既避免了過分依賴主觀因素,又可以避免過分依賴客觀因素的現象,從而提高綜合評分的可靠性。

電力客戶服務工單數據的現狀表明：反饋意見為“滿意”的工單通常表示客戶服務體驗滿足預期，而且“非常滿意”類工單的數量很少。考慮這些現實因素，客戶的正面意見在所提評價方法中沒有考慮。因此，該方法不適用于基于客戶調查問卷的服務評價。此外，受到語音辨識及關鍵詞檢索準確性限制，未評估客戶情緒，未來有待于進一步完善。

近期來看，基于負面清單管理模式的電力客戶服務評價方法具有很好的實用性，能有效解決實際評價工作中遇到的數據有效性難題，有望為提升電力客戶服務品質提供有力支持。