面向在線客服系統的服務量預測算法①

周子馨

(河海大學 計算機與信息學院,南京 211100)

隨著客服中心服務量的不斷增加,如何保證在高峰時段和突發情況下有足夠的客服人員在服務,已成為一個越來越緊迫的問題.實際上,在線客服系統是不能夠完全自動化完成客服中心的復雜調度和計劃任務.人的交互作用是客服中心必不可少的,因此如何對客服中心的服務量進行預測,對于保證客服中心提供的服務能夠使客戶獲得較高的滿意度是非常重要的[1].

目前,對于服務量的預測方法已有多種,如時間序列、排隊論、回歸預測和神經網絡等.Andrews 等[2]和Antipov 等[3]提出了一種具有解釋變量的自回歸綜合移動平均ARIMAX 模型,該模型使用如促銷周期、廣告響應和日歷效應等外部變量.Aldor-Noiman 等[4]提出了一種基于混合泊松過程方法的統計模型,該模型考慮事件的影響,例如將賬單待出時期作為外部變量.Niu 等[5]提出了一種特殊的回波狀態網絡,在該網絡中每個時間序列具有不同的存儲層,并且該網絡將外部變量也考慮其中.ARIMAX 模型和基于混合泊松過程方法的統計模型屬于參數方法,雖然可以明確各變量之間的數量關系,定量分析變量對因變量的影響大小,但是其方法內部參數的設定受使用者的主觀影響較大,不同的使用者很可能會得到相差很大的結果[6];回波狀態網絡屬于非參數方法,依靠數據來調節模型內部的參數,進而得到變量與因變量之間的關系,但是對于長時間序列,其預測能力有限.因此長短時記憶神經網絡(LSTM)被提出,它是一種改進的時間遞歸神經網絡(RNN),可以學習時間序列長短期信息.由于其包含時間記憶單元,因此適合處理和預測時間序列中的間隔和延遲事件.但是LSTM 仍然有2 個缺點:一是隱含層數和隱含層神經元數難確定;二是學習率和迭代次數難確定[6].隱含層數和隱含層神經元數直接決定模型的擬合能力,學習率和迭代次數影響模型的訓練過程和效果.在實際應用中,這些參數都是依靠經驗來確定,具有較大的隨機性,這降低了模型的預測效果.

本文主要貢獻和創新如下:

(1)提出了基于算法DMPSADE 的一種改進算法IDMPSADE,即通過反向引導尋優效果不佳的父代種群變異方向,提升搜索全局最優能力.

(2)建立了IDMPSADE-LSTM 預測模型,并且分析了在線客服系統的系統歷史服務量數據,挖掘出關鍵影響因素,將其作為LSTM 的多輸入變量,利用IDMPSADE 對LSTM 的部分超參數進行尋優,從而提升了IDMPSADE-LSTM 預測模型的精確度.

本文內容安排如下:第1 節主要介紹已有的服務量預測方法.第2 節針對各預測方法存在的不足,引入構建本文預測模型所需的背景知識.第3 節介紹改進的算法IDMPSADE,并與多種其它差分進化算法進行實驗對比.第4 節構建IDMPSADE-LSTM 預測算法模型.第5 節通過分析歷史數據,選取服務量影響因素作為LSTM 的多輸入變量,利用IDMPSADE-LSTM 預測模型對服務量進行預測,并且與其他神經網絡以及混合預測模型進行實驗對比分析.第6 節對IDMPSADELSTM 預測模型進行總結.

1 相關知識

1.1 長短時記憶神經網絡LSTM 原理

對于標準循環神經網絡結構而言,存在一個問題:一般神經網絡的信息從輸入層到隱含層到輸出層單向流動,循環神經網絡的信息傳遞存在定向的循環,很容易出現梯度消失和梯度爆炸[7-9].LSTM 結構由一組循環連接的子網(稱為記憶單元)組成.每個記憶單元包含一個或多個自連接的記憶細胞和三種門(輸入門、輸出門和遺忘門),這三種門允許記憶細胞存儲訪問長時間段的信息,因此能夠緩解梯度消失的問題[10].LSTM 中由單個記憶細胞構成的記憶單元如圖1 所示.

圖1 LSTM 單細胞記憶單元示意圖

某一時刻t 的狀態計算過程如下:

其中,? 和σ 分別為雙曲正切(tanh)和sigmoid 函數,W 和b 為 待學習的網絡參數.it,ft和ot分別為t 時刻的輸入門(input gate)、遺忘門(forget gate)和輸出門(output gate),ct為t 時刻記憶單元的內部狀態.ct能夠在t 時刻保持模型對歷史輸入信息的編碼記憶,輸入門控制信息流入,輸出門控制信息流出,而遺忘門則控制歷史信息對當前記憶單元 ct的影響大小.ht和ht-1分別為記憶單元在t-1 和t 時刻的輸出.由于能夠較好地對長程和短程依賴關系進行建模,長短時記憶模型被廣泛運用到序列編碼中[11].

1.2 差分進化算法原理

1.2.1 差分進化算法概述

差分進化算法是一種針對種群演化的計算技術,初衷是為了解決切比雪夫多項式問題,在發展過程中,研究人員發現它也可以用于解決復雜優化問題.差分進化算法保留了基于種群的全局搜索策略,采用實數編碼,變異操作采用個體間的差值與變異率相乘,并且使用一對一的競爭生存策略,從而降低簡化遺傳操作.此外,因為差分進化算法具備獨特的記憶能力,所以它可以根據跟蹤到的動態搜索情況調整搜索策略,全局收斂能力和健壯性相較其他進化算法優越.雖然數學方法能夠對很多抽象問題具象邏輯求解,但是自然界中依舊存在大量利用常規的數學歸納方法無法解決的優化問題,差分進化算法對此類問題無需其特征信息就能求解.因此,差分進化算法因其擁有的高效搜索能力對于學術研究和工程類應用而言存在一定的意義與價值[12].

1.2.2 DMPSADE算法流程

差分進化算法的搜索能力是由被選擇的變異策略和相關的控制參數決定,所以選擇適當的變異策略和控制參數對差分進化算法性能的改善是至關重要的,基于離散變異控制參數的自適應差分進化算法(DMPSADE)核心是實現控制參數和變異策略的自適應,同時確保每個變量的控制參數能夠進行獨立演化[13].

(1)初始化

NP 為種群中的個體數量,Gmax為演化過程中的最大迭代數,x為生成的種群個體,個體的變化范圍為[xmin,xmax],D為問題維度.每一種變異策略的初始個體數量為 N P/5,種群初始化方式如式(7)所示.

(2)種群進化

Setp為決定單個自適應變異策略使用量的常量,GS為判斷種群個體選用何種變異策略的條件,令GS=Setp×Gmax.

交叉操作:如式(8)所示,其中 Rj是[0,1]中的均勻隨機數;CR 為交叉控制參數.

選擇操作:如式(9)所示.

(3)變異策略自適應

如果G =GS,5 種變異策略DE/rand/1、DE/rand/2、DE/best/2、DE/rand-to-best/1 和DE/rand-to-best/2 會被隨機分配給種群中所有的個體.

如果G ＞GS,計算出每一種變異策略的累積概率,并采用輪盤法決定第G+1 代種群個體的變異策略.

(4)控制參數自適應

由于迭代數G、上一代變異控制參數值與交叉控制參數值對下一代變異控制參數和交叉控制參數的更新有一定影響,故以此為判斷條件,通過計算每個個體的權值,獲取每個個體的變異控制參數加權平均值與種群的交叉控制參數加權平均值,利用正態分布函數對控制參數進行更新.

(5)迭代

種群迭代一次,即G =G+1.

(6)評估

重復步驟(2)～(5)直到迭代數值達到最大值或評估函數收斂精度達到要求.

2 IDMPSADE算法

DMPSADE算法主要思想是種群在經過初步的初始化、種群進化之后,進行變異策略和控制參數的自適應行為,然后選擇評估值小的種群作為最佳種群.IDMPSADE 以DMPSADE算法思想為基礎,初始化種群時均采用正向引導變異,當正向引導的效果不佳即子代種群適應度函數大于父代種群適應度函數時,此處的適應度函數為算法的尋優函數,對父代種群個體進行反向引導,即更改引導方向,選擇反向引導更為直觀,從而提高跳出局部最優和搜索到全局最優的可能性.反向引導體現在改進策略公式的F 參數符號中,具體如式(10),式(11)至式(14)所示.

DE/rand/1 策略:

DE/rand/2 策略:

DE/best/2 策略:

DE/current-to-best/1 策略:

DE/current-to-best/2 策略:

IDMPSADE算法的控制參數包括變異控制參數與交叉控制參數,參數的定義與DMPSADE算法的一致,公式如式(15)至式(17)所示.

當更新條件為G ＜0.5×Gmax并且個體對應的變異控制參數大于1,或者小于0.1×(0.1-(G/Gmax)2)時,變異控制參數需要按照N (,σ1)進行更新;若更新條件為G ＞0.5×Gmax并且大于1,則將變異控制參數置為1;若更新條件為＜0,則將變異控制參數按照進行更新.交叉控制參數的更新條件與變異控制參數的一致,在各條件下對應的更新式分別為 N(,σ),1,其 中,為個體適應度函數,即目標函數,fmax為種群最優適應度函數.由于CR的值越大,種群個體信息量交換的程度越大.反之,如果C R的值偏小,將會使種群的多樣性快速減小,不利于全局尋優;F 主要影響算法的全局尋優能力,F越小,算法對局部的搜索能力更好,F越大算法越能跳出局部極小點,但是收斂速度會變慢.此外,F還影響種群的多樣性[14],故令 σ1=σ2=0.8-0.5×(1-(G/Gmax)2),圖2為σ 的變化曲線,在尋優過程中以保證更新后的C R 與F均在0.5 左右分布,從而平衡算法的尋優能力與收斂速度.

圖2 σ變化曲線

由于IDMPSADE算法的控制參數更新方式與DMPSADE算法相同,故根據已有的實驗分析[13]可知,控制參數具有極大的隨機性,每個種群個體有其變異控制參數與交叉控制參數,適應性在不同的測試函數上表現也不同.

為了測試IDMPSADE 的尋優性能,除選擇DMPSADE算法進行實驗對比,還選擇了jDE[15]和SaDE[16]在4 種常用測試函數上進行測試,這4 種測試函數具有不同的特性,可抽象地表示實際生活的不同問題.測試函數分別為F1-Shifted Schwefel’s Problem 1.2 with Noise in Fitness,F2-Shifted Rosenbrock’s Function,F3-Non-Continuous Rotated Hybrid Composition Function,F4-Rotated Hybrid Composition Function without bound,其中F1 為單峰函數,F2 為多峰函數且極值點個數較多,F3、F4 為組合測試函數[17].

設置參數NP=100,Gmax=3000,D=30,Setp=0.175,Msp=0.02.評估性能的指標為測試函數均值與標準差,均值與標準差越小,說明算法的收斂精度越高,尋優性能越好.由表1 知,IDMPSADE 的平均值和標準差均比jDE,SaDE 和DMPSADE 的小,說明IDMPSADE算法具有較好的性能.

表1 各差分進化算法標結果對比

3 IDMPSADE-LSTM 預測模型

參數的選取對LSTM 的預測效果存在較大影響.采用IDMPSADE算法對LSTM 參數進行優化,需要進行尋優操作的主要參數有第一層隱藏層的神經元數h1,第二層隱藏層的神經元數h2,學習率r ,訓練迭代次數e,訓練批次數b,激活函數設置為tanh 函數,由于是預測回歸問題,故全連接層輸出維度設置為1.

Step 1.初始化.將LSTM 模型中的控制參數數目作為IDMPSADE算法的問題維度,即D 的取值;將在線客服系統的服務量劃分為訓練LSTM 的訓練數據與預測數據.選取LSTM 的擬合值與真實值之間的RMSE 作為目標函數.初始化IDMPSADE算法的基本參數包括種群規模、最大迭代次數、變異參數和交叉參數.IDMPSADE 模型的種群按照式(7)產生,種群中的每個個體均是LSTM 模型的一個參數組合.

Step 2.種群進化.首先判斷是否達到迭代結束條件,即全局極小值是否達到了設定的精度或者是否達到了設定的最大迭代次數.如果是,則停止迭代輸出最優個體;否則,種群繼續進行變異、邊界和交叉操作得到下一代種群個體,其中種群的迭代次數以及種群個體目標函數值的分布差異性決定了種群對五種變異策略的選擇概率,即變異策略的自適應,轉下一步.

Step 3.控制參數自適應.由于迭代數G、上一代變異控制參數值與交叉控制參數值對下一代變異控制參數和交叉控制參數的更新有一定影響,根據種群個體目標函數值的分布差異性以及當前的迭代次數,更新變異控制參數F 與交叉控制參數CR,轉下一步.

Step 5.迭代.種群迭代一次,即G =G+1,轉Step 2.

Step 6.得到LSTM 最優參數組合以及在線客服系統服務量的預測結果.

4 實驗結果分析

4.1 服務量影響因素選取

服務量數據來自于某電力客服中心從2016年1月至2018年12月的數據中心記錄,包括每天各時間點的服務記錄.影響服務量的因素有很多.由于在冬夏兩季受溫度影響,居民用電量較多,可能出現跳閘斷電、電費相較過去有所增加等情況,導致系統服務量變化較大.雨雪天氣影響居民的外出,居民用電量較多,可能出現電力設備故障、電費相較過去有所增加等情況,導致系統服務量變化較大.所以選取溫度和降水量為主要影響因素.

在將溫度和降水量作為LSTM 的輸入前,需要對其進行相關性分析.分析方法利用Pearson 相關性分析和Spearman 秩相關性分析[18].首先將近一年內的在線服務量按照工作日與非工作日劃分,同時對異常在線服務量進行數據清洗,分別將溫度、降水量作為第一變量,將近一年的工作日在線服務量作為第二變量,對第一、第二變量進行相關系數計算,當Pearson 相關度和Spearman 相關度均大于0.5 時,說明影響因素與服務量的相關性強.影響因素相關性分析結果如表2所示.

由計算結果得出,溫度和降水量這兩類氣象影響因素與在線服務量的相關性強,并且溫度和服務量的相關性高于降水量和服務量的相關性,溫度和降水量可作為LSTM 預測系統服務量的輸入.

表2 影響因素相關性分析

4.2 服務量預測結果分析

(1)IDMPSADE 參數與LSTM 參數設置

種群規模NP 為100,最大迭代次數Gmax為3000,目標函數維度D 為5,決定單個自適應變異策略使用量的參數Setp 為0.175,5 種變異策略的可選概率最大變化量Msp 為0.02,由于是自適應變異控制參數與交叉控制參數,因此根據種群個體目標函數值的分布差異性以及迭代次數,種群個體的更新變異控制參數F 與交叉控制參數CR 的加權平均值如圖2 和圖3 所示.經過IDMPSADE算法的優化,LSTM 的第一層隱藏層神經元數為40,第二層隱藏層神經元數為30,學習率為0.01,訓練迭代次數為10,訓練批次為72.

圖3 LSTM 五種參數的變異控制參數F 加權平均值

如圖3 與圖4 所示,變異控制參數F 的加權平均值在0.5 上下浮動,范圍在0.4 到0.65 之間;交叉控制參數CR 的加權平均值在0.5 上下浮動,范圍在0.4 到0.6 之間,有效地平衡了算法的收斂精度與收斂速度.

(2)服務量預測精確度分析

基于統一測試數據集,利用經過IDMPSADE算法優化后的LSTM 神經網絡對在線客服系統的服務量進行預測,預測出代表336 個小時內服務量的336 個樣本點數與原實際數據的對比如圖4 所示.算法的預測性能指標選取均方誤差MSE 和平均絕對誤差MAE,如式(18)和式(19)所示.

其中,yi表示真實值,表示預測值,n 表示測試樣本數,MSE 與MAE 的值越小,表示誤差越小,預測性能越好.

圖4 交叉控制參數CR 加權平均值

采用傳統的BP 神經網絡、RBF 神經網絡、SARIMA-SVM 模型預測效果與IDMPADE-LSTM 模型預測效果對比如表3 所示.

表3 不同模型預測結果對比

由圖5 可以看出,在線客服系統的服務量具備一定的周期性,預測結果相較實際數據的極值范圍更小,能夠較好地預測出服務量的總體變化趨勢,有助于客服中心對客服提前排班以應對服務量變化情況.

圖5 IDMPSADE-LSTM 服務量預測結果

由表3 可以看出,IDMPSADE-LSTM 混合預測模型的預測誤差小于BP 神經網絡、RBF 神經網絡以及SARIMA-SVM 混合預測模型,說明該服務量預測模型具有一定優越性,預測精度有所提升.

5 總結

系統服務量預測的準確性、有效性、實時性是公司為客服人員安排技能培訓、進行工作規劃的重要依據,應用面向在線客服系統的服務量預測算法可為人力資源調度優化等工作提供科學的依據.

本文在對系統服務量數據調查分析的基礎上,提出了一種IDMPSADE-LSTM 服務量預測模型,與BP神經網絡、RBF 神經網絡以及SARIMA-SVM 混合預測模型相比,本文提出的預測模型將關鍵影響因素與服務量自身的時間序列特征進行了有效的結合,并且預測的精確度更高.此外,本文提出的IDMPSADELSTM 預測模型解決了神經網絡部分超參數的賦值隨機性問題,該模型除了可應用于系統服務量預測,對于交通、金融等領域的相關數據預測也具備一定的參考價值.