基于條件生成對抗網(wǎng)絡(luò)的深度點(diǎn)過程二次預(yù)測

卞瑋，李晨龍，侯紅衛(wèi)

（太原理工大學(xué) 數(shù)學(xué)學(xué)院，太原 030000）

0 概述

時(shí)序點(diǎn)過程是建模不規(guī)則時(shí)間間隔事件序列的概率生成模型，并在現(xiàn)實(shí)建模中成為處理這一問題的有效數(shù)學(xué)模型［1］。時(shí)序點(diǎn)過程將歷史事件的依賴關(guān)系嵌入到強(qiáng)度函數(shù)的表達(dá)式中，得出事件發(fā)生時(shí)間間隔的概率密度函數(shù)［2］，進(jìn)而進(jìn)行預(yù)測與分析。然而，傳統(tǒng)統(tǒng)計(jì)建模方法嚴(yán)格限定強(qiáng)度函數(shù)形式，從而導(dǎo)致建模能力較弱。近年來，為了解決這一問題，DU等［3］提出將歷史信息嵌入到循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）的隱藏狀態(tài)中，利用深度學(xué)習(xí)的方法拓寬時(shí)序點(diǎn)過程的建模途徑。此后，涌現(xiàn)出很多基于RNN 的時(shí)序點(diǎn)過程模型［4-5］（本文簡稱深度點(diǎn)過程），使得強(qiáng)度函數(shù)或者時(shí)間間隔概率密度函數(shù)更加靈活多變［6-7］。目前，深度點(diǎn)過程在效果上達(dá)到甚至超越了傳統(tǒng)點(diǎn)過程模型，為時(shí)序點(diǎn)過程在實(shí)際中的應(yīng)用提供了更加有效的方案。然而，深度點(diǎn)過程靈活性的支撐是深度神經(jīng)網(wǎng)絡(luò)參數(shù)化的非線性變換，這造成在求解時(shí)間預(yù)測值時(shí)，時(shí)間間隔概率密度函數(shù)難以顯式表達(dá)或者積分不存在解析解的問題，需要通過數(shù)值方法近似求解。此外，模型本身的系統(tǒng)誤差也同樣導(dǎo)致時(shí)間上的預(yù)測值與真實(shí)值之間的偏差較大。這兩點(diǎn)原因造成的預(yù)測精度不足限制了深度點(diǎn)過程在實(shí)際場景中的應(yīng)用，為深度點(diǎn)過程在實(shí)踐中的推廣帶來極大挑戰(zhàn)。

時(shí)序點(diǎn)過程序列可以理解為一連串相互關(guān)聯(lián)的概率分布下的樣本，因此，產(chǎn)生的偏差可以假設(shè)為分布上的差異。圖像去運(yùn)動(dòng)模糊算法使用條件生成對抗網(wǎng)絡(luò)（CGAN）［8］去除因抖動(dòng)、光暈、運(yùn)動(dòng)而產(chǎn)生的圖像模糊，從而提高圖像的清晰度［9-10］。受此思路啟發(fā)，本文將深度點(diǎn)過程預(yù)測值序列與真實(shí)值序列的偏差視為由模型及數(shù)值方法帶來的“模糊”，即預(yù)測值序列和真實(shí)值序列在分布上的差異，使用CGAN 對預(yù)測值序列進(jìn)行二次預(yù)測修正。此外，考慮到點(diǎn)過程序列是一個(gè)隨機(jī)過程而非隨機(jī)變量［11］，本文采用時(shí)序點(diǎn)過程Wasserstein距離的對偶形式及1-Lipschitz 正則項(xiàng)對CGAN 進(jìn)行約束［12-13］，從而提高時(shí)間預(yù)測的準(zhǔn)確度并降低預(yù)測的均方誤差。

1 相關(guān)工作

1.1 時(shí)序點(diǎn)過程

時(shí)序點(diǎn)過程是一類特殊的計(jì)數(shù)過程，如圖1 所示，其對時(shí)刻t之前的事件數(shù)量進(jìn)行計(jì)數(shù)，核心是強(qiáng)度函數(shù)λ*(t)。若歷史事件Ht={ti|ti

圖1 時(shí)序點(diǎn)過程示意圖Fig.1 Schematic diagram of sequence point process

其中：N(t)表示t時(shí)刻之前事件發(fā)生的總次數(shù)；E(dN(t)|Ht)是給定歷史觀測值Ht的情況下在時(shí)間間隔[t，t+dt)中發(fā)生的平均事件數(shù)。事件發(fā)生時(shí)間間隔概率密度函數(shù)為：

其中：t′為t時(shí)刻之前最后一個(gè)事件發(fā)生的時(shí)刻。

1.2 深度點(diǎn)過程及預(yù)測瓶頸

深度點(diǎn)過程是以RNN 嵌入式表達(dá)歷史事件序列發(fā)生的潛在信息，并將強(qiáng)度函數(shù)或者事件發(fā)生時(shí)間間隔概率密度函數(shù)視為歷史潛在信息非線性函數(shù)的點(diǎn)過程建模方法。相較于傳統(tǒng)統(tǒng)計(jì)學(xué)上的點(diǎn)過程建模方法，深度點(diǎn)過程利用了神經(jīng)網(wǎng)絡(luò)強(qiáng)大的擬合能力，但同時(shí)帶來大量的網(wǎng)絡(luò)參數(shù)和一系列的非線性變化，對時(shí)間預(yù)測造成了困難，需要用數(shù)值方法來解決。例如，循環(huán)標(biāo)記時(shí)序點(diǎn)過程（RMTPP）［3］將條件強(qiáng)度函數(shù)形式化為Gompertz 分布：

其中：vt、ht′、wt、bt均由神經(jīng)網(wǎng)絡(luò)得出。進(jìn)而，事件發(fā)生時(shí)間間隔概率密度函數(shù)為：

由于式（5）中的積分通常不具有解析解，需要使用數(shù)值方法近似求解，因此產(chǎn)生了偏差。類似地，全神經(jīng)網(wǎng)絡(luò)時(shí)序點(diǎn)過程（FullyNN）［14］通過神經(jīng)網(wǎng)絡(luò)直接輸出強(qiáng)度函數(shù)的積分：

但是，強(qiáng)度函數(shù)λ*(τ)只能通過Φ(t)求導(dǎo)得出，無法得到顯示表達(dá)式，因此，使用中位數(shù)t*做預(yù)測值。然而，t*需要二分法求方程Φ(t*-t′)=loga2 的根得出，無法獲得解析的最優(yōu)解，存在數(shù)值誤差。同時(shí)，由于模型設(shè)計(jì)上的缺陷，這兩種模型都存在系統(tǒng)誤差，即使巧妙地避開數(shù)值誤差也會(huì)存在系統(tǒng)誤差。例如，混合對數(shù)正態(tài)時(shí)序點(diǎn)過程（LogNormMix）［15］使用混合對數(shù)正態(tài)分布擬合時(shí)間間隔的概率密度函數(shù)：

通過上述過程后不存在數(shù)值誤差，但由于大小不可控，容易出現(xiàn)極端值，對預(yù)測精度有很大影響，從而導(dǎo)致系統(tǒng)誤差。

1.3 條件生成對抗網(wǎng)絡(luò)

SHAHAM等［8］提出的CGAN是一種帶條件約束的概率生成模型。CGAN 引入條件變量y作為輔助信息（類別標(biāo)簽、其他模態(tài)數(shù)據(jù)等），指導(dǎo)生成器的生成，其損失函數(shù)比生成對抗網(wǎng)絡(luò)（GAN）［16］多加入額外的條件信息y，如下：

在訓(xùn)練時(shí)，WGAN［17］采用分布間的Wasserstein距離改進(jìn)GAN，以減緩GAN 訓(xùn)練不穩(wěn)定的問題。

1.4 圖像去運(yùn)動(dòng)模糊

圖像去運(yùn)動(dòng)模糊的目標(biāo)是將因抖動(dòng)、光暈、運(yùn)動(dòng)而產(chǎn)生的模糊圖像恢復(fù)成清晰圖像［9-10］，其模型定義為：

其中：IB、IS和K分別代表向量化的模糊圖像、原始清晰圖像和模糊核；B代表噪聲；?代表卷積運(yùn)算。圖像去運(yùn)動(dòng)模糊過程是式（10）的逆操作，即從模糊圖像IB中還原出清晰圖像IS。由于CGAN 擁有概率生成模型的特性，能夠?qū)D像分布進(jìn)行還原變換，因此通常被用來實(shí)現(xiàn)上述逆操作。

2 深度點(diǎn)過程二次預(yù)測模型

2.1 二次預(yù)測原理

借鑒圖像去運(yùn)動(dòng)模糊的原理，將深度點(diǎn)過程模型由于數(shù)值積分與模型本身造成的預(yù)測值序列誤差視為與真實(shí)值序列分布上的差異［18］，然后通過條件生成對抗網(wǎng)絡(luò)還原初次預(yù)測值序列為真實(shí)值序列。

設(shè)輸入的初次預(yù)測值序列為τ=，對應(yīng)的真實(shí)值序列為t=，二次預(yù)測模型假設(shè)為：

其中：K為變換矩陣；N=為噪聲序列。

由于原始WGAN 假設(shè)處理的數(shù)據(jù)為隨機(jī)變量，這與時(shí)序點(diǎn)過程（屬于隨機(jī)過程）在樣本空間上存在差異。對此，采用時(shí)序點(diǎn)過程之間的Wasserstein 距離來約束生成對抗網(wǎng)絡(luò)的訓(xùn)練以保證理論上的正確性，其具體形式為［13］：

其中：x、y為2 個(gè)點(diǎn)過程的實(shí)例。

條件生成對抗網(wǎng)絡(luò)中生成器的功能是逆向還原初次預(yù)測值序列為對應(yīng)的真實(shí)值序列，也稱偽值序列。判別器的目標(biāo)是最大化生成器還原出偽值序列的時(shí)序點(diǎn)過程分布與對應(yīng)真實(shí)值序列的時(shí)序點(diǎn)過程分布之間的Wasserstein 距離（初次預(yù)測值序列與真實(shí)值序列的對應(yīng)關(guān)系為額外的輔助信息）：

其中：Pt、Pg分布分別為真實(shí)值時(shí)序點(diǎn)過程分布、偽值時(shí)序點(diǎn)過程分布；φ為Pt、Pg的聯(lián)合分布集合；g為CGAN 生成器的函數(shù)表示。為了便于計(jì)算處理，將式（13）轉(zhuǎn)化為對偶形式［13］：

其中：f為CGAN 的判別器函數(shù)；|·|*為時(shí)序點(diǎn)過程之間的距離；‖f‖L≤1 為1-Lipschitz 約束［7］。

2.2 二次預(yù)測算法及訓(xùn)練流程

首先訓(xùn)練深度點(diǎn)過程模型得出初次預(yù)測值序列，接著對初次預(yù)測值序列進(jìn)行修正［17］。二次預(yù)測流程分為3 個(gè)步驟：

步驟1將初次預(yù)測值序列τ輸入條件生成對抗網(wǎng)絡(luò)的生成器g中得出偽值序列g(shù)(τ)，用ζ=g(τ)。

步驟2將偽值序列ζ及對應(yīng)的真實(shí)值序列t輸入判別器f中分別求出得分f(ζ)、f(t)，以判別真假。

步驟3通過對抗訓(xùn)練得出具備還原能力的生成器。

算法訓(xùn)練過程中生成器g的損失函數(shù)為：

其中：w為生成器g的參數(shù)。

判別器d的損失函數(shù)為：

其中：V 為判別器d的參數(shù)。

2.3 條件生成對抗網(wǎng)絡(luò)結(jié)構(gòu)

二次預(yù)測模型中使用的條件生成對抗網(wǎng)絡(luò)在結(jié)構(gòu)上采用CGAN+LSTM［19-20］的形式，其中，LSTM（長短期記憶網(wǎng)絡(luò)）是RNN 的一種常用變體。本文條件生成對抗網(wǎng)絡(luò)結(jié)合了CGAN 的概率生成能力和LSTM 的嵌入歷史潛在信息的能力，以達(dá)到準(zhǔn)確還原初次預(yù)測值序列點(diǎn)過程分布并得到修正后二次預(yù)測值序列的目的［21］。在網(wǎng)絡(luò)結(jié)構(gòu)上，按作用可分為歷史潛在信息讀取、空間變換以及生成器/判別器輸出層3個(gè)模塊，如圖2所示。

圖2 條件生成對抗網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 CGAN structure

2.3.1 歷史潛在信息讀取

在生成器和判別器中都需要將輸入的序列（生成器為初次預(yù)測值序列，判別器為偽值序列或者真實(shí)值序列）中包含的歷史潛在信息嵌入到神經(jīng)網(wǎng)絡(luò)中［22］。在生成器和判別器中，先使用LSTM 逐時(shí)間步讀取序列中的數(shù)據(jù)，提取歷史潛在信息。在保證分布轉(zhuǎn)換前后時(shí)間連續(xù)的前提下，得到固定特征維度為d(d>1)的向量表示：

其中：x∈Rl×1為生成器或判別器的輸入；v0∈Rl×d為對應(yīng)的歷史潛在信息向量；LSTM 表示LSTM 網(wǎng)絡(luò)。

2.3.2 空間變換

在生成器中，通過LSTM 取得歷史潛在信息向量后，需要使網(wǎng)絡(luò)具備調(diào)整讀取到的歷史潛在信息為真實(shí)歷史潛在信息的能力［23］，網(wǎng)絡(luò)中借助全連接層的空間變換和整合信息的能力來實(shí)現(xiàn)這一目的。

首先，將v0通過一個(gè)全連接層，變換潛在歷史信息向量的空間維度d→h(h>d)，從而到達(dá)更高的維度空間：

其中：Dense1表示全連接層；v1∈Rl×h。

變換空間之后，為了整合高維度空間帶來的信息，使用2 個(gè)連續(xù)降低特征維度的全連接層h→k(k

其中：Dense2、Dense3表示2 個(gè)全連接層；v2∈Rl×k；v3∈Rl×n。

2.3.3 生成器和判別器的輸出層

生成器的功能是得到一組序列長度與輸入序列相同并且值大于零的時(shí)間序列，因此，在結(jié)構(gòu)上首先采用一個(gè)全連接層將調(diào)整后的歷史潛在信息整合為維度是l×1 的向量，然后經(jīng)過Sigmoid 函數(shù)將向量值的范圍約束為大于零，最后輸出一組與輸入序列同時(shí)間步長的偽值序列。以上過程形式上可以表示為：

其中：vg∈Rl×n表示生成器經(jīng)過LSTM 及信息空間變換后的向量；vg∈Rl×n；?∈Rl×1；Dense4表示全連接層；Sigmoid 表示Sigmoid 函數(shù)。

判別器的功能是輸出序列真假評分，評分越高說明輸入序列為真的可能性越大。在網(wǎng)絡(luò)結(jié)構(gòu)上，首先將偽值序列或者真實(shí)值序列的歷史潛在信息向量在時(shí)間步維度上相加，然后經(jīng)過一個(gè)全連接層整合信息，最后通過Sigmoid 函數(shù)輸出大于零的評分。以上過程形式上可以表示為：

其中：vd∈Rl×n表示判別器經(jīng)過LSTM 及信息空間變換后的向量；v5∈R1×n；v6∈R1×n；Score ∈R1×1；Dense5表示全連接層。如圖2 所示，除最后一層外，結(jié)合層歸一化操作（LN）［25］與Dense 層來緩解過擬合問題并加速訓(xùn)練。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集

為了檢驗(yàn)二次預(yù)測方法的有效性，本文分別選取5 個(gè)仿真數(shù)據(jù)集和4 個(gè)真實(shí)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，數(shù)據(jù)均以Python 字典形式儲(chǔ)存在.pickle 文件中。4 種用于仿真實(shí)驗(yàn)的數(shù)據(jù)參數(shù)設(shè)置如下：

1）齊次泊松過程（Poisson）。齊次泊松過程的條件強(qiáng)度函數(shù)形式為λ*(t)=1。

2）更新過程（Renewal）。更新過程的時(shí)間間隔服從對數(shù)正態(tài)概率密度函數(shù)：

參數(shù)設(shè)置為μ=1.0，σ=6.0。

3）自校正過程（Self-correcting）。自校正過程的條件強(qiáng)度函數(shù)形式為：

4）霍克斯過程（Hawkes）。霍克斯過程的條件強(qiáng)度函數(shù)形式為：

對于霍克斯過程，分別設(shè)置兩組參數(shù)：

（1）M=1，μ=0.02，α1=0.8，β1=1。

（2）M=2，μ=0.02，α1=0.4，β1=1，α2=0.4，β2=20。

真實(shí)數(shù)據(jù)集采用飯館評論數(shù)據(jù)集Yelp toronto、網(wǎng)絡(luò)慕課交互數(shù)據(jù)集Mooc、重癥監(jiān)護(hù)醫(yī)學(xué)數(shù)據(jù)集Mimic 和維基百科修改數(shù)據(jù)集Wikipedia。真實(shí)數(shù)據(jù)集描述如下：

1）Yelp toronto 數(shù)據(jù)集來自對多倫多300 家最受歡迎的餐廳的評論序列，每條記錄都表示某個(gè)餐廳的顧客光顧的時(shí)間序列。

2）Wikipedia 公共數(shù)據(jù)集是在維基百科編輯情況序列，其選擇一個(gè)月內(nèi)編輯次數(shù)最多的1 000 個(gè)頁面作為研究對象，生成157 474 條用戶交互數(shù)據(jù)。

3）Mooc 數(shù)據(jù)集是哈佛大學(xué)和麻省理工學(xué)院聯(lián)合發(fā)布的公開數(shù)據(jù)集，包含7 047 名學(xué)生在Mooc 在線課程中的97 類互動(dòng)信息。

4）Mimic 數(shù)據(jù)集是由貝斯以色列迪康醫(yī)學(xué)中心（BIDMC）提供的重癥監(jiān)護(hù)醫(yī)療信息公開數(shù)據(jù)集，其記錄了4 萬多名患者的75 類診斷治療數(shù)據(jù)，并選取至少出現(xiàn)3 次的病人作為研究對象。

3.2 數(shù)據(jù)基準(zhǔn)模型和實(shí)驗(yàn)設(shè)置

本文選取3 種被學(xué)術(shù)界認(rèn)可的深度點(diǎn)過程模型，分別為循環(huán)標(biāo)記時(shí)序點(diǎn)過程（RMTPP）、全神經(jīng)網(wǎng)絡(luò)時(shí)序點(diǎn)過程（FullyNN）、混合對數(shù)正態(tài)時(shí)序點(diǎn)過程（LogNormMix），以產(chǎn)生初步的預(yù)測數(shù)據(jù)。其中，MTPP、FullyNN 用于探究數(shù)值誤差和系統(tǒng)誤差同時(shí)存在時(shí)的偏差，LogNormMix 用于探究由于系統(tǒng)誤差而產(chǎn)生的偏差。此外，選取均方誤差（RMSE）作為實(shí)驗(yàn)的度量指標(biāo)，并對比二次預(yù)測前后的差異來驗(yàn)證本文方法的有效性。

模型采用Adam 優(yōu)化方法動(dòng)態(tài)調(diào)整學(xué)習(xí)率，避免模型參數(shù)陷入次優(yōu)解。優(yōu)化方法的初始學(xué)習(xí)率設(shè)置為α=1e-4，一階和二階指數(shù)衰減率分別設(shè)置為β1=0.5，β2=0.9。模型的訓(xùn)練批量設(shè)置為64，訓(xùn)練100 次循環(huán)并應(yīng)用提前停止的方法，在每次循環(huán)訓(xùn)練過程中，訓(xùn)練5/10 次判別器后訓(xùn)練1 次生成器。

3.3 結(jié)果分析

為了從客觀上反映模型的二次修正效果，本文對比RMTPP、FullyNN、LogNormMix 在經(jīng)過模型二次預(yù)測前后時(shí)間預(yù)測RMSE 值以及其下降的百分比，實(shí)驗(yàn)結(jié)果如圖3、表1 所示，在表1 中，加粗表示二次預(yù)測及標(biāo)準(zhǔn)差。

圖3 二次預(yù)測后RMSE 下降百分比Fig.3 Reduction percentage of RMSE after the second prediction

表1 二次預(yù)測前后的RMSE值Table 1 RMSE values before and after the second prediction

從圖3 可以看出，二次預(yù)測后RMSE 均有不同程度的降低，其中最大降低99.86%，最小降低21.18%，平均降低77.02%，這說明本文所提模型擁有優(yōu)異的修正能力，同時(shí)印證了理論假設(shè)的合理性。從RMTPP、FullyNN、LogNormMix 之間的差異上看，平均下降百分比由高到低排序?yàn)镽MTPP（92.48%）＞LogNormMix（74.03%）＞FullyNN（64.32%），這可解釋為：RMTPP 采用單峰Gompertz 分布擬合強(qiáng)度函數(shù)，系統(tǒng)誤差高，且求期望數(shù)值積分時(shí)反常積分不收斂，數(shù)值誤差較大；LogNormMix 采用混合對數(shù)正態(tài)分布計(jì)算期望時(shí)受到預(yù)測方差極端值的影響而造成預(yù)測值波動(dòng)較大；FullyNN 輸出條件強(qiáng)度函數(shù)的積分且預(yù)測求解中位數(shù)時(shí)采用類似二分法的方法求根，誤差較小。因此，3 個(gè)模型誤差大小排序?yàn)镽MTPP ＞LogNormMix ＞FullyNN，更大的誤差使得偽樣本與真實(shí)樣本更易區(qū)分，判別器在對抗訓(xùn)練中更易達(dá)到最優(yōu)解從而促進(jìn)生成器的學(xué)習(xí)。

為檢驗(yàn)?zāi)Ｐ陀?xùn)練抵抗隨機(jī)因素影響的魯棒性，對每個(gè)數(shù)據(jù)的每種基線方法都進(jìn)行10 次訓(xùn)練，得出均值和標(biāo)準(zhǔn)差如表1 所示，從中可以看出，標(biāo)準(zhǔn)差的均值在0.1%以內(nèi)，這表明模型訓(xùn)練穩(wěn)定，受隨機(jī)擾動(dòng)影響較小，魯棒性較強(qiáng)。

3.4 模型損失

本文所提模型對FullyNN 在Hawkes 1 數(shù)據(jù)集上訓(xùn)練時(shí)的損失函數(shù)如圖4 所示，因?yàn)槠渌麚p失函數(shù)收斂情況大同小異，所以不再冗余表述。從圖4 可以看出，判別器的損失在最開始的迭代中逐次提高，這時(shí)判別器的判別能力逐漸提升導(dǎo)致生成器損失降低。當(dāng)判別器損失達(dá)到第一個(gè)峰值后，生成器損失逐漸提高，開始具備一定的生成能力，之后當(dāng)生成器生成能力提高到第一個(gè)峰值后判別器損失又逐步提高。模型在對抗訓(xùn)練約70 個(gè)迭代周期后，生成器損失維持動(dòng)態(tài)穩(wěn)定同時(shí)判別器損失接近0，達(dá)到均衡狀態(tài)［26］。較少的迭代次數(shù)也表明生成器的能力容易在對抗訓(xùn)練中得到有效提高。

圖4 損失函數(shù)曲線Fig.4 Loss function curves

4 結(jié)束語

本文建立一種深度點(diǎn)過程二次預(yù)測模型。使用條件生成對抗網(wǎng)絡(luò)對深度點(diǎn)過程的預(yù)測數(shù)據(jù)進(jìn)行二次預(yù)測，通過逆變換初次預(yù)測值序列為真實(shí)時(shí)序值序列在點(diǎn)過程上的差異，以降低因模型系統(tǒng)誤差和數(shù)值計(jì)算誤差而帶來的預(yù)測偏差。在條件生成對抗網(wǎng)絡(luò)的損失函數(shù)中利用時(shí)序點(diǎn)過程Wasserstein 距離的對偶形式及其1-Lipschitz 約束來訓(xùn)練網(wǎng)絡(luò)。實(shí)驗(yàn)結(jié)果表明，本文模型可以穩(wěn)定有效地降低時(shí)間預(yù)測偏差，同時(shí)條件生成對抗網(wǎng)絡(luò)的損失容易達(dá)到對抗平衡。下一步考慮將其他類型的生成對抗網(wǎng)絡(luò)及自注意力網(wǎng)絡(luò)應(yīng)用于深度點(diǎn)過程二次預(yù)測模型中，以提高時(shí)間預(yù)測效果。