基于深度學(xué)習(xí)的融合流程多視角行為分析:預(yù)測業(yè)務(wù)流程監(jiān)控

摘 要：預(yù)測性業(yè)務(wù)流程監(jiān)控（PBPM）是業(yè)務(wù)流程管理（BPM）中的一個重要研究領(lǐng)域，旨在準(zhǔn)確預(yù)測未來的行為事件。目前，PBPM研究中廣泛引用了深度學(xué)習(xí)方法，但大多數(shù)方法只考慮單一的事件-控制流視角，無法將屬性-數(shù)據(jù)流視角與之結(jié)合進(jìn)行流程預(yù)測。針對這一問題，提出了一種基于雙層BERT神經(jīng)網(wǎng)絡(luò)和融合流程多視角行為分析方法（簡稱FMP框架）。首先，基于第一層BERT學(xué)習(xí)屬性-數(shù)據(jù)流信息；接著，基于第二層BERT學(xué)習(xí)事件-行為控制流信息；最后，通過FMP框架融合數(shù)據(jù)流和控制流實現(xiàn)多維視角流程預(yù)測。在真實的事件日志中的實驗結(jié)果表明，相比其他研究方法，基于FPM框架預(yù)測下一個事件的活動精度更高。這證明融合流程多視角的FMP框架能夠更全面、更深層次地分析復(fù)雜的流程行為，并提高預(yù)測的性能。

關(guān)鍵詞：業(yè)務(wù)流程管理； 業(yè)務(wù)流程預(yù)測監(jiān)控； 深度學(xué)習(xí)； 注意力機(jī)制； 數(shù)據(jù)流視角； 控制流視角

中圖分類號：TP39 文獻(xiàn)標(biāo)志碼：A

文章編號：1001-3695（2024）06-027-1790-07

doi：10.19734/j.issn.1001-3695.2023.10.0526

Multi-perspective behavior analysis of fusion processes based ondeep learning： predictive business process monitoring

Abstract：Predictive business process monitoring（PBPM） represents a vital research field within BPM that aims to accurately predict future behavioral events. At present， deep learning methods are widely used in PBPM research. However， most of these methods consider only a single event-control flow perspective and do not fuse the attribute-data flow perspective for process prediction. To address this issue，this paper proposed a method called the fusion multi-perspective（FMP） framework based on a two-layer BERT neural network. Firstly， the first layer of BERT was used to learn attribute-data flow information. Subsequently， the second layer of BERT learnt event-behavior control flow information. Finally， the FMP framework combined data flow and control flow to achieve multi-perspective process prediction. Experimental results on real event logs demonstrate that， compared to other research methods， the FPM framework yields higher accuracy in predicting the next event activity. This validates that the FPM framework， which merges multi-perspective views of processes， enables a more comprehensive and in-depth analysis of complex process behaviors while enhancing predictive performance.

Key words：business process management（BPM）; business process prediction monitoring; deep learning; attention mechanism; data flow perspective; control flow perspective

0 引言

業(yè)務(wù)流程管理BPM通常由事務(wù)信息系統(tǒng)監(jiān)控，這些系統(tǒng)生成大量的事件日志數(shù)據(jù)集。預(yù)測性業(yè)務(wù)流程監(jiān)控PBPM是業(yè)務(wù)流程管理BPM中一項關(guān)鍵而重要的工作。PBPM從事件日志的歷史數(shù)據(jù)中對過程行為進(jìn)行分析，旨在通過預(yù)測運行流程實例的未來行為，來避免業(yè)務(wù)流程案例中的資源沖突和執(zhí)行超時［1］，從而提高業(yè)務(wù)流程的質(zhì)量和效率。例如，幫助管理者了解企業(yè)內(nèi)部的重要交易或流程（貸款申請、納稅申報、保險索賠等），通過數(shù)據(jù)和行為找出關(guān)鍵業(yè)務(wù)問題。

然而，目前的PBPM研究領(lǐng)域大多側(cè)重于從單一視角進(jìn)行分析，無法確保預(yù)測過程從全局視角出發(fā)，進(jìn)而導(dǎo)致預(yù)測結(jié)果存在偏差或局限性。例如，在最近的研究中，Hinkka等人［2］提出了一種新的基于RNN神經(jīng)網(wǎng)絡(luò)模型的聚類技術(shù)。在特定情況下，通過將原始事件的屬性數(shù)據(jù)值相結(jié)合，可以提高預(yù)測精度。在另一項工作中，Evermann等人［3］也使用RNN來預(yù)測下一個事件。該方法的核心是通過連接屬性數(shù)據(jù)值和在嵌入空間中的編碼來構(gòu)造RNN輸入，以提高過程模型的預(yù)測精度。然而，在上述研究中，只基于屬性數(shù)據(jù)流的單一視角進(jìn)行了過程預(yù)測，而忽略了控制流視角中的過程行為和邏輯關(guān)系。Tax等人［4］將LSTM網(wǎng)絡(luò)應(yīng)用于業(yè)務(wù)流程預(yù)測，其方法可以預(yù)測下一個活動和運行案例的繼續(xù)，直到其完成。但是，它們只使用控制流來表示整個事件日志，而忽略了數(shù)據(jù)流中的其他重要屬性值，并不能確保事件日志的完整性。

上述方法都有著突出的局限性：a）僅從單一視角（控制流或數(shù)據(jù)流）分析流程行為，忽視了其他視角的數(shù)據(jù)信息對預(yù)測性能的影響，因而無法同時考慮所有視角；b）采用RNN或LSTM神經(jīng)網(wǎng)絡(luò)會帶來梯度爆炸和缺乏并行處理能力等關(guān)鍵問題。

本文注意到多視角技術(shù)在BPM應(yīng)用中取得了較好的性能，例如Guzzo等人［5］通過基于LSTM模型和多視角方法，極大地提高了兩個數(shù)據(jù)集的分類和聚類任務(wù)的性能。

因此，針對上述方法在PPBM領(lǐng)域的局限性，本文提出了一種基于雙層BERT和多視角數(shù)據(jù)融合的方法（簡稱FMP框架），以克服這些獨特的挑戰(zhàn)。與之前的方法不同，F(xiàn)MP框架通過獨特的分層BERT網(wǎng)絡(luò)，有效地融合了數(shù)據(jù)流視角和控制流視角，實現(xiàn)了全面的多維視角分析。此外，它還解決了神經(jīng)網(wǎng)絡(luò)中 RNN 和 LSTM 存在的嚴(yán)重梯度爆炸問題。本文的貢獻(xiàn)如下：a）來自五個真實事件日志的實驗結(jié)果表明，本文FMP框架顯著提高了BPM的預(yù)測性能，預(yù)測精度超過了目前最先進(jìn)的研究方法；b）本文FPM框架通過雙層BERT，能夠解決PPBM僅從單一視角進(jìn)行過程預(yù)測的問題。（a）第一層BERT模型，學(xué)習(xí)屬性-數(shù)據(jù)流視角中不同類別屬性在事件中的分配權(quán)重，確定哪些屬性及數(shù)據(jù)對事件的影響權(quán)重占比更大。（b）第二層BERT模型，在事件控制流視角中，當(dāng)多個連續(xù)事件發(fā)生時，學(xué)習(xí)不同的事件對預(yù)測未來即將發(fā)生事件之間的相關(guān)性，自動識別每個事件對未來預(yù)測事件的影響程度及優(yōu)先關(guān)系。

1 相關(guān)工作

關(guān)于分析事件日志中的過程行為所產(chǎn)生的數(shù)據(jù)和在線預(yù)測性業(yè)務(wù)流程管理監(jiān)控在學(xué)術(shù)界是一個熱點。傳統(tǒng)方法依賴于隱馬爾可夫模型或狀態(tài)轉(zhuǎn)換系統(tǒng)中的顯式過程模型。Lakshmanan等人［6］提出一個特定實例的隱馬爾可夫模型。Letham等人［7］提出一種基于貝葉斯規(guī)則列表的生成模型。盡管以上方法具有較好的預(yù)測結(jié)果，但只適用于短而簡單的過程情況。當(dāng)出現(xiàn)過程情況長且復(fù)雜時，預(yù)測結(jié)果的準(zhǔn)確性就會明顯降低。

隨著深度學(xué)習(xí)技術(shù)的出現(xiàn)，這個問題得到了改進(jìn)。Rama-Maneiro等人［8］對使用深度學(xué)習(xí)技術(shù)解決預(yù)測任務(wù)的方法進(jìn)行了系統(tǒng)的回顧。文獻(xiàn)［9］基于初始CNN模型對事件的活動進(jìn)行預(yù)測，目的是研究使用一維CNN是否能與RNN作比較。Pasquadibisceglie等人［10］利用卷積神經(jīng)網(wǎng)絡(luò)為業(yè)務(wù)流程的執(zhí)行場景提供了一種預(yù)測運行跡中的下一個活動的方法。文獻(xiàn)［11］使用基于RNN的預(yù)測模型，將多個屬性編碼為事件的附加信息，以預(yù)測下一個事件及其屬性；通過每個屬性的相關(guān)權(quán)重值的高低，來了解每個屬性對事件的重要性。然而，由于上述方法中（CNN和RNN）的神經(jīng)網(wǎng)絡(luò)存在梯度消失問題，其處理長篇文本序列的能力受限，這與事件日志的性質(zhì)相悖。

相比之下，LSTM已被證明對于學(xué)習(xí)未知長度的長期序列模式具有一定的優(yōu)勢，因為它可以保持一定范圍內(nèi)的長期依賴。Tax等人［4］選擇了LSTM網(wǎng)絡(luò)來預(yù)測運行案例的下一個活動及其時間戳和剩余時間。他們使用一次獨熱編碼對活動屬性進(jìn)行編碼，還使用事件的其他屬性時間戳作為輸入。然而使用one-hot編碼方式時，數(shù)據(jù)之間關(guān)聯(lián)度不高，會忽略很多由過程行為產(chǎn)生復(fù)雜但有價值的信息。Camargo等人［12］針對這些局限性，提出了利用LSTM神經(jīng)網(wǎng)絡(luò)從事件日志中建立和使用生成模型的新的前后處理方法和體系結(jié)構(gòu)。后來的研究中，Pasquadibisceglie等人［13］用embedding的編碼方式也很好地解決了維度災(zāi)難問題，提出了多視角的深度學(xué)習(xí)方法預(yù)測業(yè)務(wù)流程監(jiān)控，對事件的多個不同類型屬性進(jìn)行編碼，將這些屬性簡單地加起來輸入到LSTM網(wǎng)絡(luò)學(xué)習(xí)并設(shè)計了一層注意力機(jī)制來預(yù)測下一個事件活動。類似地，文獻(xiàn)［14］提出在LSTM之上使用了兩層注意力機(jī)制，去解釋不同類別屬性和每個事件的重要程度，但忽略了事件的發(fā)生時間，在某些情況下，時間視角也被認(rèn)為是一個進(jìn)一步的數(shù)據(jù)維度，但是LSTM缺乏并行處理能力，這是關(guān)鍵問題。隨著NLP領(lǐng)域不斷發(fā)展，文獻(xiàn)［15］提出基于注意力機(jī)制的Transformer網(wǎng)絡(luò)模型架構(gòu)，很多NLP任務(wù)表明Transformer的特征提取能力強(qiáng)于LSTM。Bukhsh等人［16］提出了利用Transformer網(wǎng)絡(luò)進(jìn)行預(yù)測性業(yè)務(wù)流程監(jiān)控，該模型可以實現(xiàn)并行處理，并且可以提取特征向量，學(xué)習(xí)更多關(guān)聯(lián)性。Chen等人［17］在利用BERT模型的同時引入遷移學(xué)習(xí)思想，提出了基于BERT和遷移學(xué)習(xí)的業(yè)務(wù)流程多任務(wù)預(yù)測方法，該方法可以快速有效地應(yīng)用到下一個活動預(yù)測任務(wù)和案例結(jié)果預(yù)測任務(wù)，但是其僅從控制流視角進(jìn)行預(yù)測，忽略了數(shù)據(jù)流造成預(yù)測結(jié)果的影響。

受到上述工作的啟發(fā)，本文發(fā)現(xiàn)多視角能夠更全面學(xué)習(xí)過程行為，減少單一視角造成的偏見，以及Transformer、BERT網(wǎng)絡(luò)能更好地處理長序列和全局信息。因此，本文針對應(yīng)用在業(yè)務(wù)流程預(yù)測中的深度學(xué)習(xí)模型（如CNN［9，10］、RNN［11］、LSTM［12～14］）方法中的局限性，提出了一種全新的方法（FMP框架）來改進(jìn)業(yè)務(wù)流程的預(yù)測性能。FMP框架使用雙層BERT網(wǎng)絡(luò)，可以有效地融合數(shù)據(jù)流視角和控制流視角。此外，BERT通過多頭注意力機(jī)制能夠并行處理以及克服梯度爆炸的問題。這使FMP框架能夠進(jìn)行全面的多維視角分析，結(jié)合了不同視角的信息有助于提高預(yù)測的準(zhǔn)確性和全局性。

2 背景知識

2.1 基本定義

事件日志［18］的結(jié)構(gòu)：過程是由案例組成的，案例是由事件組成的，且每個事件僅屬于一個案例。案例中的事件用跡（trace）的形式來表示，即（唯一的）事件的序列。事件具有屬性，典型的屬性名稱包括活動、時間戳、案例和資源。

定義1 事件和屬性。事件與業(yè)務(wù)過程中的活動相關(guān)聯(lián)。為了方便理解，假設(shè)事件E=a、c、t這些屬性表示，其中a∈A是與執(zhí)行中的事件相關(guān)的活動屬性，c∈N是案例屬性，t∈N是事件的時間戳屬性。

跡是事件的一個有限序列σ=E1，E2，…，E|σ|，其中每個事件只發(fā)生一次，即1≤i<j≤|σ|。

事件日志（表1）是案例c的集合L，其中每個事件在整個日志中最多發(fā)生一次，即對任意的c1，c2∈L，有c1≠c2。

定義3 前綴跡。前綴跡σk是從跡σ的開始事件開始的第一個k個事件的子序列，即σk=E1，E2，…，Ek（1≤k≤|σ|）。因此，跡是一個完整的案例，包括開始事件和結(jié)束事件。

定義4 預(yù)測下一個事件活動。需要結(jié)合事件日志中發(fā)生的前綴跡，例如預(yù)測E3，需要前綴跡event1、event2，預(yù)測event4需要event1、event2、event3，因此對事件日志先進(jìn)行處理，設(shè)置前綴跡中一個最小長度L（L：≥2）和所有的跡小于L的值將被忽略，L長度值是通過實驗得到的最佳值，L長度值太大會導(dǎo)致訓(xùn)練數(shù)據(jù)集的樣本減少。

2.2 深度神經(jīng)網(wǎng)絡(luò)

Transformer［15］是一個序列到序列的模型，核心在于自注意力機(jī)制，它放棄了常規(guī)的遞歸和卷積方法。此模型利用自注意力機(jī)制在序列中構(gòu)建各個位置間的聯(lián)系。其主要由編碼器與解碼器兩部分構(gòu)成，這兩部分都是由重復(fù)的層堆疊而成。該機(jī)制使得序列中的詞能與其他位置的詞相互作用，有效地理解上下文，并對長距離的關(guān)聯(lián)關(guān)系有出色的表現(xiàn)，為自然語言處理賦予了高效的處理能力。BERT［19］基于Transformer構(gòu)建，是一個預(yù)訓(xùn)練的語言模型。與常規(guī)模型不同，BERT的亮點在于它的雙向預(yù)訓(xùn)練設(shè)計考慮到了單詞左右兩邊的上下文。預(yù)訓(xùn)練階段，BERT采用了掩碼語言模型（MLM）和下一句預(yù)測（NSP）策略。這兩種策略賦予了BERT深厚的語言識別和上下文描繪力。在實際應(yīng)用時，預(yù)訓(xùn)練過的BERT可以進(jìn)行特征提取或微調(diào)，從而適應(yīng)多種任務(wù)。它在文本表達(dá)和NLP任務(wù)上展現(xiàn)了卓越的表現(xiàn)，確立了其在NLP領(lǐng)域的關(guān)鍵地位。本文采用BERT進(jìn)行事件日志的特征提取，并將其轉(zhuǎn)換為向量形式，進(jìn)而用于專業(yè)任務(wù)領(lǐng)域的學(xué)習(xí)與預(yù)測。BERT模型如圖1所示。

3 提出的融合流程多視角框架

與已有方法中僅局限地考慮單一的視角相比，本文框架最大限度地保留了事件日志的完整性，能夠從全局視角分析過程行為產(chǎn)生的數(shù)據(jù)信息。例如，圖2是事件日志BPIC2017提供涉及一個荷蘭金融機(jī)構(gòu)的貸款申請流程。圖2中每個事件包含了不同類別的屬性case：id、activity、resource、credit score、offered amount、accepted等，以及其他沒有列出的屬性，每個跡中都包含了連續(xù)序列的事件σi={E1，E2，…，En}。因此，不能只考慮以活動名稱為表示的控制流視角，事件中的屬性-數(shù)據(jù)流也非常重要，例如credit score信用評分的高低，offered amount申請金額的大小，都會影響最終的流程執(zhí)行貸款申請是接受還是拒絕。

下文將詳細(xì)介紹融合流程多視角框架的高級視圖（圖3）和其每個技術(shù)模塊及作用。最后，本文的重點是評估FMP框架能夠為預(yù)測下一個事件活動提供的增益（與目前最先進(jìn)的預(yù)測下一個事件活動的方法相比）。

3.1 多屬性特征編碼器

對事件日志進(jìn)行預(yù)處理，將其轉(zhuǎn)換成XES數(shù)據(jù)文件的數(shù)據(jù)集，再將數(shù)據(jù)集劃分為兩部分：80%的數(shù)據(jù)集作為預(yù)訓(xùn)練專業(yè)領(lǐng)域BERT模型的預(yù)測任務(wù)，20%的數(shù)據(jù)集作為測試驗證集。

a）輸入層。對事件日志中的（表1）不同類別屬性作特征提取，作為框架的輸入。X={att1，att2，…，attn}，其中每個atti都是事件中的一個屬性，這些屬性有case ID、activity、timestamp、resource、credit score、selected、offered amount等。

b）多屬性特征編碼器。將事件中的不同類別屬性atti作特征提取后輸入到這一層中。

圖4是多屬性特征編碼器具體的編碼方式。

a）token embeddings（1，n，128）：將各個屬性轉(zhuǎn)換成固定維度的向量，在預(yù)訓(xùn)練專業(yè)領(lǐng)域的BERT模型中，每個屬性被轉(zhuǎn)換成128維的向量表示（維度經(jīng)過訓(xùn)練后得到最佳值）。此外，兩個特殊的token會被插入到tokenization結(jié)果的開頭 （［CLS］）和結(jié)尾 （［SEP］） ，它們是為后面的分類任務(wù)和劃分不同事件服務(wù)的。

b）segment embedding（1，n，128）：讓BERT能夠處理輸入不同事件的分類任務(wù)。這類任務(wù)類似于判斷跡中的兩個事件是否是相似的。事件日志跡中的兩個事件被簡單地拼接在一起后送入到模型中。如圖3所示，事件n的不同類別屬性都是Ea，如果在輸入其他事件n+1時，那么對應(yīng)的不同類別屬性就是Eb。類似地，segment embedding也能夠區(qū)分出事件日志中不同跡，L={σ1，σ2，…，σn}，其中每個σi是一個完整的跡。

c）position embeddings：讓BERT模型記錄輸入的每個屬性的位置信息向量，去學(xué)習(xí)輸入的事件流中的屬性-數(shù)據(jù)信息。最后，編碼地合成表示：token embeddings（1，n，128） ，屬性-數(shù)據(jù)的向量表示;segment embeddings（1，n，128），輔助BERT區(qū)別跡中事件流的不同事件的向量表示；position embeddings（1，n，128） ，讓BERT學(xué)習(xí)輸入的順序?qū)傩浴?/p>

這些表示會被按元素相加，得到一個大小為（1，n，128）的合成向量表示，類似的X′={A1，A2，…，An}，其中每一個Ai都是對應(yīng)的屬性embedding向量，這一表示就是屬性特征編碼器的輸出。這種編碼方式在輸入到其他層神經(jīng)網(wǎng)絡(luò)的計算中依舊能夠保留每個屬性的token、positing、segment的數(shù)據(jù)信息。接著將embedding后的屬性向量Ai輸入到下一層。

3.2 基于雙層BERT方法對事件日志語意特征提取

由于訓(xùn)練過程中需要進(jìn)行反向傳播和梯度計算，將注意力分?jǐn)?shù)置為零會導(dǎo)致無法進(jìn)行有效的梯度傳遞。所以，將注意力

BERT的掩碼機(jī)制（masked attribute modeling，MAM）能夠?qū)W習(xí)不同類別屬性對事件的重要程度。掩碼機(jī)制 ［MASK］ 遮蓋的操作如下：M={A1，A2，…，An}，隨機(jī)把一個事件15%的token（屬性）替換成以下內(nèi)容：80%的幾率被替換成［MASK］;10%的幾率被替換成任意一個其他的token；10%的幾率原封不動，之后讓模型預(yù)測和還原被遮蓋掉或替換掉的部分。計算損失的時候，只計算在第一步被隨機(jī)遮蓋或替換的部分，其余部分不計算損失，無論輸出什么都不影響。

這種機(jī)制可以強(qiáng)迫模型在編碼當(dāng)前序列屬性的時候不太依賴當(dāng)前的屬性，而是考慮它的上下文（其他不同類別屬性），甚至根據(jù)上下文進(jìn)行糾錯。最后，把學(xué)習(xí)后的不同類別的屬性A′i={A′1，A′2，…，A′n}輸出到下一層。

b）微調(diào)+自注意力機(jī)制層。BERT的微調(diào)只需要對下游任務(wù)進(jìn)行改造（自注意力機(jī)制）。因此，將經(jīng)過第一層BERT模型訓(xùn)練和學(xué)習(xí)后不同類別的屬性Ai作為輸入，輸入到自注意力機(jī)制層，在這一層中進(jìn)行特征選擇，并更加關(guān)注占比權(quán)重更高的屬性，對其重要性進(jìn)行加權(quán)。需要注意的是，本文不會干涉確定每個屬性的占比權(quán)重。因此，這個過程是完全自動化的。自注意力公式如式（1）所示，經(jīng)過第一層BERT模型對復(fù)雜過程行為所產(chǎn)生的屬性-數(shù)據(jù)進(jìn)一步分析和學(xué)習(xí)后，輸出得到一個事件向量Ei，其是由所有類別屬性權(quán)重組成的。類似地，跡中其他事件向量σi={E1，E2，…，En}也是這樣得到的，這些向量作為該事件的特征向量被輸入到下一層中。

c）第二層BERT模型。在事件控制流視角中，當(dāng)多個連續(xù)事件發(fā)生時，學(xué)習(xí)不同的事件對預(yù)測未來即將發(fā)生事件之間的相關(guān)性，自動識別每個事件對未來預(yù)測事件的影響程度及優(yōu)先關(guān)系。

將上一層BERT模型訓(xùn)練和微調(diào)后輸出的事件向量σi={E1，E2，…，En}作為本層的輸入。以類似的方式創(chuàng)建跡中其他所有的事件向量，如圖2的Ei中包含了不同類別屬性的特征信息，其中時間戳屬性記錄了事件的時間序列。所有的上下文事件向量Ei并行地輸入到第二層BERT中。同樣地，掩碼機(jī)制（masked event modeling，MEM）同第一層BERT類似，M={E1，E2，…，En}，將一個完整的跡中15%的事件進(jìn)行掩碼操作，經(jīng)過預(yù)訓(xùn)練后BERT模型能夠自動學(xué)習(xí)跡中事件的優(yōu)先順序、并發(fā)、異步、循環(huán)等邏輯關(guān)系。例如，當(dāng)多個連續(xù)事件發(fā)生時，學(xué)習(xí)不同的事件對預(yù)測未來即將發(fā)生事件之間的相關(guān)性，并自動分配每個事件在跡中的不同占比權(quán)重。它們能反映出不同事件的重要程度，并解釋不同的事件對預(yù)測未來事件的影響程度及優(yōu)先關(guān)系。

3.3 （解碼器）微調(diào)層+預(yù)測下一個事件的活動

最終的輸出層是把第二層BERT的輸出傳遞給下一個活動預(yù)測模塊（下一個事件預(yù)測模塊由全局平均池化層、退出層和softmax層組成）。

En+1（activity）=softmax（M，WE）（4）

選擇概率最高的活動作為最終輸出，即運行跡的下一個事件的活動，WE是跡中事件的權(quán)重矩陣。提出的雙層BERT模型把事件-控制流作為架構(gòu)，屬性-數(shù)據(jù)流作為流轉(zhuǎn)載體。事件流中包含著多屬性數(shù)據(jù)特征信息，實現(xiàn)了控制流和數(shù)據(jù)流相互融合的多視角行為分析。最終的輸出是預(yù)測的下一個事件En+1（activity）用活動名稱代替，而不是預(yù)測出事件的所有屬性。它能大大減少訓(xùn)練時間，從而更高效、精準(zhǔn)地實現(xiàn)過程監(jiān)控預(yù)測任務(wù)。

4 實驗

本章將說明用于評估本文方法有效性的實驗設(shè)置，實驗中五個數(shù)據(jù)集均來自4TU研究數(shù)據(jù)中心的公開真實事件日志，然后討論實驗活動的結(jié)果，目標(biāo)是提供以下研究問題的答案：

RQ1 F-M-P框架在預(yù)測下一個事件活動的性能如何？

RQ2 F-M-P框架是如何將屬性-數(shù)據(jù)流與事件-控制流融合的？

4.1 數(shù)據(jù)集

本文方法在五個不同的真實數(shù)據(jù)集上進(jìn)行了評估，分別對這些來自不同領(lǐng)域的數(shù)據(jù)集進(jìn)行討論，表2提供了事件日志的參考規(guī)范。

a）Help Desk。其包含了一個意大利軟件公司的幫助臺票務(wù)管理過程。

b）BPIC2012。其涉及到一個由荷蘭金融機(jī)構(gòu)管理的全球融資機(jī)構(gòu)內(nèi)的個人貸款或透支的申請過程。本文主要采用了BPI2012WComplete（它包含了子進(jìn)程W的跡，但保留了這些跡的已完成事件）。

c）Receipt。其來源于在NWO項目編號638.001.211下執(zhí)行的CoSeLoG項目。該日志收集了在一個匿名的市政當(dāng)局進(jìn)行的建筑許可申請過程的接收階段的執(zhí)行記錄。

d）BPIC2017。其提供涉及一個荷蘭金融機(jī)構(gòu)的貸款申請過程。

e）BPIC2020。其包含與付款請求相關(guān)的事件，這些事件與旅行無關(guān)。各種許可和申報文件（國內(nèi)和國際申報、預(yù)付旅費和付款請求）遵循過程。

預(yù)測下一個事件活動，需要結(jié)合事件日志中發(fā)生的前綴跡，例如預(yù)測Event3，需要前綴跡Event1，Event2，預(yù)測Event4需要Event1，Event2，Event3，因此對事件日志先進(jìn)行處理，設(shè)置前綴跡中一個最小長度L （L：≥2）和所有的跡小于L的值將被忽略，L長度值是通過實驗得到的最佳值，L長度值太大會導(dǎo)致訓(xùn)練數(shù)據(jù)集的樣本減少，具體內(nèi)容如表3所示（表3中每個Event中都包含了不同類別的屬性）。本文在Python 3.8中實現(xiàn)FMP方法，表4是實驗的超參數(shù)配置。

4.2 基于屬性-數(shù)據(jù)流視角分析

過程行為由連續(xù)的事件組成，而每個事件是由不同類別的屬性-數(shù)據(jù)組成的。首先對屬性-數(shù)據(jù)流分析，對每個事件的不同類別屬性進(jìn)行多屬性特征編碼，再輸入到第一層BERT模型中訓(xùn)練學(xué)習(xí)。 本文通過BERT的多頭自注意力可視化，呈現(xiàn)框架內(nèi)部結(jié)構(gòu)的數(shù)據(jù)信息交互，例如不同類別屬性數(shù)據(jù)之間的關(guān)聯(lián)性和交互性。

輸入的事件流中，E1、E2、E3通過第一層BERT多頭注意力機(jī)制去學(xué)習(xí)不同類別屬性的關(guān)聯(lián)性，圖5是FMP框架中E1的其中一個頭部的自注意力交互可視化［20］。圖5能夠觀察到屬性之間相互的連接線，線的粗細(xì)和透明程度是屬性之間關(guān)聯(lián)性大小的判別標(biāo)準(zhǔn)，連接線越粗，透明度越小，代表兩個屬性間的自注意力評分越高，反之，連接線越細(xì)，透明度越大代表兩個屬性的自注意力評分低。需要注意的是，模型里的自注意力是完全自動分配評分權(quán)重的，本文不會去刻意設(shè)置某些值的高低。

再將事件E1轉(zhuǎn)換為由不同類別屬性組成的向量去對比。表5是每個事件中不同類別屬性的自注意力評分，以BERT模型中一個頭的自注意力表示為例，能夠明顯觀察到E1事件中不同類別屬性之間的自注意力評分權(quán)重都各不相同，這是因為在不同的事件中會關(guān)注不同類別的屬性，以判定哪些屬性-數(shù)據(jù)影響程度更高。多層多頭注意力能夠從多個視角學(xué)習(xí)屬性-數(shù)據(jù)之間的關(guān)聯(lián)性。BERT模型輸出這些經(jīng)訓(xùn)練學(xué)習(xí)后的不同類別屬性數(shù)據(jù)，輸入到下一層的自注意力機(jī)制加權(quán)求和，得到事件中不同屬性在事件中的占比權(quán)重關(guān)系，如圖6所示，以判別哪些屬性的權(quán)重占比更高和影響程度更大。

圖6中能觀察到credit score屬性的注意力權(quán)重為0.168，resource為0.156 6和activity為0.151 1，說明這三個屬性在事件中得到了更多的關(guān)注，它們對未來即將發(fā)生的事件影響權(quán)重也更大；反之，其他屬性注意力權(quán)重較小，關(guān)注越少。這也證明了FMP模型的有效性，因為在貸款申請中credit score的高低直接影響最終申請的成功與否；activity是貸款申請的活動流程，不同的activity也會直接影響下一個發(fā)生的事件。事件流中屬性-數(shù)據(jù)會直接影響未來即將發(fā)生的事件，從而間接地影響流程最終結(jié)果。

4.3 基于事件-控制流視角分析

將屬性-數(shù)據(jù)融入事件中，再對控制流視角進(jìn)行過程行為分析。第二層BERT通過多層、多頭自注意機(jī)制，能夠捕獲事件流是如何在不同跡之間交互的，如圖7所示。圖7中主要有以下幾種主要的注意力模式：

注意前一個事件：有助于捕獲上文中提供的行為信息。

注意下一個事件：有助于捕獲跡的流程和預(yù)測下一個事件的可能性。

注意前綴跡中的事件：幫助模型理解跡的上下文，學(xué)習(xí)跡的背景信息，提供長距離的上下文聯(lián)系。

注意相同或者相關(guān)的事件：捕捉跡中的語義關(guān)系或者事件之間的同義關(guān)系。

注意分隔符：這種模型將跡的事件流狀態(tài)傳播到單個事件上，并且能夠?qū)⑷值纳舷挛男畔鞑サ礁鱾€事件上。

注意其他跡中相關(guān)的事件：有助于捕獲上下文中提供的線索，并通過上下文進(jìn)行過程預(yù)測。

這些模式可以學(xué)習(xí)事件-控制流中的邏輯關(guān)系，如順序、遞歸、并發(fā)性、沖突和其他類型的關(guān)聯(lián)。

在預(yù)訓(xùn)練任務(wù)中，F(xiàn)MP框架通過多頭注意力機(jī)制，能夠結(jié)合上下文自動識別哪些事件的重要程度更高，并影響將發(fā)生的下一個事情活動，進(jìn)而作出最終的決策結(jié)果，如圖8所示。

4.4 多視角框架分析和實驗評估

為了評估FMP在預(yù)測事件日志的下一個事件活動，本文使用了accuracy度量。因此，在訓(xùn)練階段結(jié)束后，將測試集中的部分跡逐一給模型，并將模型預(yù)測的下一個事件活動與其他近期先進(jìn)的方法進(jìn)行比較， accuracy公式如下：

本文探討了在事件日志中，通過輸入不同類別屬性的個數(shù)對預(yù)測性能的影響進(jìn)行對比。為了保持事件日志的完整性（integrity）和屬性-數(shù)據(jù)數(shù)值的唯一性（uniqueness），刪除了數(shù)據(jù)集中重復(fù)出現(xiàn)的屬性-數(shù)據(jù)，數(shù)據(jù)集BPIC2012采用了全部的的不同類別屬性，屬性個數(shù)為5，BPIC2017的屬性個數(shù)為8，BPIC2020的數(shù)據(jù)集不同類別屬性個數(shù)為7，Help Desk的屬性個數(shù)為7，Receipt的屬性個數(shù)為8。由表6能夠明顯觀察到，屬性數(shù)量為3時，預(yù)測的性能效果最低，其原因是給定關(guān)鍵屬性-數(shù)據(jù)信息太少；數(shù)據(jù)集中隨著屬性的數(shù)量增加，預(yù)測的精度也在增加，可以證明保留事件日志中的屬性-數(shù)據(jù)完整性是至關(guān)重要的。然而，當(dāng)事件日志中的所有屬性全部作為輸入時，反而會增加框架內(nèi)部計算的復(fù)雜度以及產(chǎn)生更多噪聲，導(dǎo)致預(yù)測精度下降。

為了區(qū)分embedding維數(shù)對預(yù)測準(zhǔn)確度的影響，使用256、128、64、32、16和8維的嵌入空間重復(fù)實驗，保持其他參數(shù)不變。圖9顯示了數(shù)據(jù)集對不同維度數(shù)量的驗證精度。能夠明顯觀察到，降低嵌入的維數(shù)通常會對預(yù)測精度產(chǎn)生消極影響。然而，只要嵌入空間的維數(shù)大于詞匯表的大小，這種效應(yīng)就可以忽略不計。當(dāng)維數(shù)從64降到32時，預(yù)測精度都沒有顯著降低。然而，當(dāng)維數(shù)降低到16和8時，所有數(shù)據(jù)集的精度降低都更明顯。BPIC 2020數(shù)據(jù)集顯示，當(dāng)維數(shù)從128降低到64時，精度顯著降低。其他具有大詞匯量的數(shù)據(jù)集也表現(xiàn)出相同的行為。將維度增加到256，表明會發(fā)生顯著的過擬合，特別是對于具有大詞匯量的數(shù)據(jù)集。

如圖9所示，BPIC2012和BPI2017數(shù)據(jù)集的精度隨著embedding維數(shù)的增加而降低，這些趨勢是過擬合的明顯跡象。從圖9可以看出，選擇128個維度的基線接近于所有數(shù)據(jù)集的最佳驗證精度，沒有明顯的過擬合。最后，為了證明FMP框架能夠更全面地分析復(fù)雜的過程行為，以及在預(yù)測下一個事件活動的任務(wù)上呈現(xiàn)出更高的精度，本文和已有的最先進(jìn)方法進(jìn)行了對比。如表7所示，與單一的控制流（或者數(shù)據(jù)流）視角相比，基于FMP在預(yù)測下一個事件活動的準(zhǔn)確數(shù)性能更高。進(jìn)一步證明了基于多視角行為分析的有效性，而不能僅考慮單一視角。

4.5 結(jié)論性討論

本文總結(jié)了4.3節(jié)的主要實驗結(jié)果，以便為本節(jié)開頭定義的研究問題提供明確的答案。

RQ1：與先進(jìn)的方法相比，F(xiàn)MP框架在預(yù)測下一個事件活動精度的性能表現(xiàn)更好。通過真實公開的數(shù)據(jù)集實驗結(jié)果，證明基于BERT模型的多視角FMP框架能夠更全面、更深層次地分析復(fù)雜的過程行為。

RQ2：FMP框架利用多個層次的技術(shù)組件（多屬性特征編碼器、基于雙層BERT模型的事件日志語意特征提取、自注意力機(jī)制）實現(xiàn)融合流程多視角。并且通過每個技術(shù)組件的功能和相互作用，可以呈現(xiàn)整個框架內(nèi)部運轉(zhuǎn)。并通過層次的自注意力交互可視化和數(shù)據(jù)可視化、逐層分析，來實現(xiàn)流程多視角之間的融合。

5 結(jié)束語

目前，事件日志中存儲著大量的數(shù)據(jù)和過程行為信息。使用過程挖掘技術(shù)和深度學(xué)習(xí)相結(jié)合的方法對這些行為信息和數(shù)據(jù)進(jìn)行分析，以便學(xué)習(xí)和提取有價值的知識來分析流程的各種特征。然而，現(xiàn)有的先進(jìn)技術(shù)主要側(cè)重于控制流視角或不能有效地將數(shù)據(jù)流視角和控制流視角相結(jié)合。為了解決這些問題，本文提出了FPM框架，將屬性-數(shù)據(jù)流與事件-控制流進(jìn)行融合，實現(xiàn)了真正意義上的多視角行為分析。采用了雙層BERT網(wǎng)絡(luò)模型來學(xué)習(xí)屬性-數(shù)據(jù)流之間的關(guān)聯(lián)性和事件-控制流中不同事件的邏輯順序關(guān)系，從而進(jìn)行更全面、更有價值的過程行為分析。FMP框架能夠更準(zhǔn)確地預(yù)測下一個事件活動，并及時識別事件日志中的偏差，以避免更大的損失。通過自注意力權(quán)重可視化和數(shù)據(jù)流轉(zhuǎn)可視化，可以識別事件中的占比關(guān)系和事件在跡中的優(yōu)先次序關(guān)系。實驗結(jié)果表明，F(xiàn)MP框架在預(yù)測精度的性能優(yōu)于最先進(jìn)的研究方法。

未來的工作目標(biāo)是將該方法作為分析事件日志過程行為的框架，應(yīng)用于業(yè)務(wù)流程管理的其他相關(guān)任務(wù)。例如在事件日志模型修復(fù)中，修復(fù)事件日志跡中缺失的屬性，以及用于基于多視角的異常行為檢測［21，22］。本文利用深度神經(jīng)網(wǎng)絡(luò)方法對過程行為進(jìn)行分析，神經(jīng)網(wǎng)絡(luò)通常被認(rèn)為是黑盒模型，導(dǎo)致無法提供可解釋性，這也是BPM領(lǐng)域中的難點，未來研究工作將對本文FMP框架進(jìn)行可解釋性分析。

參考文獻(xiàn)：

［1］Metzger A， Franklin R， Engel Y. Predictive monitoring of heterogeneous service-oriented business networks： the transport and logistics case［C］//Proc of Annual SRII Global Conference. Piscataway， NJ： IEEE Press， 2012： 313-322.

［2］Hinkka M， Lehto T， Heljanko K. Exploiting event log event attri-butes in RNN based prediction［EB/OL］. （2020-01-15）. https：//arxiv.org/abs/1904.06895.

［3］Evermann J， Rehse J R， Fettke P. Predicting process behavior using deep learning［J］. Decision Support Systems， 2017， 100：129-140.

［4］Tax N， Verenich I， La Rosa M， et al. Predictive business process monitoring with LSTM neural networks［C］//Proc of International Conference on Advanced Information Systems Engineering. Cham： Springer， 2017： 477-492.

［5］Guzzo A， Joaristi M， Rullo A， et al. A multi-perspective approach for the analysis of complex business processes behavior［J］. Expert Systems with Applications， 2021，177： 114934.

［6］Lakshmanan G T， Shamsi D， Doganata Y N， et al. A Markov prediction model for data-driven semi-structured business processes［J］. Knowledge and Information Systems， 2015，42（1）： 97-126.

［7］Letham B， Rudin C， Tyler H， et al. Interpretable classifiers using rules and Bayesian analysis： building a better stroke prediction model［J］. The Annals of Applied Statistics， 2015，9（3）： 1350-1371.

［8］Rama-Maneiro E， Vidal J C， Lama M. Deep learning for predictive business process monitoring： review and benchmark［J］. IEEE Trans on Services Computing， 2023，16（1）： 739-756.

［9］Al-Jebrni A， Cai Hongming， Jiang Lihong. Predicting the next process event using convolutional neural networks［C］// Proc of IEEE International Conference on Progress in Informatics and Computing. Pisca-taway， NJ： IEEE Press， 2018： 332-338.

［10］Pasquadibisceglie V， Appice A， Castellano G， et al. Using convolutional neural networks for predictive process analytics［C］//Proc of International Conference on Process Mining. Piscataway， NJ： IEEE Press， 2019： 129-136.

［11］Lin Li， Wen Lijie， Wang Jianmin. MM-Pred： a deep predictive model for multi-attribute event sequence［C］//Proc of SIAM International Conference on Data Mining.［S.l.］： Society for Industrial and Applied Mathematics， 2019： 118-126.

［12］Camargo M， Dumas M， González-Rojas O， et al. Learning accurate LSTM models of business processes management［C］//Proc of International Conference on Business Process Management. Cham： Springer， 2019： 286-302.

［13］Pasquadibisceglie V， Appice A， Castellano G， et al. A multi-view deep learning approach for predictive business process monitoring［J］. IEEE Trans on Services Computing， 2022， 15（4）： 2382-2395.

［14］Jalayer A， Kahani M， Pourmasoumi A， et al. HAM-Net： predictive business process monitoring with a hierarchical attention mechanism［J］. Knowledge-Based Systems， 2022， 236（C）： 107722.

［15］Vaswani A， Shazeer N， Parmar N， et al. Attention is all you need［EB/OL］. （2023-08-02）. https：//arxiv.org/abs/1706.03762.

［16］Bukhsh Z A， Saeed A， Dijkman R M. Process Transformer： predictive business process monitoring with transformer network［EB/OL］. （2021-04-01）. https：//arxiv.org/abs/2104.00721.

［17］Chen Hang， Fang Xianwen， Fang Hua. Multi-task prediction method of business process based on BERT and transfer learning［J］. Knowledge-Based Systems， 2022，254： 109603.

［18］Van Der Aalst W M P. Process mining： discovery， conformance and enhancement of business processes［M］. Berlin： Springer， 2011.

［19］Devlin J， Chang M W， Lee K， et al. BERT： pre-training of deep bidirectional transformers for language understanding［EB/OL］. （2019-05-24）. https：//arxiv.org/abs/1810.04805.

［20］Abnar S， Zuidema W. Quantifying attention flow in transformers［EB/OL］. （2020-05-31）. https：//arxiv.org/abs/2005.00928.

［21］Nolle T， Luettgen S， Seeliger A， et al. BINet： multi-perspective business process anomaly classification［J］. Information Systems， 2022， 103： 101458.

［22］Fang Na， Fang Xianwen， Lu Ke. Anomalous behavior detection based on the isolation forest model with multiple perspective business processes［J］. Electronics， 2022， 11（21）： 3640.