基于概念漂移檢測的數字孿生流程預測模型

摘 要：預測性流程監控可以在業務流程運行過程中提供及時的信息，以便采取措施來應對潛在風險，如何提高流程預測的準確度一直受到高度關注。現有的研究方法大部分都在靜態環境下引入，很少有結合數字孿生技術用于動態環境的流程預測。為此，提出了一個基于概念漂移檢測的方法，并構建數字孿生流程預測模型（digital twin based on concept drift，DTBCD）預測下一個活動。首先利用事件流行為關系和權重散度將流程中的活動進行特征提取，得到數據流的特征集，其次進行漂移檢測，動態選擇特征集輸入人工智能模型中訓練并預測下一個活動，然后運用物聯網和云計算等先進技術創建數字孿生虛擬環境，最后得到基于概念漂移的數字孿生模型。通過公開可用的數據集進行評估分析，實驗結果表明，提出的方法能夠有效提高預測的準確性。

關鍵詞：預測性流程監控； 活動預測； 漂移檢測； 數字孿生

中圖分類號：TP391.9 文獻標志碼：A 文章編號：1001-3695（2024）07-017-2039-07

doi：10.19734/j.issn.1001-3695.2023.11.0541

Digital twin process prediction model based on concept drift detection

Abstract：Predictive process monitoring can provide timely information during the operation of business processes， in order to take measures to address potential risks. How to improve the accuracy of process prediction has always been highly concerned. Most of the existing research methods focus on process prediction in static environments， with few combining digital twin technology for process prediction in dynamic environments. To this end， this paper proposed a method based on concept drift detection and constructed a digital twin process prediction model to predict the next activity. Firstly， this method used behavioral relationship between event streams and weight divergence to extract features from activities in the process and obtained the feature sets of data flows. Secondly， this method performed drift detection. It dynamically selected feature sets and input them into the artificial intelligence model for training and predicting the next activity. Then， it used advanced technologies such as the Internet of Things and cloud computing to create a digital twin virtual environment. Finally， this paper obtained a digital twin model based on concept drift. It carried out evaluation and analysis on publicly available datasets， and the experimental results show that the proposed method can improve the effectiveness of prediction.

Key words：predictive process monitoring; activity prediction; drift detection; digital twin

0 引言

伴隨著當代信息技術高速穩步發展，制造工業的智能化也應運而生。由于制造工業流程的復雜化和智能化，其可靠性和安全性也逐步引起了相關利益者的廣泛關注。數字孿生（digital twin，DT）技術被認為是工業4.0核心力量之一［1］，為了減少制造工業系統的損失以及及時對制造系統流程作出決策，數字孿生發揮了不容忽視的作用。DT可以被認為是一個虛擬模型，能夠在網絡虛擬世界反映物理世界的過程，并且通過實時的高保真建模，它能夠在整個生命周期對物理實體進行有效監控和預測。對于真實實體中發生的變化，DT可以及時更新仿真模型，這使得數字提取的仿真模型能夠成為真實實體在實時建模時的高保真副本［2］，并且能夠通過模擬和映射物理實體得到的虛擬模型，完成動態優化［3］。數字孿生主要由以下四個部分組成［2］：a）真實世界實體，如制造工業的某個工廠，或是工廠內某個機器（組件）；b）數據驅動仿真模型，包括描述仿真模型的算法、機器學習、深度學習和數據挖掘，對數據深度挖掘的分析、提煉模型及其軟件實現等；c）連接組件，物聯網系統和云計算等；d）物理世界的動態變化：真實世界實體已經或正在生成的動態數據。第四個部分是數字孿生的關鍵部分，它影響數字孿生虛擬建模目標的完整復現程度。

現有的數字孿生方法是基于公司或咨詢專家制造的模型結構，最近的研究側重于事件日志數據等數據驅動技術，以實現數據流創建仿真模型的目標［4］。流程挖掘可用于預測制造場景中流程變化的結果或原因［5］，因此使用流程挖掘方法來跟蹤和確定各種特征的研究越來越受歡迎。制造工業中產生的數據紛繁復雜，但是對人工智能技術的研究表明，它能夠有效學習這些數據，并驅動著數字孿生的實現，從而使現實世界中復雜的數據可以更容易地轉換為虛擬世界的數據。通過使用人工智能模型，提前預測可能具備嚴重影響性的問題并采取應對措施，從而減少不必要的資源浪費，此外與數字孿生的結合，擴大了它們的適用范圍。預測性流程監控作為流程挖掘中不可分割的一個部分，大多數采用的方法就是人工智能技術中的深度學習技術［6～8］，通過訓練模型來提高預測的準確度，但很少結合數字孿生技術在動態環境中預測。實際上的業務流程中總是不斷變化的［9］，因此動態環境中的預測性流程監控能夠更有效地捕捉業務流程中的變化，從而避免出現突發情況，造成難以估計的時間和物質上的損失。文獻［9～11］是在動態環境下的流程預測，但是沒有結合DT技術，文獻［5］為了預測剩余循環時間，提出了一種使用過程變遷技術的數字孿生發現框架。在本文中，利用DT技術建立數字孿生模型是以準確度為指標，預測流程中下一個活動，并且考慮了流程的動態變化，這關系到什么時候流程可能會出現異常情況（如制造工業中機器的故障），數據的概念漂移檢測則可以很好地處理這種情況。此外，DT在虛擬空間中實時的監控和預測也可以及時應對突發情況，并且在短期和中期場景中都有助于對過程的當前狀態作出適當的決策［4］。

本文的主要貢獻如下：a）考慮流程中的動態變化，利用事件流的行為關系，并結合信息理論中的熵概念將事件日志轉換為數據流，從而進行概念漂移檢測；b）基于數字孿生技術構建一個虛擬模型來預測制造工業流程中的下一個活動，此外還能將物理世界接收到的動態事件日志應用于改進模型，從而構建更精確的數字孿生模型；c）使用公開可用數據集進行實驗，并對實驗結果進行分析，結果表明本文方法可以有效提高預測的準確性。

1 相關工作

1.1 數字孿生

數字孿生正在對工業進行改革，未來的物理世界將通過數字孿生技術被克隆到數字空間中，文獻［12］以五維數字孿生模型為出發點，研究數字孿生相關常用技術和工具，并對其進行總結，為今后數字孿生的應用提供一定的參考價值。文獻［13］基于數字孿生技術提出了一種四層設計架構：CMCO（configuration design-motion planning-control development-optimization decoupling），基于此模型，提出了一個數字孿生系統，即制造系統設計平臺，并驗證了此設計平臺的可行性和有效性。文獻［14］提出了一種自動發現制造系統并生成適當數字孿生的方法，根據事件日志中的相關特征，產生仿真模型并進行調優，保證了在短時間內的任何時間都可以獲得物理系統的更新和合理詳細的數字孿生模型。針對目前智能制造企業迎來的嚴峻的現實問題，文獻［15］旨在對基于數字孿生的工業信息集成系統驅動的智能制造進行定量綠色績效評估（green performance evaluation of smart manufacturing，GPEoSM），構建的GPEoSM框架通過案例證明是有效的。文獻［2］提出了一個數據驅動的方法，利用了機器學習和過程挖掘技術，并對模型進行不斷改進和持續驗證，在建立仿真模型需要一定的先驗知識和專家知識的情況下，此框架的目標是最小化并充分定義，甚至消除這些知識的需求。

1.2 預測性流程監控

預測性流程監控領域已有許多研究方法，在過去的幾年中，深度學習被廣泛應用于此，如長短期記憶（long short-term memory，LSTM）網絡，已被提出用于下一個活動［16］、后綴生成［17］、流程的剩余時間預測［18］和結果預測［7］。Hinkka 等人［19］應用循環神經網絡，通過從事件日志的跡中提取有標簽的流程實例，以有監督的方式來訓練模型。Pasquadibisceglie等人［20］運用卷積神經網絡預測運行跡中的下一個活動，其特色是將時間數據轉換為空間數據來訓練深度學習的模型。Taymouri等人［16］針對訓練數據不足或網絡配置和架構次優的問題，提出了一個對抗訓練框架來預測下一個事件標簽和時間戳［14］。注意力機制可以解決序列建模的長距離依賴問題，并且無須考慮它們在輸入和輸出序列中的距離，因此，Vaswani等人［21］引入了一個深度序列模型，即Transformer神經網絡，它采用自我注意從而保持長距離序列的一致性，實驗證明了模型的質量更優越，更具并行性，并且訓練時間更少。由于Transformer的流行，基于它的編碼器-解碼器模型已經迅速成為神經網絡機器翻譯和自然語言理解的主導架構［22～24］。

1.3 概念漂移

大多數業務流程具有動態的特性，會隨著時間的推移而發生變化，過程中的變化可能是突然性的或逐步性的［25］，因此對于流程管理來說，發現流程中的這種概念漂移并進行深度理解和采取恰當的處理方式是至關重要的。文獻［26］提出了一種新方法——ElStream（ensemble and conventional machine lear-ning techniques detect distribution of streaming data），該方法使用集成和傳統的機器學習技術來檢測概念漂移，ElStream是基于多數投票技術，只制作最佳分類器來投票決定是否產生漂移。概念漂移的檢測也是流程預測工作中一個重要部分，文獻［9］在增量流程預測中對于漂移的檢測采取了文獻［25］的方法，即提取事件日志中不同的特征表示活動之間的關系，并轉換為數據流，接著利用滑動窗口技術和統計方法檢測這些特征數據流，用于發現連續窗口之間的差異，從而判斷出漂移發生點。文獻［27］提出了一個在線預測監控（in-line predictive monitoring，ILPM）框架，在第一階段使用過程參數監控，在第二階段使用設備參數監控。為了保持魯棒性和準確性，使用概念漂移來實時更新ILPM模型。

2 準備工作

2.1 事件日志

本文定義了事件日志，它用于表示流程執行記錄。

定義1 事件日志。令ε為所有事件的集合，事件日志L是一組K大小的事件序列（或案例），記作L={σi：i=1，…，K}，且σi=（e1i，…，enii）。此外，序列中的每個事件都與屬性和屬性值相關聯［28］。

表1是某制造工業的部分事件日志，它包含案例號、活動（機器的操作）、資源（工作的單元）、機器開始和結束時間以及工作訂單數量。

2.2 動態貝葉斯網絡

貝葉斯網絡（Bayesian network，BN）是一個有向無環圖，其中每一個節點表示一個屬性，當屬性Ai依賴于Aj時，就存在一條有向邊（Ai，Aj）。此時稱變量Ai為Aj的父級。Pa（A）是A所有父節點的集合，即A所依賴的屬性。對于所有節點（X0，X1，…，Xn）的聯合概率分布為［29］

條件概率表（conditional probability table，CPT）捕獲屬性Xi的P（Xi|Pa（Xi）），這些表在父值出現的前提下包含所有可能值的概率。通過學習CPT和模型結構（屬性之間的依賴關系）來學習BN。動態貝葉斯網絡（dynamic Bayesian network，DBN）［30］結合了序列層面，是通過向網絡添加額外的變量來實現的。動態貝葉斯網絡由模型結構和模型參數兩者組成，結構和參數都可以從數據中學習獲得，因此都可以單獨更新。DBN的結構描述了數據中屬性之間的條件依賴關系。DBN的參數描述了所有屬性的條件概率，可按如下公式計算［9］：

2.3 LSTM網絡

LSTM是一種神經網絡，專門用于處理長序列數據［31］，它有 “門”結構來去除或者增加信息到LSTM單元狀態的能力，這些門是使用邏輯函數實現的，用于計算0到1之間的值。乘法應用于此值以部分允許或拒絕信息流入或流出內存［32］。圖1描述了單個LSTM單元的架構，每個藍線框都代表一個LSTM單元（用A表示），該單元通過輸入前一個隱藏狀態ht-1和單元狀態Ct-1以及當前輸入Xt來輸出下一個狀態ht和Ct。單個LSTM單元完成的操作由式（3）描述，其中Wi、Wf、Wc和Wo是可訓練的權重矩陣，bi、bf、bc和bo是偏置矩陣。

3 基于概念漂移的數字孿生

為了避免業務流程中出現突發情況，造成難以估計的時間和物質上的損失，在不斷變化的流程中進行動態預測是至關重要的。此外，利用DT技術在虛擬空間中進行實時監控和預測，可以及時應對突發情況，有助于針對流程的當前狀態采取適當的對策措施以及決策優化。本文提出了基于概念漂移的數字孿生虛擬模型架構DTBCD（digital twin based on concept drift），在動態環境下進行預測性流程監控。

3.1 概念漂移檢測

業務流程中不確定性通常表現為執行過程中的重大變化［33］，這種現象被稱為概念漂移。它包含突發式漂移、逐漸式漂移、反復式漂移和增量式漂移四種類型［25］，它的特點是數據分布的變化，而正是通過這種數據的變化可以研究動態環境中的流程，并且能夠快速充分地對流程中的變化作出反應。本文基于事件流嚴格序、排他序和交叉序［10］考慮事件日志中活動之間的關系。

在事件日志中，如果在活動a出現的跡中，活動b都直接跟隨a，那么說b嚴格遵循a，即事件流中的嚴格序；如果b沒有直接或沒有間接跟隨a，反之亦然，那么說b排他遵循a，對應于事件流中的排他序。事件日志中a出現的情況下，若活動b僅在部分跡中直接跟隨活動a，為此本文設定了一個閾值λ，這部分跡出現的次數與所有跡總數的比值小于或等于某個閾值（λ），則說b微遵循a；若大于，則說b常遵循a。例如，假設跡的總數為l，活動b僅在幾條跡中（這樣的跡的數量較少）直接跟隨活動a、活動b在大部分跡中（這樣的跡的數量較多）直接跟隨活動a的這兩種情況。λ可以體現這種變化差異，即能夠對漂移的檢測更加敏感（能夠更好地感知到數據流的變化）。

那么在事件日志L中活動之間定義四個關系：對于活動對（a，b），b嚴格遵循a（用S表示），b排他遵循a（用P表示），b常遵循a（用C表示），b微遵循a（用U表示），如表2所示。

定義5 跟隨關系。對于事件日志L中某個活動a∈A，RLfow（a）=〈cS，cC，cU，cP〉，cS、cC、cU和cP表示事件日志中嚴格遵循、常遵循、微遵循和排他遵循a的活動數量。

定義6 熵。如果隨機變量x出現的概率為p（x），則隨機變量x的熵定義（信息論中為信息量的多少）為

定義7 交叉熵。把來自一個分布為q（x）的變量信息使用另一個分布p（x）的最佳方式傳達的平均信息長度稱為交叉熵：

定義8 KL散度。KL（Kullback-Leibler）散度是交叉熵和熵之間的差，能夠衡量兩個分布之間的差異，且它是非對稱的。p相對q的KL散度可定義為

Dq（p）=Hq（p）-H（p）（6）

在以上定義的基礎上提出本文的權重散度。

定義9 權重散度。對于事件日志中某個活動a∈A，權重散度lLWK（a）如下：

其中：pS=αcS/|A|，pC=βcC/|A|，pU=（1-β）×cU/|A|，pP=（1-α）×cP/|A|，α和β是權重參數（0<α<1，0<β<1）。

通過定義5和9得到的特征集，可以將n個事件日志轉換為數據流/序列D，特征值的數據集D可以被視為m個值的時間序列，此過程被稱作特征提取。為了檢測概念漂移，考慮m個值中大小為w的連續數值群體（w<m），并檢查兩個群體之間是否存在顯著差異（即檢測大小為w的滑動窗口之間的差異），接著使用統計假設檢驗［9］（例如：Kolmogorov-Smirnov檢驗、Mann-Whitney U檢驗或Hotelling T2檢驗）來檢測差異，從而發現這些變化點。

3.2 DTBCD系統結構

本文使用一個基于數字孿生的虛擬模型架構DTBCD來預測流程中的下一個活動。第一步基于事件日志數據先對數據流進行概念漂移檢測（如3.1節所述），提取的數據用于構建DT模型。第二步通過機器學習來解決預測的問題。此外，由于技術不足的專業性問題的存在，所提出的虛擬模型架構可以通過與其他相關公司企業的合作來處理。圖2展示了DTBCD模型。

首先在事件日志中跟蹤制造過程的活動，利用事件流行為關系和權重散度（如3.1節所介紹）對流程中的活動進行特征提取。其次，根據特征提取得到的數據流進行概念漂移檢測，從而得到數據變化點并將其作為數據選擇的依據，然后將所選數據嵌入人工智能模型進行訓練，并學習輸出值。通過與公司的合作，運用物聯網和云計算等先進技術就可以創建一個數字孿生模型來預測流程中下一個活動，最后得到基于概念漂移的數字孿生DTBCD，如圖2所示。

DTBCD虛擬模型的構建算法如下所示：最初輸入一個事件日志，最后輸出一個數字孿生模型。首先進行變量初始化，再進行數據的轉換操作（步驟a）），以便調用概念漂移檢測的方法，然后將數據按“天”或是“周”分批（步驟b））。接著根據事件流行為關系和權重散度對每一個活動進行特征提取，轉換為數據流（步驟c））。其次是模型訓練部分，先利用DBN或是LSTM進行模型的初始訓練（步驟d）），然后進行概念漂移檢測，即對每一個批次內的數據，都會檢驗滑動窗口內是否存在差異。若存在，則將該批次的數據添加到更新數據中，并利用更新的數據訓練模型，從而得到更新后的模型來預測下一個活動；若沒有差異，則利用當前數據訓練模型來預測（步驟e））。最后將機器學習模型和人工智能技術結合，構建出數字孿生模型（步驟f））。由于算法只有兩個順序執行的循環語句，所以算法復雜度為O（n）。

算法1 構建DTBCD模型

隨著物聯網技術的發展，實時收集通過概念漂移檢測方法預測得到的動態數據信息，在云計算環境中與相關企業公司共享，從而用于創建的數字孿生虛擬模型。此外，在與他們合作的過程中，根據其提供的人工智能技術，可將物理世界接受到的動態真實事件日志數據應用于改進模型，從而構建更精確的DT。數字孿生模型的應用前景廣闊，在虛擬環境中可以創建客戶和流程進行實驗，結果將交付給制造工業的工廠，以便客戶能夠對制造過程進行長期監控與預測，如圖3所示。

3.3 具體實施流程

本文提出的漂移檢測方法，用于業務流程中下一個活動的預測，并借助了機器學習模型和事件流行為輪廓的知識。具體的實施流程如圖4所示。

首先輸入事件日志，進行數據預處理并將其分為n批數據，然后對流程中的活動進行特征提取，即根據活動之間的跟隨關系計算權重散度，即將事件日志轉換為數據流，從而得到特征集（特征值的數據集）。

其次，為了檢測概念漂移，應用自適應滑動窗口，即隨著窗口的移動，通過假設檢驗來檢測特征集中兩個窗口之間的差異，從而判斷是否有概念漂移現象產生。若發生，則將此訓練數據加入到更新數據之中，反之則保留原來數據。窗口大小的設置由數據量決定。

然后，為了使用數據進行機器學習，將更新后選擇的數據輸入人工智能模型進行訓練，從而學習輸出值。模型可以根據不同的數據選擇產生不同的模型（即模型更新）。

最后通過訓練的模型來預測流程中下一個活動，并輸出預測的準確度。

4 實驗評估

本文的實驗是在Windows 10操作系統上進行測試，使用的硬件包括3.20 GHz AMD R7 5800H CPU和16 GB主內存以及4 GB內存的NVIDIA GeForce MX450 GPU。測試框架是在使用Python編程語言的測試系統上構建的。

4.1 實驗數據集

為了測試在模型中的概念漂移檢測的效果，本文需要在活動視角中發生一些漂移的數據集。本文使用人工創建的仿真事件日志、公開數據集（表3）以及實際案例數據集的事件日志進行評估，數據集介紹如下：

a）Artificial Log：仿真事件日志，包括175個案例、17個活動、2 372個事件。

b）BPI12W_Complete：2012年BPI挑戰（BPI12 W完成）事件日志，是全球融資組織內個人貸款或透支的申請流程。本文保留了類型為“完成”的6項活動的72 413個事件，共有9 658條跡。預處理跡的長度在1～74。

c）Production_Data：來自某制造工業工廠的數據集，包括一些機器名稱以及其對應的操作，如：Packing、Final Inspection Q.C.等。數據還包括機器開始和結束完成時間等內容，以及不同級別的屬性（例如，涉及的機器操作者Worker ID）。

d）Sepsis：是包含處理醫院中膿毒癥患者流程的事件日志。包括1 050個案例，總共有15 214起事件，記錄在16種不同的活動中。此外，還記錄了39個數據屬性，例如，負責活動的小組、測試結果和檢查表中的信息。

在本文的實驗中，感興趣的是概念漂移檢測之后數據是否更新的差異，因此，將更新納入下一個活動預測。在數據預處理之后，會對流程中的活動進行特征提取，據此進行概念漂移檢測。考慮使漂移檢測更加敏感（即能夠更好地感知到數據流的變化）從而提高檢測的有效性，本文利用參數λ（表2），在［0，1］區間每隔0.1不斷調試，得到0.8的效果最佳。同理α和β（如定義9所述）分別為0.7和0.9。檢測之后便可對數據進行選擇，數據選擇有兩種方式，即原始無更新的數據、概念漂移檢測之后滑動窗口內的數據（即更新后的數據）。

4.2 模型訓練設置

為了測試不同的概念漂移檢測方法，選擇了機器學習模型動態貝葉斯網絡DBN，由于DBN針對多屬性的預測效率較高，所以選擇了DBN來提高預測的有效性。此外還選擇了深度學習模型LSTM，用于在深度學習技術領域中進行本文概念漂移方法的檢測研究。將數據輸入到兩種模型中——動態貝葉斯網絡DBN和LSTM，即可得到原始的模型和更新的模型。本文的實驗是根據不同的數據選擇，將進行漂移檢測以及無漂移檢測這兩種情況，分別在DBN與LSTM兩個模型上進行比較來得出結論。

在本文的實驗中，提出兩種將數據分批的方法：按天和按周來進行實驗。當評估預測性能時，使用交叉測試然后訓練的方法。首先根據時間戳對數據集中的事件進行排序，然后按時間順序將訓練和測試集按1∶1的比例劃分。初始模型從訓練集中訓練得到，測試集用于測試方法并逐步更新模型。

本文使用DBN是根據屬性之間依賴關系進行訓練，對于LSTM模型，用一個共享層訓練兩層LSTM，并使用Nadam梯度下降優化器進行訓練，該優化器在各種類型的神經網絡中準確率較高［34］，dropout設置為0.2，最后使用一個全連接層進行輸出。

4.3 實驗結果

本文側重于不同方法的準確性如何隨時間變化，因而為了衡量下一個事件預測的準確性，本文使用正確預測占預測總數的比例［34］。本文的指標準確度、精確度和召回率定義如下：

其中：tp表示真正例；tn表示真負例；fn表示假負例；fp表示假正例，N=tp+tn+fp+fn。此外，本文使用一個圖形表示，如圖5、6所示，x軸上為按時間順序的事件索引，y軸表示預測的準確度、精確度和召回率，利用該圖（使用滑動窗口來計算準確度、精確度和召回率），即可查找預測這三者隨時間的變化。最后將本文方法（Weight Divergence）與在動態環境中預測的Jmeasure［11］方法（Jmeasure）以及無漂移檢測模型預測的方法（No Drift）進行比較，接下來展示實驗結果。

4.3.1 仿真數據集

由于仿真數據集結構較為簡單，所以實驗只將它按天分批，預測的準確度如圖5所示。由圖5可以看出，相較于無漂移檢測的方法和Jmeasure方法，在仿真數據集中本文權重散度方法的預測準確度有一定程度的提升，且在DBN和LSTM網絡中都得到了較為不錯的效果。

表4展示了仿真數據集預測準確度，加粗表示預測最好的結果。由表4結果可知，在仿真數據集上利用LSTM預測，本文方法的預測準確度相比于無漂移檢測的方法和Jmeasure方法，分別提高了0.754%和0.881%。而利用DBN進行預測時，本文方法相較于后兩者分別提高了0.998%和0.872%。

4.3.2 BPIC12數據集

由圖6可以得到對于DBN模型不論是按天或按周進行預測，總體來看采用本文漂移檢測的方法（Weight Divergence）比無漂移檢測和Jmeasure預測的準確度要高。除此之外，按周進行預測的準確度要高于按天預測的準確度，即相對于無漂移檢測，本文權重散度的方法按周預測的準確度提升幅度更大。

此外對于LSTM模型，不論是按天或是按周進行預測，采用本文漂移檢測的方法（Weight Divergence）都比無漂移檢測的預測準確度要高。除此之外，按周進行預測的準確度要高于按天預測的準確度，相對于Jmeasure的預測漂移，本文權重散度的方法在按周預測的準確度較大，而按天的準確度較小。

4.3.3 實際案例的數據集

1）Production_Data 數據集模型預測結果

圖7展示了Production_Data數據集DBN和LSTM模型預測的結果。由圖7可以得到，對于DBN模型，不論是按天或是按周進行預測，采用本文漂移檢測的方法都比無漂移檢測和Jmeasure預測的準確度要高。除此之外，按周進行預測的準確度要高于按天預測的準確度，即相對于無漂移檢測，本文權重散度的方法在按周預測的準確度上提升幅度更大。更進一步，按天預測中，本文將權重散度和Jmeasure兩種概念漂移檢測的方法進行比對，在時間序列的開始部分兩者幾乎沒有明顯差異，后來可以觀察到權重散度預測的準確度要略微高于Jmeasure，即在DBN模型預測中，權重散度預測的準確度要更高一點。按周預測中，兩者預測準確度沒有區別。

對于LSTM模型來說，在三種方法中按天預測的準確度相差較小，且沒有DBN模型預測的效果好。也就是說，相對于無漂移檢測的方法來說，LSTM模型嵌入漂移檢測方法之后預測的準確度提升幅度不大，甚至可以說沒有提升。除此之外，在LSTM模型按周預測中，使用權重散度的漂移檢測方法來預測制造過程的下一個活動的準確度要明顯高于無漂移檢測和Jmeasure方法。

圖8（a）（b）是DBN模型預測精確度，圖8（c）（d）是召回率。精確度是模型描述的行為在日志中出現多少的程度，而召回率對應的是一致性檢查的適合度，即事件日志中有多少跡能夠被模型正確描述。本文權重散度的方法在精確度上效果不是很好，然而對于召回率來說，在按天預測中，權重散度最后的結果要優于無漂移檢測的方法，并且除了最后的時間段，大部分時間都優于Jmeasure方法；在按周預測中，可以說權重散度的結果優于其他兩種方法。表5展示了Production_Data數據集準確度，加粗表示預測最好的結果。由表5結果可知，在Production_Data數據集上利用DBN預測，Weight Divergence預測準確度相比于無漂移檢測的方法和已有文獻中的漂移檢測Jmeasure方法，在按天和按周預測方面分別提高了13.97%、1.493%和4.70%、10.61%。而利用DBN進行預測時，本文方法相較于后兩者，在按天中分別提高了22.49%、0.855%和22.49%、0.855%，在按周預測中，本文方法相較于無漂移檢測的方法提高了53.66%。

2）Sepsis數據集模型預測結果

圖9展示了Sepsis數據集DBN和LSTM模型預測的結果。由圖9可以得到對于DBN模型進行預測，采用本文漂移檢測的方法剛開始預測效果不是非常好，但最終比無漂移檢測和Jmeasure的預測準確度要高，除此之外，按周進行預測的準確度要高于按天預測的準確度。對于LSTM模型來說，本文方法也得到了較好的效果。由于在數字孿生虛擬環境中可以選擇所需的機器學習模型或深度學習模型，所以本文只選擇了兩種在預測準確度上較有優勢的模型，從而能夠保證本文方法在準確度方面的有效性，并由實驗結果可以得到，總體來看DBN模型的預測效果要好于LSTM模型。綜上表明，基于概念漂移檢測的權重散度方法具有較高的預測準確度。

5 結束語

在本文中，為了創建一個數字孿生模型來預測制造過程中的下一個活動，使用基于概念漂移檢測的方法對人工智能的模型（DBN和LSTM）進行了驗證，本文提出的基于概念漂移的數字孿生虛擬模型DTBCD不僅有利于制造工業的智能化，還能在制造流程預測中提高效率。此外，基于概念漂移檢測的方法有助于應對緊急突發情況的發生。通過實驗表明，本文方法在預測性流程監控中顯示了良好的結果。數字孿生是當前的一個熱點，相關利益者對它的興趣也在不斷增加。隨著制造業發生日新月異的變化，預測工業過程的需求也隨之增加。使用本文提出的基于概念漂移的數字孿生模型可以幫助更多的企業通過數字孿生技術進行合作。未來的研究可以著眼于提出更好的算法或預測制造流程中的其他內容（如時間、資源等），從而升級該模型，提高其可靠性，并將該模型應用于其他領域。

參考文獻：

［1］Liu Mengnan， Fang Shuiliang， Dong Huiyue， et al. Review of digital twin about concepts， technologies， and industrial applications［J］. Journal of Manufacturing Systems， 2021，58： 346-361.

［2］Friederich J， Francis D P， Lazarova-Molnar S， et al. A framework for data-driven digital twins of smart manufacturing systems［J］. Computers in Industry， 2022， 136： 103586.

［3］Xu Yan， Sun Yanming， Liu Xiaolong， et al. A digital-twin-assisted fault diagnosis using deep transfer learning［J］. IEEE Access， 2019， 7： 19990-19999.

［4］Lugaresi G， Matta A. Real-time simulation in manufacturing systems： Challenges and research directions［C］//Proc of Winter Simulation Conference. Piscataway，NJ：IEEE Press， 2018： 3319-3330.

［5］Yang M， Moon J， Jeong J， et al. A novel embedding model based on a transition system for building industry-collaborative digital twin［J］. Applied Sciences， 2022， 12（2）： 553.

［6］Chiorrini A， Diamantini C， Mircoli A， et al. Exploiting instance graphs and graph neural networks for next activity prediction［C］//Proc of International Conference on Process Mining. Cham： Springer International Publishing， 2021： 115-126.

［7］Wang Jiaojiao， Yu Dongjin， Liu Chengfei， et al. Outcome-oriented predictive process monitoring with attention-based bidirectional LSTM neural networks［C］//Proc of IEEE International Conference on Web Services. Piscataway，NJ：IEEE Press， 2019： 360-367.

［8］Van Der Aalst W M P， Schonenberg M H， Song M. Time prediction based on process mining［J］. Information Systems， 2011， 36（2）： 450-475.

［9］Pauwels S， Calders T. Incremental predictive process monitoring： the next activity case［C］//Proc of International Conference on Business Process Management. Cham： Springer International Publishing， 2021： 123-140.

［10］盧可， 方賢文， 方娜. 基于行為向量的在線事件流預測［J］. 計算機集成制造系統， 2022， 28（10）： 3052-3063. （Lu Ke， Fang Xianwen， Fang Nan. Online event stream prediction based on beha-vior vectors［J］. Computer Integrated Manufacturing Systems， 2022， 28（10）： 3052-3063.）

［11］Rizzi W， Di Francescomarino C， Ghidini C， et al. How do I update my model？On the resilience of predictive process monitoring models to change［J］. Knowledge and Information Systems， 2022，64（5）： 1385-1416.

［12］Qi Qinglin， Tao Fei， Hu Tianliang， et al. Enabling technologies and tools for digital twin［J］. Journal of Manufacturing Systems， 2021，58： 3-21.

［13］Liu Qiang， Leng Jiewu， Yan Douxi， et al. Digital twin-based designing of the configuration， motion， control， and optimization model of a flow-type smart manufacturing system［J］. Journal of Manufactu-ring Systems， 2021， 58： 52-64.

［14］Lugaresi G， Matta A. Automated manufacturing system discovery and digital twin generation［J］. Journal of Manufacturing Systems， 2021，59： 51-66.

［15］Li Lianhui， Lei Bingbing， Mao Chuilei. Digital twin in smart manufacturing［J］. Journal of Industrial Information Integration， 2022， 26： 100289.

［16］Taymouri F， Rosa M L， Erfani S， et al. Predictive business process monitoring via generative adversarial nets： the case of next event prediction［C］//Proc of the 18th International Conference on Business Process Management. Cham：Springer International Publishing， 2020： 237-256.

［17］Lin Li， Wen Lijie， Wang Jianmin. MM-pred： a deep predictive mo-del for multi-attribute event sequence［C］//Proc of SIAM Internatio-nal Conference on Data Mining. Philadelphia，PA： Society for Industrial and Applied Mathematics， 2019： 118-126.

［18］Teinemaa I， Dumas M， Rosa M L， et al. Outcome-oriented predictive process monitoring： review and benchmark［J］. ACM Trans on Knowledge Discovery from Data， 2019，13（2）： 1-57.

［19］Hinkka M， Lehto T， Heljanko K， et al. Classifying process instances using recurrent neural networks［C］//Proc of Business Process Management Workshops. Cham：Springer International Publishing， 2019： 313-324.

［20］Pasquadibisceglie V， Appice A， Castellano G， et al. Using convolutional neural networks for predictive process analytics［C］//Proc of International Conference on Process Mining. Piscataway，NJ：IEEE Press， 2019： 129-136.

［21］Vaswani A， Shazeer N， Parmar N， et al. Attention is all you need［C］//Proc of the 31st International Conference on Neural Information Processing Systems. Red Hook，NY：Curran Associates Inc.， 2017： 6000-6010.

［22］Wolf T， Debut L， Sanh V， et al. Transformers： state-of-the-art natural language processing［C］//Proc of Conference on Empirical Me-thods in Natural Language Processing： System Demonstrations. Stroudsburg，PA：ACL Press， 2020： 38-45.

［23］Ni Weijian， Zhao Gang， Liu Tong， et al. Predictive business process monitoring approach based on hierarchical transformer［J］. Electro-nics， 2023， 12（6）： 1273.

［24］Hennig M C. Transformer for predictive and prescriptive process monitoring in IT service management［C］//Proc of ICPM Doctoral Consortium and Demo Track. 2022： 22-26.

［25］Bose R P J C， Van Der Aalst W M P， liobaitè I， et al. Dealing with concept drifts in process mining［J］. IEEE Trans on Neural Networks and Learning Systems， 2014，25： 154-171.

［26］Abbasi A， Javed A R， Chakraborty C， et al. ElStream： an ensemble learning approach for concept drift detection in dynamic social big data stream learning［J］. IEEE Access， 2021， 9： 66408-66419.

［27］Lee C Y， Wu C S， Hung Y H. In-line predictive monitoring framework［J］. IEEE Trans on Automation Science and Engineering， 2020， 18（4）： 1668-1678.

［28］Senderovich A， Di Francescomarino C， Maggi F M. From knowledge-driven to data-driven inter-case feature encoding in predictive process monitoring［J］. Information Systems， 2019， 84： 255-264.

［29］Pauwels S， Calders T. Bayesian network based predictions of business processes［C］//Proc of Business Process Management Forum： BPM Forum. Cham：Springer International Publishing， 2020： 159-175.

［30］Russell S J， Norvig P. Artificial intelligence a modern approach［M］. 2010.

［31］Staudemeyer R， Morris E. Understanding LSTM-a tutorial into long short-term memory recurrent neural networks［EB/OL］. （2019-09-12）. https：//arxiv.org/abs/1909.09586.

［32］Guzzo A， Joaristi M， Rullo A， et al. A multi-perspective approach for the analysis of complex business processes behavior［J］. Expert Systems with Applications， 2021， 177： 114934.

［33］Adams J N， Van Zelst S， Rose T， et al. Explainable concept drift in process mining［J］. Information Systems， 2023， 114： 102177.

［34］Uddin M J， Li Yubin， Sattar M A， et al. Effects of learning rates and optimization algorithms on forecasting accuracy of hourly typhoon rainfall： experiments with convolutional neural network［J］. Earth and Space Science， 2022， 9 （3）： 2021EA002168.