基于IDPC-RVM 的多模態間歇過程質量變量在線預測

周新杰，王建林，艾興聰，隨恩光，王汝童

（北京化工大學信息科學與技術學院，北京 100029）

引 言

間歇過程是現代工業中的重要生產方式，目前已應用于化工、生物制藥及半導體領域[1-2]。間歇過程質量變量的在線預測是實現過程有效監控和優化控制的關鍵[3-5]。因具有核函數不受限制、在線預測效率高和泛化能力強的優點，相關向量機（relevance vector machine，RVM）被廣泛用于間歇過程的質量變量在線預測[6-7]。然而，受頻繁操作條件變化和物料更替的影響，間歇過程包含了多個不同的運行模態。而現有方法普遍將間歇過程視為一個整體建立單一預測模型，忽略了過程的多模態特性，使得過程模型難以體現各模態的不同數據特征，降低了模型的預測性能[8]。因此，對間歇過程進行合理的模態劃分，并分別建立各個模態的預測模型，有利于提升間歇過程質量變量的在線預測精度，對保證產品質量與生產過程安全具有重要意義[9-11]。

現有間歇過程模態劃分方法可分為基于模型識別和基于聚類分析兩類[12]。基于模型識別的模態劃分方法通過建立統計分析模型提取過程變量的特征信息實現模態劃分。Dong 等[13]通過MPCA（multi-way principal component analysis）提取每個采樣時刻的變量相關性，并對整個批次進行建模用于間歇過程模態劃分；Ye 等[14]根據每個采樣時間的特征變化，通過設計控制界限識別不同的模態；Zhao 等[15]考慮局部時間域內的相似性，采用依次添加時間片數據的建模方式提出了逐步時序模態劃分算法，并在之后的研究中得到了推廣和改進[16-19]。然而，上述基于模型識別的模態劃分方法通過PCA（principal component analysis）算法獲得時間片數據模型，需要數據服從高斯分布，而間歇過程數據的非高斯特征降低了該類方法模態劃分的有效性。

聚類分析方法對過程數據沒有高斯分布的要求，在間歇過程的模態劃分問題中得到了廣泛的研究和應用。Lu 等[20]對間歇過程數據的加載矩陣進行KM（k-means）聚類用于確定三水箱系統的不同模態；張雷等[21]利用模糊最大似然估計聚類算法實現了間歇過程的模態劃分。然而，上述方法忽略了間歇過程數據的時序特征，導致模態劃分結果不滿足時序約束的要求。為保證模態劃分的時序性，Luo 等[22]基于WKM（warped k-means）聚類算法，通過在KM 方法中加入時序約束來處理間歇過程模態劃分中的時序問題，提高了模態劃分的合理性，但兩種方法均只能將間歇過程劃分為不同的穩定模態。間歇過程從一個模態運行到另一個模態是一種動態轉移行為，具有過渡特性。Luo 等[23-24]通過在FCM（fuzzy c-means）算法中增加時序約束條件而提出了SCFCM（sequence-constrained fuzzy c-means）算法，在滿足時序性的同時實現了過渡模態劃分；劉偉旻等[25]結合SCFCM 模態劃分方法，實現了多模態間歇過程的過程監控。然而，這些方法在模態劃分時需要初始聚類中心作為算法的輸入參數，不利于間歇過程的模態劃分。密度峰值聚類（density peaks clustering，DPC）算法[26]通過計算數據樣本的局部密度和相對距離構建決策圖確定聚類中心，但對于類簇間樣本密度不平衡的間歇過程模態劃分問題，同樣難以從決策圖中選取恰當的模態中心[27-29]，且上述方法在模態劃分時以歐氏距離度量數據樣本間的相似性，未考慮過程數據高維特征的影響。因此，過程數據高維特征及模態中心選取問題影響了現有模態劃分方法的有效性，降低了多模態模型的質量變量預測精度。

本文提出了一種基于IDPC-RVM 的多模態間歇過程質量變量在線預測方法。首先，充分考慮過程數據的高維特征，進行數據樣本間的相似性度量；其次，構建樣本密度不平衡下的模態中心選取策略，準確獲取間歇過程的模態中心，并根據模態劃分指標確定最優模態數目；然后，依據相鄰模態切換過程中的樣本隸屬度變化，識別過渡模態實現間歇過程的模態劃分；在此基礎上，分別建立各模態數據的RVM預測模型，實現間歇過程質量變量的在線預測。最后，通過青霉素發酵過程的仿真實驗驗證所提方法的有效性。

1 改進密度峰值聚類的間歇過程模態劃分

1.1 改進的密度峰值聚類

DPC 對每個數據點計算兩個特征量：局部密度ρ和相對距離δ[26]。數據樣本xi的局部密度ρi定義為

當xi不是全局密度最大值點時，δi為該點到任何比其密度大的點之間的最短距離；而當xi為全局密度最大值點時，δi為該點與其他點間的最遠距離。由式（1）和式（2）可以計算出所有樣本的ρ和δ兩個參數，然后以局部密度ρ為橫軸，相對距離δ為縱軸構建決策圖。在決策圖分布中，與其他數據點偏離較大的點被選為聚類中心。最后，剩余的數據點將會被分配到密度更高、距離最近的點所屬類簇中。

1.1.1 高維數據樣本相似性度量 DPC 使用歐氏距離度量數據樣本間的相似性，當數據樣本處于低維時，歐氏距離具有較高的計算效率和準確度，但隨著數據維度的增加，導致歐氏距離度量數據樣本間相似性的準確度降低。考慮間歇過程的高維數據特征，引入Close 函數[30]度量數據樣本間的相似性，具有d個維度的兩個數據樣本x1和x2之間的相似性為

當x1和x2在同一維度上的|x1j-x2j|越小，則x1和x2的相似性越高，克服了歐氏距離度量高維數據樣本間相似性的缺點，提高了高維數據樣本間相似性度量的準確度。為了將數據樣本間的相似性信息轉換為距離矩陣，對Close函數進行變換得到間歇過程高維數據樣本距離計算函數dist為

式中，?為一個很小的數。計算得到的dist函數值大于等于0，值越大表示兩個數據樣本間距離越遠。

1.1.2 密度不平衡下的樣本得分計算 多模態間歇過程由于其運行狀態的復雜性，在過程動態特性較強或模態切換比較頻繁的區域對應數據樣本的局部密度較低，而當間歇過程運行狀態穩定或運行模態總體不再發生變化時，該區域內對應數據樣本具有較高的局部密度。因此，運行狀態復雜的多模態間歇過程存在數據樣本間密度不平衡的問題。

DPC 通過構造決策圖的方式選取聚類中心，但該方式引入了人為的主觀性。由式（5）計算每個樣本的γ得分，再根據得分向量進行聚類中心的選取，然而這種計算方式在類簇間樣本密度不平衡時會錯誤選取聚類中心，導致錯誤的聚類結果。

如圖1 所示，具有兩個密度相差較大的類簇1和類簇2。高密度的類簇1其聚類中心為點p1，具有最高的局部密度及γ得分，次高的局部密度點為點p2。樣本密度較低的類簇2，其聚類中心為點p3，由于類簇1的樣本密度遠大于類簇2，使得點p2的γ得分高于點p3。因此，在已知兩類數據分布的情況下，選取γ值較大點p1 和點p2 作為聚類中心將導致錯誤的聚類結果。

圖1 樣本密度不平衡的類簇分布Fig.1 Clusters distribution with unbalanced sample density

為避免高密度區域非聚類中心點對低密度區域聚類中心點選取帶來的干擾，本文利用每個數據點的ρ和δ組成新的數據樣本ti=(ρi,δi)，對新的數據樣本計算每個樣本ti與樣本均值tˉ間的馬氏平方距離，θi得分為

式中，Σ為協方差矩陣。式（6）綜合考慮了決策圖中數據點間的偏離程度作為θ得分，與γ得分相比削弱了樣本密度偏差對分值計算的影響，θ值越大，表示該點在決策圖中的分布與常規數據點偏離程度越大，對應的數據樣本越有可能選為聚類中心。

1.2 改進DPC的間歇過程模態劃分

式中，τ為設定的閾值。

重復上述步驟，第一個不滿足該條件的點即為拐點，記拐點索引為xP。根據索引xP，對向量θ進行升序排序，位于xP之后的數據點即為模態中心。由上述模態中心選取策略可以獲得每個批次的F個模態中心，將各批次數據分別按模態數目為1 到F進行劃分，并記模態數目集合F={1,2,…,F}。為保證模態劃分的時序性，將跨模態分配的數據點按式（10）計算時序約束標簽

基于最優模態數目的劃分結果，需要對相鄰穩定模態間的過渡模態進行識別。具有f*個穩定模態，需要進行f*- 1 次過渡模態識別，設每兩個相鄰穩定模態中心之間的區域為過渡區域，第r個模態過渡區域內的數據點為xrk，則該數據點對第r個模態的隸屬度urk為

式中，vr為模態r的中心；Ck為該數據點與vr之間的所有數據點組成的集合且集合中數據點數目為nk。

由式（16）計算出urk，則該數據點對模態r的相鄰模態的隸屬度為1 -urk，與其余f*- 2 個模態的隸屬度均為0。給定閾值搜索范圍，計算不同閾值下模態劃分結果的SQE 值，選擇使SQE 值最小的閾值進行判定，隸屬度小于該閾值的樣本被識別為過渡模態。改進密度峰值聚類的間歇過程模態劃分流程如圖2所示，其算法步驟如下。

圖2 改進DPC的間歇過程模態劃分流程圖Fig.2 Mode partitioning flowchart of batch processes for improved DPC

（1）對間歇過程三維歷史數據集X={X1,X2,…,XI}，Xi∈RK×J（i= 1,2,…,I為批次索引，I、J、K分別為批次總數、變量數和采樣點數）分批次進行標準化，消除過程數據量綱影響；

（2）由式（4）計算間歇過程數據樣本間的距離矩陣，再根據式（1）和式（2）計算標準化后數據樣本的ρ和δ；

（3）計算數據樣本的θ得分，根據樣本密度不平衡下的間歇過程模態中心選取策略獲得每批次數據的F個模態中心；

（4）將每批次間歇過程數據分別按模態數目為1至F進行劃分；

（5）利用不同模態數目下的劃分結果由式（11）～式（15）計算得到間歇過程的最優模態數目f*；

（6）基于f*下的模態劃分結果，對相鄰穩定模態過渡區域內的數據樣本按式（16）計算對應前后模態的隸屬度實現過渡模態的識別；

（7）間歇過程模態劃分完成。

2 基于IDPC-RVM 的多模態間歇過程質量變量在線預測

2.1 RVM預測建模

以IDPC模態劃分結果為基礎，分別對間歇過程各模態數據集建立RVM 預測模型，RVM 對于輸入x和輸出y之間的關系可描述為

2.2 基于IDPC-RVM 的多模態間歇過程質量變量在線預測

對于在線樣本的待測變量xnew，根據樣本采樣時間確定樣本所屬模態r，將其標準化后得xˉnew，并傳入第r個RVM模型可獲得對應的在線預測值y^new為

基于IDPC-RVM 的多模態間歇過程質量變量在線預測流程如圖3所示，其算法步驟如下。

圖3 基于IDPC-RVM 的多模態間歇過程質量變量在線預測流程圖Fig.3 Flow chart of online prediction of quality variables in multimode batch processes based on IDPC-RVM

（1）根據IDPC 模態劃分結果建立各模態數據集；

（2）對各模態數據集進行標準化并建立RVM 預測模型；

（3）對于每個在線樣本，根據樣本采樣時間確定所屬模態r;

（4）利用第r個模態數據的均值和標準差對在線樣本進行標準化；

（5）標準化后的樣本由式（25）可獲得對應的在線預測結果。

3 實驗結果與討論

以青霉素發酵過程為研究對象，通過對比不同模態劃分方法下RVM 模型的青霉素濃度在線預測性能，驗證所提方法的有效性。其中，采用如式（26）和式（27）所示的均方根誤差（RMSE）和判定系數（R2）來評價青霉素濃度的在線預測性能，更低的RMSE 和更高的R2代表具有更好的預測結果，其模型性能越好。

3.1 青霉素發酵過程

青霉素發酵過程是一個典型的多模態間歇過程，利用Pensim V2.0 仿真平臺[31]，在不同初始條件和高斯白噪聲下生成35 批次數據。其中25 批次作為訓練集用于間歇過程模態劃分，其余10個批次作為測試集用于測試不同模態劃分結果下多模態預測模型性能。每批次采樣時間為400 h，采樣間隔為1 h。因此，模態劃分數據集為{Xi(400 × 17)}，1 ≤i≤25。表1為青霉素發酵過程變量，選取青霉素濃度作為質量變量進行在線預測。

表1 青霉素發酵過程變量Table 1 Variables of penicillin fermentation process

3.2 改進DPC的模態劃分

對標準化后的青霉素發酵過程數據計算ρ和δ，圖4和圖5為某批次的ρ和決策圖。由圖4和圖5可知，青霉素發酵過程在第200 h 采樣點前樣本密度較小，在此之后樣本密度逐漸變大，整個過程被分為了密度相差較大的兩個區域，因此，青霉素發酵過程存在樣本密度不平衡的問題。

圖4 青霉素發酵過程樣本密度Fig.4 Sample density of penicillin fermentation process

對圖5 中低密度區域內的A點和高密度區域內的B點進行分析，點A和B在決策圖中的坐標分別為（0.1696，0.1649），（0.9064，0.0499），可得A和B對應樣本點的γ得分為0.0280 和0.0452。依據密度峰值聚類算法對決策圖中聚類中心點的選取原則，相較于點B，點A與其他數據點的偏離更大，其被選為模態中心的優先級應高于點B，然而，此時點A對應數據樣本的γ得分卻低于點B對應數據樣本的γ得分，造成了模態中心的錯誤選取。利用本文提出的θ得分分別計算點A和B對應樣本的得分值為0.0173 和0.0093，前者得分大于后者。因此，本文提出的θ得分能夠更客觀地表示每個樣本被選為模態中心的得分，克服在選取低密度區域模態中心時受到高密度區域非模態中心點干擾的問題。

圖5 決策圖Fig.5 Decision graph

按式（6）計算所有批次數據點的θ得分，最終識別到的拐點索引xp為393（τ取1.3），因此每批次數據排序后的θ值從394 至400 所對應的樣本被選為

設定模態數目為4，對比不同方法下獲得的穩定模態（steady mode，SM），如圖8 所示。從圖中可知，SCFCM 算法雖然獲得了較好的模態劃分結果，但該算法需要人為輸入模態數目用于尋找初始模態中心，不同的初始模態中心會產生不同的模態劃分結果；DPC 方法在選取模態中心時錯誤地將高密度區域的非模態中心點選為了模態中心，導

圖8 不同方法的穩定模態Fig.8 Steady modes with different methods

對最優模態數目f*下的劃分結果進行過渡模態（transition mode，TM）識別。每批次數據具有4 個穩定模態，因此需要進行3次過渡模態識別，本文方法下設置的過渡模態判定閾值的搜索范圍為0.90至0.95，搜索間隔為0.005，最終的模態劃分結果如表2 所示。可以看出，SCFCM 方法在識別過渡模態時將第3 個穩定模態和第4 個穩定模態內的大量樣本誤識別到了第3 個過渡模態；而DPC 方法無法進行過渡模態的識別。模態中心，所以F=7。以批次3 為例，圖6 與圖7 分別展示了該批次數據劃分為2 至7 個模態的結果及不同模態劃分數目與模態劃分函數P、模態劃分指標MPI 的關系。從圖7(a)可以看出，模態劃分函數值隨著模態數目的增加逐漸減小，當模態數目較大時，模態劃分函數值的變化量減慢，結合圖6的模態劃分結果可知此時出現了樣本數較少的穩定模態，不利于質量變量預測模型的建立。依據圖7(b)模態劃分指標MPI 的變化情況可以看出，當模態數目為4 時對應的MPI 值最小，因此最優模態數目為4，即f*= 4。致錯誤地將發酵過程后期分為了兩個模態，并且在所識別到的第2 個模態中有大量樣本被錯誤分配到了第4 個模態，即模態劃分結果不滿足時序約束的要求；本文方法在進行模態劃分時考慮過程數據的高維特征，通過合理的模態中心選取以及對剩余樣本進行時序的模態分配，獲得了較好的模態劃分結果。

圖6 批次3在不同模態數目下的劃分結果Fig.6 Partitioning results of batch 3 with different number of modes

圖7 最優模態數目判別Fig.7 Discrimination of the optimal number of modes

3.3 青霉素發酵過程質量變量在線預測

根據表2 不同方法下的模態劃分結果，分別建立RVM、SCFCM-RVM、DPC-RVM 以及IDPC-RVM的多模態預測模型對10 個測試批次的青霉素濃度進行在線預測。

表2 不同方法的最終模態劃分結果Table 2 Final mode partitioning results of different methods

圖9中青霉素濃度的預測值和實際值的變化圖表明本文方法的預測值更接近于實際值，其中未考慮模態因素的RVM 預測模型對青霉素濃度的預測在整個發酵過程中與實際值均有較大的偏離。圖10 為測試批次1 在各采樣點處的預測誤差，可以看出本文方法的預測誤差始終在0附近具有很小的波動，表明本文方法對青霉素濃度具有很好的預測和跟蹤性能。從圖11 可以看出，相較于RVM、SCFCM-RVM 和DPC-RVM 方法，本文方法對10 個測試批次均具有最低的預測誤差，且對不同批次的預測誤差波動較小，具有較好的穩定性。如表3 所示，本文方法對青霉素濃度預測的R2提升至0.9995，RMSE 比RVM、SCFCM-RVM 和DPC-RVM 方法分別降低了84.3%、44.3%和75.7%，有效地提升了青霉素濃度的預測精度。

表3 不同方法下的平均RMSE和平均R2Table 3 Mean RMSE and mean R2 of different methods

圖9 測試批次1在不同方法下的預測結果Fig.9 Prediction results of test batch 1 with different methods

圖10 測試批次1各采樣點處的預測誤差Fig.10 Prediction error at each sampling point in test batch 1

圖11 不同批次的RMSEFig.11 RMSE of different batches

實驗結果表明，基于單模型的預測方法對青霉素濃度的預測結果遠不如基于多模型的預測方法。SCFCM-RVM 方法和DPC-RVM 方法雖然比單模型的預測方法具有更好的預測結果，但兩種方法在模態劃分時采用歐氏距離度量數據樣本間的相似性，均未考慮過程數據的高維特征；在選取模態中心時，相較于SCFCM 方法，DPC 方法雖然能夠獲得數據樣本的密度峰值點，但其低密度區域模態中心選取易受高密度區域非模態中心點干擾產生不合理的模態劃分結果，導致其預測誤差較大，且對不同批次的預測結果具有較大的波動。與這些方法相比，本文方法考慮了過程數據的高維特征，且能夠獲取合理的模態中心，有效實現了青霉素發酵過程的模態劃分，提高了青霉素濃度的在線預測精度。

4 結 論

間歇過程數據的高維特征和模態中心選取影響模態劃分結果的合理性，導致間歇過程質量變量在線預測精度較低。本文提出了一種基于IDPCRVM 的多模態間歇過程質量變量在線預測方法。該方法所構建的樣本距離計算函數，充分考慮了過程數據高維特征對樣本相似性度量的影響，其結果更有利于間歇過程的模態劃分；在樣本密度不平衡情況下，結合提出的樣本得分計算方式，所構建的模態中心選取策略能夠克服高密度區域非模態中心點的干擾，準確獲取間歇過程的模態中心，避免了不合理的模態劃分結果，從而提高了多模態模型的預測精度。青霉素發酵過程的實驗結果表明，相較于SCFCM-RVM 方法和DPC-RVM 方法，本文方法實現了合理的模態劃分，建立的多模態模型進一步提升了青霉素濃度的在線預測精度。