貝葉斯框架下的自適應(yīng)質(zhì)量變量預(yù)測(cè)模型

朱雨婷，田 穎

（1.上海理工大學(xué)機(jī)械工程學(xué)院；2.上海理工大學(xué)光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093）

0 引言

在工業(yè)生產(chǎn)過程中，關(guān)鍵產(chǎn)品質(zhì)量指標(biāo)測(cè)定對(duì)于提高生產(chǎn)效率、保障生產(chǎn)安全具有重要作用［1］。軟測(cè)量技術(shù)主要通過建立一定的數(shù)學(xué)模型，利用易于獲得的過程變量估計(jì)難以測(cè)得的關(guān)鍵變量［2］。軟測(cè)量建模是該技術(shù)的核心內(nèi)容。

貝葉斯網(wǎng)絡(luò)［3-5］（Bayesian Network，BN）是一種基于概率建立的數(shù)學(xué)模型，對(duì)于解決工業(yè)生產(chǎn)工程中變量不確定性與不完整性問題具有很強(qiáng)優(yōu)勢(shì)。因而貝葉斯網(wǎng)絡(luò)在質(zhì)量變量預(yù)測(cè)中的應(yīng)用成為研究熱點(diǎn)。本文利用最大期望（Expectation Maximization，EM）算法對(duì)高斯混合模型［6-8］中的未知參數(shù)進(jìn)行估計(jì)，以獲得高斯混合模型逼近貝葉斯網(wǎng)絡(luò)聯(lián)合概率，降低網(wǎng)絡(luò)訓(xùn)練過程復(fù)雜度，實(shí)現(xiàn)質(zhì)量變量預(yù)測(cè)。EM 算法作為一種迭代算法，被用于帶有隱變量的概率參數(shù)模型最大似然估計(jì)，其最大不足在于不能自動(dòng)調(diào)整混合模型中單高斯模型數(shù)量，只能事先賦予初值，導(dǎo)致難以選擇最優(yōu)的模型數(shù)值，且會(huì)導(dǎo)致混合模型中參數(shù)估計(jì)產(chǎn)生偏差。針對(duì)該問題，已有研究從不同方面提供了較合適的解決方案，其中最經(jīng)典的是由Figueiredo 等［9］提出的F-J算法，但該算法不能解決自動(dòng)消除權(quán)值過小的單高斯模型問題。因此，為了優(yōu)化高斯模型結(jié)構(gòu)，可引入帶有合并算子的F-J 算法。

另一方面，當(dāng)過程變量之間存在線性關(guān)系時(shí)，將對(duì)基于貝葉斯網(wǎng)絡(luò)的質(zhì)量變量預(yù)測(cè)模精度和泛化能力造成一定影響。因此有必要在訓(xùn)練網(wǎng)絡(luò)前，對(duì)過程變量進(jìn)行主成分特征提取［10-12］。這不僅可以解決過程變量之間的線性問題，對(duì)數(shù)據(jù)降維，還能將提取的主元作為網(wǎng)絡(luò)輸入變量，降低網(wǎng)絡(luò)訓(xùn)練難度。

再者，在實(shí)際工業(yè)生產(chǎn)過程中，機(jī)器老化、工作環(huán)境等因素變化會(huì)導(dǎo)致模型退化問題［13-15］。因此，進(jìn)一步引入即時(shí)學(xué)習(xí)這一自適應(yīng)策略［16-18］，對(duì)于實(shí)時(shí)的待測(cè)樣本，通過比對(duì)數(shù)據(jù)庫(kù)已知的有標(biāo)簽樣本，選擇相似度最高的一組訓(xùn)練質(zhì)量變量預(yù)測(cè)模型，可提高模型預(yù)測(cè)精度和泛化能力。為了提高樣本選擇速度，本文認(rèn)為由于在較短的時(shí)間內(nèi)獲得的有標(biāo)簽樣本具有同一性。基于該思想，對(duì)數(shù)據(jù)庫(kù)樣本進(jìn)行分組可在一定程度上縮短網(wǎng)絡(luò)訓(xùn)練時(shí)間。

由此，本文提出基于PCA-BN 的自適應(yīng)質(zhì)量變量預(yù)測(cè)模型。首先，對(duì)于數(shù)據(jù)庫(kù)中的有標(biāo)簽樣本進(jìn)行分塊，當(dāng)待測(cè)樣本出現(xiàn)時(shí)，將待測(cè)樣本過程變量與各組過程變量均值進(jìn)行相似度計(jì)算，將相似度極高的幾組有標(biāo)簽樣本融合成訓(xùn)練樣本；其次，將獲得的訓(xùn)練樣本先通過主成分特征提取，取消變量之間關(guān)聯(lián)性，將提取得到的特征變量作為貝葉斯網(wǎng)絡(luò)的輸入建立質(zhì)量變量模型，提高模型精度；第三，在通過高斯混合模型逼近貝葉斯網(wǎng)絡(luò)獲得參數(shù)估計(jì)的過程中，利用帶有合并算子的F-J 算法自動(dòng)消除權(quán)值過小的單高斯模型問題，使EM 算法順利收斂，獲得結(jié)構(gòu)清晰簡(jiǎn)化的GMM 模型；最后，利用基于PCA-BN 的自適應(yīng)質(zhì)量變量預(yù)測(cè)模型，估計(jì)待測(cè)樣本。該方法綜合利用即時(shí)學(xué)習(xí)提高模型泛化能力與BN 強(qiáng)大的函數(shù)逼近能力，基于田納西伊斯曼（Tennessee Eastman，TE）仿真過程獲得的數(shù)據(jù)可驗(yàn)證方法可行性及有效性。

1 基于即時(shí)學(xué)習(xí)的快速訓(xùn)練樣本選取

即時(shí)學(xué)習(xí)（Just-in-time learnnig，JITL）可以同時(shí)處理非線性和時(shí)變性問題，其優(yōu)勢(shì)在于可建模提供準(zhǔn)確的訓(xùn)練樣本集。但是在樣本選取過程中，需將待測(cè)樣本與數(shù)據(jù)庫(kù)中的每一個(gè)樣本進(jìn)行相似度對(duì)比，時(shí)耗很大。為了進(jìn)一步提高樣本選擇速度，本文認(rèn)為在一定時(shí)間間隔內(nèi)，工業(yè)過程狀態(tài)不發(fā)生漂移等變化，獲取的數(shù)據(jù)樣本應(yīng)具有同一性。因此，將數(shù)據(jù)庫(kù)X總=[x1,x2,x3,…xN]劃分成小的塊S=[s1,s2,s3,…sM]，計(jì)算每個(gè)塊均值U=[u1,u2,u3,…uM]，選擇均值與待測(cè)樣本xq相似度較高的一組作為訓(xùn)練子集，建立待測(cè)樣本最優(yōu)局部模型。

余弦距離是典型的相似度計(jì)算方法之一，利用空間中兩個(gè)向量之間的夾角余弦值作為衡量標(biāo)準(zhǔn)，其度量準(zhǔn)則如式（1）所示。

其中，θi表示數(shù)據(jù)庫(kù)中第i個(gè)塊均值與待測(cè)樣本xq的夾角，uij表示第i個(gè)塊均值的第j個(gè)變量，d為總變量個(gè)數(shù)。

余弦值越大，即越接近1，則表示夾角越接近0°，相似程度越高。計(jì)算出m個(gè)塊與待測(cè)樣本余弦值，選擇一組較大值，將其對(duì)應(yīng)的樣本子集合成為1 個(gè)訓(xùn)練集。

2 主成分分析

主成分分析（Principal Component Analysis，PCA）能夠通過線性變換，用少數(shù)幾個(gè)主成分解釋多個(gè)變量之間的內(nèi)部結(jié)構(gòu)。本文對(duì)于獲得的訓(xùn)練樣本集，利用PCA 進(jìn)行線性變換，一方面可對(duì)數(shù)據(jù)降維，降低后續(xù)網(wǎng)絡(luò)訓(xùn)練復(fù)雜度；另一方面可消除變量之間的相關(guān)性，提高模型預(yù)測(cè)精度。

首先，對(duì)樣本x=[x1,x2,x3,…xd]進(jìn)行線性變換。

其中，d表示變量個(gè)數(shù)，zi是由過程變量通過線性變換獲得的中間變量，aij表示變量x-j對(duì)成分zi的貢獻(xiàn)。

將有n個(gè)樣本的訓(xùn)練集X=[X1,X2,X3,…,Xn] 進(jìn)行標(biāo)準(zhǔn)化，得到相關(guān)系數(shù)R。

其次，根據(jù)協(xié)方差矩陣計(jì)算特征值、主成分貢獻(xiàn)率和累積方差貢獻(xiàn)率，確定主成分個(gè)數(shù)。因?yàn)镽是正定矩陣，特征值為正，即λ1＞λ2＞...＞λn＞0，v1,v2,v3,…,vn為對(duì)應(yīng)的歸一化特征向量。特征值表示各主成分方差，其值反映了各主成分影響。主成分貢獻(xiàn)率計(jì)算方式為：

其中，φi是成分zi的貢獻(xiàn)率。

3 基于貝葉斯網(wǎng)絡(luò)的質(zhì)量變量預(yù)測(cè)模型

3.1 模型結(jié)構(gòu)

貝葉斯網(wǎng)絡(luò)（BN）又被稱為信念網(wǎng)絡(luò)，是一種概率圖模型，可以模擬人類處理推理過程中不確定因果關(guān)系，其拓?fù)浣Y(jié)構(gòu)本質(zhì)是一個(gè)有向無環(huán)圖，由隨機(jī)變量為節(jié)點(diǎn)及連接節(jié)點(diǎn)的有向弧構(gòu)成。本文為簡(jiǎn)化網(wǎng)絡(luò)訓(xùn)練過程，選擇原因節(jié)點(diǎn)時(shí)，盡可能滿足兩個(gè)條件：一是變量滿足條件獨(dú)立，二是各節(jié)點(diǎn)間不存在父節(jié)點(diǎn)。對(duì)于數(shù)據(jù)變量組合x=[x1,x2,x3,…xd,y]，本文用于質(zhì)量變量預(yù)測(cè)的貝葉斯網(wǎng)絡(luò)模型如圖1 所示。

Fig.1 Quality variable prediction model based on Bayesian network圖1 基于貝葉斯網(wǎng)絡(luò)的質(zhì)量變量預(yù)測(cè)模型

其中，原因節(jié)點(diǎn)x1,x2,…xd表示過程變量，結(jié)果節(jié)點(diǎn)y表示質(zhì)量變量，即模型獲得的估計(jì)值。進(jìn)而，過程變量的聯(lián)合概率分布可表示為：

其中，p(xi|parents(xi)) 表示xi的條件概率分布，p(y|parents(y))表示y的條件概率分布。

3.2 貝葉斯網(wǎng)絡(luò)聯(lián)合概率密度的近似求解

貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，不易于求解，故而通過建立高斯混合模型近似求解貝葉斯網(wǎng)絡(luò)聯(lián)合概率密度，可以得到結(jié)構(gòu)相對(duì)簡(jiǎn)化的網(wǎng)絡(luò)模型。

3.2.1 高斯混合模型

高斯混合模型（Gaussian mixture model，GMM）由多個(gè)單高斯混合而成，數(shù)據(jù)中的每1 個(gè)樣本都能被分到對(duì)應(yīng)的高斯元中。設(shè)訓(xùn)練樣本集X=[X1,X2,X3,…,Xn]，樣本數(shù)為m，維數(shù)為d。若這組數(shù)據(jù)共由M 個(gè)不同的單高斯分布生成，則Xi的混合概率可表示為：

其中，αl是第l 個(gè)高斯元Cl的混合系數(shù)，滿足，μl和σl分別是Cl的均值和協(xié)方差，θl=(μl,σl)。需注意兩個(gè)問題：①當(dāng)σl是奇異的，則而且σl是不可逆的；②當(dāng)pl(Xi|θl)=0，則pl(Xi|θl)不能為分母。這兩個(gè)問題均會(huì)導(dǎo)致算法終止，故將式（7）改寫成式（8）。

其中，η1、η2、η3是非常小的數(shù)值，I是單位矩陣。

因此，GMM 模型可對(duì)未知參數(shù)Θ={(α1,θ1),(α2,θ2),...,(αM,θM)}進(jìn)行估計(jì)。

3.2.2 基于改進(jìn)F-J 算法的EM 算法

EM 算法常用于GMM 參數(shù)Θ的估計(jì)，假設(shè)樣本X=[X1,X2,X3,…,Xn]，將作為GMM 模型參數(shù)初始值，將高斯元數(shù)量初始設(shè)為M0，則混合系數(shù)初始值定為1/M0。

首先進(jìn)行基于改進(jìn)F-J 算法的EM 算法運(yùn)算，如式（9）所示。

其中，p(s)(Ck(s)|Xj)表示第s次迭代時(shí)第j個(gè)樣本屬于第k個(gè)高斯元Ck(s)的后驗(yàn)概率。

運(yùn)算第二步驟為：

其中，μk(s+1)、σk(s+1)、αk(s+1)分別表示第s+1 次迭代中高斯元Ck(s+1)的均值、協(xié)方差和混合系數(shù)，V=(d2+3d)/2，d是過程變量個(gè)數(shù)。

在進(jìn)行步驟二時(shí)，合并算子過程為：令Ci(s)為第s次迭代時(shí)，混合系數(shù)值最小成分，并且值為αi(s)，相應(yīng)由Ms個(gè)成分混合組成。

（1）當(dāng)αi(s)＜1/M0，則計(jì)算Ci(s)和其他各成分的距離，將成分Ci(s)與其距離最近的Cj(s)合并，獲取更新后的混合系數(shù)后重復(fù)該步驟。

（2）當(dāng)所有αi(s)＞1/M0，則需要檢查兩次迭代中參數(shù)是否發(fā)生變化，如果超出特定的1 個(gè)非常小的范圍，重復(fù)上一步驟；否則，停止迭代。

按照上述步驟更新高斯模型參數(shù)，可以保證每個(gè)高斯成分具有顯著的占比。

3.3 模型構(gòu)建

本文針對(duì)一非線性多輸入單輸出系統(tǒng)，采用高斯混合分布近似求得貝葉斯網(wǎng)絡(luò)聯(lián)合概率密度后，可根據(jù)原因節(jié)點(diǎn)（過程變量）的值預(yù)測(cè)結(jié)果節(jié)點(diǎn)（質(zhì)量變量）值。

設(shè)p(x;μ,σ)為多維正態(tài)密度函數(shù)，μ，σ分別為均值、協(xié)方差矩陣，如果xT=(x1T,x2T)，μ=(μ1T,μ2T)且σ=，其中，x1表示過程變量，x2表示質(zhì)量變量，則貝葉斯網(wǎng)絡(luò)聯(lián)合概率密度由式（5）可進(jìn)一步表示為：

對(duì)于第l個(gè)高斯元可得：

則對(duì)于混合模型有：

進(jìn)而，根據(jù)貝葉斯公式推導(dǎo)可得：

最后，根據(jù)x2的估計(jì)值可得：

4 基于PCA-BN 的自適應(yīng)策略建模及仿真

4.1 基于PCA-BN 的自適應(yīng)策略建模

依據(jù)建模原理，建立基于PCA-BN 的自適應(yīng)策略模型，其結(jié)構(gòu)如圖2 所示。首先，將現(xiàn)有數(shù)據(jù)庫(kù)數(shù)據(jù)分塊，產(chǎn)生多個(gè)局部數(shù)據(jù)子集，將查詢樣本與這些數(shù)據(jù)子集進(jìn)行相似度對(duì)比，選擇最具有相似性的一組數(shù)據(jù)子集構(gòu)建訓(xùn)練集；然后，對(duì)訓(xùn)練集的過程變量進(jìn)行主元提取，并將提取的變量作為貝葉斯網(wǎng)絡(luò)輸入，最后對(duì)查詢樣本進(jìn)行質(zhì)量變量預(yù)測(cè)輸出。

Fig.2 Process of adaptive strategy prediction model based on PCA-BN圖2 基于PCA-BN 的自適應(yīng)策略預(yù)測(cè)模型流程

4.2 工業(yè)應(yīng)用

Downs 等［19］依據(jù)實(shí)際化工過程建立了Tenessee East?man（TE）仿真系統(tǒng)，詳細(xì)流程結(jié)構(gòu)如圖3 所示。在過程控制的研究領(lǐng)域中，由于TE 過程可較好地體現(xiàn)實(shí)際工業(yè)生產(chǎn)過程中的許多典型特征，因此常應(yīng)用于質(zhì)量變量預(yù)測(cè)、過程監(jiān)控與故障檢測(cè)研究。

Fig.3 Flow of TE porcess圖3 TE 過程流程

TE 仿真主要由反應(yīng)器、冷凝器、壓縮機(jī)、氣液分離器和汽提塔5 個(gè)模塊構(gòu)建而成［19］。數(shù)據(jù)集由測(cè)量變量和操作變量?jī)刹糠纸M成。整個(gè)反應(yīng)過程涉及XA、XB、XC、XD、XE、XF、XG、XH 等8 種物質(zhì)，其中XG、XH 為最終產(chǎn)品，牽涉的反應(yīng)如式（19）所示。

TE 過程涉及到11 個(gè)操作變量、41 個(gè)測(cè)量變量，其中測(cè)量變量可再細(xì)分為22 個(gè)連續(xù)過程變量和19 個(gè)非連續(xù)組分變量［20］。其中，對(duì)最終產(chǎn)品XG、XH 的實(shí)時(shí)監(jiān)測(cè)為有效提高輸出產(chǎn)品質(zhì)量控制系統(tǒng)奠定了基礎(chǔ)。本文主要研究多輸入單輸出的非線性系統(tǒng)，利用成分分析儀分析獲得19 個(gè)非連續(xù)組分變量，該過程相對(duì)較為復(fù)雜，故選擇33 維變量作為輸入，即由11 個(gè)操作變量和22 個(gè)連續(xù)過程變量組成輸入，并選擇最終的XG 成分含量作為輸出變量，進(jìn)而建立預(yù)測(cè)模型。具體步驟為：①將數(shù)據(jù)庫(kù)數(shù)據(jù)進(jìn)行分塊，將大的數(shù)據(jù)集分成若干個(gè)局部數(shù)據(jù)子集；②對(duì)于待測(cè)樣本，先篩選出這些數(shù)據(jù)子集中與之相似度較高的一組有標(biāo)簽樣本作為模型訓(xùn)練集；③利用主成分分析對(duì)輸入變量作特征提取，消除變量之間的相關(guān)性，降低數(shù)據(jù)維數(shù)，簡(jiǎn)化貝葉斯網(wǎng)絡(luò)復(fù)雜度；④利用獲得的主成分變量作為貝葉斯網(wǎng)絡(luò)原因節(jié)點(diǎn)，對(duì)應(yīng)的XG 成分作為結(jié)果節(jié)點(diǎn)，建立TE 過程的自適應(yīng)PCA-BN 質(zhì)量變量預(yù)測(cè)模型。

本文共有960 組數(shù)據(jù)，選擇60 組作為測(cè)試樣本，900組作為數(shù)據(jù)庫(kù)，鑒于主元個(gè)數(shù)設(shè)定為17，所以每次從中選擇600 組作為訓(xùn)練樣本。若測(cè)試樣本數(shù)量過少，算法將無法正常運(yùn)行［6］。

為了證明本文方法可行性，將其與同等情況下的PCR和PCA-BN 的預(yù)測(cè)結(jié)果相對(duì)比，如圖4-圖6 所示（彩圖掃OSID 碼可見），MAE 分別降低了26.2% 和14.4%，RMSE 分別降低了10.3% 和7.5%，RE 分別降低了11.5% 和8.3%。MAE（Maximum Relative Error）表示最大相對(duì)誤差，RMSE（Root Mean Square error）表示均方根誤差，RM（Relative Er?ror）表示相對(duì)誤差。經(jīng)對(duì)比可以看出基于JITL 的PCA-BN預(yù)測(cè)精度比傳統(tǒng)方法更高，可有效解決軟測(cè)量過程中時(shí)變性問題。

Fig.4 Prediction curve based on PCR圖4 基于PCR 的預(yù)測(cè)曲線

Fig.5 Prediction curve based on pca-bn圖5 基于PCA-BN 的預(yù)測(cè)曲線

Fig.6 Prediction curve based on adaptive strategy in Bayesian framework圖6 貝葉斯框架下基于自適應(yīng)策略下的預(yù)測(cè)曲線

5 結(jié)語

本文將JITL 與PCA-BN 結(jié)合，提出了基于PCA-BN的自適應(yīng)質(zhì)量變量預(yù)測(cè)模型。首先利用JITL 從分塊好的數(shù)據(jù)庫(kù)數(shù)據(jù)集中，選出與待測(cè)樣本相似度較高的1 組局部模塊作為訓(xùn)練樣本，縮短樣本篩選時(shí)間；再利用PCA 提取過程變量主元，借此作為原因節(jié)點(diǎn)進(jìn)行降維并簡(jiǎn)化BN 網(wǎng)絡(luò)；接著利用帶有合并算子的F-J 算法改善EM 算法，從而獲得高斯混合模型參數(shù)估計(jì)；最后基于高斯混合模型逼近貝葉斯網(wǎng)絡(luò)聯(lián)合概率密度的思想，訓(xùn)練得到清晰簡(jiǎn)化的網(wǎng)絡(luò)模型，進(jìn)而估計(jì)質(zhì)量變量值。使用該方法建立TE 過程的成分XG 預(yù)測(cè)模型與PCR，PCA-BN 等方法相比，預(yù)測(cè)精度更高。但該方法仍存在不足之處，對(duì)于每一個(gè)查詢樣本，都需重新選取訓(xùn)練樣本從而建立一個(gè)新的貝葉斯網(wǎng)絡(luò)，較之傳統(tǒng)方法雖然預(yù)測(cè)精度有所改善，但是計(jì)算時(shí)耗也會(huì)更大。如何在提高精度的基礎(chǔ)上，還能控制計(jì)算時(shí)長(zhǎng)，仍需進(jìn)一步研究。