基于混合核函數的OLS軟測量建模方法研究

巨 穩,田學民

(中國石油大學(華東)信息與控制工程學院,山東東營 257061)

基于混合核函數的OLS軟測量建模方法研究

巨 穩,田學民

(中國石油大學(華東)信息與控制工程學院,山東東營 257061)

針對核建模方法中單一核函數不能準確描述數據的分布特性問題,提出一種基于混合核函數的正交最小二乘(OLS)算法并將其用于工業過程軟測量建模。采用混合核函數代替基本OLS方法中的單一核函數,利用混合核函數兼具局部和全局核函數的性能,可以提高模型的泛化能力和非線性處理能力。核參數的選擇對模型的影響較大,采用粒子群優化算法對核參數進行尋優。在工業聚丙烯熔融指數軟測量模型中的應用結果表明,基于混合核函數OLS方法能夠比PLS、基本OLS方法更準確地預測熔融指數的變化情況。

軟測量;正交最小二乘;核函數;粒子群

0 引 言

隨著現代工業過程的迅速發展,軟測量技術在理論研究和實踐應用中取得了廣泛的成果。大多數工業過程都具有嚴重的非線性,非線性軟測量建模方法能夠有效地處理工業過程中的非線性,使模型具有較好的預測精度。目前,常用的非線性軟測量建模方法有神經網絡、KPCR、核PLS、支持向量機、正交最小二乘(OLS)等方法[1-2],這些方法本質上都是核建模方法。OLS是一種稀疏核建模方法,其優化目標包含了局部參數正則化(LR)和留一法訓練均方誤差(MSE),以該目標函數建立的OLS軟測量模型具有稀疏性和較強的推廣性能[34]。OLS方法通常采用單一高斯核函數來處理,不能準確描述數據的分布特性,具有一定的局限性,并且核參數是人為給定的。

針對上述問題,該文提出一種基于混合核函數的OLS軟測量建模方法,并采用粒子群優化算法對核參數尋優。核函數可以分成局部核函數和全局核函數兩類,不論采用局部或全局核函數,都不能準確描述數據的分布特性,采用兩類核函數的結合能給模型帶來較好的泛化能力,提高模型的性能[5]。采用該方法建立工業聚丙烯熔融指數的軟測量模型。

1 OLS建模方法

1.1 OLS算法基本思想

OLS是一種稀疏核建模方法,該方法以模型的泛化性能作為優化目標,構建稀疏回歸模型[6]。田華閣等[6]首次將OLS方法用于工業軟測量建模,并取得了較好的效果。

已知 x=[x1,x2,…,xN]∈RN×M為系統的輸入變量,y∈RN×1為系統的輸出變量,e為噪聲信號。采用OLS方法建立x和y之間的回歸模型進行非線性辨識:

求解式(1)的參數β,可對式(3)所描述的優化目標進行求解:

式(3)本質上是最小化訓練數據的均方誤差(MS E),其結果為β=(φTφ)-1φTy。由于 φ∈N× N,當 N較大時,計算過程比較復雜,容易形成維數災難。同時由于各列訓練數據中相關性的存在, φTφ極有可能為病態矩陣,最終求解的模型參數出現過匹配和泛化能力低的現象。針對上述問題, OLS方法對φ進行正交化分解φ=WA。矩陣W和A的計算可以通過改進的 Gram-Schimt正交化方法來完成[7],最終結果如下:

式中 W∈RN×N;wi,wj∈RN×1為列向量,1≤i, j≤N。

則回歸模型可表示:

式中 g——OLS模型需要優化求解的參數,且g=Aβ,g=[g1,g2,…,gN]T∈RN×1。

式(6)中,將W看做模型的基。由于建模數據中存在相關性,故僅需要一部分模型基即可建立稀疏模型,即從W中選擇Ns(Ns=N)個不相關的模型子集WNs即可,這個步驟稱為前向子集選擇過程,這樣最終建立的模型[6]:

式中 WNs——W中的 Ns項;gNs——g中的Ns項。

1.2 OLS模型的優化目標

為了加強模型的稀疏性,提高模型的泛化能力,在優化目標函數中加入模型參數的正則化約束[7],對式(3)的優化目標進行改進,如式(8)

式中 Λ =diag{λ1,λ2,…,λN}——正則化參數。

因為WTW+Λ為對角陣,可得[3]:

其中,λi可根據貝葉斯學習理論得到,更新公式如下:

為了提高模型的泛化能力,OLS方法采用能夠體現模型泛化性能的誤差計算方法,即基于留一法的訓練數據均方誤差[3-4]。對于含有n個基的模型,LOO MSE計算式如下:

其中,e(n,-k)k表示建模數據不包含 (xk,yk)時,該數據的測試誤差:

根據留一法的原理計算Jn是一個相當復雜的過程,現有的研究結果表明其實沒有必要對每個數據進行留一法建模測試,可以根據下式進行計算[4]。

2 基于混合核函數的OLS建模方法

2.1 核建模方法

在核建模方法中,核函數的選擇對建模結果有較大的影響。目前常用的簡單核函數:徑向基核函數

核函數通常分為局部核函數和全局核函數兩類。局部核函數具有較強的學習能力,泛化能力較弱,而全局核函數泛化能力較強,學習能力較弱。考慮兩類核函數的特性,該文采用將典型的局部核函數(徑向基核函數krbf)與典型的全局核函數(多項式核函數 kpoly)結合起來的方式,構造如下形式的混合核函數

式中 t——混合系數。

混合系數t(0≤t≤1)調節兩種核函數對混合核函數施加的影響。顯然,當t為0時,混合核函數退化為RBF核函數,而當t為1時,則退化為多項式核函數。通過調節t,則可以使混合核函數適應于不同的數據分布,等效于在核函數的選擇中,融入具體問題的先驗知識[8]。

混合核函數OLS建模方法與基本OLS建模方法的原理類似,所不同的是采用混合核函數來代替OLS中的高斯核函數。

式(1)中的核函數 Kρ(·,·)這里選擇混合核函數 Kmix,即

2.2 基于PSO的核參數優化

在前面構造的混合核函數中存在三個核參數(σ,t,q),對于這三個核參數的選擇通常采用人為給定的方法,缺少一定的理論根據,因此該文考慮采用粒子群算法對核參數進行尋優。

PSO算法是基于種群的并行全局搜索算法,采用簡單的速度、位移模型實現對整個解空間的尋優,因而概念簡單易于實現,且沒有許多參數需要調整,具有更快的收斂速度,對處理高維優化問題也有一定的優勢[9]。

粒子群算法初始化為一群隨機粒子,其中每個粒子為優化問題的一個解,然后通過迭代找到最優解。假設在D維搜索空間中,有 m個粒子組成一個粒子群,其中第 i個粒子的位置為 xi=(xi1, xi2,…,xid),速度為 vi=(vi1,vi2,…,vid)。在每次迭代中,粒子通過跟蹤粒子本身所找到的最優解(個體極值 pbest)以及整個種群目前找到的最優解(全局極值 gbest)來更新自己的位置和速度。則位置和速度的更新方程為

式中 w——慣性權重;c1,c2——學習因子。

搜索時,為了防止粒子遠離搜索空間,粒子的速度通常被限定于一定范圍內,即 vij∈[-vmax, vmax]。如果粒子的速度超過該維的最大速度時,該粒子速度被限制為該維的最大速度。同樣,如果某粒子在某維的位置超出該維的最大位置,則該粒子的位置被限制為該維的最大位置。

考慮到基本粒子群算法經常發生早熟收斂等現象,為了保證粒子群算法的收斂,Clerc等[10]通過研究提出了一種帶收縮因子χ粒子群方法:

式中 ?=c1+c2,?>4。

Clerc等[10]在收縮因子方法中,取c1和c2都為2.05,從而?=4.1,χ=0.729 8。

Eberhart和Shi[11]對該算法做了進一步研究,認為當取c1=c2=2.05時,限制最大速度vmax= xmax,或者預先設置搜索空間的大小,效果更理想。這樣幾乎可以改進算法對所有測試函數的求解性能。

對于PSO優化混合核函數參數(σ,t,q),每個粒子由三維參數(σ,t,q)決定其位置和速度,適應度函數為軟測量模型中期望輸出與實際輸出偏差的均方根誤差,即

3 聚丙烯熔融指數軟測量建模中的應用

利用某公司的Spheripol-Ⅱ工藝聚丙烯生產裝置2007年8～12月的聚丙烯生產過程數據,結合現場操作中的實際經驗和機理分析的結果,該文挑選用于建立聚丙烯熔融指數的輔助變量:第一環管反應器中丙烯、氫氣、催化劑的濃度,第二環管反應器中丙烯、氫氣、催化劑的濃度及總的宏觀反應熱。經過一系列數據預處理后,最終獲得379組數據,將這些數據分為兩部分,229組數據用于建立軟測量模型,剩余的150組數據用于模型測試。

采用該文提出的方法建立聚丙烯熔融指數的軟測量模型,用粒子群尋找(σ,t,q)參數的最佳數值時,PSO的粒子個數為10,最大迭代次數為100。粒子群算法經過100次迭代尋優結果(σ,t,q)=(2.777 7,0.582 1,1)。得到基于混合核函數的OLS方法建立的聚丙烯熔融指數模型的訓練效果及相對誤差絕對值如圖1,圖 2所示。

圖1 混合核函數OLS軟測量模型的訓練效果

圖2 混合核函數OLS軟測量模型訓練效果相對誤差

然后分別采用PLS方法、基本OLS方法和基于混合核函數的OLS方法建立軟測量模型,比較不同方法的預測效果。對于OLS方法而言,雖然建模數據有229組,但是最終用于建模的OLS模型僅使用了16個基,極大地降低了模型的復雜性。對于混合核函數的OLS方法,最終用于建模的僅有29個基,同樣大大降低了模型的復雜性,而且預測精度得到了提高,為了比較不同模型的性能,這里使用均方根誤差(RM S E)作為性能指標。三種方法的泛化效果如圖3～5及見表1所列。

圖3 PLS軟測量模型的泛化效果

圖4 OLS軟測量模型的泛化效果

圖5 混合核函數OLS軟測量模型的泛化效果

表1 三種方法軟測量模型訓練和泛化的結果比較

由表1可以看出,雖然最終用于建模的混合核函數OLS軟測量模型使用了29個模型基,比OLS模型基的個數要多,但是其模型的訓練誤差和預測誤差均低于OLS方法和PLS方法的軟測量模型,而且對比圖5與圖3和圖4的泛化效果,可以看出基于混合核函數的OLS方法建立軟測量模型比OLS方法和 PLS方法的軟測量模型預測效果較好。

4 結束語

該文采用混合核函數方法對基本的OLS進行改進,提出一種基于混合核函數的OLS軟測量建模方法,并且采用 PSO方法對核參數進行尋優。采用實際的工業數據,建立工業聚丙烯熔融指數的軟測量模型,應用結果表明,基于混合核函數OLS軟測量建模方法比PLS和基本的OLS方法能夠更為準確地預測聚丙烯熔融指數的變化情況,具有較好的效果。

[1] 王孝紅,劉文光,于宏亮.工業過程軟測量研究[J].濟南大學學報(自然科學版),2009,23(1):80-85.

[2] 朱學峰.軟測量技術及其應用[J].華南理工大學學報(自然科學版),2002,30(11):61-67.

[3] CHEN S,HONG X,LU K B L,et al.Orthogonal-leastsquares Regression:A Unified Approach for Data Modeling [J].Neurocomputing,2009,72(10-12):2670-2681.

[4] CHEN S.Orthogonal-least-squares Forward Selection for Parsimonious Modelling from Data[J].Engineering,2009, 1(2):55-74.

[5] SMITS G F,JORDAN E M.Improving SVM Regression Using Mixturesof Kernels[C]//Proceedingsof the International.Joint Conference on Neural Networks[A]. USA:Honolulu,HI,2002:2785-2790.

[6] 田華閣,田學民,鄧曉剛.基于Kalman-OLS的聚丙烯熔融指數軟測量[J].控制工程,2010,16(S0):83-86.

[7] CHENG S,HONG X,HARRIS C J,etal.Sparse Modeling Using OrthogonalForward Regression with PRESS Statistic and Regularization[J].IEEE Transactions on Systems,Man and Cybernetics-part B:Cybernetics, 2004,34(2):898-911.

[8] 王華忠,俞金壽.混合核函數PLS建模方法及在軟測量中的應用[J].計算機與應用化學,2007,24(2):239-243.

[9] 陳 樹,徐保國,王海霞,等.PSO-SVR算法在發酵過程控制中的應用[J].計算機工程與應用,2007,43(19): 214-216.

[10] CLERC M.TheSwarm andtheQueen:Towards a Deterministic and Adaptive Particle Swarm Optimization [C]//Proceedings of the 1999 Congress on Evolutionary Computation[A]. USA:Washington D.C.,1999: 1951-1957.

[11] EBERHART R C,Shi Y.Comparing Inertia Weights and Constriction Factors in Particle Swarm Optimization[C]// Proceedingsof the 2000 Congress on Evolutionary Computation[A].San Diego,CA,2000:84-88.

[12] 宋紹民,王 敏,胡新晚.基于移動最小二乘的傳感器數據重構[J].自動化儀表,2010,(5):16-18.

The Study on the OLS Soft Sensor Modeling Based on the Mixed Kernels

Ju Wen,Tian Xuemin

(The College of Information and Control Eng.China Uni.of Petroleum,Dongying,257061,China)

With regard to the problem that single kernel can not accurately describe the distribution character of data in the kernel modeling method,an algorithm of orthogonal least square(OLS)based the mixed kernels is proposed and used for soft sensor modeling in industrial process.To take the mixed kernels replace single kernel in OLS and utilize properties of local and global kernel of the mixed kernel can improve their genelization ability and nonlinear treatment capacity. The selection ofkernel parameters has great influence for the model,the particle swarm optimization algorithm is used to carry out selection ofkernel parameters. The application of industrial polypropylene melt index soft measurement modeling has indicated that OLS based the mixed kernels can more accurately predict change of index than PLS and basic OLS method.

soft sensor;orthogonal least squares;kernel;particle swarm

TP273

A

1007-7324(2011)01-0031-05

2010-11-08。

國家863計劃項目(2007AA04Z193);山東省自然科學基金項目(Y2007G49)。

巨 穩(1985—),女,吉林四平人,碩士研究生,從事工業過程建模、軟測量技術研究。