相關向量機對廢水處理系統出水水質的預測

劉鴻斌　宋留

摘 要：準確預測出水水質對造紙廢水處理過程具有重要意義，為此筆者提出一種基于相關向量機（RVM）的軟測量模型。首先，利用偏最小二乘法（PLS）提取實際造紙廢水處理過程數據的潛變量，解決過程變量的共線性和高維度問題，然后利用潛變量建立RVM預測模型。結果表明，與RVM模型相比，本文提出的PLS-RVM組合模型在對出水懸浮固形物（SS）的水質預測測試時，均方根誤差降低了7.76%，決定系數提高了12.32%;但對出水化學需氧量（COD）的預測測試效果提升并不明顯。此外，PLS-RVM模型的預測效果較PLS-LSSVM模型有顯著提升：對出水SS的預測，均方根誤差降低了9.16%，決定系數提高了15.29%;對出水COD的預測結果中，均方根誤差降低了9.29%，決定系數提高了18.34%。

關鍵詞：相關向量機;降維方法;支持向量機;造紙廢水處理;軟測量

中圖分類號：TS736;X793

文獻標識碼：A

DOI：10.11981/j.issn.1000-6842.2019.02.53

近年來，軟測量技術已成功地在精煉、化工、發電、食品加工、制漿造紙工業和城市與工業污染的監測等領域得到應用[1]。軟測量技術具備一系列優點：替代昂貴的硬件設備，降低生產成本;良好的兼容性，能與現有硬件傳感器并行工作;能夠實時在線測量，克服某些硬件傳感器的滯后性，可以實現更全面、及時的監測網絡。在造紙廢水處理的過程中，一些難以測量或不易在線測量的重要參數，如出水化學需氧量與出水懸浮固形物濃度等，不僅是重要的出水指標，也是必要的檢測變量。為了提高造紙廢水處理的達標率，提升系統穩定性，需要對這些重要的檢測變量進行監測和控制，但是傳統的傳感器測量方法普遍存在著價格昂貴、維護難、穩定性差、使用壽命短等問題[2]。針對這些問題，軟測量技術為實現污水處理過程出水水質的實時檢測提供了一個很好的解決思路。

軟測量技術的核心是建立輸入變量與輸出變量之間的軟測量模型。其建模方法按照建模的機制劃分為兩大類[3]：一類是基于過程反應機理的機理模型，該類模型通過分析過程的反應機理，運用物理、化學和生物等基本定理來表述過程的內部規律，建立過程模型，但一般對象的反應機理都比較復雜，并且由于工況與環境的影響，導致機理模型的預測性能大大降低;另一類是數據驅動建模，該方法是通過輸入輸出數據建立與過程外特性等價的模型，因此不需要研究對象的內部規律，只需獲得足夠多的數據即可建立對象的軟測量模型。數據驅動建模有回歸分析模型、人工智能模型、統計學習理論模型及概率核函數模型等軟測量模型[3]。回歸分析建模方法主要有主元分析法（Principal Component Analysis， PCA）和偏最小二乘法（Partial Least Squares， PLS），旨在尋找多個變量間的函數關系，但局限于非線性較弱的對象。人工智能建模方法主要是人工神經網絡，汪瑤等[4]采用人工神經網絡建模預測出水水質，但是神經網絡易存在局部極小和泛化能力有限，而且權值不易在線調整等缺點。黃銀蓉等[5]利用基于統計學習理論的最小二乘支持向量機（Least Square Support Vector Machine， LSSVM）對污水處理的出水指標進行建模預測，但是支持向量機的核函數必須滿足Mercer條件，除核函數外，懲罰因子與不敏感損失區域半徑也會對模型的精度產生影響[6]。另外，支持向量基（SVM）的支持向量個數隨著訓練樣本的增大呈線性增加，可能會產生過擬合問題及增加計算時間。宋留等[7]采用基于概率核函數的高斯過程模型預測出水水質，但是高斯過程受限于先驗高斯分布的假設條件，實際過程的分布難以預知或不一定遵循高斯分布，因此受到限制。

相關向量機（Relevance Vector Machine， RVM）是Tipping[8]提出的一種基于貝葉斯框架的稀疏概率模型，是一種新的有監督學習方法。與SVM相比，RVM核函數的選擇不受Mercer條件的限制，可以根據需要構建核函數，并且RVM是機率式預測的。此外相較于基于概率核函數的高斯過程模型，RVM避免了高斯過程局限于先驗高斯分布的假設條件，且同樣能實現概率式預測。劉遵雄等[9]在解決電力負荷中期預測的問題上，提出了一種基于RVM的中期預測方法。韓中合等[6]把RVM回歸模型運用到工業生產中短期風速預測的問題上，取得了良好的預測效果。許玉格等[10]利用活性污泥水處理仿真基準模型（BSM1）[11]得到的污水仿真數據，建立出水水質的RVM軟測量預測模型，并與LSSVM和神經網絡（BP）模型比較，取得了比較滿意的污水處理出水水質預測效果。

然而對于機器學習的回歸問題，隨著變量數量的增多，變量之間的相關性將會增強，數據的可視化也會變得難以實現。變量的相關性或共線性會導致模型預測結果的方差變大，預測精度下降。在這種情況下，要很好地解釋模型中自變量對因變量的效應，是非常困難的。PCA與PLS作為進一步簡化建模難度的有效工具，不僅能避免共線性的負面影響，而且能減少數據的維度[1]。近年來，PLS除作為化學計量學中的多元統計工具外，也從諸多降維方法中脫穎而出。PCA僅對自變量進行主成分提取，從而忽略了自變量對因變量系統的解釋性。PLS降維的目的是找出與因變量有較大協方差的自變量的不相關線性轉換，即潛變量（Latent Variables）[12]。降維得到的潛變量，不僅對因變量具有最大解釋性，而且能反映因變量系統的信息，使得自變量對因變量的解釋效應在模型中得到體現。

提高廢水處理過程出水水質模型的精度已經成為當前研究的熱點。不同地區造紙廠所產生廢水的污染成分及特性會隨著原材料、生產工藝和廢水處理技術等影響因素的不同而有較大差異，基于數據驅動的造紙廢水處理預測模型可以為制漿造紙廢水處理過程的優化控制提供重要支撐。本文采用廣東東莞一家造紙廠的廢水處理數據，首先使用PLS方法對原始過程變量進行去共線性和降維處理，然后利用建立在貝葉斯框架下的RVM模型建立造紙廢水處理系統的PLS-RVM軟測量預測模型。

1 廢水處理過程建模

1.1 降維方法

PLS降維是將過程變量矩陣X∈Rn·m與質量變量矩陣Y∈Rn·p投影到由少量潛變量（或得分矩陣）T=[t1，…，tK]∈Rn·K所構成的低維空間中：

X=TPT+E

Y=TQT+F （1）

式中，P=[p1，…，pK]與Q=[q1，…，qK]分別表示X與Y的負載矩陣，E與F分別表示X與Y的殘差矩陣。即PLS將過程變量分解為兩個斜交投影的子空間：得分子空間（質量相關子空間）與殘差子空間（質量無關子空間）。由于PLS是一個迭代的過程，潛變量T不能直接由原始過程變量矩陣X得到，因此引入權重矩陣V=[v1，…，vK]=W（PTW）-1，使其滿足[13]：

T=XV（2）

式中，W=[w1，…，wK]是計算得分矩陣的權重矩陣。

1.2 RVM原理

類似于SVM，RVM模型的函數預測輸出[14]：

tn=y（xn;w）+εn=∑Ni=1wiK（xn;xi）+εn（3）

式中，εn是獨立的零均值，方差為σ2的高斯噪聲。K（xn，xi）表示核函數，w=（w0，…，wn）T表示參數向量。假定目標值t獨立分布，則RVM的似然概率估計為：

P（t|xn，w，σ2）=Ni=1N（wT（xn），σ2）

=（2πσ2）-N2exp{-12σ2‖t-Φw‖2} （4）

其中，Ф是訓練樣本中的特征向量xi代入核函數中得到的結構矩陣：

Φ=1K（x1，x1）…K（x1，xN）

1K（x2，x1）…K（x2，xN）

1K（xN，x1）…K（xN，xN） （5）

為避免出現在SVM中的支持向量過多而導致的過擬合問題，在RVM模型中需對權值wi進行約束，使得其機率分布是在零周圍的正態分布：

p（w|α）=Ni=0N（wi|0，α-1i）

=Ni=0αi2πexp（-αiw2i2）（6）

式中，每個超參數αi與其相對應的權值wi相關，α=（α0，α1，…，αN）T。根據貝葉斯概率框架及似然估計分布，權重的后驗概率分布為：

p（w|t，α，σ2）=（2π）-N+12|∑|-12exp{-12（w-m）T∑-1（w-m）} （7）

式中，后驗協方差矩陣∑=（σ-2ΦTΦ+A）-1，均值m=σ-2∑ΦTt，矩陣A=diag（α0，α1，…，αN）。由于大多數的αi都是趨近于無窮的，與之對應的后驗分布協方差與均值則無限趨近于零：

limαi→∞∑=limαi→∞（A+σ-2ΦTΦ）-1=0limαi→∞m=0 （8）

即與αi相對應的權值wi等于0，因此相應的基函數（xi）將從結構矩陣Ф去除，而保留下的非零權重所對應的特征向量也就是相關向量。

對超參數進行優化αnew=1-αi∑iim2i=γim2i，σ2new=‖t-Φm‖2N-∑iγi。因此，對于新的輸入值x′，模型的預測分布：

P（tnew|x′，α，σ2）=N（mT（x′），σ2（x′））（9）

式中，均值mT（x′）為要求的估計值tnew，即：

tnew=mT（x′）（10）

1.3評價指標

本文采用均方根誤差（Root Mean Square Error， RMSE）和決定系數（Determination Coefficient， R2）作為模型的評價指標，來比較不同模型的預測精度。R2和RMSE的表達式為：

R2=1-∑ni=1（yi-i）2∑ni=1（yi-）2 （11）

RMSE=∑ni=1（i-yi）2n （12）

式中，i是估計值，yi是真實值，是平均值。R2表示回歸平方和占總離差平方和的比重，比重越大，則回歸效果越好。即R2越接近1，代表輸入變量對輸出變量的解釋能力越強，對數據擬合的效果也越好。RMSE是預測數據和原始數據對應點誤差的平方和的均值的平方根，RMSE越接近于0，代表該模型預測效果越佳。

2 基于RVM廢水處理過程仿真預測模型

2.1 造紙廢水處理數據

廢水數據采集自廣東東莞的一家造紙廠廢水處理車間，測量數據顯示了造紙廢水處理的好氧段工況。數據包含170個樣本點，8個廢水變量，分別是進水化學需氧量（Chemical Oxygen Demand， COD）、出水COD、進水懸浮固形物（Suspended Solids， SS）、出水SS、溶解氧量（DO）、流量（Q）、溫度（T）、pH值。選取120個樣本數據作為訓練集，50個數據作為測試集，在MATLAB中分析處理該170個造紙廢水數據。其中，進水COD、進水SS、DO、Q、T、pH值作為輸入變量，出水COD和出水SS作為輸出變量構建模型。

2.2 RVM預測模型

為了驗證RVM對出水COD與出水SS的預測性能，用相同的數據進行LSSVM建模預測。LSSVM的回歸模型如下式所示：

y（xn）=∑Ni=1φiK（xn，xi）+β （13）

其中，K（xn，xi）表示核函數，本文采用徑向基核函數K（xi，xj）=exp（-xi，xj22σ2），σ為核寬度;φ與β利用PLS求得其近似值。

針對造紙廢水處理過程中多變量、時變性、非線性和復雜性等特點，本文選取高斯核函數作為RVM的核函數，迭代次數500。圖1和圖2分別表示RVM與LSSVM軟測量模型對出水COD及出水SS的預測結果。在對出水COD預測時，RVM模型的RMSE為4.2658 mg/L，R2為0.5684;對出水SS預測時，RMSE為0.7565 mg/L，R2為0.5478。與LSSVM模型相比，RVM模型對出水COD預測結果的RMSE降低了10.76%，R2提高了24.08%;在對出水SS的預測，RVM模型的RMSE降低了5.45%，R2提高了10.85%。

2.3 基于降維的RVM預測模型

通過降維得到的潛變量，不僅對因變量具有最大解釋性，而且能反映因變量系統的信息，使得自變量對因變量的解釋效應在模型中得到體現。表1為PLS對輸入變量降維后的各個潛變量的累計貢獻率。對于PLS潛變量個數的確定目前尚無統一的方法。表1顯示，潛變量1～5捕獲了自變量85%以上的方差，但是潛變量4～6對響應變量只占不到0.5%的方差，響應變量累計貢獻率基本不變，說明后3個潛變量對響應變量基本無影響。考慮到隨著變量的增多，模型的復雜性及建模難度也會隨之增大，因此本文選取前3個潛變量作為模型的輸入，對出水COD與出水SS建立PLS-RVM模型，并與PLS-LSSVM模型進行對比。

圖3和圖4分別表示PLS-RVM與PLS-LSSVM模型預測的出水COD及出水SS的預測值與測量真實值。對于出水COD，PLS-LSSVM模型預測結果的RMSE為4.6311 mg/L，R2為0.4913;對于出水SS，PLS-LSSVM模型的RMSE為0.7682 mg/L，R2為0.5337。相較于PLS-LSSVM模型，在對出水COD的預測，PLS-RVM模型的RMSE降低了9.29%，R2提高了18.34%;在對出水SS的預測，PLS-RVM模型的RMSE降低了9.16%，R2提高了15.29%。

2.4 結果分析

表2顯示的是4種模型的預測性能對比結果，由此可以看出，基于PLS降維的模型其建模預測效果要優于未降維模型的預測效果。對于出水COD模型，PLS-RVM訓練模型的RMSE為3.6953 mg/L，R2為0.8143，相較于RVM模型，RMSE降低了23.76%，R2提高了19.64%;模型測試結果的RMSE為4.2010 mg/L，R2為0.5814，相較于RVM模型，RMSE與R2無明顯優勢提升。對于出水SS模型，PLS-RVM訓練模型的RMSE為0.6623 mg/L，R2為0.6981，相較于RVM模型，RMSE降低了8.04%，R2提高了8.57%;在模型測試時的RMSE為0.6978 mg/L，R2為0.6153，相較于RVM模型測試結果，RMSE降低了7.76%，R2提高了12.32%。此外，在模型訓練時，兩種出水水質的RVM模型的訓練結果的RMSE與R2要略差于LSSVM模型，但是在模型預測測試時，其RMSE與R2要優于LSSVM模型。而PLS-RVM模型無論是在訓練擬合還是預測測試階段，其建模預測效果都要優于PLS-LSSVM模型。說明在對數據進行降維后，模型的建模難度和預測精度得到優化，相比于LSSVM模型，RVM模型的泛化能力更強，對樣本的測試能力優于LSSVM模型。

3 結 論

本文提出了一種對造紙廢水出水水質建模預測的軟測量模型。預測模型首先通過偏最小二乘法（PLS）對原始變量投影提取潛變量達到對數據降維的目的，然后采用相關向量機（RVM）模型對造紙廢水處理過程的出水水質進行建模和預測。對出水COD的預測模型，PLS-RVM建模訓練的均方根誤差（RMSE）最小，為3.6953 mg/L，相較于RVM模型降低了23.76%;但是預測結果的RMSE為4.2010 mg/L，相較于RVM模型并無明顯優勢提升。對于出水SS的預測模型，同樣PLS-RVM建模訓練的RMSE最小，為0.6623 mg/L，相較于RVM模型降低了8.04%;其預測結果的RMSE為0.6978 mg/L，相較于RVM模型降低了7.76%。結果表明，本文提出的PLS-RVM組合模型能夠降低模型建立的復雜度并提高預測模型的泛化能力。

本文所述非線性建模方法適用于表征變量間的靜態關系，對于造紙廢水處理系統這種動態特性很強的過程，如何將非線性方法與動態建模方法（如多元時間序列分析法）相結合來提高模型的預測精度，是今后研究的方向。

參 考 文 獻

[1] Fortuna L， Graziani S， Rizzo A， et al. Soft sensors for monitoring and control of industrial processes [M]. Springer London， 2007， 128.

[2] Huang D P， Liu Y Q， Li Y. Soft sensor research and its application in wastewater treatment[J]. CIESC Journal， 2011， 62（1）： 1.

黃道平， 劉乙奇， 李 艷. 軟測量在污水處理過程中的研究與應用 [J]. 化工學報， 2011， 62（1）： 1.

[3] Cao P F， Luo X L. Modeling of soft sensor for chemical process[J]. Ciesc Journal， 2013， 64（3）： 788.

曹鵬飛， 羅雄麟. 化工過程軟測量建模方法研究進展 [J]. 化工學報， 2013， 64（3）： 788.

[4] Wang Y， Xu L， Yin W Z， et al. Soft sensor modeling of papermaking treatment processes based on ANN and LSSVR [J]. Transactions of China Pulp and Paper， 2017， 32（1）： 50.

汪 瑤， 徐 亮， 殷文志， 等. 基于ANN和LSSVR的造紙廢水處理過程軟測量建模 [J]. 中國造紙學報， 2017， 32（1）： ?50.

[5] Huang Y R， Zhang S D. Online soft measurement for wastewater treatment based on MIMO least squares support vector machine [J]. Automation & Instrumentation， 2010（4）： 15.

黃銀蓉， 張紹德. MIMO最小二乘支持向量機污水處理在線軟測量研究 [J]. 自動化與儀器儀表， 2010（4）： 15.

[6] Han Z H， Li Q J， Yuan Y M， et al. RVM based short-term wind speed prediction model [J]. Journal of Electric Power Science and Technology， 2017， 32（3）： 38.

韓中合， 李秋菊， 苑一鳴， 等. 基于相關向量機的短期風速預測模型 [J]. 電力科學與技術學報， 2017， 32（3）： 38.

[7] Song L， Yang C， Zhang H， et al. Soft sensor modeling of papermaking wastewater treatment process based on Gaussian process regression [J]. China Environmental Science， 2018， 38（7）： 2564.

宋 留， 楊 沖， 張 輝， 等. 基于高斯過程回歸的造紙廢水處理過程軟測量建模[J]. 中國環境科學， 2018， ?38（7）： 2564.

[8] Tipping M E. Sparse Bayesian Learning and Relevance Vector Machine [J]. Journal of Machine Learning Research， ?2001， 1（3）： 211.

[9] Liu Z X， Zhang D Y， Sun Q D， et al. Mid-term electric load prediction based on the relevant vector machine [J]. Journal of XIAN Jiaotong University， 2004， 38（10）： 1005.

劉遵雄， 張德運， 孫欽東， 等. 基于相關向量機的電力負荷中期預測 [J]. 西安交通大學學報， 2004， 38（10）： 1005.

[10] Xu Y G， Cao T， Luo F. Wastewater effluent quality prediction model based on relevance vector machine [J]. Journal of South China University of Technology（Natural Science Edition）， 2014， 42（5）： 103.

許玉格， 曹 濤， 羅 飛. 基于相關向量機的污水處理出水水質預測模型 [J]. 華南理工大學學報 （自然科學版）， 2014， ?42（5）： 103.

[11] Liu D W， Shen W H. Introduction of the benchmark simulation model-1 for wastewater treatment [J]. Guangzhou Environmental Sciences， 2007， 22（1）： 11.

劉大偉， 沈文浩. 廢水處理仿真基準模型BSM1簡介 [J]. 廣州環境科學， 2007， 22 （1）： 11.

[12] Dong Y， Qin S J. Dynamic latent variable analytics for process operations and control [J]. Computers & Chemical Engineering， 2018， 114： 69.

[13] Peng K X， Ma L， Zhang K. Review of Quality-related Fault Detection and Diagnosis Techniques for Complex Industrial Processes [J]. ACTA Automatica Sinica， 2017， 43（3）： 349.

彭開香， 馬 亮， 張 凱. 復雜工業過程質量相關的故障檢測與診斷技術綜述 [J]. 自動化學報， 2017， 43（3）： 349.

[14] Wong P K， Xu Q， Vong C M， et al. Rate-dependent hysteresis modeling and control of a piezostage using online support vector machine and relevance vector machine [J]. IEEE Transactions on Industrial Electronics， 2012， 59（4）： 1988.

Prediction of Effluent Quality in Wastewater Treatment Systems Using Relevance Vector Machine

LIU HongbinSONG Liu1

（1. Jiangsu Co-Innovation Center of Efficient Processing and Utilization of Forest Resources， Nanjing Forestry University，

Nanjing， Jiangsu Province， 210037; 2. State Key Laboratory of Pulp and Paper Engineering，

South China University of Technology， Guangzhou， Guangdong Province， 510640）

（*E-mail： hongbinliu@njfu.edu.cn）

Abstract：Predicting effluent quality precisely is important for papermaking wastewater treatment processes. In this paper， a soft sensor model based on relevance vector machine （RVM） was proposed to predict the effluent quality in a papermaking wastewater treatment plant. The proposed method included two steps. In the first step， partial least squares （PLS） method was used to extract the latent variables of the papermaking process data， which could solve the problems of collinearity and high dimensionality in the process variables. A RVM model using the extracted latent variables was developed in the second step. The results showed that the prediction performance of the PLS-RVM was better than that of the RVM for the prediction of the effluent quality in a papermaking wastewater treatment plant. With regard to the prediction of effluent suspension solids （SS）， the root mean square error （RMSE） was decreased by 7.76% and the determination coefficient （R2） was increased by 12.32%; however， the prediction results were not improved significantly for the prediction of effluent chemical oxygen demand （COD）. In addition， the prediction performance of the PLS-RVM was better than that of the PLS-LSSVM model for both the effluent SS and the effluent COD. In terms of the prediction of the effluent SS， the RMSE was decreased by 9.16% and the R2 was increased by 15.29%. In terms of the prediction of the effluent COD， the RMSE was decreased by 9.29% and the R2 was increased by 18.34%.

Keywords：relevance vector machine; dimensionality reduction; support vector machine; papermaking wastewater treatment process; soft sensor