基于Tri-training MPLS 的半監督軟測量模型

李 東， 劉乙奇， 黃道平

（華南理工大學自動化科學與工程學院，廣州 510641）

在工業生產領域，由于生產過程的復雜性，存在大量的難以測量或不易檢測的重要參數。針對這一問題，軟測量技術提供了一個有效的解決方案[1-3]。近年來，軟測量技術廣泛應用于單輸出系統的預測，對多輸出預測模型的研究極少[4]。然而，在復雜的生產過程中，急需對多個難以測量的重要參數進行同時預測[5-6]。在眾多的軟測量建模方法中，目前常用的軟測量建模方法有基于機理建模的方法、基于數據驅動建模的方法以及兩者相結合的混合建模方法[7]。基于機理建模的方法需要掌握生產過程的詳細信息和生化反應原理，對于復雜的工業生產過程而言獲取較為困難，使得建立相應的機理模型變得極為不易。基于數據驅動建模的方法則只需要通過一些已知的數據以及這些數據的內在聯系構建軟測量模型，因此，基于數據驅動的建模方法得到了廣泛的關注[8-9]。

在實際的工業過程中，受到現有技術和生產環境的束縛，很多情況下已標記樣本數量有限，如何充分使用未標記樣本來提升模型質量成為當務之急。為解決這一難題，Shahshahani 等[10]首次提出了半監督學習的思想，并成功應用于軟測量建模[11-13]。半監督學習方法利用少量的標記樣本構建模型，然后通過未標記樣本訓練模型，提高模型質量。然而，在訓練過程中，由于無法剔除錯誤的未標記數據，導致錯誤累積，影響模型的預測能力。為挑選合適的未標記數據訓練模型，Blum 等[14]提出了協同訓練算法，通過兩個相互獨立的回歸模型，采用交叉驗證的方法挑選數據，訓練模型。

為了提高多輸出模型中數據選擇的正確性，本文提出了一種新的軟測量模型——Tri-training MPLS模型。該模型通過3 個具有不同特征的回歸模型對未標記數據進行驗證，挑選出置信度最高的未標記數據訓練模型，建立更準確的軟測量模型。此外，該模型能夠對多個難測量變量進行同步預測，提高了預測效率。通過污水處理仿真模型BSM1 平臺驗證，結果表明，當標記樣本的比例較少時，Tri-training M PLS 模型具有更好的預測性能。

1 預備知識

1.1 多輸出偏最小二乘算法（MPLS）

MPLS 算法是在PLS 算法框架上的多數擴展，不同之處在于輸出數據Y 由原來的單列向量轉化成了多輸出矩陣。數學過程如下：

其中： X ∈Rn×m和 Y ∈Rn×l分別為輸入和輸出矩陣， n為數據集的個數， m 為輸入變量的個數， l 為輸出變量的個數； T ∈Rn×a和 U ∈Rn×a分別是X 和Y 的得分矩陣，a 表示潛在的變量個數； th為T 的第 h 行； uh為 U 的第 h 行； P(a×m) 和 Q(a×l) 為加載矩陣； ph是 P 的第 h 行； qh是Q 的第h 行；E 和F 為噪聲矩陣 。 uh和 th之間的關系如下：

其中： bh為X 空間主元t 和Y 空間主元u 的內部相關 關 系的回歸 系 數； U=TB , B ∈Ra×a表示回 歸 矩陣。因此，X 和Y 之間的關系可以表示為 Y=TBQ+F 。

MPLS 是一種常見的多元統計分析方法，不僅可以減少數據的維度，還可以建立預測模型，是解決工業 過程中數據預測問題的有力工具[15-16]。

1.2 協同訓練回歸

其中： xi∈L 為標記輸入數據； yi∈L 為標記輸出數據；L 為標記樣本集， | L| 為樣本集大小； h 為原始回歸 模型； h′為 加 入 新的 標記 數據 xu后產 生的 回歸模型。

協同訓練回歸根據協同訓練的思想建立兩個相互獨立的初始模型，在驗證過程中，采用交叉驗證的方式，減少對錯誤數據的選擇。當達到最大迭代次數時，由最終的標記樣本集建立模型 h1和 h2，預測值由兩者的均值決定：

2 Tri-training MPLS 模型

2.1 Tri-training 回歸

式中： hi、 hj、 hk是3 個獨立的回歸模型。

在多輸出系統下，輸出數據 y 由原來的單列向量變為多列矩陣，均方根誤差（RMSSD）的求解公式如 下：

式中：trace 是矩陣的跡。

當達到最大迭代次數時，由最終的標記樣本集建 立模型 h1、 h2、 h3，預測值由三者的均值決定：

2.2 Tri-training MPLS 應用于軟測量建模

Tri-training MPLS 模 型 的 核 心 是 將Tri-training算法和MPLS 算法相結合生成對多輸出系統的軟測量模型。其優勢在于，首先，由上述的置信度判斷依據選擇正確性更高的未標記數據，模型的預測效果更好；其次，通過標記數據集建立3 個相互獨立的回歸模型，使得預測模型具有廣泛性；最后，Tri-training MPLS 模型能夠同時對多個輸出變量預測，極大地提高了預測的效率和模型的整體性。

Tri-training PLS 模 型 的 具 體 過 程 如 下：設L={X,Y}={(x1,y1),(x2,y2),···,(x|L|,y|L|)} 表 示 標 記 數據集， | L| 表示標記數據集個數， U 是未標記數據集，|U| 表示未標記數據集個數。首先，將L 平均分成3 部分，記為L1、L2、L3，將L1、L2、L3與傳統的偏最小二乘算法結合生成相互獨立的3 個回歸模型P1、P2、P3。然后，取未標記數據集U 中的數據 xu，分別代入到P1、P2、P3中計算回歸量。在學習過程中，用其中兩個回歸量的均值來更新另一個標記樣本集。隨著迭代的進行，該過程不僅不斷地建立3 個相互獨立的回歸模型，而且在差異越來越大的回歸量上更新標記數據集。為了選取合適的未標記數據，利用上述方法估計未標記數據的置信度，然后對滿足置信條件的未標記數據計算回歸量，將兩個回歸量的均值作為新的標記數據放入另一個標記樣本集中。最后，由新的標記樣本集L1、L2、L3建立新的模型h1、h2、h3，通過求取3 者均值作為最終的預測值。Tritraining MPLS 的詳細流程如下：

輸入: 標記樣本集L (包含輸入變量 xl和輸出變量 y )，未標記樣本集U（僅包含輸入 xu），測試樣本集P，最大迭代次數T

過程：

進行T 次迭代:

然后 U=U ?xn

U=U

否則

πj=?

End of for

Lj=Lj∪πj

達到最高迭代次數，結束迭代

輸出新的標記樣本集 L1、 L2and L3

for j ∈{1,2,3} do

hj=pls(Lj)

end of for

驗證模型預測能力：

為比較Co-training MPLS 模型和Tri-training MPLS模型算法的復雜性，圖1 示出了兩種模型的流程圖。由圖1 可知，兩種模型的算法都被分為訓練環節和測試環節兩部分，不同之處在于訓練環節中，Cotraining MPLS 模型將標記數據均分為兩部分，由兩組標記數據子集同時評價未標記數據的置信度。而Tri-training MPLS 算法是將標記數據三等分，有3 組標記數據子集同時評價未標記數據的置信度，并選擇置信度較高的未標記數據加入到標記數據集中。3 個相互獨立的標記樣本子集同時訓練，避免了因單個數據級判斷錯誤而影響選擇的質量，致使錯誤累積，最終導致預測結果較差。從算法復雜度的角度分析，無論是2 組標記子集還是3 組標記子集，訓練過程是一致的，只是Tri-training MPLS 算法的訓練時間會相對較長。

為了評價Tri-training MPLS 模型的預測性能，采用傳統的均方根誤差（RMSE）和D 值指標評價，定義如下：

3 仿真實例

污水處理仿真模型BSM1 平臺的設備布局如圖2 所示，由一個生物反應器(5999m3)和一個二次沉淀池(深4 m,10 層,6000 m3)組成。生物反應器包含5 個混合小單元，前2 個單元（每個1000m3）為非曝氣的，后3 個單元（每個1333m3）為曝氣的。處理污水的平均流量為20000m3/d，可生物降解的化學需氧量(COD)的平均質量濃度為300 mg / L。為了去除有機物，需要進行硝化和反硝化反應[20-21]。

圖1Co-training MPLS（a）和Tri-training MPLS（b）模型的流程圖Fig.1Flow chart of Co-training MPLS (a) and Tri-training MPLS (b) models

圖2BSM1 平臺設備布局示意圖Fig.2Schematic diagram of BSM1 platform equipment layout

仿真過程中，共納入了15 個輸入變量和5 個輸出變量，詳細的變量信息如表1 所示。本案例的研究目的是驗證Tri-training MPLS 模型對SS-E、SNH-E、SNO-E、COD-E 和BOD5-E 等不易測量變量的預測性能。每隔15 min 對各個變量采樣一次，模擬14 d，共1344組數據。分別將第1 天、第2 天、…、第7 天的樣本作為已標記數據集，剩余部分作為未標記數據集，最大學習次數設置為5 次。最后，用剩余7 d的數據作為測試樣本集，對模型進行測試。

圖3 示出了標記樣本為4 d 時兩種模型的預測曲線和D 值。可以看出，Co-training MPLS 模型和Tri-training MPLS 模型均能夠同時對多個輸出變量進行預測，且預測效果良好，尤其是對污水排放指標中的重要參數BOD5-E 的預測，RMSE 值分別達到了0.08 和0.07，預測曲線與真實值基本一致，其他具體參數見表2。MPLS 算法作為一種線性建模方法，顯然對于波動較大的輸出數據的預測性能較差，特別是預測曲線中的峰值點和谷值點，都沒有達到良好的預測結果。

圖4 示出了輸出變量RMSE 值的變化曲線圖。通過表2 和圖4分析，當標記數據所占天數僅為1 d時，Tri-training MPLS 模型中的SS-E、SNO-E、COD-E和BOD5-E 的RSME 值 均 小于Co-training MPLS 模型的RSME 值。因此，在標記數據極少的情況下，Tri-training MPLS 模型對于污水處理過程中的重要指標參數的預測能力優于Co-training MPLS 模型。但觀察發現，在標記數據為1 d 時COD-E 的Cotraining MPLS模 型 和 Tri-training MPLS 模 型 的RSME 值分別為257.12 和64.37，明顯偏大。隨著標記數據所占天數的增加，各個輸出變量的RMSE 值均在減小，尤其是COD-E 的RSME 值由257.12 和64.37 迅速減小到2.49 和2.50。這說明當標記樣本較少時，對于波動較大的輸出變量，Co-training MPLS 模型和Tri-training MPLS 模型需要通過少量的標記數據將建立2 個或者3 個回歸模型，導致模型不準確，預測表現不佳。當標記數據充足時，兩個模型均能通過標記數據建立更準確的預測模型，并且通過未標記數據訓練模型，對多個輸出變量進行精

準的預測。綜上所述，在僅僅具有少量的標記數據情況下，Tri-training MPLS模型對多個輸出變量的預測效果優于Co-training MPLS 模型；當標記數據增多時，兩種模型的預測表現差別不大。

表1BSM1 平臺中的變量Table1Variables of the BSM1 platform

圖3兩種模型的預測曲線和DFig.3Prediction curves and D of two models

表2輸出變量的RSME 值Table2RMSE values of output variables

圖4不同標記樣本率下的RMSE 變化曲線Fig.4RMSE curves under different labeled data rates

表3 列出了兩種模型在不同標記樣本率下的時間消耗對比結果。無論是Co-training MPLS 模型還是Tri-training MPLS 模型，隨著標記樣本率的增加，時間消耗也在增加。在相同的標記樣本率下，Tri-training MPLS 模 型的 時間 消耗 相對 于Co-training MPLS 模型有所增長，這主要是因為3 組標記數據子集的訓練要比2 組費時，但是Tri-training MPLS 模型的預測結果較好。

表3不同的標記樣本率下的時間消耗Table3Time consumption under different labeled data rate

4 結 論

針對多輸出系統中的軟測量建模問題，當輸入和輸出數據嚴重不平衡時，本文提出了一種新的軟測量模型?Tri-training MPLS 模型。通過污水處理仿真模型BSM1 平臺的仿真研究，驗證了模型的有效性。仿真結果表明，雖然Tri-training MPLS 模型在預測時間上相較于Co-training MPLS 模型有一定的滯后，但在預測效果上卻有明顯的提升，尤其是對重要的出水指標COD-E，其RSME 值比Co-training MPLS 模型平均減小26.46。該模型為多輸出系統中難以測量的變量預測問題提供了一個有效的解決方法。然而，不難發現，模型對于峰值點和谷值點的預測效果不佳。在實際的工業生產過程中，也會存在著正常波動和離群點，影響模型的預測表現。針對這一問題，下一步的研究會將Tri-training 算法與非線性的多輸出回歸算法結合，并且，在建模之前對數據進行標準化處理，以降低因數據波動對預測表現造成的影響。