數據驅動工業異常值檢測與容錯模型研究

錢 虹,張超凡,張凱文

(1. 上海電力大學，上海 200090; 2. 上海市電站自動化技術重點實驗室，上海 200090)

0 引 言

隨著工業自動化水平不斷提高，對工業過程控制數據的準確性和可靠性的要求也越來越高。工業過程數據在采集、傳輸、儲存過程中極易受工業噪聲、傳感器故障、I/O口接觸不良、惡意網絡假數據注入攻擊等因素干擾使得過程數據異常，控制系統難以實現閉環穩定運行[1]。因此，實時對工業過程控制數據進行異常檢測并對異常數據進行高精度恢復，實現系統可靠容錯運行，對整個工業生產過程安全、高效的工作是十分必要的[2]。

在工業控制現場，若輸入分布式集散控制系統(distributed control system，DCS)控制器的信號受外界因素干擾發生數據異常，并將異常數據代入后續的模型、控制量計算中，必將影響控制系統的性能，甚至導致整個控制系統崩潰。因此，實現對工業過程數據的異常檢測并對異常數據進行高精度恢復，維持系統短時容錯運行，是當下對整個工業系統安全可靠運行研究的熱點之一[3]。傳統硬件冗余法，雖然可以提高采集數據的可靠性和準確性，但其以高昂成本和系統復雜度的增加為代價。基于數據驅動的軟測量方法，在充分利用歷史數據的基礎上，可以對目標變量實現較高精度的觀測。對輸入DCS中的測量數據和軟測量結果進行殘差分析，可實現對實際測量數據狀態的檢測[4]。在目前的研究與應用中，當檢測到工業過程控制數據異常時，為維持系統短時容錯運行，常以異常前數據尾值、樣條插值、滑動平均值、軟測量模型的預測值替代異常數據值進行異常數據恢復，但數據恢復精度往往不能達到令人滿意的效果。

文獻[5-6]利用主元分析的方法對工業過程數據進行異常檢測，并利用數值計算中的插值方法進行異常點數據恢復，但忽略了輸入輸出之間的非線性關系，使得對異常數據的恢復精度不高。文獻[7-10]使用支持向量機(support vector machine，SVM)、神經網絡等智能方法建立軟測量模型對工業過程數據進行檢測，并用預測值替代異常數據，此類方法對數據的恢復精度取決于使用的軟測量模型的精度，而精度較高的軟測量模型往往結構復雜、計算量大，難以實現對過程數據的實時檢測。文獻[11]基于距離加權最近鄰(K-nearest neighbor，KNN)回歸算法對交通流異常數據進行恢復，但在驗證過程中沒有考慮到每個輸入特征對回歸值的影響不同，回歸精度有待提高。嶺回歸(Ridge regression,RR) 是一種以結構風險最小化為學習規則的算法，與神經網絡相比具有更高的泛化性能，特別是在樣本有限的情況下，效果更為明顯。文獻[12-13]分別將嶺回歸應用于內模控制和房價預測，其結果表明，嶺回歸的應用使得實驗結果均有所改善。

為了保證在傳入DCS控制器中的數據出現異常時工業控制系統仍能維持短時容錯穩定閉環運行，為運行人員采取應急響應措施贏得時間。本文提出基于KNN和Ridge回歸算法相結合對工業過程異常數據實現高精度恢復，并在此基礎上構建控制系統自切換容錯運行模型。在應用某電廠實際運行數據構建對SCR出口NOx排放軟測量模型的基礎上，對所提模型進行驗證及與其他數據恢復方法對比效果。結果表明，基于KNN和Ridge回歸算法對異常數據的恢復方法具有較高的恢復精度，能夠可靠地應用在工業容錯控制運行過程中，提高整個系統的安全性和穩定性。

1 異常檢測與容錯模型構建

本文構建的工業過程控制異常數據檢測與容錯運行模型，其整體原理框架結構如圖1所示。首先對控制系統的被調量，即輸出變量y構建基于徑向基核函數的支持向量回歸機(radial basis functionsupport vector regression,RBF-SVR)數據驅動軟測量模型，根據實時工況數據計算出預測值，然后將輸入異常值檢測模塊并結合實時測量值yi實時計算數據的準確度A，以此判斷實時測量的數據是否異常。當檢測到數據異常時，發出使能信號激活異常數據恢復功能，通過KNN算法從歷史運行數據庫中搜尋與異常數據輸入特征最近鄰的K個工況點并利用Ridge算法對這K個近鄰點進行回歸運算，實現對異常數據高精度的恢復。最后通過容錯切換機制實現工業控制系統發生數據異常時將Ridge回歸值替代異常數據，從而實現控制系統短時穩定容錯運行。

圖1 容錯運行原理框架結構圖

1.1 基于RBF-SVR軟測量模型

復雜工業過程控制中的部分關鍵工藝參數難以實現連續在線檢測，使得常規閉環控制系統難以實現。軟測量模型基于對大量歷史運行數據的訓練，具有一定的測量精度，既可應用于對許多難以連續測量的熱工過程參數進行監測，也可用于異常數據診斷[14-15]。考慮到實際工業現場計算機其配置和運行環境偏差的原因，如果使用需要較高算力的基于神經網絡等軟測量方法，雖然可以在測量精度上有所提高，但需要更換更高配置的計算機，經濟性變差，而且由于其復雜建模過程帶來的運行時間變長，也會使得模型實時性變差。支持向量機SVM遵循VC維理論，是結構風險最小化原則的應用，其具有小樣本、高維性、泛化能力強等優點，常用于建立軟測量模型[16-18]。

在相同硬件環境下分別使用線性回歸(linear regression,LR)、基于線性核函數的支持向量回歸機(linear-support vector regression,L-SVR)、基于徑向基核函數的支持向量回歸機(RBF-SVR)、隨機森林(randomforestregressor,RF)、深度神經網絡(deep neural networks,DNN)對經典波士頓房價數據集[16]進行建模回歸。為避免偶然性對結果產生影響，對各模型運行20次后計算均值。其模型構建時間、計算機內存占用、預測數據的均方根誤差 (root mean square error,RMSE)、平均絕對百分比誤差(mean absolute percentage error,MAPE)對比如表1所示。

表1 算法性能對比

由表1數據分析可知，基于支持向量機的軟測量方法與其他模型在訓練精度和預測精度相差極小情況下，訓練模型占用計算機的內存小、運行時間少[17-19]。在樣本數目較多、維數較高時采用徑向基核函數建立的支持向量回歸相比其他核函數模型具有更高的模型辨識度[20]。綜上本文軟測量采用RBFSVR模型。

對于訓練集T={(x1,y1),···,(xi,yi),···,(xl,yl)}，其中xi∈Rm為實例的特征向量，yi為1維目標變量實際測量值，l為樣本個數。構建回歸函數：

式中：w——權重；

b——閾值；

則SVR模型可表示為求解如下最優化問題：

式中：c——懲罰因子，本文取c=1；

ε——不敏感系數。

再令L對求偏導為零可得：

借助KKT條件求解出式(5)并帶入式(1)可得SVR模型預測值：

1.2 異常值檢測

為了判定工業過程數據是否異常，本文定義數據 (xi,yi)的準確度為：

系統正常運行時軟測量模型預測值和目標變量測量值的偏差在一定的范圍內，故其準確度也在固定范圍變化，即：

其中d為準確度閾值，可基于歷史運行數據利用統計學方法獲得。當檢測設備故障或由其他原因導致測量數據值出現異常時，數據準確度Ai將小于閾值d，異常值檢測模塊判定該實際運行點數據為異常數據點，此時所得的測量數據值已不能正確表示系統實際運行狀態。若控制系統在依此異常數據基礎上進行控制操作，必將使系統失去正常的運行條件，引起系統運行崩潰，甚至引發人員誤操作，釀成事故。

1.3 異常數據的KNN分類

出現異常數據 (xi,yi)時常以軟測量預測值代替異常數據值yi，但該方法的準確性受到軟測量模型的限制，往往不能有效的用于系統容錯運行中。為了提高故障點數據恢復精度，本文首先利用KNN分類器在歷史運行數據庫中將異常數據點對應的特征向量xi最近鄰的K個實例點選出組成數據集Nk，即：

其中 (xiK,yiK)表示異常數據點 (xi,yi)的第K個最近鄰點。這K個近鄰點和異常數據點的運行工況最為接近，其變量特征xik和 異常實例點變量特征xi在同一劃分范圍內，具有很強的相似性。然后對這K個點的輸出變量值進行加權平均操作得到修正后的預測值。具體步驟如下：

1) 根據給定的距離度量計算訓練集T中實例點 (xj,yj)與異常數據點 (xi,yi)的距離。其中距離一般為Lp距 離，即：

2) 將距離排序，選取距離最小的K個最近鄰實例點，并將涵蓋這K個點的鄰域記做Nk(xi)。

3) 在Nk(xi)中根據距離xi的遠近對K個實例點對應的輸出變量y={yt},t=1,2,···,K進行加權平均，得到xj的目標輸出變量值。即：

其中目標輸出變量yt對應的權重wt為：

1.4 基于Ridge算法提升數據恢復精度

KNN算法具有理論簡單、精度高的優點，如果僅根據K個最近鄰點對應的輸出變量進行距離加權平均得到回歸值，其忽略了實例樣本點特征向量xi中每個特征對目標變量回歸值的影響不同，其數據恢復精度可進一步提高。

線性回歸模型利用最小二乘法求解每個特征對應的最佳權值，以使得損失函數最小。其權值的大小反映了對應特征在預測中的重要性，但如果實例樣本點的個數K小于樣本點的維度m時，線性回歸模型將出現多解，且模型存在過擬合現象。Ridge回歸算法是基于線性回歸模型基礎上加入L2正則化項所得到的更加穩健的回歸算法，其把模型的解空間限制在一定的范圍內，來防止過擬合現象。故本文在KNN的基礎上對所選出的K個近鄰點使用帶L2正則項的多元線性Ridge回歸器進行數據擬合，使得其在輸入實例樣本點很少的情況下，也可以獲得較高的回歸精度。

對經KNN算法選出的K個近鄰值組成的數據集Nk(xi)其線性回歸模型為：

為了確定最佳的權重系數w?，引進損失函數：

其中yij為Nk(xi)中第j個數據點的目標變量測量值。對上式進行最小二乘參數估計可得線性回歸可求得Ll(w)最小時的參數w?。

由于Ridge回歸中加入L2正則化項，故Ridge回歸算法的損失函數為：

其中 λ為正則化系數，可以通過嶺跡法、網格法等方法求出。LR(w)的第一項表示對訓練實例點的擬合程度，與第二項正則項相結合來防止模型過擬合。且有：

其中I∈R(m+1)×(m+1)為單位矩陣。為了求最佳權重系數使得LR(w)最小，即：

常用的做法為對目標函數關于w求偏導數，一階偏導數為0時所對應的w即為最佳系數。 即：

加入L2正則化項，既可以保證當K

1.5 容錯切換

為了使控制系統在過程數據處于正常或異常狀態下都能閉環穩定運行，設置容錯切換模塊實現自切換功能。當測量數據值經過異常值檢測模塊計算其數據準確度在d≤Ai≤1范圍內時，表明實時測量數據正常，此時該模塊輸出y為實際測量值yi。否則，判斷測量數據為異常數據，輸出值y為經Ridge回歸修正后的預測值。即：

2 仿真驗證

2.1 數據獲取與變量選擇

本文以某電廠650 MW煤鍋爐SCR脫硝系統出口NOx濃度為目標輸出變量，從電廠分布式控制系統DCS中采集為期10日，采樣時間間隔為1 min，利用 3σ 準則去除異常無效值后最終獲得包含265 MW、270 MW、300 MW、310 MW、330 MW、360 MW、390 MW、395 MW、401 MW、410 MW、420 MW、500 MW、600 MW共13種穩態運行工況的共6 934組數據。其中每條數據樣本包含負荷、噴氨量、總風量等14個反映SCR脫硝過程的特征變量及脫硝出口NOx濃度輸出變量，其中部分數據展示如表2所示。

表2 部分仿真數據展示

由于SCR脫硝系統反應復雜多變，涉及諸多過程變量，且輸入變量之間存在多重共線性，不但使得建模過程變慢，而且影響軟測量模型的預測精度。因此剔除噪音變量，得到最優輸入變量集是建立快速、準確的數據軟測量模型的前提。本文通過公因子與主成分分析法進行變量提取。從圖2公因子分析特征值變化圖可以看出，前3個變量的信息量明顯較高，第9～14個變量并未出現明顯的斷層，信息量呈持續下降趨勢。進一步對各變量進行主成分分析，計算結果如表3所示。可以看出，前7個變量的累計方差貢獻為94.375%。

圖2 公因子分析特征值變化圖

表3 各主成分對應的特征值及其方差貢獻率

根據特征值與方差貢獻率的大小，最終選擇前7個變量作為NOx排放濃度SVR軟測量模型的輸入變量。那么i時刻模型對應輸入特征向量xi與目標輸出變量yi為：

式中：pi——負荷；

Ni與ni——脫硝系統入口、出口NOx濃度；

ki——噴氨閥門開度；

vi——噴氨量；

Ti——入口煙溫；

Hi、hi——脫硝系統入口、出口含氧量。

最終建立SCR脫硝出口NOx排放的EBF-SVR軟測量模型，如圖3所示。

圖3 RBF-SVR軟測量模型

2.2 仿真比較

本文在Windows系統平臺上借助編程軟件python實現本文所提的方法并進行結果展示。主體部分編寫兩個類函數，第一個類函數用于建立基于RBF-SVR對SCR出口NOx排放軟測量模型。第二個類函數用于實現異常數據的恢復和輸出切換。驗證程序的整體編程流程圖如圖4所示。

圖4 驗證程序流程圖

2.2.1 RBF-SVR軟測量模型

從6 934組數據中隨機選取6 240組數據作為基于RBF-SVR的NOx排放軟測量模型訓練樣本，剩下694組數據作為測試樣本。在RBF-SVR模型中徑向基函數的超參數 σ選取的好壞影響軟測量模型的預測精度和泛化能力，不同的數據集具有不同的最佳 σ。為了使建立的模型具有最佳的預測性能，采用帶有交叉驗證的網格搜索法（grid search with cross verification），以測試集數據的r2得分為指標，對超參數 σ進行尋優，得到如下圖5所示關于模型預測準確性和 σ學習曲線。最終確定對于本文使用的數據集最佳超參數 σ的值為14.21。

圖5 模型預測準確性和σ 關系曲線

應用RBF-SVR軟測量模型對SCR出口NOx排放計算效果如下圖6所示。從圖6中(a)、(b)中可以看出訓練值與測試值均緊密分布在理想直線上下，具有較小的方差和偏差，圖(d)中預測偏差也均勻分布在0值左右，表明所建立的軟測量模型能夠準確、可靠的反映 SCR 系統的反應特性和動態變化過程。將預測值與實際測量值帶入準確度計算公式(8)可得測試集數據的準確度，最終結果如圖7所示，可知當數據正常時，實際測量數據的準確度在[0.8,1]的范圍內變化，閾值d=0.8。

圖6 RBF-SVR軟測量模型訓練及預測效果圖

圖7 測試集數據的準確度

采用均方根誤差 RMSE、平均絕對百分比誤差MAPE和決定系數 作為模型評價指標。為避免偶然性影響預測結果，對所建立的出口NOx排放軟測量模型進行訓練與測試 20 次后取均值，最終得到模型性能如表4所示。

表4 RBF-SVR模型評價

從表4中數據可知，基于RBF-SVR的NOx排放軟測量模型，無論是對訓練樣本的擬合還是對測試樣本的預測，所建立的軟測量模型都具有較高的精度，擬合和泛化能力較強，能夠實現對目標變量即SCR出口NOx濃度的較高精度的測量，從而可以為判斷傳入DCS中的實際測量值是否異常提供參考依據。

2.2.2 基于KNN和Ridge回歸算法數據恢復方法驗證

為了更好驗證本文提出算法有效性，將測試數據中序號為490～498共9個點設為受外界干擾后出現的模擬異常數據點，設目標變量的異常數據值為[0，5]之間的隨機數。

應用RBF-SVR模型對出口NOx排放進行軟測量以實現對目標變量的數據狀態進行觀測。如圖8所示，當外界因素使得測量數據發生異常，其測得數據的準確度將越過正常數據的準確度區間[0.8,1]，這說明異常值檢測模塊能夠準確檢測出異常數據，為之后異常數據恢復以及容錯運行模型的建立提供可靠的使能信號。

圖8 異常數據點準確度

對于其中異常數據點 (xi,yi)，利用KNN算法在歷史數據庫中搜尋K個與故障數據特征xi最近鄰的工況點，在此基礎上進行KNN加權回歸或Ridge回歸分析以獲得更為精確的預測值。K值的選擇對回歸分析的結果會產生重大影響，較小的K值其近似誤差會變小，但模型變得復雜，容易過擬合，造成估計誤差會變大。K值較大時，效果相反。為了獲得本文使用數據集的最佳K值，以基于距離的KNN加權回歸法計算對異常數據的回歸精度為指標，同樣使用帶有交叉驗證的網格搜索法進行尋優，得到如圖9所示的K值學習曲線，可知當K=7時，應用KNN距離加權回歸法的RMSE和MAPE均為最小值，故對本文中使用的KNN分類器中的超參數K設為7。

圖9 不同K值下KNN回歸精度

考慮到KNN距離加權回歸算法忽略了各特征變量對回歸值的影響，故本文對異常數據 (xi,yi)的K個最近鄰點數據應用Ridge回歸算法進行數據擬合，得到基于Ridge算法的回歸值Ridge算法中正則化系數 λ的取值合適，往往能夠選擇出經驗風險與模型復雜度同時較小的模型。利用帶有交叉驗證的網格搜索法以Ridge算法對異常數據的回歸精度為指標對參數 λ進行尋優，得到如圖10所示的λ值學習曲線。可知當λ =4時，對異常數據恢復的RMSE和MAPE均為最小值，故將超參數 λ設為4。

圖10 不同λ 值下Ridge回歸精度

圖11 不同數據恢復方法效果對比

使用不同的數據恢復方法對異常數據點恢復效果對比如表5所示。當數據出現異常時，若以數據異常前尾值替代目標變量出口NOx濃度的測量值，異常恢復數據與真實原始數據之間的RMSE、MAPE較大，對于反應較快的工業過程，不能很好的反應過程量的變化，難以實現平穩閉環控制。若使用RBFSVR軟測量的預測值替代目標變量測量值，與異常數據原始值之間的 RMSE=4.575 4 mg/（Nm3），MAPE=8.687 9%，其恢復精度相對較低，不能滿足高精度可靠控制的要求。使用KNN算法回歸值替代測量值時，其回歸值為異常點K個近鄰工況數據點目標輸出變量值的距離加權平均，較軟測量模型預測值其數據恢復精度有所提高。在KNN的基礎上應用Ridge回歸算法進行異常點數據恢復，其考慮了每個特征變量對目標輸出變量的影響，恢復的數據與實際原始值之間的 RMSE=1.256 6 mg/（Nm3），MAPE=2.478 9%，與SVR軟測量模型相比，回歸精度提高6.209%。在工業過程數據出現異常時能夠提供更可靠的數據，維持系統短時容錯穩定運行。

表5 不同回歸算法對故障點數據恢復效果對比

3 結束語

工業過程控制數據的正確性和可靠性對于工業系統安全運行至關重要。本文建立基于RBF-SVR軟測量模型實現對目標變量測量值的異常檢測，改進工業數據異常時使用軟測量值、異常前尾值等替代測量值的方法，利用KNN算法與Ridge回歸算法結合實現對異常數據的高精度恢復，并在此基礎上構建控制系統容錯運行模型。采用電廠實際運行數據進行仿真驗證，結果表明，本文所提基于數據驅動的工業過程異常數據檢測及容錯運行模型，能夠準確檢測出異常值，對異常數據的恢復精度也高于使用異常前數據尾值、軟測量值或KNN加權回歸值等數據恢復辦法，能夠有效應用于對工業過程異常數據的恢復，實現工業生產過程安全、可靠的短時容錯控制運行。