現代流程工業的機器學習建模

趙順毅，陳子豪，張 瑾，欒小麗，劉 飛

(江南大學自動化研究所，輕工過程先進控制教育部重點實驗室，江蘇 無錫 214122)

0 引言

流程工業是通過反應、分離、混合、成型等物理、化學變化，使生產原材料增值的行業。圍繞流程工業對象的建模工作，既是過程控制和優化的基礎，又是流程工業向智能化轉型的基石。然而，隨著工業制造技術向智能化的發展和革新，現代化的流程工業裝置集成度日漸提高，結構漸趨復雜，工藝復雜度上升，從單變量簡單系統向兼有非線性、強耦合性及不確定性等多重性質的多變量復雜系統變遷。通常，為反映過程的主要變化規律及清晰地描述系統行為，需在流程工藝機理分析的基礎上，依據物料平衡、熱量平衡及化學、生物反應動力學，建立對象的機理數學模型。一方面，機理模型可反映流程工業生產過程中性能指標與各變量的相互關系，便于分析輸入與輸出裝置工況并量化各環節中的綜合指標；另一方面，機理模型可以指導生產工藝及設備的設計，通過對設備數學模型的分析和仿真，追溯影響被控過程動態特性的主要因素。然而，機理建模很大程度上依賴于對過程機理的認知。由于有現代流程工業中往往伴隨著復雜的物理化學甚至生物變化，很難建立其準確的機理模型。另外，由于內外因素影響常常具有非平衡、非穩定和強非線性等特點，造成機理建模成本高、難度大，準確性和可靠性難以保證，還容易導致失配等問題。

數據驅動是解決機理不清晰對象建模的有效方法。該方法利用離線、在線數據來描述對象的運行規律和相關模式，可以實現流程工業過程對象的性能指標建模。在諸多數據驅動建模方法中，以機器學習為核心的策略近年來已成為流程工業中的研究熱點[1-4]。本文聚焦現代流程工業，概述機器學習算法的基本理論和研究應用，依次闡述典型單層機器學習算法研究及應用，深度學習模型構筑的基本理論、算法基礎和變式應用以及基于流形學習方法的流程工業對象建模研究和應用。

1 單層機器學習

單層機器學習區別于深度學習，是對沒有逐層提取層次特征機器學習算法的一種統稱。從另一個角度來看，機器學習算法又可分為無監督學習和有監督學習。由于單層無監督機器學習算法在流程工業中已有廣泛探討，本文側重于有監督單層機器學習，主要目標任務為分類與回歸。

1.1 分類

分類算法多用于實現流程工業對象的故障檢測、識別和診斷，常用的分類算法有k-近鄰(k-nearest neighbor,kNN)算法、支持向量機(support vector machines,SVM)、樸素貝葉斯、隨機森林。

1.1.1 kNN算法

kNN算法是一種可用于分類的懶惰學習方法[5]，在給定測試集的情況下，該方法利用某種距離度量來挑選和測試集最相似的k個訓練樣本，然后基于這k個鄰居的信息來預測新樣本的歸屬。對于分類任務，預測往往基于“投票法”，即新樣本的類別標簽根據k個訓練樣本出現最多的類別來選定。

kNN的理論依據非常簡單，易于理解，適合處理非線性數據集的多分類問題，被廣泛地應用于流程工業故障檢測和診斷中。例如，為了適應多模態批量軌跡非線性和非高斯分布的工業對象，2007年，He等提出了一種基于kNN的故障檢測方法[6]。針對FD-kNN密集計算量大、存儲量大、不利于在線過程監控的問題，Yang等人提出了一種基于陸地標記的譜聚類的kNN故障檢測方法[7]。2015年，Zhou等考慮到主成分分析(principal component analysis,PCA)降維可能扭曲樣本軌跡之間的距離，提出了一種基于距離保持的隨機投影算法和kNN的故障檢測方法[8]。

基于kNN的故障檢測方法對非線性多模態數據集具有適應性，借助PCA等特征提取算法可有效地解決由遍歷未知樣本到所有已知樣本的距離而引起的時間復雜度問題。然而，數據維度越高，基于歐式距離的kNN算法的區分能力就越弱。同時，kNN算法可解釋性差，無法給出分類的明確規則。

1.1.2 隨機森林

隨機森林(random forest,RF)算法是一種由決策樹構成的機器學習算法，它將弱分類器組合成森林，從而減小模型中參數估計的偏差。對高維數據、特征遺失數據、不平衡數據的處理是隨機森林的長處[9-10]。模型的多樣性和每個模型的強度被認為是隨機森林學習性能的兩個關鍵命題。為提高分類樹之間的多樣性和隨機森林中個體分類樹的性能，采用層次聚類方法對隨機森林中的離線模型進行選擇，可以同時降低在線故障分類復雜度。

在諸多RF算法中，基于Bagging的隨機森林算法在分類任務上具有得天獨厚的泛化能力。為適應不同的工業對象，也出現了諸多不同融合與變式算法。例如，2018年Liu等提出了一種基于層次聚類選擇的加權隨機森林方案，用于復雜工業過程中的故障分類[11]；Zhang等結合風力發電流程背景提出了一種結合XGBoost的隨機森林故障檢測框架[12]。值得指出的是，對于樣本數較少的工業數據集，基于Bagging的隨機森林不能產生很好的分類結果。

1.1.3 SVM

SVM是一種利用超平面劃分樣本的分類算法。若存在非線性關系時，SVM還可通過核函數將數據映射到高維特征空間進行分類。對于樣本少、高維、非線性數據集等情形，SVM有著不可替代的優勢。在集成學習和基于深度神經網絡結構之前，SVM基本占據了分類模型的主流。特別在流程工業領域中，故障樣本數量相對較少，但信號數據易于采集的情況下，SVM算法在連續過程故障檢測和診斷任務上應用非常廣泛[13]。

針對過程數據中正常和各故障下樣本不平衡，單類支持向量機作為一般SVM的一種變式，能夠在過程數據維度很高或對相關數據分布沒有任何假設的情況下，檢測奇異樣本或者離群樣本。典型應用有Mahadevan等提出的一種基于遞歸特征剔除單類支持向量機的故障檢測與診斷方法[14]。2014年，Yin等提出了一種魯棒性單類支持向量機，使離群樣本對單類 SVM的決策邊界影響較小，同時也引入了距離度量和相應的閾值[15]。由于工業中故障數據存在高相關性以及噪聲，Nor等結合了小波分析、核Fisher判別和SVM算法等優勢，提出多尺度故障分類診斷方法[16]；Ghalyani在多標簽SVM的基礎上融入模糊思想，在工廠的冷卻循環露點過程中取得不錯的效果[17]。針對存在變量漂移的動態過程， Gul等使用增量支持向量機使得SVM能夠適應變量的變化趨勢[18]。

1.1.4 貝葉斯網絡

貝葉斯網絡(Bayesian network,BN)是一種簡單的因果推理模型。Gonzalez 等利用貝葉斯網代替PCA和獨立主成分分析(independent component analysis,ICA)來進行過程監測，使得提取后的變量具有可解釋性，并結合核密度估計方法來處理非高斯過程的數據[19]；Dey等利用貝葉斯網絡診斷加工過程中狀態變化的根本原因[20]。為了改善貝葉斯網絡的效果，Zhao等提出了三層網絡結構的貝葉斯網絡來進行冷水機的故障檢測和診斷[21]。Cai等建立了一種與故障層直接相連的新層，稱為觀測信息層，提高了故障診斷的準確性，并將其應用于多傳感器數據融合的地源熱泵故障診斷[22]。Adedigba等提出基于利用PCA 和BN 的綜合動態失效預測分析方法[23]；Yang等將案例推理與BN結合，提出了一種基于故障模式及影響分析的案例推理方法[24]。

針對整個工廠的大規模過程，Zhu等提出系統的分布式貝葉斯網絡建模方法[25]。考慮數據復雜性和過程不確定性，Wang等改進了BN算法，使用過程知識和數據驅動相關分析結合的混合技術來確定BN網絡結構[26]。針對過程的動態特性，Amin等提出了基于動態貝葉斯網的故障檢測、根源診斷和故障傳播路徑識別方案[27]。

1.2 回歸

在流程工業中，回歸分析常用于軟測量和質量監測。較為廣泛使用的有監督回歸算法包括：主成分回歸法(principal component regression,PCR)、偏最小二乘回歸(partial least squares regression,PLSR)、支持向量回歸(support vector regression,SVR)。

1.2.1 PCR

PCR是一種針對高維數據的回歸算法，其核心思想是通過數據降維，消除自變量中相關性的重復。考慮流程工業數據集的不規則采樣；Ge等人引入貝葉斯正則化的基于半監督主成分回歸的軟測量建模方法，有效地融合了未標記過程數據信息[28]；Yuan等提出了一種在實時學習框架下的基于局部加權核主成分分析的軟測量方法，使模型具有對非線性關系的擬合能力和實時更新能力[29]。考慮數據集樣本不均衡、多工況非線性對象；Zhu等提出了一種基于混合半監督貝葉斯主成分分析的軟測量模型[30]。

主成分分析僅考慮了過程變量之間的相關性，并沒有將過程變量與目標變量之間的相關性納入模型范疇。這使得工業數據特有的過程變量信息冗余性的問題沒有得到解決。

1.2.2 PLSR

PLSR是一種可用于多因變量對多自變量建模的分析方法。在軟測量建模中，若數據量小于變量維數，其效果一般優于主成分回歸[31]。在諸多應用場景中，PLSR已被證明能夠捕捉局部工況或者模式下的過程數據和指標之間的線性關系。考慮過程數據中的動態變化，Wang等基于石化工業產品質量實時軟測量背景，在建模過程中覆蓋過程數據中的動態變化，實現動態偏最小二乘(dynamic partial least squares,DPLS)軟測量[32]；Galicia等為DPLS提供了理論分析與驗證并提出了一種基于降階DPLS的軟測量方法[33]。除基于DPLS外，Kaneko等也提出了利用基于ICA的故障檢測與分類模型對目標變量進行預測，對PLSR模型進行適當的模型更新[34]；Liu提出快速移動窗口算法來實現PLSR模型的實時更新，并應用于預測空氣分離過程中的氧濃度[35]；Poerio等提出了一種基于高度重疊的遞歸PLS的軟測量方法，以多局部模型集成、遞歸的形式，提高在線更新和對動態過程數據的魯棒性[36]。針對不規則采樣的問題，Zheng等提出了一種基于半監督概率偏最小二乘的軟測量模型，對聚丙烯生產工藝流程進行分析[37]。

值得注意，無論是PCR或是PLSR，其特征提取均只捕捉了變量間的線性關系，并不能有效地將非線性關系納入考慮范疇。為此，提出了各類核函數的方法，但所涉及核函數的種類和伴隨而來的超參數對于一般過程數據很難實現自適應。

1.2.3 SVR

SVR是一種常用的非線性建模方法，其策略是運用非線性變換函數將非線性數據映射到高維特征空間，再利用線性回歸方法進行建模。為應對流程工業對象發生漂移工況，Kaneko提出了一種基于結合時間變量的在線SVR的軟測量模型[38]；并基于預測精度和計算時間選擇合適的超參數和窗口大小，對上述軟測量方法進行優化與理論分析[39]。針對間歇過程，Jin等提出了一種基于局部學習和在線SVR的批處理多模型自適應軟測量方法[40]。基于同策略，Zhang等提出了一種基于局部目標集參數優化的最小二乘支持向量機的軟測量模型及該方法的分布并列式框架[41]。

2 深度學習

近年來，深度學習作為一種基于大量可用數據與計算機強大計算能力的特征提取方法，進入了人們的視線，其深層結構所獨有的特征重用、抽象以及不變性等特征，能夠較好地適應復雜結構和高維大樣本的特征提取。具體說，特征提取算法旨在從原始復雜數據中最大限度地提取出蘊含特異性信息的不變性特征。相較于傳統機器學習，深度學習僅需要處理一階原始特征，模型結構會自發地學習到對象或系統的抽象特征表示[42-44]。

根據不同的特征提取原理，典型的深度學習結構有自編碼器、深度置信網和卷積神經網絡。

2.1 自動編碼器

作為PCA的衍生，2006年由Hinton提出的自動編碼器(autoencoder,AE)是一種無監督的深度學習算法，可根據項目的特定需求，自動地將輸入數據轉換為不同維度的編碼[45]。一般地，自編碼器的優化是通過反向傳播重構輸入與原始輸入之間的重構誤差實現的。重構誤差可以作為數據壓縮過程中信息丟失的度量。它可以通過計算重構輸入和原始輸入之間的均方根誤差以及交叉熵等來量化。最終通過AE對特征提取模型進行貪婪逐層預訓練[46]，以確定每層自動編碼器權值矩陣的初始參數值。基于目標變量的標簽值，通過最后一層全連接層以誤差反向傳播的形式，以微調整個深度神經網絡。

受模型復雜度、訓練集數據量以及數據噪聲等因素的影響，通過AE得到的初始模型往往存在過擬合的風險。降噪自動編碼器(denoising autoencoder，DAE)是AE的一個特殊版本[47]，力圖在盡可能保留關于原始輸入的本征信息的同時，消除應用于AE輸入數據的隨機噪聲或損壞的影響。DAE兼具深度網絡結構和降噪功能所提供的泛化能力和對有限輸入擾動的魯棒性，故在流程工業領域中魯棒建模、軟測量亦或是過程故障檢測和診斷都有著其應用的優勢。Zhang等提出了一種基于疊加去噪自動編碼器(stacked denoising autoencoder,SDAE)和kNN的非線性過程監測方法[48]；Yan等提出了一種基于DAE的軟測量建模方法，采用改進的梯度下降法對深度網絡結構模型的參數進行迭代更新[49]。

2.2 深度置信網絡

深度置信網絡(deep belief networks,DBNs)是一個無監督概率生成模型。與傳統判別模型相對，生成模型是建立觀察數據和標簽之間的聯合分布的評估[50]。受限玻爾茲曼機(restricted boltzmann machines,RBMs)是深度置信網絡的基礎模塊。DBNs是一種圖形模型，它學習提取訓練數據的深層抽象表示，兼有對先驗知識和后驗知識學習與評估的特性，因此適用于故障識別和診斷等需要考慮因果關系的任務。例如，Gan等針對機械系統的多層次故障診斷任務，提出了一種具有小波包能量特征的層次故障診斷網絡[51]。Tao等提出了一種結合多振動信號和DBNs的故障診斷方法，利用DBNs的特征提取能力，自適應融合多特征數據，識別各種軸承故障[52]。相似地， Zhang等提出了一種基于DBNs和多傳感器數據融合的智能球螺旋退化識別方法[53]；Sha等以滾動軸承為對象，提出了一種局部線性嵌入連續DBNs的故障檢測方法，以適應高維非線性結構的數據[54]。

2.3 卷積神經網絡

卷積神經網絡(convolutional neural networks,CNN)是一類包含卷積計算且具有深度結構的前饋神經網絡，訓練時可以選擇依據標簽或目標變量的監督學習，也可選擇無標簽或目標變量的非監督學習。其隱含層由共享參數的卷積核的卷積層和具有稀疏性的池化層組成，使得卷積神經網絡能夠在訓練過程中以較小的計算量對格點化特征進行學習，且對輸入數據的特征沒有額外要求。一般地，CNN由以下三種層結構構成：①卷積層由若干卷積單元組成;②池化層由非線性池化函數組成，旨在實現對特征的降采樣;③全連接層位于網絡末端，由一般的全連接網絡組成，旨在特征提取完成后，完成分類任務。

CNN對具有格點化特征的圖像數據進行特征提取有著獨有的優勢。即針對先進檢測儀器所采集的數據，例如光譜數據和熱成像數據等，CNN可表現出超越其他特征提取算法的優越性。2018年Le等提出一種基于光譜分析儀的卷積神經網絡-極端學習機(convolutional neural network-extreme learning machine, CNN-ELM)煤樣分析方法。采用該方法對煤樣的水分(%)、灰分(%)、揮發性物質(%)、固定碳(%)、硫(%)含量及低熱值(J/g)進行了回歸分析[55]；Wen提出了一種CNN故障診斷方法，通過將信號轉換為二維圖像，提取轉換后的二維圖像特征，并在電機軸承數據集、自吸離心泵數據集和軸向柱塞液壓泵數據集上取得了良好的故障診斷準確率[56]。

3 流形學習

根據流形分布定律——高維數據往往分布在低維流形附近，流形學習能直接學習這種流形結構，從而提取數據中的目標信息。相比其他維數約簡的方法，流形學習不再使用均值和方差這類的統計性質，而是直接使用流形的幾何性質，如測地線距離、局部歐式空間性質、切平面性質[57-58]等。

在過程監測和故障診斷中，典型多元統計方法PCA和PLS學習的是高維數據的全局性質，而流形學習針對的是數據的局部信息。典型流形學習算法有鄰域保持嵌入和局部保持投影。它們分別保留了與局部線性嵌入和拉普拉斯特征映射相同的學習非線性流形結構的能力，還可以對函數進行線性估計，具有良好的泛化能力。

3.1 局部保持投影

局部保持投影(locality preserving projection,LPP)是一種能較好保持非線性流行結構的線性流形學習方法，它的特點是觀察空間里相鄰的點在投影后也能保持相鄰關系。

作為一種線性流形學習方法，LPP已經成功應用于流程工業中，如批次過程監測。為了同時保留數據的全局和局部性質，Yu將LPP的思想引入PCA，提出局部和全局主成分分析算法[59]；Luo利用PCA的優勢改進LPP提出全局和局部保持投影算法[60]。近年來，許多研究者針對LPP提出了更多的改進方法，使其適用于更廣泛的過程監測。Zhong等為了利用測量數據和質量指標數據之間的關系，同時捕捉他們的流形并進行分析，提出質量相關的全局和局部偏最小二乘映射[61]；Song等為進一步提升監測效果，提出時空全局和局部映射方法，同時利用數據的時間和空間信息來構建領域，進而更好地捕捉數據的流形結構[62]。

3.2 鄰域保持嵌入

鄰域保持嵌入(neighborhood preserving embedding,NPE)是一種局部線性嵌入維數約簡方法。該方法首先構建一個矩陣來描述樣本點之間的局部歐氏空間性質，然后尋找一個使得局部性質能夠最大程度被保留線性映射。NPE及其改進算法在流程工業中的應用非常普遍，如Ma等考慮數據的全局和局部信息，提出了局部和全局嵌入算法[63]。Song等在NPE只考慮重構誤差的基礎上，提出雙重權重矩陣和強化的目標函數[64]。考慮到非單峰高斯分布的過程數據，Li等利用基于局部信息的統計方法學習多元高斯分布數據的優點，結合NPE提出空間局部統計方法進行過程監測[65]；針對動態過程，Hu等提出動態多路NPE進行補料間歇過程監測[66]。

4 結束語

目前，深度學習正在向流程工業領域滲透。深層網絡結構的算法所具有的靈活性是不可估量的。但深度學習仍存在其固有缺陷：①深度學習的深層網絡結構導致訓練用時增加，使得深度學習的在線更新難以實現；②隨著深度的增加，人為選定的每一層網絡神經元個數、激活函數、網絡層數等決定了模型所能達到的上限；③深度結構對于大數據量(或稱大信息量)的數據集具有強依賴性。

直接使用幾何性質的流形學習區別于基于統計理論的特征提取算法，在機器學習領域獨樹一幟，通過保留結構化數據的局部性質而非全局性質，以保留數據流形結構的幾何性質。流形學習在流程工業過程中的廣泛應用，還有諸多方面值得進一步探討：①在構建鄰域時，鄰域參數如何選取；②鄰域構建搜索算法的計算復雜度問題；③在流形學習的超參數中數據固有維數對學習效果影響；④流形學習算法多集中于無監督學習，如何利用樣本標簽的類別信息。

綜上，雖然機器學習在過程控制與優化領域中正逐步發揮不可替代的作用，但僅依賴于數據驅動模型也會為過程安全保障帶來風險。如何使機器學習更好地應用于流程工業，還需多學科進一步協同攻關。