基于CAE-DNN 的多工序質量預測方法

楊 靜，董寶力

（浙江理工大學機械與自動控制學院，浙江杭州 310018）

0 引言

傳統產品過程質量管控以抽樣檢查和統計方法為主，存在管控滯后問題，無法根據監測到的過程質量數據及時反饋產品信息［1］。隨著產品復雜度提高，過程質量數據急劇增多且存在噪聲數據［2］。針對多工序生產過程質量數據的多特征、多噪聲特性［3］，建立產品質量預測模型，可以更好地利用產品過程質量數據對生產過程進行實時監控與分析，對保證產品生產質量具有重要意義。

多工序質量預測研究較多，梳理出以下研究內容：針對加工樣本數據不足和加工誤差難監測等問題，研究賦值型誤差傳遞網絡多工序加工質量預測方法［4］；采用PSO 算法優化支持向量機參數，用于質量預測模型的尋優［5］，但該方法未考慮數據本身對模型性能的影響；在多工序質量預測中采用尺寸關聯和偏最小二乘算法提取關鍵特征［6］，但未考慮數據噪聲和小樣本問題；針對數據特征復雜、高維、多噪聲和異常值等問題，采用PCA 與改進的RNN 構建產品質量預測模型［7］；考慮數據類型的不同，在質量預測模型訓練階段采用半監督堆疊自編碼器（SS-SAE），自適應調整訓練策略［8］。多工序質量預測需要綜合考慮過程質量數據，但針對多特征、多噪聲的研究較少。

深度學習是產品質量預測的一種機器學習方法，利用深度置信網絡（DBN）進行無監督特征學習，將學習到的特征輸入質量預測模型［9］；采用DFAEs 進行無監督學習，完成軸承故障模式識別［10］；采用Autoencoder-BLSTM 混合模型，對航空發動機壽命進行預測［11］。以上研究中未考慮數據噪聲問題，不適于多工序過程質量預測。

本文以多工序制造為研究對象，針對多工序制造過程質量數據多特征、多噪聲特性，提出一種基于收縮自編碼器—深度神經網絡CAE-DNN 的質量預測模型。通過訓練CAE 特征提取原始數據中存在的噪聲，提升DNN 預測模型的魯棒性，增加BN 層、Dropout 和L2 正則化。以天池TFTLCD（薄膜晶體管液晶顯示器）的生產過程質量數據為例，研究建立多工序質量預測模型。TFT-LCD 生產及工序復雜，產品關鍵工序影響因素眾多。同時，由于過程質量數據測量、采集精度、設備工況漂移等因素，不可避免地產生大量噪聲數據。由于生產過程相對穩定，采集到的過程質量數據較為相似，有效樣本少。因此，在多工序的過程質量預測研究中，需要重點研究過程質量數據的多特征、多噪聲等問題。

1 收縮自編碼器

自編碼器［12］是一種基于無監督學習的神經網絡，可將高維數據映射為低維數據，相關研究表明自編碼器亦可用于數據降噪［13-14］。自編碼器主要由編碼網絡和解碼網絡構成，層級結構包括輸入層、隱藏層和輸出層，隱藏層輸出即為壓縮后的特征，其拓撲結構如圖1 所示。

Fig.1 Autoencoder network structure圖1 自編碼器網絡結構

編碼網絡對輸入的過程質量數據X進行編碼，得到編碼特征h，解碼網絡將h解碼為X'，期望重構出原始輸入X，公式如下：

其中：f 和g 為激活函數。

收縮自編碼器（CAE）由Rifai 等［15］提出，它在普通自編碼器的損失函數上添加了一個正則懲罰項。相較于其它類型的自編碼器［16-17］，CAE 不僅可以很好地重建輸入信息，而且對一定程度下的擾動具有不變性［18］，即能夠減少模型對噪聲數據的敏感性，使得模型具有更強的魯棒性。CAE 主要是通過懲罰隱藏層表達式的Jacobian 矩陣的F 范數來達到抑制數據噪聲的目的，公式如下：

收縮自編碼器目標函數如下：

其中：L為均方差損失函數，λ為控制懲罰力度的超參數。

2 CAE-DNN 混合質量預測模型

CAE 的預訓練是一個不斷學習數據特征、進行特征提取的過程，同時也為DNN 提供合理的初始參數。如圖2 所示，在CAE 完成預訓練后，對CAE 的權重和偏置初始化，最后一層網絡參數隨機初始化，利用特征提取層提取的特征完成過程質量預測。在過程質量預測模型訓練中采用反向傳播算法微調網絡參數，提高預測模型性能。本文在預測模型訓練階段對整個網絡的參數進行優化，加快網絡訓練速度，避免只對最后一層網絡參數進行調整而陷入局部最優解。

Fig.2 CAE-DNN hybrid model structure圖2 CAE-DNN 混合模型結構

由于神經網絡的復雜性以及數據集中存在噪聲數據，在訓練過程中經常會發生過擬合現象，導致網絡模型在訓練集上的精度遠遠高于測試集，且網絡模型越復雜越容易發生過擬合現象。為降低DNN 的復雜度，改善DNN 的過擬合現象，本文加入BN（Batch Normalization）層、Dropout 和L2 正則化。

（1）BN 層也是網絡中的一層，能夠將隱藏層輸出分布強制轉換為均值為0、方差為1 的標準正態分布，使得非線性激活函數的輸出值處于輸入比較敏感的區域，從而避免發生梯度消失問題［19］。

（2）Dropout 在深度學習網絡訓練過程中，將神經網絡的神經元按照一定概率從網絡中丟失［20-21］。Dropout 一方面簡化神經網絡結構，減少訓練時間，另一方面每個神經元都以一定的概率出現，使兩個相同的神經元不能保證同時出現，權值更新不再依賴于固定神經元的共同作用，改善了DNN 的過擬合現象。

（3）L2 正則化是在原始損失函數基礎上添加一個正則項，即各層權重Wj的平方和，使顯著減少目標值方向上的參數相對保留完好，對無助于目標值方向上的參數在訓練過程中因正則項而衰減。

由于特征參數的量綱各不相同，為了消除不同量綱對模型性能的影響，在數據輸入模型前要對數據作歸一化處理，將數據映射到0～1 之間，公式如下：

其中，xi，j為第i個輸入樣本的第j個特征值分別為樣本數據中第j個特征的最大值和最小值，xnorm為歸一化后的特征。

3 實例分析

3.1 數據集說明

本文選取天池工業AI 大賽—智能制造質量預測中關于TFT-LCD 的過程質量數據。數據包含各工序的機臺溫度、氣體、液體流量、功率、制成時間等因子。過程質量數據總共500 樣本，合計8 029 個字段，表1 是其中部分質量預測數據。第1 個字段為ID 號碼，TOOL_ID 字段表示使用的機臺種類，剩余字段的名字用于區分不同工序，字母X 前的數字表示工序編號，X 后的數字表示該工序中的參數編號，如210X1 表示210 工序中的第1 個參數。

Table 1 Example of experimental data表1 實驗數據示例

3.2 數據集處理

數據處理使用Python3.7、Sklearn 和TensorFlow2.2 等工具。對樣本數據整理發現，過程質量數據集存在大量的重復數據、單一值以及大量缺失值，需對數據進行一定的預處理。

在Python3.7 環境下，借助Pandas 模塊處理異常值、去除重復字段、單一值字段和缺失值字段。如對數據中存在突然增大和較小的值采用均值進行填充和替換，如圖3（a）所示，處理后的數據分布如圖3（b）所示。此外，用來表示機臺的字段采用One-hot 編碼數值化。上述預處理后的有效特征變量為3 353 個。

Fig.3 Feature data distribution圖3 特征數據分布

3.3 參數設置

經預處理后的有效特征為3 353，隨機選取400 條數據作為訓練集，剩余數據作為測試集。對劃分后的數據集進行反復試驗，最終選擇CAE 網絡結構為｛3 353，1 600，500，64，500，1 600，3 353｝，學習率lr=1×10-4，懲罰力度參數λ為0.05，批尺寸bach_size=50，迭代次數epochs=5 000，DNN 的網絡結構為｛3 353，1 600，500，64，16，1｝，學習率lr=1×10-4，Droptout 數據特征保留率keep_prob=0.9，批尺寸bach_size=50，迭代次數5 000。本文采用激活函數Relu，評價指標采用均方誤差（Mean Square Error，MSE），公式如下：

未添加BN 層和全局平均池化層的預測模型為FCAE-DNN，圖4 為本文所用模型與CAE-DNN 模型在相同參數條件下的訓練過程。實線為訓練過程曲線，虛線為測試過程曲線。根據收斂速度，F-CAE-DNN 更具優勢，但隨著訓練次數的增加，F-CAE-DNN 在測試集上的誤差有緩慢增加趨勢，而CAE-DNN 則趨向于一個穩定值；根據模型的泛化性能指標，CAE-DNN 在訓練集與測試集上的MSE值分別為0.015 5 和0.018 3，F-CAE-DNN 的MSE 值分別為0.014 9 和0.027 8，CAE-DNN 在測試 集上的MSE 值小于后者，具有更好的泛化性能。

Fig.4 Training process comparison圖4 訓練過程比較

預測模型訓練完成后，將測試數據集輸入模型進行驗證。預測結果如圖5 所示，其中實線表示測試樣本的實際值，虛線表示測試樣本的預測值，從圖中可以看出預測值與實際值非常接近，模型預測精度較高。

3.4 結果比較

為了定量分析模型性能，本文采用均方誤差（MSE）和每百個樣本的預測速度（每百個樣本預測耗時）進行模型對比。將上述實驗結果分別與自編碼器—深度神經網絡（AE-DNN）、深度神經網絡（DNN）、PCA-BP 神經網絡、PCA-SVR 進行比較驗證。

Fig.5 Comparison of CAE-DNN quality prediction results圖5 CAE-DNN 質量預測結果比較

（1）在AE-DNN 中，AE 的損失函數中無正則懲罰項，其它層與CAE 對應層相同，隱藏層采用Relu 作為激活函數。

（2）在DNN 中，無預訓練，隱藏層采用Relu 作為激活函數。

（3）在PCA-BP 中，降維后的數據維度設置為64，BP 網絡全連接層數設置為3 隱層，激活函數使用Relu，各層節點數為｛64，16，1｝。

（4）PCA-SVR 中，降維后的數據維度設置為64，選用高斯核函數，采用網格搜索尋找最優參數并使用5 折交叉驗證，超參數設置為｛C=0.1，gamma=1｝。

不同模型預測結果分別如圖6—圖9 所示，不同實驗方法結果對比如表2 所示。

從圖6—圖9 可知，與其它4 種預測模型相比，CAEDNN 的樣本實際值（實線）與預測值（虛線）擬合程度最好，表明其預測精度最高，PCA-SVR 實際值與預測值偏差最大；由于噪聲數據影響，與CAE-DNN 對比的4 種模型存在部分實際值與預測值有較大誤差情況，而CAE-DNN 每個樣本預測結果都比較精確，抗噪聲能力較強。表2 的模型預測性能評價指標反映出CAE-DNN 與其它4 種模型對比具有較好的預測精度。

Fig.6 Comparison of AE-DNN quality prediction results圖6 AE-DNN 實際值與預測值對比

Fig.7 Comparison of DNN quality prediction results圖7 DNN 實際值與預測值對比

Fig.8 Comparison of PCA-BP quality prediction results圖8 PCA-BP 實際值與預測值對比

Fig.9 Comparison of PCA-SVR quality prediction results圖9 PCA-SVR 實際值與預測值對比

Table 2 Comparison of results of different experimental methods表2 不同實驗方法結果比較

通過比較實驗得出本文的M1DC-CAE 模型具有以下優點：

（1）CAE-DNN 與AE-DNN 相比，加入正則懲罰項使模型對輸入數據在一定程度下的擾動具有不變性，可以減少模型對噪聲數據的敏感性，使預測精度提升27.68%。

（2）AE-DNN 與DNN 相比，通過AE 的預訓練可以為DNN 提供一個較為合理的初始參數，從而提升預測精度。

（3）與F-CAE-DNN 相比，BN 層、Dropout 和L2 正則化的加入共同改善了CAE-DNN 的過擬合問題，提高了模型的泛化能力。

（4）與PCA-BP 和PCA-SVR 相比，CAE-DNN 特征提取和邏輯推理能力強，更適合處理多工序生產過程質量數據。

結論：本文實驗所涉及的質量預測模型中，CAE-DNN的預測精度和性能相對最好，擬合復雜工序過程質量數據非線性程度最高。

4 結語

針對多工序制造數據多特征、多噪聲特性，本文提出一種基于CAE-DNN 的多工序產品質量預測方法，并在天池智能制造數據上展開實驗。CAE 的預訓練為DNN 提供了一個合理的初始化參數，同時抑制了噪聲數據，提高了預測精度。經算例驗證，相比AE-DNN、DNN、PCA-BP、PCA-SVR 等方法，本文的質量預測模型具有更好的預測精度，對實現生產過程質量的實時預測具有重要意義。但本文方法效率不佳，不適用于實時性要求很高的場合。后續將繼續優化神經網絡結構，提高神經網絡計算效率。