基于Bi-LSTM的質量控制圖模式識別

伍常亮　朱波　萬育微　趙晟然

摘? 要： 為提高制造過程質量智能控制的控制效果，提出了一種基于雙向長短時間記憶網絡（Bidirectional LSTM，Bi-LSTM）的控制圖失控模式識別方法。文中分析了其分類的基本原理，構建了控制圖模式識別模型，并通過蒙特卡洛仿真方法生成仿真數據集，進行仿真實驗驗證。仿真實驗結果表明，Bi-LSTM用于控制圖模式識別，準確率相對多層感知機（MLP）、貝葉斯分類器有了顯著提升，相比支持向量機（SVM）具有效率上的明顯優勢，且在大樣本下識別準確率更高。

關鍵詞： 控制圖模式識別;深度學習;雙向長短時間記憶網絡;并行計算;蒙特卡洛仿真

中圖分類號： TP391.4? ? 文獻標識碼： A? ? DOI：10.3969/j.issn.1003-6970.2019.07.016

【Abstract】： In order to improve the control effect of intelligent control of manufacturing process， a method of recognition for out-of-control patterns in control chart based on Bidirectional LSTM （Bi-LSTM） is proposed in this paper. The basic principle of LSTM for classification is analyzed first. Followed by that， the pattern recognition model of control charts is constructed and a simulation data set is generated by the Monte Carlo simulation method for training and testing. The simulation experiments results show that the recognition accuracy of Bi-LSTM on control chart patterns is significantly superior than those of multi-layer perceptron （MLP） and bayesian classifier. In comparison with support vector machine （SVM）， it also shows obvious advantages in efficiency and gets higher recognition accuracy under the case of large samples.

【Key words】： Control chart pattern recognition; Deep learning; Bi-LSTM; Parallel computing; Monte Carlo simulation

0? 引言

控制圖作為統計過程控制（SPC）的核心工具，基于統計學的中心極限定理和假設檢驗原理，檢測產品生產過程是否穩定，區分過程受可歸咎變異因素與不可歸咎變異因素影響[1]。傳統控制圖對于超出控制限的異常較容易檢測，而對于控制限內的異常模式難以識別，通常需要通過人工進行判斷，易受到人的經驗水平的影響。智能制造的興起對制造過程質量控制提出了智能化的要求，將機器學習技術引入到過程質量監控中，通過機器學習模型對控制圖進行模式識別成為實現過程質量智能化監控的有效手段[2]。

機器學習算法在控制圖模式識別領域的應用研究早在上世紀80年代就開始受到重視，至今已取得了一定成果，如：（Guh和Hsieh，1999）[3-4]利用BP神經網絡對控制圖異常模式的識別進行了研究，表明BP神經網絡對于該領域的繼續深入研究具有一定研究價值，但BP神經網絡的缺點在于參數難以調節，訓練易陷入局部極小，識別率不高。接著，又有其他學者將概率神經網絡（PNN）、支持向量機（SVM）、Adaboost等其他傳統機器學習算法應用于該領域，表明了這些算法比BP神經網絡更具有精度、效率或魯棒性上的優勢[5-7]。近些年來，也有部分者針對這些經典機器學習算法的不足，提出了改進算法，如：利用可調節激活函數參數和動態閾值的方法、自適應粒子群（AMPSO）、遺傳算法 （GA）等對BP神經網絡、SVM的參數選擇進行優化，仿真實驗表明這些優化后的算法在識別率或魯棒性上有所提升[8-10]。還有些學者在控制圖模式? 的特征工程上做了研究，如：利用時域特征、形狀特征、小波分解方法等，對控制圖模式進行特征提取、特征融合的工作，表明了抽取和選擇特征的重要性[11-12]。

這些研究表明了控制圖模式識別領域目前存在的三大難點：一是算法設計，眾多傳統機器學習算法中，只有少數算法對控制圖模式識別有較好的效果;二是特征選擇，傳統機器學習算法一般都需要對原始數據進行特征提取、特征融合之后才能取得更好的效果，對于特征選擇的依賴性較高;三是這些傳統機器學習算法一般在大樣本情況下訓練耗時太高（如SVM），難以適應現代化快速生產的節拍。

近年來，深度學習作為機器學習一個新的分支快速崛起，在計算機視覺、語音識別、自然語言處理等領域已經取得了相當可觀的成績。與傳統機器學習算法相比，深度學習使用更多的樣本數據可以更好地擴展，且不需要特征工程，這為控制圖模式識別領域開辟了新的途徑。雙向長短時間記憶網絡（Bi-LSTM）作為一種深度學習方法，善于處理序列的前后關系，因而常用于處理自然語言中的上下文信息[13-15]。控制圖異常模式通常由人、機、料、法、環、測的異常所引起，產品生產過程中質量特性一般隨時間呈規律變化，從產品的質量特性前后波動數據來分析，往往能分析出數據流的異常形態，從而找出根本的異常原因。鑒于Bi-LSTM算法善于處理序列前后關系的特性以及控制圖模式數據流存在前后關系的特性，本文提出使用Bi-LSTM來進行控制圖模式識別，利用蒙特卡洛模擬方法仿真得到控制圖八種基本模式的數據（其中包括受控模式和其他七種異常模式），利用tensorflow搭建Bi-LSTM網絡結構，并使用GPU并行加速訓練，在識別精度和識別效率上取得了較好的效果。

1? 控制圖模式識別原理

在工序中，由于受到人、機、料、法、環、測等多種因素的影響，產品生產過程質量特性數據流往往存在著波動，按照這些波動數據流的分布特點，美國西部電氣公司將其分為八種模式，即：受控模式（natural）、向上階躍（upward shift）、向下階躍（downward shift）、趨勢向上（upward trend）、趨勢向下（downward trend）、周期模式（cycle）、系統性模式（systematic）、混合模式（mixture），八種基本模式的分布特點如圖1所示。

在控制圖模式識別的實際應用中，一般采用移動窗口的方法進行異常監控，每生產出一個新的產品，便將窗口往后移動一次，將新的數據加入到識別窗口，若在某時刻點窗口檢測出異常，則發出異常警報，并輸出具體異常模式，移動窗口法及仿真樣本示意圖如圖2所示。

在基于機器學習方法的控制圖模式識別領域中，一般將如圖2所示窗口內的數據流作為機器學習的樣本。移動窗口長度的選擇一般基于經驗選取，一般來說，移動窗口長度小，則能更快檢測出異常，但模式判別準確性低;移動窗口長度大，則模式判別準確性更高，但檢測出異常的效率低。

2? Bi-LSTM原理及控制圖模式識別模型構建

2.1? LSTM原理

長短時間記憶網絡（LSTM）是一種深度學習模型，由循環神經網絡（RNN）演化而來，相對于RNN，它可以捕捉到較長距離的依賴關系。在結構上，與標準RNN不同的是，LSTM在細胞（cell）上增加了門（gates）的結構，可以讓信息選擇性的通過[16]，實際上可以理解為是一種特征選擇及更新機制。標準LSTM的結構如圖3所示。

2.2? 基于Bi-LSTM的控制圖模式識別模型

2.2.1? 模型結構及構建步驟

Bi-LSTM由前向LSTM和后向LSTM組合而成，相比單向LSTM更能學習到序列前后的關系，因此，本文建立基于Bi-LSTM的深度學習網絡模型，模型結構如圖4所示。

模型構建步驟如下：

（1）通過蒙特卡洛仿真原理生成符合控制圖模式數據分布的樣本，基于前人經驗和本文預研實驗結果，此處仿真樣本窗口長度取32。八種控制圖模式的仿真方程具體表示為[17]：

其中， 為產品第 時刻質量特性值; 為受控條件下統計量均值; 為 時刻由偶然因素引發的隨機干擾，一般是服從 分布的高斯白噪聲序列; 為 時刻的異常干擾值。

1）對于受控模式： =0。

2）對于階躍模式： ，其中，階躍發生前 ，階躍發生后 ; 為階躍幅度。

3）對于趨勢模式： ，其中， 為傾斜度，當趨勢模式發生前， 為0。

4）對于周期模式： ，其中， 為波動幅值; 為波動周期長度。

5）對于系統性模式： ，其中， 為震蕩幅度，反映了偏離均值上下的程度。

6）對于混合模式： ，其中， 為 之間的隨機數; 為振幅;若 ，則 ，否則 。

（2）對生成的數據樣本進行標準化處理。該步驟有兩大意義：一，實際生產過程中產品質量特性由產品本身而定，標準化可使模型更具普適性;二，標準化處理由于能消除由量綱不同所產生的影響，進行標準化處理有助于模型學習到真正的特征，從而提模型的識別性能。此處，對生成的樣本數據集采用z-score 標準化，具體方式為：

（3）將標準化后的樣本數據輸入到前向LSTM和后向LSTM，利用其獨特的網絡結構來抽取特征進而深化學習，該步驟是Bi-LSTM模型訓練的核心步驟;

（4）對樣本進行標簽化處理。此處采用（one-hot encoding）離散型特征編碼方式，使得八種控制圖模式每一種類型樣本都只擁有一種“激活態”，讓模型更具有非線性學習能力。對每種模式采取的編碼方式具體如表1所示。

（5）利用 將將Bi-LSTM網絡結構的輸出概率歸一化到 之間，再利用交叉熵函數作為損失函數，衡量實際輸出與樣本標簽值之間的距離，輔助Bi-LSTM模型的迭代學習。具體策略表示為：

3? 仿真實驗驗證

3.1? 仿真數據集生成

此處，利用蒙特卡洛仿真原理共生成? ?個樣本，每種類型樣本依照其數據波動特性，采用不同的參數設置，以滿足實際產品生產過程中異常模式的多樣化特點，具體參數設置如表2所示。

其中，對于周期模式、系統性模式以及混合模式，幅度變化參數取值范圍設在 區間，突變點取 ，是為了將更多異常特征信息體現在休哈特控制圖控制限內，有針對地解決休哈特控制圖控制限內的異常模式難以識別的現狀特點。對于階躍模式和趨勢模式，由于其本身就容易超出休哈特控制圖控制限，因此，設立不同的突變時刻點，既可滿足這種實際狀況，又可利用控制限內的異常特征，在超出界限前便捕捉到異常信號，從而更快識別出異常模式，以滿足過程質量控制的實際需求。

3.2? 模型訓練

本仿真實驗所采用的實驗設備相關硬件為Nvidia GeForce GTX 1050 Ti的GPU以及NVIDIA CUDA 8.0驅動，采用tensorflow1.0-gpu開源機器學習框架，仿真平臺為python3.6。

基于前人經驗及預研實驗，此處學習率（learning rate）取0.0008，批量大小（batch size）取2048進行批量訓練，前向及后向LSTM cell個數各取512個。隨機打亂樣本，取標準化后總樣本的70%作為訓練集，10%作為驗證集，迭代次數設為1000次。

為了防止過擬合，本文仿真采取早停策略（early stopping），具體策略為：

其中，GL為早停閾值，本實驗取GL>1時提前結束訓練; 為第 次迭代的驗證誤差; 為迭代過程中最小的驗證誤差;

采用早停法的好處在于：1）防止過擬合;2）節省訓練時間;

本仿真實驗模型訓練及早停情況如圖5所示。

由圖5可知，隨著迭代訓練次數增加，訓練誤差和驗證誤差趨于收斂，兩條曲線基本吻合，說明訓練過程沒有出現欠擬合。且在早停策略的作用下，在第521次提前結束訓練，避免了過擬合情況的發生。

3.3? 模型泛化性能測試實驗

取標準化后總樣本的20%作為測試集，對訓練的模型進行測試，平均識別率達到了98.35%，對于八種模式的具體識別情況如圖6所示。此外，在相同訓練集與相同測試集的前提下，將Bi-LSTM與SVM、MLP、高斯貝葉斯分類器進行比較，不同算法對八種控制圖模式的識別情況如表3所示。

從圖6可見，對于Bi-LSTM模型，混合模式與受控模式較容易誤判，趨勢向上易誤判為向上階躍、趨勢向下易誤判向下階躍。

從表3可見，Bi-LSTM算法對控制圖模式識別的識別率和SVM相差無幾，對八種模式的平均識別率達到了98.35%，相比MLP和高斯貝葉斯分類器識別率更高。

3.4? Bi-LSTM與SVM性能比較實驗

基于Bi-LSTM與SVM對控制圖識別的識別率相近，本文分別在總樣本為720、7200、72000、288000的水平對兩種算法在識別率、訓練時間、測試時間上做了比較，其中訓練樣本占80%，測試樣本占20%。十次仿真實驗平均結果如圖7所示。

由圖7可見，在識別精度上，兩種算法都隨樣本量增加而增加，當總樣本量為72000時，Bi-LSTM識別率達到SVM的水平，當總樣本量為288000時，Bi-LSTM識別率已經超過SVM的水平，且從趨勢上來看，當樣本量更大時，Bi-LSTM算法在識別精度上將更優于SVM（受于實驗設備計算能力的限制，本文沒有取更大樣本量進行仿真實驗）。在訓練時間和測試時間上，SVM算法隨樣本量增加而顯著增加，而Bi-LSTM算法的訓練時間和測試時間隨? 樣本量增加雖然有所增加，但相對SVM顯然效率? 更高。

4? 結論

本文基于長短時間記憶網絡（Bi-LSTM）在處理序列前后關系特征上獨特的優勢，提出將Bi-LSTM用于控制圖模式識別。通過仿真實驗表明，該方法在樣本量足夠時，相比SVM、MLP、高斯貝葉斯分類器這些傳統機器學習方法，能夠取得不弱于甚至更好的識別效果。其次，由于深度學習并行加速計算的普及，該方法在模型訓練和應用上，效率都比SVM算法更高，更能適應未來大數據環境下快速生產的需求。再者，該方法對人工特征提取的依賴性較傳統機器學習算法更低，可以自動抽取和學習特征，使用更加方便。隨著工業物聯網的普及和計算機處理性能的飛速進步，大數據的優勢得以體現，如何充分發揮大數據的優勢成為熱點和難點，本文提出將Bi-LSTM算法用于控制圖模式識別，給該領域未來的繼續深入研究提供了新的可行途徑。如何更好地將深度學習與研究產品質量過程在線智能監測與控制有機結合是下一步的研究方向。

參考文獻

[1] Sauter R M. Introduction to Statistical Quality Control （2nd ed.）[M]. John Wiley & Sons， 1991.

[2] Shewhart M. Interpreting statistical process control （SPC） charts using machine learning and expert system techniques [C]//Aerospace & Electronics Conference. IEEE Xplore， 1992.

[3] Guh R S， Hsieh Y C. A neural network based model for abnormal pattern recognition of control charts[M]. Pergamon Press， Inc. 1999.

[4] Guh R S， Zorriassatine F， Tannock J D T， et al. On-line control chart pattern detection and discrimination—a neural network approach[J]. Artificial Intelligence in Engineering， 1999， 13（4）： 413-425.

[5] Cheng Z， Ma Y Z. A Research about Pattern Recognition of Control Chart Using Probability Neural Network[C]// Isecs International Colloquium on Computing， Communication， Control， & Management. IEEE， 2008.

[6] 趙方方， 何楨. 基于SVM的控制圖模式識別方法研究[J]. 組合機床與自動化加工技術， 2009（8）： 1-4.

[7] 張江霞. 基于Adaboost算法的控制圖模式識別應用研究[D]. 南京理工大學， 2013.

[8] Xiang-Gan Z， Chang-An L， Wen-Tao F. The System of Control Chart Pattern Recognition Based on Improved BP Neural Network[J]. Modular Machine Tool & Automatic Manufacturing Technique， 2011.

[9] 張敏， 程文明， ZhangMin， et al. 基于自適應粒子群算法和支持向量機的控制圖模式識別[J]. 工業工程， 2012， 15（5）： 125-129.

[10] 李太福， 胡勝， 魏正元， et al. 基于遺傳優化的PCA-SVM控制圖模式識別[J]. 計算機應用研究， 2012， 29（12）： 4538-4541.

[11] Yu-Bo Z， Xiao-Nan L. Recognition Method of SPC Control Chart Pattern Based on ISFS and ELM[J]. Journal of Qingdao University of Science & Technology， 2015.

[12] 劉玉敏， 趙哲耘. 基于特征選擇與SVM的質量異常模式識別[J]. 統計與決策， 2018（10）.

[13] W?llmer， Martin， Eyben F， Keshet J， et al. Robust Discriminative Keyword Spotting for Emotionally Colored Spontaneous Speech using Bidirectional LSTM Networks[C]// IEEE International Conference on Acoustics. IEEE， 2009.

[14] W？Llmer M， Eyben F， Graves A， et al. Bidirectional LSTM Networks for Context-Sensitive Keyword Detection in a Cognitive Virtual Agent Framework[J]. Cognitive Computation， 2010， 2（3）： 180-190.

[15] Graves A， Jaitly N， Mohamed A R. Hybrid speech recognition with Deep Bidirectional LSTM[C]// Automatic Speech Recognition & Understanding. IEEE， 2014.

[16] Gers F A. Learning to forget： continual prediction with LSTM.[J]. Neural Computation， 2000， 12（10）： 2451-2471.

[17] Guh R S. Real-time pattern recognition in statistical process control： a hybrid neural network/decision tree-based approach[J]. Proceedings of the Institution of Mechanical Engineers， Part B： Journal of Engineering Manufacture， 2005， 219（3）： 283-298.