門循環單元預測模型在故障診斷中的應用

王華秋，李 鑫

（1.重慶理工大學 兩江人工智能學院，重慶 401135；2.重慶理工大學 計算機科學與工程學院，重慶 400054）

我國煙草行業的卷煙生產離不開空調系統，為保證其工藝生產環境，溫濕度環境控制的優劣直接影響著卷煙所用原料煙葉的單箱消耗。但動力車間動力設備長期處于惡劣工作條件，其工況復雜多變，且大部分設備投運壽命周期長，設備老化現狀不容樂觀，設備故障發生的概率增加，存在影響生產工廠連續性的因素［1］。現有的設備維護策略往往依靠故障維修、定期檢修與停產大檢修相結合的方式［2］。麻省理工大學通過在設備中安裝傳感器收集數據并分析［3］，由美國Ardell公司開發出了Fuzzy Master故障診斷系統。Venkata subramanian等［4］引入神經網絡技術，用于診斷設備故障，隨后，Sharky等［5-6］研究出一種基于多神經網絡的專家系統，該系統用于檢測設備的故障，工作原理是通過檢測設備壓力變化，從而確定設備的故障。

文獻［7］通過分析參數與故障間關系，形成故障與空調設備各參數映射表，判斷出空壓機壓力、溫濕度等參數異常與空調設備故障存在一定關聯。因此提前預測參數是否會有異常趨勢將給診斷決策提供幫助。文獻［8］以機器學習算法構建預測模型并對空調設備各參數進行預測，但卷煙車間數據較為復雜且數據量相對較小，實際應用部署中需要更輕量級模型。與此同時，多項異常數據共同導致的故障也難以通過單一異常信息判斷。為解決以上問題，本文研發了一種智能故障診斷系統，提出以改進GRU（improvement gate recurrent unit，I-GRU）算法建模，用于卷煙車間空調系統各設備數據預測及異常監控，再利用關聯規則挖掘出各數據間的內在關系，并通過產生式推理得出具體故障信息，最后與知識庫中存放的專家知識和以往案例進行匹配，診斷出動力設備出現何種故障，并由用戶界面展示給用戶。

1 時間序列預測模型研究

把一個變量按照其取值的先后順序排列起來，就構成了一個時間序列［13］。比如，按照時間的先后順序將車間溫濕度、出氣口溫度等空調系統觀測量分別排列起來，就可以構成若干個時間序列。通過時間序列分析，發掘變量隨著時間變化所表現出來的規律性，并對其未來變化進行預測，為相關變量的預測提供科學依據。

1.1 門循環單元（GRU）預測模型

對于非線性系統時間序列模型，采取一般線性預測模型是無法滿足預測精度的，卷煙廠的空調系統每天都會產生大量的數據，較早數據對后續預測的影響也不容忽視，對于這種長期依賴問題，出現了循環神經網絡RNN和LSTM［14］，在LSTM的基礎上通過精簡它的結構［15］，門循環單元（GRU）網絡應運而生。隱藏層神經單元結構如圖1所示。

圖1 隱藏層神經單元結構示意圖

輸入xt（t=1，2，3，4，…，n）通過式（1）和式（2），計算得出St和輸出值yt分別為：

式（1）（2）中：w為權重系數矩陣；b為偏置向量；f為激活函數。

RNN是一類以序列數據為輸入，在序列演進方向進行遞歸且所有節點按鏈式連接的遞歸神經網絡。但單一的模型經過長時間的訓練便會出現梯度消失、爆炸的問題。LSTM通過在RNN基礎上引入輸入、輸出、遺忘門解決了這一問題，但因為模型結構的增加，訓練量也將大幅度增大，從而必須進行大規模的訓練模型才能收斂。為了解決這一問題，對其結構進行精簡，通過減少門的數量，去除細胞狀態c，提出了含有更新門、重置門結構的GRU模型。

經過不斷優化改進，GRU網絡模型如圖2所示，其相關參數可由式（3）～式（7）計算得到。

圖2 GRU網絡結構示意圖

1.2 網絡訓練

GRU的訓練基于時間反向傳播算法（BPTT），GRU的輸入包含：當前狀態輸入xt、上一時刻隱藏層狀態值ht-1；GRU的輸出包含：當前狀態輸出值yt、當前隱藏層狀態ht。對GRU模型的訓練中，首先通過式（3）～式（7）計算出輸出值，再與實際理論數據進行誤差計算，進而利用反向傳播算法更新模型參數，使誤差收斂至無限小。

1.3 對GRU的改進

LSTM和GRU有效地解決了長距離梯度消失和爆炸問題，在許多時間序列任務中，其效果較之RNN有明顯的提升，但其結構也隨之變得復雜，這也使得模型想要達到收斂必須通過大量的訓練。為避免上述問題，提出了改進的I-GRU模型，通過對GRU模型的重置門、更新門共同點進行分析，改進了模型的更新門，利用重置門的改動來替代更新門，并通過簡單求和得到數據輸出，這使得I-GRU模型較GRU模型在結構上有了一定的優化。如式（9）所示，更新門Z由重置門取值rt經權重wz變換再通過sigmoid函數變換為0～1范圍數值來充當門控信號。這一改動使隱藏狀態ht的取值不再保持恒定，如式（11）所示，隱藏狀態ht由重置門對上一時刻ht-1的選擇和新更新門對候選隱藏狀態~h選擇記憶部分加和構成，信息量的減少讓模型訓練更容易進行，能很大程度提高訓練效率。

在小訓練集上的收斂效果取得了不錯的結果，這使得我們的改進模型非常適合處理卷煙廠各設備數據的預測問題。

經過優化調整，I-GRU神經單元展開結構如圖3所示，其相關參數表示為：

圖3 I-GRU神經單元展開結構示意圖

1.4 LSTM、GRU和I-GRU復雜度對比

LSTM、GRU和I-GRU預測模型對時間序列數據的預測都取得了不錯的成績。將分析它們各自的模型參數復雜度和矩陣變換的次數。權重矩陣的個數是判斷模型的一大標準，GRU的更新門Z可以同時進行遺忘和選擇記憶，而LSTM則要多個門控才能實現，如式（6）所示，1-Z可以理解為遺忘門，（1-Z）* ht-1表示忘記上一刻隱藏狀態ht-1中不重要記憶，Z* ~h表示對當前節點信息~h進行選擇性記憶，兩者相加得到當前隱藏狀態ht的信息。可以看出遺忘Z和選擇（1-Z）是聯動的，因此ht會保持一種恒定狀態。I-GRU模型對更新門Z進行了調整，如式（9）所示。隱藏狀態ht的構成也有所變化，如式（11）所示，ht-1* rt表示對上一刻信息由重置門rt來篩選，與新更新門對候選狀態~h選擇加和構成，rt與zt不再互補，因此隱藏狀態ht不再保持恒定，信息量有所減小。從參數復雜度和矩陣變換次數來看，表1分別列舉了3種模型的矩陣及變化次數，I-GRU復雜度、變換次數明顯低于另外2種，從而訓練起來也將更快收斂。經實驗驗證，I-GRU模型非常適合卷煙車間這類數據稀缺環境，體現了新模型的意義。

表1 LSTM、GRU和I-GRU的權重矩陣和矩陣變換復雜度

1.5 預測模型性能比較

1.5.1 預測模型

對LSTM、GRU、I-GRU 3種預測模型進行了預測性能評價。

1.5.2 試驗數據及試驗設備

試驗數據主要來自某卷煙廠動力設備車間2019年3月至5月的生產運行數據。

試驗環境：64位Windows10系統，內存12G，主頻2.50 GHz，Intel（R）Core（TM）i7 CPU處理器，測試軟件Matlab 2016b。

1.5.3 預測模型性能

由于預測模型比較多，各個預測模型的優劣性無法嚴格區分，因此我們將3種預測模型集中在一起比較，對某卷煙廠動力設備車間2019年3月到5月的正常生產運行數據進行處理，處理結果如圖4～圖6所示，得到一個總的誤差性能指標，各個預測模型之間僅僅比較總體誤差性能指標，就可以判斷該模型的預測性能。各個預測模型的總體誤差性能指標如表2所示。

圖4 LSTM預測趨勢

圖5 GRU預測趨勢

圖6 I-GRU預測趨勢

表2 總體誤差指標

1.6 殘差分析

本次實驗中，通過與卷煙廠動力車間專業工程師的充分交流，獲取了各項設備指標與故障的相關度，剔除掉弱相關指標，選取強相關性參數（見表3）作為輸入數據進行實驗。

表3 所選運行參數相關性系數

試驗選取強相關性的空調系統空壓機排氣壓力作為訓練目標，構建I-GRU模型進行訓練。數據選取2019年6月到7月的空壓機設備數據，將其中數據按照6∶2∶2比例按時間順序劃分為訓練集、測試集、驗證集。網絡訓練開始前，首先對模型的參數進行初始化，再不斷的優化到最佳。采用基于梯度隨機優化的Adam算法，對不同的參數計算出其學習率，相對其他優化算法較為優秀。模型最優化后，利用訓練集（2019年6月1日到18日）進行訓練直到模型收斂，再利用測試集數據（2019年6月19日到6月24日）與模型預測值進行殘差計算，有：

為確定BP、SVM、GRU和I-GRU預測效果，對幾種經典模型進行預測和殘差對比，如圖7、圖8所示。

圖7 模型預測結果對比

圖8 模型預測殘差特性對比

由圖7、圖8可知，在處理空壓機數據時，I-GRU模型明顯效果更佳，預測殘差也更接近于0，因此本次使用I-GRU作為預測模型優選。

1.7 故障閾值劃分與異常檢測

在預測過程中，希望預測的誤差盡量在零線附近小幅度波動，但是不能在一段時間內一直高于零線或低于零線，出現這種情況，就說明出現殘差了。出現殘差的原因有2個：一個是預測模型失效了，另一個原因則是觀測對象出現了故障。利用I-GRU網絡通過10 000條數據預測后續5 000條數據，觀察預測數據趨勢圖，通過結合設置為3σ標準的故障閾值，判斷出異常點并將異常點信息（如空壓機壓力過大等）顯示在用戶界面上，為后續的案例匹配提供支持。這也正是本次智能故障診斷的研究重點。本文1.6節中證明了IGRU預測模型的優秀效果，因此可以將模型的預測誤差看作正態分布進行偏移，使用3σ作為閾值的標準。

σ在正態分布中表示標準差，μ表示均值，數值分布在（μ-3σ，μ+3σ）中的概率為0.997 3，意味著模型預測數據中99.73%的數據屬于正常數據，較為符合真實情況。因此將故障閾值設為3σ。

閾值可由式（14）計算得出，即

式中：rt為預測的殘差值，取絕對值；Vthreshold為故障閾值；n為測試數量。

按設定閾值3σ計算得出故障閾值如表4所示。

表4 故障閾值確定

根據上述實驗，可以根據預測出的數據趨勢，結合計算出的故障閾值提早獲取到可能出現的故障信息，再根據獲取到的信息匹配案例實現智能故障診斷系統。實驗結果如表5所示。

表5 模型收斂速度

根據實驗表明，對于同一故障現象，I-GRU相比LSTM、GRU能更早發現達到警戒線的工況信息，并且I-GRU模型收斂更快，更加適合這些動力設備的故障診斷。

1.8 關聯規則

本文1.7節通過I-GRU模型預測數據及閾值劃分得到了空調系統各設備單一的異常數據，但部分空調設備故障并不能只靠單一設備異常信息判斷，要根據多個設備異常信息診斷，因此挖掘空調系統各設備數據間關系十分重要。數據挖掘是以某種方式分析設備中所產生的數據，從中發現一些潛在有用的信息，即數據挖掘又可以稱作知識發現。而機器學習算法則是這種“某種方式”。關聯規則就是發現數據背后存在的某種規則或者聯系。設備數據間關聯規則如表6所示。

表6 設備數據間關聯規則

1.9 產生式推理

經過關聯規則挖掘出空調系統各設備信息間關系后，將各項異常信息通過產生式知識表示方法進行推理，運用正向的產生式推理，推導出新的更符合人的認知習慣的診斷結論。正向產生式推理如表7所示。

2 基于案例相似度的動力設備故障診斷

2.1 基于案例的故障診斷流程

故障診斷的流程如圖9所示。首先，根據本文1.8節推理出的故障現象描述，對故障描述和案例庫中的案例故障描述進行精確的中文切分，去掉無意義的停用詞，準確地提取案例文本特征；然后，計算故障描述與所有案例的相關程度；最后，返回診斷結果，生成診斷過程并對故障零件進行標注，生成簡易的維修方案。

表7 正向產生式推理

圖9 診斷流程框圖

2.2 基于案例相似度的故障診斷

診斷對象。根據觀測數據，建立空壓機系統故障字典，以便用于模糊推理。

試驗數據。試驗數據主要來自某卷煙廠動力設備車間2019年3月至5月的生產運行數據。

試驗設備。試驗環境：64位Windows10系統，內存12G，Intel（R）Core（TM）i7 CPU處理器，開發平臺Visual Studio 2017。

試驗與分析。基于案例相似度的故障診斷性能評價試驗用于評價不同案例診斷模型在相同數據集上的診斷性能。試驗結果是對100個隨機產生的故障樣例的結果取平均值得到的。空壓機的故障診斷如圖10所示。

圖10 空壓機設備故障診斷

3 結論

針對某卷煙車間空調系統各項數據異常故障的預測與監控，提出了一種基于改進門循環單元預測的智能故障診斷系統。改進模型以GRU重置門替代更新門，隱藏層狀態信息數量不再恒定，在GRU基礎上使參數大量減少便于訓練。經過各種對照實驗，我們選取了最適合卷煙車間空調系統數據預測的I-GRU模型。預測環節設置3σ準則閾值判斷異常點并通過關聯規則挖掘出各項異常數據間關系，運用產生式推理出故障設備信息，最后對卷煙廠專家所提供的故障信息進行性能測試。通過試驗發現，改進門循環單元預測模型有更高的精準度且對異常信息反應更快，對于故障診斷效率有所提升。本文的研究結果可以較好地輔助維修人員快速檢修動力設備，從而提高工作效率，有實用價值。