基于L-DCGAN的風機齒輪箱時序溫度數據生成模型

李登峰，黃細霞，吳恩潔，阮 慧

（上海海事大學 航運技術與控制工程交通行業重點實驗室，上海 201306）

0 引言

由于很多風機建立在山區或丘陵，維護起來較為麻煩，因此對風機進行故障預測顯得尤為重要。目前，有關風機故障預測的研究多是基于機器學習和深度學習算法，但風機長時間處于正常運行狀態，得到的故障數據比較少，不平衡的數據無法訓練出好的預測模型，于是數據增強的研究越來越多。

生成對抗網絡（GAN）是基于少量可用數據生成新數據集[1]。文獻[2]展示了GAN在不同身體疾病醫學圖像生成和分類中的應用。文獻[3]設計了一種基于圖像金字塔網絡（FPN）的生成對抗網絡，以端到端的形式從模糊圖像生成清晰圖像。文獻[4]提出了一種基于生成對抗網絡輸出樣本區分度的方法，以滿足對風機的不同健康等級進行量化評估的需求。文獻[5]利用電流信號并應用生成對抗網絡獲取合成數據，從而抵消數據集不平衡的問題。考慮到風機故障演變是一個時序的過程，其數據具有自相關特性，于是有研究將長短期記憶網絡（LSTM）引入到故障預測。文獻[6]提出了基于極端梯度提升樹與LSTM加權融合的模型，并將其用于進行風機定子繞組溫度預測。文獻[7]提出了基于LSTM和自編碼器神經網絡的風電機組時序狀態監測數據評估方法。文獻[8]利用GAN對鋰電池數據進行擴充，利用CNN-LSTM建立健康狀態預測模型。文獻[9]提出GAN/LSTM架構，根據云負荷時間序列每個子帶負載的復雜和波動性，預測每個子帶負載的時間序列。

以上介紹中有兩個問題需要考慮，其一是LSTM的研究更多的是從故障本身出發基于已有數據進行建模，而在數據生成方面基于LSTM的研究還相對較少；其次，GAN和LSTM的結合更多的是一種串聯關系，即GAN/LSTM的輸出作為LSTM/GAN的輸入。

綜合前人的研究，本文從網絡結構出發，在DCGAN網絡的基礎上，加入處理長期數據有著較好表現的LSTM網絡，得到改進后的L-DCGAN網絡。依靠CNN和LSTM的特征提取能力，能夠準確地提取數據的分布特征和時序特征，并交由FC層計算。以風機實際運行數據為例進行模型驗證，并與DCGAN網絡使用均方根誤差（RMSE）和平均絕對誤差（MAE）評價指標進行生成數據真實性的比較，同時使用結構相似性指數（SSIM）和峰值信噪比（PSNR）評價指標進行生成數據擬合原始數據趨勢的比較。

1 相關理論

1.1 GAN

GAN是一種生成模型，包括生成器和判別器兩個模塊。判別器執行的是1個二分類任務，使用交叉熵損失函數進行計算，其目標函數為

式 中：x為 真 實 數 據；z為 噪 聲；G（z）為 來 自 于 生 成器 的 數 據；D（x），D（G）均 為 判 別 器 判 斷 結 果。

生成器與判別器進行對抗訓練，開始生成的數據無法騙過判別器，誤差梯度下降緩慢，生成器的 目 標 函 數 不 再 簡 單 的 定 義 為J（G）=-J（D），而 是改用神經網絡來訓練生成器。即使判別器能夠準確地將來自生成器的數據判別為假數據，生成器依然可以根據神經網絡的反向傳播算法繼續自適應更新參數，直至生成足可以騙過判別器的數據。

結 合 式（1），（2）可 得 到 生 成 對 抗 網 絡 的 目 標優化函數。

1.2 LSTM的時序特征提取

LSTM在傳統RNN結構上引入了“門”的概念，通過控制門的方式實現對相關信息的長期記憶，從而達到提取時序特征的作用[10]，其結構如圖1所示。

圖1 LSTM網絡結構Fig.1 LSTM network structure

圖中上方類似于傳送帶的便是細胞狀態，保證了信息的不變性，具體結構如下。

①丟 棄 門：讀 取ht-1和xt，輸 出1個（0，1）之 間的數值ft給前時刻細胞狀態Ct-1，確認舊的細胞狀態丟棄多少。

式 中：{Wf，ht-1，bf}為 丟 棄 門 相 關 網 絡 參 數；ft為 決定丟棄的值。

②記憶門：丟棄門確定丟棄的信息后，記憶門需要確定存放在細胞狀態中的新信息，將ht-1和xt拼接并乘以記憶門權重加上偏置，通過sigmoid函數輸出（0，1）確認當前輸入和歷史記憶保存多少，通過tanh層創造一個新的細胞狀態作為候選值。

式 中：{Wi，ht-1，bi}為 記 憶 門 相 關 參 數；it為 決 定 更新的值；為創建的更新向量。

③更新門：更新操作中，舊的狀態乘以丟棄門的輸出丟棄掉要遺忘的信息；記憶門的輸出乘以構造的細胞狀態得到要保存的信息；將二者相加更新舊細胞狀態為Ct。

式中：Ct為新細胞狀態；Ct-1為舊細胞狀態。

④輸出門：輸出值由sigmoid和tanh層完成，通過sigmoid層確認輸出的細胞狀態，通過tanh層 輸 出（0，1）的 值，乘 以sigmoid層 的 輸 出，確 認輸出的部分。

式 中：{Wo，ht-1，bo}為 輸 出 門 相 關 網 絡 參 數；ht為 最終決定輸出的值。

2 基于L-DCGAN的齒輪箱時序溫度數據生成模型

2.1 數據生成模型結構

DCGAN網絡依靠CNN強大的特征提取能力，保證了生成數據的真實性。本文延續DCGAN主體網絡結構，在生成和判別模塊融入LSTM網絡得到L-DCGAN，具體結構如下。

①構建生成模塊

使用CNN層、LSTM層搭配全連接層構建生成模塊。其中，CNN層通過卷積池化操作進行特征的選擇與計算；LSTM將CNN抽取到的特征通過固定步長T進行拆分，計算并學習得到數據的時序分布特征hz；FC層將學習到的特征映射為符合分布的數據Xfake；生成模塊的輸入為服從高斯分布的隨機向量z，具體計算步驟為

式 中 ：θG1={WG，bG}，θG2={WGi，WGf，WGo，bGi，bGf，bGo}，θG3={WG，bG}分 別 為CNN，LSTM和FC的 網 絡 參數；hc1為CNN的輸出；hz為LSTM的輸出。

②構建判別模塊

判別模塊的組成與生成模塊相同，其中CNN層對生成數據和原始數據分別進行特征提取，LSTM對CNN層抽取的數據特征進行拆分并計算得到時序特征，FC將特征映射為0或1，其中0為假，1為真。具體計算步驟為

式 中：Xd∈{Xfake，Xtrue}為 判 別 器 輸 入；θD1={WD，bD}，θD1={WDi，WDf，WDo，bDi，bDf，bDo}分 別 為CNN，LSTM的 網 絡 參 數；θD2={WD，bD}為FC的 參 數。

③損失函數設計

網絡的訓練過程中損失函數起著反饋調節的作用，本模型中判別模塊主要用來區分輸入數據的真實性，對來自生成器的數據判別為0，對原始數據判別為1，于是設計成：

式中：Xtrue為判別器對真實值的判別值；Xfake為判別器對生成值的判別值。

生成模塊的主要作用是欺騙判別模塊，期望能夠最小化其生成數據與真實數據之間的差距，使得判別器將其生成數據判別為1，于是設計成：

基于L-DCGAN的生成模型的結構見圖2。

圖2 基于L-DCGAN的生成模型結構圖Fig.2 The structure diagram of the generative model based on L-DCGAN

2.2 數據生成模型參數設置

整體預測模型的參數設置主要是針對CNN和LSTM模塊的設置，其中LSTM是隱含層層數和神經元個數的設置。表1為CNN-LSTM參數設置。通過實驗，調整確定隱含層層數為2，神經元個數設置為32，CNN使用兩層卷積和池化，激活函數采用Relu。

表1 CNN-LSTM參數設置Table1 CNN-LSTM parameter settings

2.3 數據生成模型訓練

模型訓練過程，當交叉訓練和優化達到納什平衡時，認為生成的數據足夠符合時序分布特征，具體流程如下。

①訓練判別模塊

判 別 模 塊 的 輸 入 為Xd∈{Xfake，Xtrue}，分 別 計 算判別結果，結合式 （12）的損失函數，利用動量Adam優化算法進行判別網絡參數的優化，得到第s次迭代后優化的判別器。

式中：netD（s-1）為第s-1次迭代后的判別器模型；θD1（s-1），θD2（s-1）均 為 第s-1次 迭 代 的 網 絡 參 數；Ld（s）為 第s次 迭 代 的 損 失 值。

②訓練生成模塊

生 成 模 塊 的 輸 入 為Z（s），經 過 計 算 得 到Xfake（s），作 為 判 別 器 的 輸 入 得 到dXfake（s），根 據 式（13）計 算得到損失值，利用動量Adam優化算法進行生成網絡參數的優化，得到第s次迭代后優化的生成器。

式中：netG（s-1）為第s-1次迭代后的判別器模型；θG1（s-1），θG2（s-1）均 為 第s-1次 迭 代 的 網 絡 參 數；LG（s）為 第s次 迭 代 的 損 失 值。

基于L-DCGAN生成模型訓練流程見圖3。

圖3 基于L-DCGAN的生成模型訓練流程圖Fig.3 Flow chart of generative model training based on L-DCGAN

2.4 數據生成模型評價指標

本文采用評價指標RMSE，MAE和決定系數R2對生成數據與原始數據之間的真實性進行評價。

式中：N為樣本個數；yi為生成數據；y1i為真實數據；真實值的平均值。

針對生成數據是否具有隨時間演變的自相關特性，采用SSIM和PSNR進行評價[11]。

SSIM是通過亮度、對比度以及結構3個方面對相似性進行評估，從而量化圖像的屬性，SSIM的值為0～1，值越大代表圖像越相似。

式 中：μxμy為xy的 均 值；σx，σy均 為xy的 方 差；σxy為x和y的 協 方 差；c1=（k1L）2，c2=（k2L）2均 為 用 于維穩的常數。

PSNR是衡量最大值信號和噪聲之間的圖像質量參考值。一般來說，若PSNR＞40dB，說明圖像幾乎與原圖一樣好；若PSNR為30～40dB，說明失真在可接受范圍內；若PSNR為20～30dB，說明圖像比較差；若PSNR＜20dB，說明圖像失真嚴重。

式中：MAXI為圖片可能的最大像素值。

3 實例驗證

3.1 實例概述

為了驗證所建立模型，選取上海東海大橋海上風電場風機SCADA系統采集的齒輪箱數據集（20200601-20210630），本文選擇15號 風機20200801-20210201的19000組數據作為訓練集，選取20201001-20201031的8000組數據作為測試集，每組數據包含油溫、電機溫度和軸承溫度3類典型特征。

3.2 模型訓練與測試結果

由于數據是真實風電場數據，可能存在錯誤信息，因此，首先進行數據預處理，之后采用Zscore對數據進行歸一化，將預處理后的數據作為真實樣本傳入所建模型，采用動量Adam算法進行網絡優化更新，設置Adam學習率為0.001，η=0.1，β1=0.9，β2=0.999。

模型訓練后，輸入測試樣本，對油溫、電機溫度、軸承溫度3個變量進行分析。圖4為油溫、電機溫度、軸承溫度生成數據與原始數據對比曲線。

圖4 油溫、電機溫度、軸承溫度生成數據與原始數據對比圖Fig.4 Comparison chart of oil temperature，motor temperature，bearing temperature generated data and original data

由圖4可知，變量的生成數據和原始數據的差別不大且趨勢接近。計算評價指標（表2，3）進一步驗證了生成數據與原始數據之間的差異較小，同時R2超過0.95，可以認為二者相似度已達到較高程度；生成數據與原始數據構造的特征圖之間的SSIM達到98%，同時PSNR接近40，在誤差允許的范圍內認為二者的時序趨勢有著較高的相似度。

表2 數據生成模型評價指標結果一Table2 Data generation model evaluation index result one

表3 數據生成模型評價指標結果二Table3 Data generation model evaluation index result two

3.3 對比實驗

為了進一步驗證本文所提模型的有效性，與DCGAN模型進行對比實驗，分別采取60，90d和120d的溫度數據進行訓練和測試，相關評價指標的計算結果如表4，5所示。

由表4，5可知：當訓練樣本為60d和90d時，由于網絡結構較為相似，雖然L-DCGAN模型的評價指標值中RMSE和MAE的值更小，R2更接近與1，卻并未拉開大的差距，由于LSTM的引入，SSIM和PSNR兩項指標遠好過DCGAN模型，表明所生成數據更加接近原數據的分布趨勢；當訓練樣本進一步加大到120d時，在電機溫度部分，由于數據量的增加，獨立同分布數據的占比相對有所提高，此時，DCGAN生成模型相關指標的值要略優于L-DCGAN，但是，結合60d和90d的結果綜合來看，想要達到較高指標值，L-DCGAN只需更少的數據量。

表4 不同數據生成模型評價指標對比結果一Table4 Comparison results of evaluation indicators of different data generation models result one

表5 不同數據生成模型評價指標對比結果二Table5 Comparison results of evaluation indicators of different data generation models result two

綜上所述，在生成數據的真實性方面，兩個模型皆有較好的表現，L-DCGAN略勝一籌，但是在數據分布趨勢上，本文所提模型的精確度更高。

4 結論

針對傳統的生成對抗網絡無法很好地生成隨時間演變具有時序相關特性數據的問題，本文提出了融合LSTM網絡的新生成對抗網絡LDCGAN，通過LSTM學習得到時序數據的分布特征，從而生成時序數據。

①本文基于CNN結構融入LSTM網絡，創建了基于CNN-LSTM-FC3層結構的生成和判別網絡模型，通過LSTM對時序相關性的挖掘，以及FC的映射計算，保證了生成數據的準確性。

②與DCGAN模型相比，本文所提模型在保證數據準確性的前提下，進一步擬合了數據的時序分布。