基于Transformer的多標簽工業故障診斷方法研究

火久元, 李超杰, 于春瀟

(1. 蘭州交通大學 電子與信息工程學院,蘭州 730070; 2. 國家冰川凍土沙漠科學數據中心,蘭州 730000;3. 蘭州瑞智元信息技術有限責任公司,蘭州 730070)

隨著現代化工業的發展,工業設備能否安全可靠的以最佳狀態運行,對于保證產品質量、保障生產安全、提高企業生產力都具有十分重要的意義。機械設備是現代化工業生產的物質基礎,設備管理是企業管理中的重要領域,如何有效的提高設備運行的可靠性,及時發現和預測出故障是加強設備管理的重要環節。傳統的基于“時間”的計劃維修、基于“事件”(故障)的事后維修等方式已無法滿足現代化工業的需求。故障診斷是一種基于“狀態”(數據)的預防性維修方式,通過信號處理、統計分析、趨勢分析等方法確定設備發生的故障類型,有效解決了僵化的計劃維修以及被動的事后維修所存在的“過度維修”和“維修不足”等問題,在工業生產設備管理中占有重要地位[1]。

國內外學者針對不同的研究對象(如航空發動機、風電機組、直升飛機、高速鐵路等重大裝備及其關鍵部件如軸承、齒輪箱、電機等)在故障診斷問題上做了大量的工作。故障診斷的主要方法包括:物理模型方法和數據驅動方法[2]。傳統的物理模型方法主要基于失效機理、退化模式等研究故障狀態下動力學參數與故障模式的內在聯系,該方法一般適應于單個組件或單個故障模式下的設備[3]。針對復雜設備,由于它們的失效機理復雜、故障模式多樣,構建其物理模型進行故障診斷往往比較困難,所以通常采用數據驅動方法。

數據驅動方法通過監測信號或歷史數據直接訓練模型進行故障診斷,該方法無需大量的領域專家知識和知識的表達推理機制。數據驅動方法主要包括統計方法、機器學習方法、深度學習方法等。針對海量、高維、復雜的工業數據,統計方法無法挖掘出隱藏的內部特征。邏輯回歸(logistic regression,LR)、梯度提升樹、隨機森林(random forest,RF)等傳統的機器學習方法[4]學習能力弱、特征提取與模型建立孤立進行,無法挖掘出特征與標簽之間復雜的映射關系。近幾年來,由于大數據和人工智能的迅速發展,深度學習憑借其強大的建模與數據處理能力在工業設備故障診斷上得到了工業和學術界廣泛的關注。其中,以卷積神經網絡(convolutional neural network,CNN)[5]、循環神經網絡[6-7]以及卷積神經網絡和循環神經網絡的組合模型[8]在故障診斷上應用的最多,但上述模型無法挖掘出標簽與標簽之間復雜的映射關系。

此外,工業故障數據通常具有極端的類不均衡性,應對這一問題的主要方法包括:數據級方法和算法級方法。數據級方法通過采樣策略改變不均衡數據中不同類別故障樣本的數量和分布,如欠采樣和過采樣方法可以平衡多數類和少數類之間的數量和分布[9];隨機欠采樣和隨機過采樣是兩種常見的方法[10],但隨機欠采樣會丟失過多的信息,而隨機過采樣會產生過多的冗余信息;合成少數類過采樣方法(synthetic minority oversamping technique,SMOTE)采用K近鄰方法在少數類樣本附近生成新樣本,但生成的新樣本可能更接近多數類樣本[11]。算法級方法通過調整分類器以適應故障類不均衡的數據,成本敏感方法可以修改分類器訓練的成本,從而使分類器更關注少數類[12],但會改變訓練損失的范圍影響訓練的穩定性,因此本文僅對數據級方法進行研究。

工業故障數據的多維性、類不均衡性和并發性為工業故障診斷帶來了三大挑戰[13]?，F有研究大多集中在單標簽識別問題,在多標簽識別問題中不同故障標簽之間愈發表現為耦合性、不確定性、并發性,且故障樣本和故障標簽之間也表現為更加復雜的映射關系。因此,為了應對這些挑戰,本文提出了一種基于多重自注意力機制改進的Transformer多標簽故障診斷方法,通過自適應合成采樣(adaptive synthetic sampling,ADASYN)和Borderline-SMOTE1組合過采樣方法改善多維工業故障數據嚴重的類不均衡現象,充分利用編碼器-解碼器結構以及注意力機制的優勢,深入挖掘多維傳感器數據與多個故障標簽之間的復雜映射關系。

1 理論基礎

1.1 數據采樣

1.1.1 ADASYN

ADASYN方法根據樣本分布情況為不同的少數類樣本生成不同數量的新樣本[14]。ADASYN生成少數類樣本的步驟如下:

步驟1根據少數類樣本和多數類樣本之間的差值計算少數類樣本需要合成的數量G。

步驟2根據K近鄰算法計算樣本權重(K近鄰中多數類占比),并根據樣本權重計算每個少數類樣本需要生成的新樣本數量gi。

步驟3根據SMOTE算法依次生成gi個新的少數類樣本。

1.1.2 Borderline-SMOTE1

Borderline-SMOTE1是基于SMOTE改進的過采樣方法,該方法僅使用邊界上的少數類樣本生成新樣本[15]。Borderline-SMOTE1生成少數類樣本的步驟如下:

步驟1根據每個少數類樣本的K近鄰中屬于少數類的樣本數量將少數類樣本劃分為安全樣本、噪聲樣本和危險樣本。

步驟2根據每個危險樣本(危險樣本是指超過一半的K近鄰樣本屬于多數類)從K近鄰中隨機選取的s(0

1.2 Transformer模型

Transformer是一種基于注意力機制的編碼器-解碼器結構的網絡模型[16]。如圖1所示,Transformer網絡模型主要由多個編碼器和解碼器堆疊而成,其中,編碼器主要用于將輸入特征序列編碼為中間向量;解碼器主要用于將編碼器編碼的中間向量解碼為輸出標簽序列。

圖1 Transformer網絡架構Fig.1 Transformer network architecture

1.2.1 編碼器

編碼器由位置編碼層、多頭自注意力層、前饋神經網絡層和殘差&層歸一化層組成。編碼器的核心是多頭自注意力機制,主要用于為輸入特征序列分配注意力(即權重),使模型更加關注輸入特征序列中的重要信息;前饋神經網絡層主要用于將多頭自注意力層的輸出轉換到非線性空間;此外,在多頭自注意力層和前饋神經網絡層后加入殘差&層歸一化層,解決網絡深度過深導致的梯度消失等問題,并加快網絡收斂速度,提升網絡泛化能力。編碼器的主要組件介紹如下。

(1) 位置編碼

Transformer網絡的核心是注意力機制,但注意力機制無法學習序列位置信息,所以通過位置編碼加入序列位置信息。位置編碼通過sin和cos函數對輸入特征樣本的偶數維度和奇數維度交替進行編碼,如式(1)、式(2)所示

(1)

(2)

式中:pos為輸入特征樣本的位置;i為輸入特征的維度; 2i和2i+1為偶數和奇數維度;dmodel為位置編碼的維數,即輸入特征的維數。

(2) 多頭自注意力機制

自注意力機制是注意力機制的變體,減少了對外部信息的依賴,更擅長捕獲輸入特征序列內部的相關性,通過計算輸入特征序列間的相似性分配權重,以表征信息的重要程度。本文使用的是縮放點積自注意力機制,首先輸入特征序列X乘以3個不同的權重矩陣得到查詢矩陣Q、鍵矩陣K、值矩陣V,然后使用查詢矩陣Q對鍵矩陣K進行點積與Softmax歸一化計算注意力權重,最后根據注意力權重對值矩陣V加權求和得到輸出特征序列,如式(3)～式(6)所示

Q=XWq

(3)

K=XWk

(4)

V=XWv

(5)

(6)

式中,Wq,Wk,Wv分別為Q,K,V對應的權重矩陣。

相較于單一的自注意力機制,多頭自注意力機制提供了多個“表示子空間”,擴展了模型關注不同位置的能力。多頭自注意力機制是多個自注意力機制的拼接和線性變化,如式(7)～式(8)所示

Multi-Head(Q,K,V)=Concat(H1,H2,…,Hn)W

(7)

Hi=Self-Attention(XWQi,XWKi,XWVi)

(8)

式中:Hi(i∈{1,2,…,n})為第i個自注意力頭;n為自注意力頭的個數; Concat函數為拼接多個自注意力頭的輸出;W為多頭自注意力權重矩陣;WQi,WKi,WVi為第i個自注意力頭的Q,K,V權重矩陣。

1.2.2 解碼器

解碼器由位置編碼層、遮擋多頭自注意力層、編-解碼器多頭注意力層、前饋神經網絡層、和殘差&層歸一化層組成。解碼器的核心是遮擋多頭自注意力機制和編-解碼器多頭注意力機制,遮擋多頭自注意力機制用于為輸入標簽序列分配注意力(即權重),使模型更加關注輸入標簽序列中的重要信息;然后通過編-解碼器多頭注意力機制學習編碼器輸出的中間向量和輸入標簽序列的依賴關系。解碼器的主要組件介紹如下。

(1) 遮擋多頭自注意力機制

相較于多頭自注意力機制,遮擋多頭自注意力機制在多頭自注意力機制中加入了遮擋操作,為了防止每個時間步學習到未來的標簽序列信息。遮擋操作是指在計算縮放點積自注意力時引入一個下三角單位矩陣M(主對角線上方元素全為0,主對角線及主對角線下方元素全為1)和QKT相乘,使得未來的標簽序列信息清零,如式(9)所示

(9)

(2) 編-解碼器多頭注意力機制

相較于多頭自注意力機制,編-解碼器多頭注意力機制的查詢矩陣Q來自遮擋多頭自注意力層,表示標簽序列信息,記為QD;鍵矩陣K和值矩陣V來自編碼器輸出的中間向量,表示特征序列信息,分別記為KE和VE,式(10)所示

(10)

2 基于Transformer的多標簽工業故障診斷

本文提出了一種基于多重自注意力機制改進的Transformer多標簽故障診斷模型,并在PHM2015 Plant數據集上進行了訓練、驗證、測試。如圖2所示,多標簽故障診斷流程主要由5個步驟組成: ①特征工程,將多維傳感器數據按采樣時間對齊后,再根據采樣時間合并組件的傳感器數據,并加入季節、月份、周、天、小時以及分鐘數等周期變量;②數據采樣,根據故障樣本的不均衡率采用ADASYN和Borderline-SMOTE1組合策略進行數據過采樣;③故障檢測,基于Transformer-N網絡模型進行故障檢測,若未發生故障則直接結束,否則執行步驟④,其中,Transformer-N包括1個Transformer網絡模型,用于檢測是否發生了故障;④故障診斷,若發生了故障,則基于Transformer-Fn(n∈{1,2,3,4,5,6})網絡模型進行故障診斷,其中,Transformer-Fn包括6個Transformer網絡模型,用于分別診斷是否發生了故障f1～f6,然后根據時間生成多標簽故障序列(如,故障序列[0,1,1,0,0,1]表示同時發生了故障f2,f3,f6);⑤結果與評估,最后根據Precision,Recall,F1-score,Jaccard index以及Hamming loss評價指標對Transformer-Fn模型的整體預測性能進行評估。

圖2 基于Transformer的多標簽故障診斷流程Fig.2 Multi-label fault diagnosis process based on Transformer

2.1 ADASYN和Borderline-SMOTE1組合過采樣

ADASYN算法易受離群點的影響,若某個少數類樣本的K近鄰都是多數類樣本,則易在其周圍產生過多單一的少數類樣本。而Borderline-SMOTE1算法在產生少數類樣本時,從每個危險樣本的K近鄰中隨機選擇要生成的少數類樣本數量,無法對邊界上要產生的少數類樣本數量進行合理評估。所以本文對ADASYN和Borderline-SMOTE1算法進行融合,提出了一種ADASYN和Borderline-SMOTE1組合過采樣策略,自適應地在分類邊界上合成新的少數類樣本,如圖3所示。流程如下。

圖3 ADASYN和Borderline-SMOTE1組合過采樣Fig.3 Combined oversampling of ADASYN and Borderline-SMOTE1

(1) 計算少數類要生成的樣本數量G,如式(11)所示。

G=(Nmaj-Nmin)×β

(11)

式中:Nmaj和Nmin為多數類和少數類樣本數量;β∈(0,1]為采樣后的多數類與少數類比例。

ri=Δi/K

(12)

(13)

式中, Δi為K近鄰中多數類樣本數。

(4) 計算每個危險樣本x′>i需要生成的新樣本個數gi,如式(14)所示。

(14)

(5) 根據SMOTE算法從危險樣本x′>i的K個近鄰中隨機選取少數類樣本依次生成gi個少數類樣本,如式(15)所示。

si=x′i+(x′iK-x′i)×λ

(15)

式中:si為合成的少數類樣本;x′>iK為從危險樣本x′>i的K個近鄰中隨機選取的少數類樣本;λ∈[0,1]為一個隨機數。

2.2 多重自注意力機制改進的Transformer模型

Transformer模型在自然語言處理等領域取得了巨大的成功,但其獨特的結構限制了在故障診斷領域的應用,因此針對多標簽故障診斷問題對其核心的自注意力機制和結構進行改進。本文提出了一種基于多重自注意力機制改進的Transformer模型,充分利用編碼器-解碼器結構以及自注意力機制的優勢,深入挖掘多維傳感器數據與多個故障標簽之間的復雜映射關系。

傳統的Transformer模型僅關注輸入序列中不同時間步長的注意力(即權重),但忽略了輸入序列中不同傳感器的重要性。所以本文提出了一種多重自注意力機制改進的Transformer模型,在Transformer模型的編碼器中加入多重自注意力機制,以提取輸入特征序列中不同時間步長和不同傳感器中的重要特征。

多重自注意力機制如圖4所示,首先輸入時間步長特征序列,經過多頭的時間步長自注意力得到加權的時間步長特征序列;然后對加權的時間步長特征序列進行轉置得到傳感器特征序列;最后經過多頭的傳感器自注意力得到加權的傳感器特征序列。所以多重自注意力機制不僅可以提取不同時間步長中的重要特征,還可以提取不同傳感器中的重要特征,如式(16)～式(18)所示。

圖4 多重自注意力機制Fig.4 Multiple self-attention mechanism

(16)

(WtVt)T=Qs=Ks=Vs

(17)

(18)

式中:Qt,Kt,Vt,Wt為時間步長特征的查詢、鍵、值、權重矩陣;Qs,Ks,Vs,Ws為傳感器特征的查詢、鍵、值、權重矩陣。

在解碼器中,由于多標簽故障診斷的輸入特征序列和輸入標簽序列維度不一致導致編-解碼器多頭注意力層無法計算,所以在解碼器輸入端加入一個全連接層提升輸入標簽序列的維度和輸入特征序列保持一致;同理,在解碼器輸出端加入一個全連接層降低輸出標簽序列的維度和原始的輸入標簽序列保持一致。

3 數據集描述與預處理

3.1 數據集描述

本文使用PHM Society在PHM 2015數據挑戰賽中提供的Plant數據集對所提出的模型進行訓練、驗證和測試。該數據集是脫敏后的真實工廠數據,包括6種故障事件以及正常事件,大約33個plant的數據,數據采集的時間跨度約為3～4 a,采樣間隔約為15 min。每個plant包括3個文件:①每個組件的傳感器數據和控制參考信號數據;②工廠內每個區域的累計能耗和瞬時功率;③每個故障的開始時間和結束時間。其中,每個plant包含多個區域,每個區域包含多個組件,且每個plant的區域數量和組件數量都不相同。該數據挑戰賽的目標是預測故障f1～f5(f6為其他故障)以及它們的起止時間,本文僅預測故障f1～f6而不考慮它們的起止時間,這可以表述為一個類不均衡的多標簽分類問題。

本文將特征序列X和標簽序列E以6∶4的比例劃分為訓練集和測試集,然后再將訓練集以9∶1的比例劃分為訓練集和驗證集。如圖5(a)所示,在工廠plant_1中正常樣本和故障樣本的數量分別為78 710和34 466,占樣本總量的69.55%和30.45%。各類故障樣本數量對比,如圖5(b)所示。plant_1中各類故障的樣本數量及所占比例,如表1所示。由圖5(b)和表1可知:在故障樣本中故障f1～f6存在嚴重的類不均衡現象,其中,故障f6的樣本數量為21 463,占故障樣本總量的62.27%,樣本數量遠超過其他類型的故障;而故障f4和f5的樣本數量分別為597和784,僅占故障樣本總量的1.73%和2.27%,樣本數量遠低于其他類型的故障。

表1 plant_1中各類故障的樣本數量及所占比例

圖5 plant_1中正常樣本和各類故障樣本數量對比Fig.5 Number comparison of normal samples and various fault samples in plant_1

此外,在所有的故障樣本中,多個類型的故障同時發生的樣本數量為3 876,占故障樣本總量的11.25%。其中,多個類型的故障同時發生的組合高達28種,每個組合中可能同時發生2～4種故障。如圖6所示,以樣本數量最多的前10種故障組合為例進行分析,同時發生2種故障的組合及其樣本數量最多,故障f2,f3經常和其他故障一起發生,且故障f2和f6一起發生的樣本數量最多。

圖6 plant_1中故障樣本數量最多的前10種故障組合Fig.6 Top 10 fault combinations with largest number of fault samples in plant_1

3.2 數據預處理

本文主要使用plant_1的①文件和③文件,即plant_1a.csv和plant_1c.csv,如表2所示。其中,plant_1包括6個組件,每個組件包括4個傳感器、4個控制參考信號以及6種故障標簽。

表2 plant_1中①文件和③文件介紹Tab.2 Introduction of ① and ③ files in plant_1

3.2.1 特征工程

plant_1a.csv即原始數據Xraw是由多個傳感器采集的帶時間戳的多維時間序列,由于傳感器日志記錄延遲導致采樣間隔在15 min左右浮動,所以首先在Xraw中以15 min的采樣間隔對齊所有樣本的時間戳ti;然后刪除在相同時間戳ti上重復的組件記錄,若某個組件記錄缺失則按時間戳ti先前向插補再后向插補缺失的組件記錄;然后在時間戳ti上根據組件編號cid合并6個組件的傳感器數據s1～s4以及控制參考信號r1～r4添加到特征序列X;然后由于故障事件存在周期性,所以從時間戳ti中提取季節、月份、周、天、小時以及分鐘數(當年1月1日0時0分到當前的分鐘數)特征添加到X;最后,根據plant_1c.csv即Eraw中每個故障標簽對應的開始時間st和結束時間et生成X對應的one-hot故障標簽序列。

3.2.2 數據過采樣

在劃分數據集后訓練集中故障f1～f6的類不均衡現象更加嚴重,如表3所示。其中,故障f4和f5的樣本數量僅為243和53,僅占訓練集樣本總量的1.31%和0.28%,樣本數量遠低于其他類型的故障。

表3 plant_1訓練集中各類故障的樣本數量及所占比例

故障樣本的極端類不均衡性嚴重限制故障診斷分類器的性能,若不考慮故障樣本的類不均衡性,則故障診斷分類器的預測結果更傾向于多數類故障而忽略了少數類故障,但在故障診斷時往往更關注少數類故障,所以本文提出了ADASYN和Borderline-SMOTE1組合過采樣策略。為了防止數據泄露,本文僅對訓練集進行采樣,訓練集中故障樣本不均衡率(多數類和少數類故障樣本數量的比率,本文是指采樣前在訓練集中其他類和當前類故障樣本數量的比率)大于20且小于100時過采樣率(少數類和多數類故障樣本數量的比率,本文是指采樣后在訓練集中當前類和其他類故障樣本數量的比率)設置為0.25,如故障f4;故障樣本不均衡率大于100時過采樣率設置為0.2,如故障f5。

4 試驗結果與分析

4.1 試驗環境與評價指標

4.1.1 試驗環境

本文的試驗環境:CPU是Intel Core i5 9300H,CPU核心數為4,邏輯處理器為8;GPU為NVIDIA GeForce GTX 1650with Max-Q Design(4096MB)。開發環境:Python3.8、scikit-learn1.0.2以及Tensorflow2.8.0等。訓練參數:訓練的最大迭代次數為500,當驗證集損失連續20次不再下降時停止訓練,實際訓練的迭代次數在25～131,且主要集中在50左右;損失函數為BinaryCrossentropy;優化器為Adam,初始學習率設置為0.001,當驗證集損失連續5次不再下降時學習率減少到一半,最小學習率為0.000 1,實際訓練的學習率幾乎都降到了0.000 1;分類層激活函數為sigmoid。

4.1.2 評價指標

針對多標簽故障診斷問題,由于故障樣本存在嚴重的類不均衡現象,所以使用微平均和宏平均Precision,Recall和F1-score分別從故障樣本上和故障類別上評估多標簽故障診斷模型的性能。micro和macro Precision,Recall和F1-score如式(19)～式(24)所示。

(19)

(20)

(21)

(22)

(23)

(24)

式中:n∈{1,2,3,4,5,6}為故障類型;q=6為故障類型的個數;tpn為第n類故障被正確預測的樣本個數;fpn為其他類型故障被錯誤預測為第n類故障的樣本個數;fnn為第n類故障被錯誤預測為其他類型故障的樣本個數。

Jaccard index主要用于計算真實標簽序列集合和預測標簽序列集合之間的相似程度[17],Jaccard index越高,真實標簽序列集合和預測標簽序列集合之間的相似程度越高。micro和macro Jaccard index如式(25)～式(26)所示。

(25)

(26)

Hamming loss主要用于計算真實標簽序列集合和預測標簽序列集合之間的不一致程度[18],Hamming Loss越低,真實標簽序列集合和預測標簽序列集合之間的不一致程度越低。Hamming Loss如式(27)所示。

(27)

4.2 相關算法與參數設置

為了驗證本文提出方法的效果,本文將與以下8個模型在工廠plant_1數據集上進行比較,它們的超參數設置如表4所示。表4中的所有模型均經過Hyperband[19]超參數搜索算法得到最佳參數設置,該算法限定了資源(如時間、計算資源等)總量,通過連續減半[20]算法和早停策略分配資源,該算法不僅能夠盡可能多的搜索到所有超參數組合,而且能夠更快的找到最佳的超參數設置。Hyperband算法在搜索的過程中通過連續減半算法篩選出評價排名前一半的超參數組合進入下一輪篩選,每輪通過早停策略停止搜索評價不好的超參數組合,動態分配資源總量,直至搜索到最佳的超參數組合。此外,本文所提方法和以下8個模型使用相同的輸入特征、采樣策略、標準化方式以及訓練參數等,且均訓練1個*-N模型用于故障檢測,以及6個*-Fn(n∈{1,2,3,4,5,6})模型用于故障診斷,最后按照時間生成多標簽故障序列進行評估。

表4 Transformer及其他對比模型的超參數設置Tab.4 Hyperparameter setting of Transformer and other comparison models

(1) LR模型:該模型輸入特征數量較大時,該模型容易出現過擬合,嚴重影響分類性能,使用帶L2懲罰的邏輯回歸模型,以避免過擬合并提高預測性能。

(2) RF模型:該模型基于bagging和隨機特征選擇技術,每次構建決策樹時隨機選擇部分特征,最后平均所有決策樹的預測結果。

(3) 雙向的長短期記憶網絡(long short-term memory,LSTM),簡稱BiLSTM,該模型主要由前向LSTM和后向LSTM組成。其中,后向LSTM通過復制前向LSTM的結構以及輸入序列的反向副本,以更好的捕獲雙向的時間序列依賴關系。

(4) 基于多頭自注意力機制的門控循環單元網絡(gated recurrent unit,GRU),簡稱MSA-GRU,該模型主要由2個GRU層組成。其中,在GRU層之前加入多頭自注意力機制以提供多個表示子空間,使GRU模型在不同位置上關注到來自不同表示子空間的特征信息。

(5) CNN-LSTM:該模型主要由1D卷積層、1D池化層和LSTM層組成。其中,1D卷積層用于空間特征提取,1D池化層用于特征降維,LSTM層用于學習時間特征,通過編碼空間、時間特征,以更好地應對時間序列分類問題。

(6) MA-CNN-BiGRU[21]:該模型是基于多重注意力機制的CNN-BiGRU模型。該模型主要由CNN和BiGRU組成。其中,在CNN層后加入通道注意力和空間注意力機制,在BiGRU層后加入序列注意力機制,加強關鍵信息提取能力,以解決BiGRU對于過長序列數據處理困難、無法保留全部關鍵信息的問題。

(7) 自動編碼機(autoencoder,AE):該模型是一個編碼器-解碼器結構的網絡,編碼器和解碼器中分別包含2個全連接層。其中,編碼器將輸入序列編碼為低維的內部表示,解碼器將低維的內部表示恢復為輸入序列,該模型通過正常樣本訓練模型,使用重構誤差均方誤差(mean square error,MSE)作為閾值檢測故障。本文嘗試通過某個類別的故障數據訓練模型,使用重構誤差MSE檢測是否發生該故障,從而進行故障診斷。

(8) Encoder-Decoder LSTM,簡稱E-D LSTM,該模型是一個編碼器-解碼器結構的LSTM網絡,編碼器和解碼器中分別包含1個LSTM層,其中,編碼器對輸入特征序列編碼得到一個內部隱藏狀態,解碼器以該內部隱藏狀態為初始狀態對輸入標簽序列解碼得到最終的輸出標簽序列(注:輸出標簽序列是由輸入標簽序列向右偏移一個時間步得到的)。

4.3 試驗結果分析與對比

4.3.1 故障檢測試驗

故障診斷之前最重要的環節是故障檢測,故障檢測是指檢測指定時刻是否發生故障,精準的故障檢測可以盡可能的減少甚至避免正常樣本進入故障診斷環節導致故障診斷模型將正常樣本誤分類為某個類型的故障樣本。本文將提出的Transformer-N模型與其他8個*-N模型在工廠plant_1數據集上進行比較,評價指標包括micro和macro Precision,Recall,F1-score,故障檢測模型*-N的評價指標及其對比曲線如表5和圖7所示。

表5 不同故障檢測模型*-N的評價指標

圖7 不同故障檢測模型*-N的評價指標對比Fig.7 Comparison of evaluation metrics of different fault detection models *-N

由表5和圖7可知,LR-N模型的故障檢測效果最差,micro Precision,Recall,F1-score均不超過68.56%,macro Precision,Recall,F1-score均不超過57.25%。Transformer-N模型的故障檢測效果最好,micro Precision,Recall,F1-score均超過96.17%,macro Precision,Recall,F1-score均超過95.15%;與最差的LR-N模型相比,micro Precision,Recall,F1-score提升均超過27.61%,macro Precision,Recall,F1-score提升均超過37.9%;與次之的E-D LSTM-N模型相比,micro Precision,Recall,F1-score提升均超過5.94%,macro Precision,Recall,F1-score提升均超過7.01%。此外,其他模型的micro Precision,Recall,F1-score均在72.47%～75.21%,macro Precision,Recall,F1-score大多不超過62.65%,遠低于本文提出的Transformer-N故障檢測模型。

4.3.2 多標簽故障診斷試驗

多標簽故障診斷是指確定指定時刻發生的一個或多個故障,及時、有效的故障診斷可以減少維護人員的工作量,降低維護成本,防止重大工業事故。本文將提出的Transformer-Fn模型與其他8個*-Fn模型在工廠plant_1數據集上進行比較,評價指標包括micro和macro Precision,Recall,F1-score,Jaccard index以及Hamming loss,采樣前和采樣后故障診斷結果的評價指標如表6所示。由表6可知,本文提出的Transformer-Fn多標簽故障診斷模型在采樣前、采樣后的micro和macro Precision,Recall,F1-score,Jaccard index以及Hamming loss均優于其他8個*-Fn對比模型。在采樣前:

表6 不同多標簽故障診斷模型*-Fn的評價指標Tab.6 Evaluation metrics of different multi-label fault diagnosis models *-Fn 單位:%

(1) 與經典的機器學習方法LR-Fn、RF-Fn相比,BiLSTM-Fn循環神經網絡的各種評價指標并沒有提升;而Transformer-Fn的Hamming loss降低了9.49%,其他評價指標最高提高了37.65%,這說明在類不均衡的多標簽故障診斷任務中Transformer-Fn的性能遠優于經典的機器學習方法和簡單的循環神經網絡方法。此外,在經典的機器學習方法中,集成分類器RF-Fn比線性分類器LR-Fn的Hamming loss提高了2.48%,其他評價指標最低降低了10.34%。

(2) 與循環神經網絡BiLSTM-Fn相比,MSA-GRU-Fn組合神經網絡的效果并不好;但CNN-LSTM-Fn組合神經網絡的Hamming loss降低了0.19%,其他評價指標最高提高了9.54%,這說明通過CNN提取特征、降低維度后模型能夠更好地學習故障序列間的依賴關系;而MA-CNN-BiGRU-Fn組合神經網絡的Hamming loss降低了0.87%,其他評價指標最高提高了15.33%,這說明多重注意力機制能夠使模型聚焦于更為重要的故障信息上。此外,從上述結論也可以看出,在類不均衡的多標簽故障診斷任務中,單重自注意力機制對循環神經網絡的提升沒有CNN及多重自注意力機制提升的效果好。

(3) 與組合神經網絡MSA-GRU-Fn、CNN-LSTM-Fn和MA-CNN-BiGRU-Fn相比,編碼器-解碼器結構的AE-Fn效果特別差,這說明AE-Fn通過重構誤差不能從多個故障類型的樣本中檢測出某個類型的故障;編碼器-解碼器結構的E-D LSTM-Fn與效果最好的MA-CNN-BiGRU-Fn組合神經網絡相比,Hamming loss降低了8.45%,micro評價指標最低提高了22.69%,macro評價指標最低提高了11.43%,這說明在類不均衡的多標簽故障診斷任務中,E-D LSTM-Fn不僅能夠很好的學習故障特征序列之間的依賴關系,而且能夠很好的學習故障標簽序列之間的依賴關系。而編碼器-解碼器結構的Transformer-Fn與效果最好的MA-CNN-BiGRU-Fn組合神經網絡相比,Hamming loss降低了9.77%,micro評價指標最低提高了26.35%,macro評價指標最低提高了16.44%,這說明在類不均衡的多標簽故障診斷任務中,Transformer-Fn的性能比組合神經網絡和編碼器-解碼器結構的循環神經網絡要好。

(4) 與編碼器-解碼器結構的神經網絡AE-Fn和E-D LSTM-Fn相比,Transformer-Fn的Hamming loss僅為2.74%,比次之的E-D LSTM-Fn降低了1.32%;Transformer-Fn的micro Precision,Recall,F1-score均超過了90.16%,比次之的E-D LSTM-Fn最低提高了3.58%;Transformer-Fn的macro Precision,Recall,F1-score均超過了74.71%,比次之的E-D LSTM-Fn最低提高了2.65%,最高提高了5.01%;Transformer-Fn的micro和macro Jaccard index均超過了70.16%,比次之的E-D LSTM-Fn最低提高了6.06%。這說明在類不均衡的多標簽故障診斷任務中,Transformer-Fn憑借其獨特的編碼器-解碼器結構以及改進后的多重自注意力機制,能夠深入的挖掘故障特征序列與故障特征序列、故障標簽序列與故障標簽序列以及故障特征序列與故障標簽序列之間復雜的映射關系。但Transformer-Fn的micro和macro Precision,Recall,F1-score,Jaccard index最高相差17.85%,這也說明故障類別之間的數據不均衡現象對Transformer-Fn模型的性能有很大的影響。

如圖8所示,柱狀圖表示不同的多標簽故障診斷模型*-Fn在采樣前的評價指標(淺灰色區域表示采樣后沒有提高,深灰色區域表示采樣后有所提高),柱狀圖上方的長橫線表示不同的多標簽故障診斷模型*-Fn在采樣后的評價指標。由圖8可知:在ADASYN和Borderline-SMOTE1組合過采樣后,Transformer-Fn與其他7個*-Fn對比模型(除AE-Fn外)在micro和macro Recall,F1-score,Jaccard index上均有一定的提高,且macro比micro Recall,F1-score,Jaccard index提高的更多,但可能損失部分micro和macro Precision;此外,Hamming loss降低的很少甚至有輕微的上升。這說明在類不均衡的多標簽故障診斷任務中,本文提出的ADASYN和Borderline-SMOTE1組合過采樣方法雖然會生成一些噪聲樣本從而損失部分精度,但能夠很好的改善故障數據的類不均衡現象,提高模型在樣本上和類別上的整體預測性能。其中,故障診斷性能最差的MSA-GRU-Fn神經網絡在采樣后,macro評價指標平均提高了7.54%,且其他評價指標均有一定改善。故障診斷性能最好的Transformer-Fn神經網絡在采樣后,micro Precision,Recall,F1-score均超過91.04%,其中micro Precision高達94.77%;macro Precision,Recall,F1-score均接近甚至超過80.64%,其中macro Precision高達88.09%,平均提高了6.87%;micro和macro Jaccard index均超過74.6%,其中micro Jaccard index高達 86.68%;Hamming loss低至2.63%。而故障診斷性能次之的E-D LSTM-Fn神經網絡在采樣后,macro評價指標平均提高了4.14 %,且其他評價指標均有一定改善。

圖8 不同多標簽故障診斷模型*-Fn在采樣前和采樣后的評價指標對比Fig.8 Comparison of evaluation metrics of different multi-label fault diagnosis models *-Fn before and after sampling

為了進一步驗證本文提出的ADASYN和Borderline-SMOTE1組合過采樣方法,多重自注意力機制改進的Transformer-Fn模型的有效性,本文采用t-SNE算法[22]對測試集數據進行降維可視化分析,降至2維后的特征用t-SNE1和t-SNE2表示。圖9中,簇表示可能同時發生的單個或多個故障組合,圖9(a)、圖9(b)、圖9(c)用于比較Transformer-Fn模型在采樣前和采樣后的預測效果。如圖9(a)所示,從測試集中原始的故障分布中我們可以看出,故障f1～f6存在嚴重的類不均衡現象,且可能同時發生1～4種故障,如故障f6經常單獨發生,而故障f1和f5、f1和f6、f2和f3,以及f1,f5和f6等故障經常同時發生;如圖9(b)所示,從采樣前Transformer-Fn模型在測試集上的預測結果可以看出,本文提出的Transformer-Fn模型可以很好的預測出幾乎所有的故障及其組合,但幾乎預測不出故障f5且預測出的故障f4很少,這主要是因為訓練集中故障f4和f5的樣本數量太少,僅占訓練集的1.31%和0.28%,導致模型學習不充分;如圖9(c)所示,從采樣后Transformer-Fn模型在測試集上的預測結果可以看出,經過本文提出的組合過采樣方法采樣后Transformer-Fn模型可以預測出接近一半的故障f5且可以預測出更多的故障f4,這主要是因為訓練集中故障f5的樣本數量太少,僅有53個,無法充分的表征故障f5,即使通過采樣方法增加樣本數量模型也無法充分學習出故障f5的特征模式,但我們提出的組合過采樣方法可以在一定程度上緩解類不均衡現象,提高模型的預測性能。

圖9 測試集中故障組合分布的可視化效果Fig.9 Visualization of fault combination distribution in test set

5 結 論

本文提出了一種基于多重自注意力機制改進的Transformer多標簽故障診斷方法,結合ADASYN和Borderline-SMOTE1組合過采樣策略,以解決極端類不均衡的多標簽工業故障診斷問題。在PHM2015 Plant數據集上進行了訓練、驗證和測試,結果表明:

(1) 本文提出的ADASYN和Borderline-SMOTE1組合過采樣方法,能夠改善工業故障數據的極端類不均衡現象,可能會損失部分精度,但是能夠很好的提高樣本上和類別上的整體預測性能。

(2) 本文提出的Transformer-N網絡模型能夠準確的識別出指定時刻是否發生了故障,盡可能的減少了正常樣本進入故障診斷環節導致故障診斷模型將正常樣本誤分類為某個類型的故障樣本。

(3) 本文提出的Transformer-Fn網絡模型能夠更好的挖掘出輸入特征與輸入特征、輸入標簽與輸入標簽、輸入特征與多故障標簽之間的復雜映射關系,可以較好地診斷出工廠生產過程中同時發生的多個故障。

在未來研究中,針對多維工業數據的嚴重類不均衡問題,可以考慮設計多標簽的數據采樣方法,以同時提高樣本上和類別上的整體預測性能;針對多標簽故障診斷問題,可以考慮設計單個多標簽分類模型,降低訓練模型的復雜性,挖掘故障之間更復雜的關系。