基于傳遞式領域自適應的異構樣本增強方法

翟利志,任一夫,白 潔,高學攀,賈慶超,劉 強

(1.中國電子科技集團公司第五十四研究所,河北 石家莊 050081;2.河北省智能化信息感知與處理重點實驗室,河北 石家莊 050081;3.陸裝駐石家莊地區第一軍代室,河北 石家莊 050081)

0 引 言

大規模類別均衡的訓練故障樣本,是實現數據驅動故障診斷可靠建模的先決條件[1-6]。然而,受限于復雜的流程以及不穩定的監測環境,完備的樣本數據難以保證。這導致小樣本普遍存在,成為數據驅動建模發展的“卡脖子”問題[7-8]。因此,如何增強小樣本的數量和類型,獲得診斷精度高、泛化能力強的故障診斷模型,成為數據驅動故障診斷建模的重要課題。

近年來,樣本增強研究被業界和學術界廣泛關注。樣本增強方法大致可分為三類:采樣方法、深度網絡方法以及域適應方法。具體而言,對于采樣方法[9-10],過采樣策略通過直接擴充小樣本的數量實現樣本增強。然而,此類方法并沒有在小樣本中補充新的樣本知識,這會嚴重影響建模的泛化性。相反,深度網絡方法[11-13]在解決建模泛化性這一問題上取得了令人矚目的成果。具體而言,在文獻[11-12]中,迭代機制和對抗機制被設計,并用來增強建模的泛化性。然而,這些深度網絡方法的有效表現,是建立在充足的訓練樣本,或是預先得到一個擁有龐大網絡結構的預訓練模型的基礎之上。眾所周知,受限于故障樣本的獲取難度,這些要求在實際領域幾乎不能滿足。因此,上述方法在實際樣本增強應用中難以普及。

隨著遷移學習受到更多關注,域適應方法為樣本增強提供了新思路。具體而言,域適應方法[14-17]通過降低源域和目標域之間的分布差異,從而允許其他域中的樣本知識增強小樣本。然而,此類方法在實際小樣本應用中依舊受限,這是因為:(1)區別于其他領域,故障樣本的獲取和標注成本更高,因此目標域中的小樣本問題更加嚴峻;(2)由于不明確的故障機理,難以根據專家經驗選取與目標域工況相似的源域;(3)由于工況差異較大,缺乏有效的技術來探索異構域中的樣本,從而導致“負遷移”現象嚴重[14],建模準確性大打折扣[18-19]。受此啟發,在文獻[20]中,提出一個用于工業故障診斷的通用遷移框架,通過故障相似性對源域故障樣本進行選擇性遷移,在實現目標域樣本增強的同時,緩解了“負遷移”。在文獻[21]中,多源遷移學習網絡被提出,通過遷移多源域的故障樣本實現目標域不可見故障的知識增強,成功解決了機器不可見故障的智能診斷,進一步拓展了遷移學習方法在工業故障診斷領域的應用范圍。

基于上述討論和分析,該文提出了一種基于傳遞式領域自適應的異構樣本增強方法。首先,借助公共特征,在私有特征維度探索異構域樣本。需要注意的是,在多源域傳遞式探索過程中,域內部的有用信息也能夠被用來輔助探索異構域樣本,因此文中方法在樣本探索的同時,突破了源域選擇困難的局限性。此外,從目標域角度來看,源域樣本的介入,實質上增強了目標域樣本的數量和種類,即樣本增強。這一過程,由于只將源域樣本遷移到目標域并用于目標域建模,不會影響目標域的工況建模,這意味著目標域故障信息被最大程度保留,因此目標域的故障診斷建模精度被保證;此外,由于源域故障樣本的引入,目標域故障樣本的故障多樣性得到增強,所以目標域的建模泛化性得到提高。該文的主要創新點如下:

(1)針對異構域分布差異較大的問題,通過設計傳遞式探索策略以獲得豐富種類的樣本知識,從而提高了小樣本條件下建模的泛化性。

(2)針對異構域分布匹配困難的問題,通過聯合匹配源域和目標域的邊緣分布以及條件分布,實現異構域的可靠匹配,從而提高了小樣本條件下建模的準確性。

1 異構樣本傳遞式探索

在本節,提出一種異構樣本傳遞式探索策略,通過學習異構域樣本之間的共享映射,從而使異構域樣本能夠被用來增強小樣本,因此提高建模的泛化性。對于異構域樣本的探索,該文設計了基于最相關域的傳遞式策略。具體而言,首先在多個源域中選擇與目標域最相關的源域,然后在公共特征的輔助下,設計支持域樣本,從而獲得這兩個域的共享空間表示。同理地,在剩余的多個源域中,繼續探索與當前已選擇源域最相關的源域,并學習它們之間的共享空間表示。最后,異構域樣本被傳遞式地探索,并用來增強小樣本的數量和種類[22-23]。

1.1 目標域-源域最相關樣本搜尋

(1)

(2)

然后,支持域樣本被設計用來學習目標域與源域的共享表示。支持域樣本可以看作匹配目標域與源域的橋梁。支持域通過公共特征,可支持源域樣本和目標域樣本的連接,并能傳遞源域和目標域的維度、分布信息,便于更好地匹配源域和目標域[26]。特征映射φs和φt用來連接公共特征和私有特征,優化目標表示如下:

(3)

(4)

(5)

(6)

其中,ψT,S1表示目標域T和源域S1映射到共享空間的映射矩陣。‖?‖H表示再生希爾伯特空間。

1.2 源域-源域最相關樣本傳遞式搜尋

(7)

(8)

(9)

(10)

(11)

同理,基于支持樣本可得到傳遞樣本,因此傳遞域表示如下:

(12)

由此,從T到SN的遙遠域傳遞式域適應優化如下:

(13)

通過ψT,SN,遙遠域SN被探索并用于增強目標域小樣本的種類。

2 異構域樣本分布聯合匹配

在衡量域之間的分布差異時,邊緣分布和條件分布有著不同的影響權重。受此啟發,為了獲得更可靠的分布匹配性能,提出了一種分布聯合匹配機制,該機制關注異構數據的邊緣分布和條件分布,并針對不同的數據集自適應調整兩個分布的權重。因此,所設計的分布聯合匹配機制在不同工況下會具有更強的適應性。將分布差異嵌入到最大均值差異模型,表示如下:

M(xSd,xTd)=

(14)

(15)

其中,p(λi)表示λi的先驗概率,z表示其他工況中樣本集的數量。p(DM)等價于系數,可以通過核函數求得。

3 實驗驗證

在本節,驗證了傳遞式探索策略以及工業小樣本增強的有效性。數據集來自世界公認的田納西-伊斯曼仿真工業流程數據集,該工業流程屬于分類建模[27]。實驗中使用的故障數據包括No.1,No.8,No.13,No.14和No.21,更多故障數據細節見文獻[28]。同時,參與訓練的源域樣本和目標域樣本分別為500個和30個,測試樣本為24個。為了避免隨機性,所有實驗結果都是取10次實驗結果的平均值作為最終結果。

實驗中,利用Accuracy,Recall和Precision評估文中方法的故障診斷表現。

(16)

其中,TP,TN,FP和FN分別表示真陽性、真陰性、假陽性和假陰性。

實驗設置:為了評估遙遠域傳遞式探索的表現,將文中方法與各個領域具有代表性的域適應方法作對比:單源域適應、多源域適應以及遙遠域適應。為了避免不同數量的訓練樣本對方法評估產生影響,保證上述方法的訓練樣本數量是一致的。另外,對于單源域適應,選擇表現最好的域適應結果作為最終結果。對于多源域適應,采用了對不同數量的源域建模的策略。對于遙遠域適應,選擇不同的源域作為初始域來探索目標域[29]。

表1 對比方法在不同數據集下的故障診斷表現

從表1可以看出,在不同數據集下,文中方法與上述方法相比有很好的表現,特別是當源域和目標域有顯著差異時。具體而言,從圖1(a)可以看出,數據No.1與數據No.13,No.14存在顯著差異,這導致上述提到的方法在這兩組數據集中有較差的域適應表現(No.1與No.13以及No.1與No.14)。相比之下,所提方法在這兩組數據集中的平均精度為78.65%,與文獻[18-19]相比分別提高了23.8%和14.0%。這歸功于傳遞式探索的策略,其利用了中間域的有用信息來輔助對遠域樣本的探索。值得注意的是,從圖1(b)可以看出,使用文中方法探索遙遠域后,所有源域與目標域之間的相關性都有所提高,特別是對于差異較大的域,這進一步驗證了文中方法的有效性。

(a)原始域

(b)使用文中方法探索后的域

4 結束語

通過提出基于傳遞式領域自適應的異構樣本增強方法,實現了異構場景下的小樣本增強。該網絡允許工況差異較大的異構源域樣本,借助中間領域的樣本知識,用于當前工況中目標域小樣本的增強。這也意味著,該方法拓展了領域自適應方法在小樣本增強領域的應用范圍。在田納西-伊斯曼仿真工業流程開展了對比實驗來驗證該方法的有效性。實驗結果表明,與最先進的方法相比,該方法在異構領域自適應以及小樣本增強的實驗中均取得了最優表現。該方法能夠有效地實現異構域樣本遷移增強。