基于時間卷積膠囊網絡的核動力裝置事故診斷技術研究

鄧 強，王 航,2,3,*，彭敏俊,2,3，王曉昆，徐仁義

(1.哈爾濱工程大學 核科學與技術學院，黑龍江 哈爾濱 150001；2.哈爾濱工程大學 核安全與先進核能技術實驗室，黑龍江 哈爾濱 150001；3.哈爾濱工程大學 核安全與仿真技術國防重點學科實驗室，黑龍江 哈爾濱 150001)

核動力裝置長期連續工作，如若出現事故問題而不能及時發現并維修，可能會演變為嚴重事故，導致嚴重的放射性后果，危及運行人員和公眾的生命安全。同時，核動力裝置系統眾多、結構復雜、事故類型繁多，并具有非線性、強耦合、快時變等特性，因此事故診斷難度較高。隨著數字化控制技術和傳感器技術的發展，現代核動力裝置呈現信息化、復雜化、數字化的新趨勢[1]，因此亟需建立合理準確的事故診斷方法，提高自動化和智能化水平，滿足現代核動力裝置少人值守和無人值守的需求。

李志金等[2]通過核動力裝置確定性知識和模糊性知識的數學表示，基于正向推理方法建立了核動力裝置事故診斷專家系統。梁潔等[3]融合了傳統專家系統和人工神經網絡，建立具有實例學習能力的神經網絡推理機，構造了核動力系統神經網絡故障診斷專家系統。但是，核動力裝置結構復雜，獲取完善專家知識依然是基于專家知識的故障診斷方法的最大難點。何川等[4]通過分析核動力裝置事故處置規程，建立了事故-征兆映射體系的數學模型，描述征兆與事故之間的映射關系。但是，核動力裝置系統眾多，很難建立完善的物理模型。

近年來，隨著計算能力的增強和有效算法的發展，基于數據驅動的故障診斷方法打開了故障診斷技術在核動力裝置實際應用中的瓶頸。數據驅動的故障診斷方法可以從核動力裝置采集的大量數據中學習故障特征，及早發現故障，隔離故障，防患于未然。趙鑫等[5]提出了滑動時間窗口的動態時間彎曲故障診斷模型，構建事故標準序列實現待測時間序列的模式類別。王曉龍等[6]提出了一種基于特征事件序列的故障診斷方法，通過構建各種典型事故的標準特征事件序列譜，辨識故障程度及其相對位置。趙鑫等[7]選用支持向量機分類模型作為診斷模型，確定核動力裝置事故及嚴重程度。但是，機器學習算法對非線性映射的表示能力有限，針對復雜分類問題其泛化能力受到影響，而深度神經網絡不僅可以自動提取特征，還可以構建深度結構來挖掘數據的高維特征。Lee等[8]提出了一種用于核電廠異常診斷的卷積神經網絡(CNN)模型。頡利東等[9]提出了一種基于CNN的船載核動力反應堆管路系統故障診斷方法。在CNN的基礎上，Chen等[10]基于非支配遺傳算法設計了一種用于核動力裝置故障診斷的自適應CNN架構。Wang等[11]使用長短期記憶網絡建立了一個故障診斷模型來映射小型壓水堆復雜的故障模式。Wang等[12]提出了一種基于卷積門控循環單元的核電廠故障診斷技術，并通過增強粒子群算法對網絡進行優化。但目前采用深度學習進行核動力裝置故障診斷的研究不多，且大多數算法是建立在CNN的基礎上進行的，而CNN組成高層特征的低層特征之間并不存在位姿關系，能夠得到的特征信息有限，因此需要大量的故障數據進行訓練才能得到較好的診斷效果。但是，核動力裝置設備可靠性較高，事故發生頻率低，一旦發生事故就會快速解決，同時由于前期數字化程度低，數據積累不夠重視，因此有效事故數據較少，很難滿足傳統深度神經網絡訓練的數據需求。膠囊網絡是近些年在CNN的基礎上新提出的網絡結構，其特有的向量神經元可以包含更豐富的深度空間信息及數據特征間的相對位置關系，動態路由算法可以不斷地調整網絡參數，增大特征間的耦合系數，因此具有優秀的少樣本學習和快速更新能力。楊德昌等[13]提出了一種基于膠囊網絡的變壓器故障診斷方法。Chen等[14]采用膠囊網絡完成對高速列車轉向架單一和復合故障的識別和分類。

為應對以上問題，本文提出一種基于時間卷積膠囊網絡的核動力裝置事故診斷模型，將時間卷積網絡(TCN)與膠囊網絡結合，在核動力裝置全范圍仿真模擬機上獲取特定典型事故狀態下的運行數據，利用時間卷積核提取運行數據的深度時序特征并降低數據維度，然后輸入膠囊網絡挖掘數據信息中的向量特征，獲取特征之間的位姿關系，并動態路由快速更新網絡參數，進一步增大特征間的耦合系數，能夠在核動力裝置事故數據量較少的情況下得到收斂效果較好的模型訓練效果。本研究建立的事故診斷方法可為核動力裝置的事故診斷提供參考。

1 時間卷積網絡和膠囊網絡

1.1 時間卷積網絡

TCN是一種基于CNN且能處理時間序列數據的網絡結構。該網絡有兩個特點：1) 網絡的輸入長度和輸出長度相等；2) TCN具有時間因果性，即t時刻的輸出結果只和t時刻之前的輸入有關系，并不會有漏接的歷史信息。TCN的結構主要有3部分：因果卷積層、擴張卷積層、殘差連接[15]。

為了使網絡的輸出與輸入長度相等，TCN使用一位全卷積網絡通過使用0填充使得每一層隱層輸出序列的長度和輸入序列的長度保持一致。為避免將來信息的泄漏和有漏接的歷史信息，TCN使用因果卷積，即在卷積中，t時間的輸出僅與t時間之前的輸入有關。但存在一個問題，若序列的長度過長，則需要增加網絡的層數來擴展感受野。因此為了降低網絡的復雜性，引入了擴張卷積。

擴張卷積是在標準的卷積中注入空洞，以此來增加感受野。通過擴張卷積增大感受野，輸入序列X{x1，x2，…，xn}，擴張卷積F(s)為：

(1)

式中：d為擴張因子；k為濾波器大小；s-d·i代表的是過去的方向；f(i)為卷積核函數；s為輸入序列中第s個元素。當d=1時，擴張卷積為最普通的卷積；當d的取值大于1時，擴張因子能夠使頂層的輸出代表更大的輸入范圍，有效地擴大了感受野，也就解決了上面使用因果卷積帶來的問題。

使用殘差卷積避免梯度消失問題：

o=Activation(X+F(X))

(2)

式中：X為輸入；F(X)為經過殘差網絡的最后一個隱藏層的輸出；Activation為激活函數。

1.2 膠囊網絡

膠囊網絡主要由主膠囊層和數字膠囊層等組成[16]，具體結構如圖1所示。首先通過輸入層獲取輸入數據作為主膠囊層的輸入數據，在主膠囊層，每個膠囊都被視為1個神經元組，通過動態路由算法訓練連接主膠囊層與數字膠囊層之間的權重，再通過非線性激活函數得到輸出變量，最后利用數字膠囊層輸出的向量來表示核動力設備的事故類型。

圖1 膠囊網絡的框架Fig.1 Framework of capsule network

主膠囊層和數字膠囊層利用膠囊向量的輸入和輸出代替傳統神經標量的輸入和輸出[17]，其中向量的方向表示不同的事故類型，向量的長度表示診斷為某種事故的概率。輸入向量的計算包括兩個階段。第1階段是將輸入層輸出的數據和權重矩陣相乘得到預測向量，其數學計算式為：

Uj,i=UiWj,i

(3)

式中：Wj，i為主膠囊層的權重；Ui為輸入層的數據特征；Uj，i為第i個輸入特征預測生成的第j個向量。

第2階段是通過調整耦合系數將主膠囊層的預測向量傳輸給數字膠囊層，這一過程也被稱為動態路由，數學計算式為：

(4)

(5)

bi,j=bi,j+VjUj,i

(6)

式中：Ci，j和bi，j分別為主膠囊層中第i個向量和數字膠囊層中第j個向量之間的耦合系數和偏置系數，其中耦合系數Ci，j由動態路由算法確定，可以讓輸入的神經元自主選擇最好的路徑傳輸到下一層神經元，當Ci，j=1時，表示將主膠囊層的輸出信息全部傳送到數字膠囊層，當Ci，j=0時，表示將主膠囊層的輸出信息全部都不傳送到數字膠囊層；Sj為第j層的總輸入向量，由主膠囊層的預測向量乘以耦合系數求得；Vj為動態路由過程中數字膠囊層的輸出向量。

為了得到數字膠囊層的輸出向量Vj，膠囊網絡使用了一種矢量的新型非線性激活函數Squash函數，對總輸入向量Sj進行非線性變換。Squash函數的數學計算式為：

Vj=Squash(Sj)=

(7)

2 時間卷積膠囊網絡

基于TCN以及膠囊網絡，提出時間卷積膠囊網絡核動力仿真系統事故診斷模型，通過時間卷積提取核動力仿真系統數據的時序特征，膠囊網絡提取向量特征，針對核動力裝置事故數據過少的情況能夠獲得更高的準確率。

2.1 時間卷積膠囊網絡結構

圖2示出時間卷積膠囊網絡模型的結構，其中輸入層為M行N列的輸入數據，輸出層為M行1列的事故診斷結果。除輸入層和輸出層，模型還有3層TCN層和1層膠囊網絡層，每一層網絡輸出信號作為下一層的輸入信號，其中膠囊網絡層采用3次動態路由。輸入層接受核動力裝置全范圍模擬機的運行數據，經過3層TCN層自動提取深度時序特征，3層TCN層均采用ReLU激活函數，每層TCN通過因果卷積獲取數據的時序特征關系，通過擴張卷積增大感受野減小輸出數據的復雜度，通過殘差卷積避免網絡出現梯度消失的問題。然后將時間卷積層的時序特征輸入到膠囊網絡層中，通過預測向量將特征數據變為包含向量特征的膠囊，經過動態路由迭代更新主膠囊層和數字膠囊層之間的耦合系數和偏置，準確挖掘事故的向量信息，并通過非線性激活函數Squash進行非線性變換得到輸出向量，然后根據輸出向量的不同確定事故類型并輸出。

圖2 時間卷積膠囊網絡模型結構Fig.2 Model structure of time convolution capsule network

2.2 數據輸入

模型輸入層接收的是核動力裝置全范圍模擬機的運行數據，為了在大量樣本數據的基礎上保持樣本的連續性并盡可能包含更豐富的特征信息，故首先進行數據歸一化減小計算難度，避免量綱不一致以及過大和過小數據對訓練過程的影響，然后采用滑動時窗的方式進行樣本重構。由于全范圍模擬機數據采樣間隔為1 s，同時考慮數據計算量和數據前后的時間相關性，因此本文的滑動時窗步長設定為1，滑動時窗長度設定為30，將核動力裝置全范圍模擬機的二維運行數據M×N維，轉換為包含滑動時窗步長的三維數據M×D×N維。其中M為數據的長度，N為每條數據的維度，D為滑動時窗的長度。由于本文使用的是交叉熵損失函數，因此需要對核動力裝置全范圍模擬機的運行數據的標簽使用One-Hot編碼的形式進行構造，建立標簽集。

2.3 模型建立

模型的整個流程如圖3所示，其中數據入口條件主要是核動力仿真系統的實時運行數據，可以通過建立實時數據庫從核動力仿真系統進行采集；采集到的仿真數據根據所屬的子系統在計算機中進行分門別類地管理，同時根據正常、事故狀態設定不同的標簽，便于后續訓練本文所述的事故診斷模型；將所有數據按照同樣的標準進行歸一化，并通過滑動時窗對數據進行重構；使用One-Hot編碼構造標簽集，然后將所有的帶標簽樣本隨機打亂，按照一定的比例劃分為訓練集和測試集；建立時間卷積膠囊網絡模型，并初始化模型參數，利用訓練集數據對模型進行一輪訓練并通過計算交叉熵進行反向傳播優化時間卷積層和膠囊網絡層的超參數，如模型未達到動態路由迭代次數則繼續更新膠囊網絡層的耦合系數與偏置，若未達到指定訓練輪數則再次進行一輪訓練，如此反復直至達到指定訓練輪數；然后利用測試集數據對模型的性能進行評估測試，測試準確率是否達到要求。一旦模型完成訓練，該模型就可應用在核動力仿真系統的事故診斷中。

圖3 時間卷積膠囊網絡模型建立與訓練過程Fig.3 Establishment and training process of time convolution capsule network model

3 核動力仿真系統事故診斷案例

本文結合時間卷積網絡和膠囊網絡的優點，建立時間卷積膠囊網絡核動力仿真系統事故診斷模型，能夠在核動力裝置事故數據較少的情況下快速收斂，并保證診斷的準確率和可靠性。

3.1 實驗數據介紹

本文所述方法由于尚屬于研究階段，為保證所述方法和理論的可行性，本文通過核電廠全范圍模擬機獲得樣本數據。表1列出穩態運行過程中實際核電廠設計值和全范圍模擬機得到的計算值，由表1可見，核反應堆一回路系統及化學和容積控制系統仿真模型內的測點參數實際值與計算值誤差很小，基本可以模擬實際系統穩態下的運行工況。

表1 一回路系統及化學和容積控制系統內的部分測點參數Table 1 Parameter of some measuring points in primary circuit system and chemical volume control system

由于本文是進行事故診斷研究，需要保證瞬態過程中全范圍模擬器與實際核電廠系統對應參數的變化趨勢一致，由于文章篇幅所限，因此隨機選擇冷管段微小破口事故為例，驗證仿真模型在瞬態計算過程中的準確性。該事故是指主冷卻劑系統中冷管段出現破裂或閥門意外打開導致冷卻劑意外喪失。圖4示出全范圍仿真機與實際核電廠核功率的變化，反應堆在運行187 s后停堆。由圖4可見，仿真模型計算值與參考值誤差較小，能夠反映出核功率的變化趨勢。在停堆時刻，反應堆的軸向歸一化功率分布如圖5所示，由于事故發生過程中堆芯控制棒僅有溫度控制棒組發生較小變化，因此在停堆時刻其軸向功率分布與穩態時相比變化較小。

圖4 核功率對比 Fig.4 Nuclear power comparison

圖5 堆芯軸向歸一化功率分布對比Fig.5 Comparison of axial normalized power distribution of core

其他相關過程參數的變化趨勢如圖6所示，在20 s發生事故后到反應堆在187 s停堆前，所有參數參考值的變化趨勢與計算值基本一致，穩壓器的壓力和水位均呈下降趨勢以彌補反應堆內水裝量的減少，當穩壓器壓力到達13 MPa時觸發反應堆停堆。因此，通過全范圍模擬器獲取的正常及事故數據可用于驗證本文事故診斷模型的有效性。

圖6 相關過程參數的變化趨勢Fig.6 Change trend of relevant process parameter

3.2 模型訓練

除冷管段微小破口事故，本文還利用核電廠全范圍模擬器隨機產生的正常數據以及其他6種典型事故數據，將反應堆一回路系統、化學和容積控制系統的過程參數進行提取，形成對應的數據集進行模型訓練和測試。為方便診斷結果顯示與查看，使用正常、故障1～7這8個標簽分別代替正常運行、冷管段微小破口、化學和容積控制系統上充閥泄漏、化學和容積控制系統上充管線泄漏、化學和容積控制系統下泄管線泄漏、化學和容積控制系統下泄閥泄漏、容控箱泄漏、泵三級軸封泄漏的標簽。數據樣本量的默認值為正常運行和每種事故均為500組數據，隨機劃分為訓練部分和測試部分，其中訓練部分占數據總量的20%，來模擬測試核動力系統事故數據較少的情況。

由于時間卷積膠囊網絡中涉及到的超參數眾多，與其他神經網絡共同的超參數包括最大迭代次數、分批次數量、優化器的選擇、學習率等，因此無法對這些超參數通過控制變量的方式進行逐一分析對比。通過部分分析表明，這些超參數的微調對整體結果影響不大，因此本文不再對這些超參數進行逐一對比，統一設置最大迭代次數為30次，分批次數量為32批，優化器選擇應用最廣泛的Adams算法，學習率為0.001；每層時間卷積核的膨脹系數分別為2、4、8，膠囊網絡的輸出膠囊數為8，輸出膠囊維度為32，動態路由迭代次數為3次。

基于以上訓練數據和參數設置，本文利用時間卷積膠囊網絡進行訓練，并在訓練過程中將測試集數據代入進行測試，獲取每一代模型的測試準確率與損失，觀察模型在測試集上是否有同樣的收斂效果，對應訓練及測試的準確率和交叉熵損失變化如圖7所示。由圖7可看出：測試準確率略低于訓練準確率，但在訓練至第10代后基本一直維持在最高準確率，沒有較大的波動；而訓練和測試過程的交叉熵損失都在迭代訓練中逐漸趨于最小值并保持穩定，測試損失較大是由于每一代的測試過程中編碼結果沒有進行最小值逼近的過程，但也逐漸降低；

圖7 訓練與測試的準確率(a)與交叉熵損失(b)Fig.7 Accuracy (a) and loss (b) of training and test

通過測試準確率和損失曲線，可以發現在訓練過程中沒有出現過擬合的問題，模型收斂效果較好。圖8示出時間卷積膠囊網絡模型通過訓練數據訓練時，最后一次迭代中最后一次動態路由中各膠囊的標簽與真實標簽對比的空間分布，由圖8可看出，訓練的收斂效果較好，得到的標簽與真實標簽的誤差較小，能夠準確得到數據的真實標簽，說明本文所述方法能夠給出準確的事故診斷結果。

圖8 各膠囊的空間分布可視化圖Fig.8 Visualization of spatial distribution of each capsule

3.3 典型算法對比

為驗證本文所述時間卷積膠囊網絡模型進行事故診斷的性能，在相同事故和測試數據集的前提下分別利用CNN、TCN、膠囊網絡(CapsNet)以及時間卷積膠囊網絡(TC-CapsNet)模型進行事故診斷，其中CNN、TCN和CapsNet與本文TC-CapsNet模型的網絡深度及部分共用的超參數設置一致，不同模型訓練的準確率和交叉熵損失對比如圖9所示。由圖9可看出，在小訓練集的情況下，TC-CapsNet模型依然能夠得到很好的收斂效果，收斂過程非常穩定。

圖9 不同模型訓練的準確率(a)與交叉熵損失(b) Fig.9 Accuracy (a) and loss (b) of training and test for different models

為進一步驗證本文所述方法針對每種事故的準確率均保持在較高水平，如圖10所示，本文采用混淆矩陣示出不同模型在不同事故模式下的診斷準確率。由圖10可看到，相對于其他診斷方法，TC-CapsNet對于每種事故的診斷準確率均保持在較高水平，其中故障1(冷管段微小破口)的準確率相對較低，這主要是因為這種事故發生初期參數變化趨勢與正常時較為接近，從而導致特征的區分度不明顯，但在實際上仍維持在較高的準確率水平。不同模型診斷結果的受試者工作特征曲線(ROC)如圖11所示，由圖11可看出，相對于其他方法TC-CapsNet的診斷正確率較高，診斷虛假率非常低。

a——CNN；b——TCN；c——CapsNet；d——TC-CapsNet圖10 不同模型診斷結果的混淆矩陣Fig.10 Confusion matrix of diagnosis result of different models

圖11 不同模型診斷結果的ROCFig.11 ROC of diagnostic result of different models

使用測試集計算5次取均值，統計不同模型計算的準確率、綜合評價分數(F1-score)、召回率(recall-score)和所需時間進行對比，結果列于表2。測試使用的硬件環境為：2核的CPU，Tesla V100的GPU，內存為16 GB。由表2可以看出，TC-CapsNet模型的診斷準確率、F1-score和recall-score均為最優，在小訓練集的情況下診斷準確率大于99%，F1-score和recall-score均在0.999以上，因此證明了本文所述方法可提高事故診斷的準確性。但TC-CapsNet模型相對于CNN和TCN的模型訓練時間較長，這主要是由于膠囊網絡特征豐富度較高，計算量較大，在挖掘向量特征信息和動態路由迭代過程中所需的計算時間較長。同時，由于本文的測試集較大，因此TC-CapsNet模型所需的診斷時間也是最長的，診斷的實時性略有不足。

表2 不同診斷方法結果對比Table 2 Comparison of result of different diagnostic methods

4 結論

本文提出了基于時間卷積膠囊網絡的核動力仿真系統事故診斷模型，結合時間卷積網絡和膠囊網絡的優勢，可以從核動力仿真系統運行數據中提取深度時序向量特征，提高網絡特征的有效性，在小訓練集下也能快速收斂，同時獲得更高的準確率。通過實驗測試數據得出以下結論。

1) 提出的時間卷積膠囊網絡模型在訓練過程中，隨迭代次數增加能夠快速穩定地收斂，準確率比其他診斷模型更高，損失更低，且模型訓練較充分，未出現過擬合和欠擬合情況。

2) 提出的時間卷積膠囊網絡模型在訓練集僅占數據集20%的情況下，事故分類準確率能夠達到99%以上，優于其他經典事故診斷模型，能夠滿足核動力裝置的事故診斷準確率要求。

本文的研究內容可為核電廠的事故診斷提供支持，能夠在核電廠事故數據較少的情況下得到較好的訓練模型，能夠及時檢測出系統的事故類型，減少誤報和漏報，并保證了事故診斷的準確率，能夠為核電廠的運行維護人員提供技術支持。但本文提出的時間卷積膠囊網絡計算量較大，訓練和診斷所需時間較長，診斷實時性略有不足，因此在后續工作中主要針對此類問題進行研究。