基于深度學(xué)習(xí)的核電站事故預(yù)測(cè)及故障診斷方法

佘兢克，薛時(shí)雨，孫培偉，曹樺松

（1.湖南大學(xué) 信息科學(xué)與工程學(xué)院，長(zhǎng)沙 410000；2.西安交通大學(xué) 核科學(xué)與技術(shù)學(xué)院，西安 710049）

0 引言

中國(guó)國(guó)民經(jīng)濟(jì)發(fā)展對(duì)于能源的大量需求使得核能的大力發(fā)展成為必然[1]。而在核能領(lǐng)域，電站的運(yùn)行安全又是重中之重。此前大多數(shù)核電安全控制的研究是關(guān)于反應(yīng)堆安全控制系統(tǒng)對(duì)于異常工況的快速響應(yīng)及其性能[2,3]，而近年來(lái)，核電領(lǐng)域的智能控制開(kāi)始受到關(guān)注[4]，尤其是核電行業(yè)積累的海量歷史數(shù)據(jù)使得機(jī)器學(xué)習(xí)方法在核電安全控制領(lǐng)域的應(yīng)用成為可能。

現(xiàn)行的控制方法都是基于“探測(cè)---響應(yīng)”原則，即在探測(cè)到異常情況出現(xiàn)后，安全控制系統(tǒng)才會(huì)做出判斷和動(dòng)作。這使得電廠控制系統(tǒng)對(duì)于反應(yīng)堆產(chǎn)生的數(shù)據(jù)反饋較慢，無(wú)法做到基于數(shù)據(jù)進(jìn)行實(shí)時(shí)決策；另一方面，過(guò)去傳統(tǒng)的統(tǒng)計(jì)學(xué)方法也不能夠有效解決核電站異常工況中非線性過(guò)程的預(yù)測(cè)問(wèn)題。而近些年來(lái)，興起的深度學(xué)習(xí)能夠通過(guò)對(duì)海量歷史數(shù)據(jù)的挖掘和分析來(lái)掌握各種工況的運(yùn)行規(guī)律，預(yù)測(cè)實(shí)時(shí)運(yùn)行工況的走向，將核電的安全控制從“發(fā)生后響應(yīng)”提升為“預(yù)測(cè)+提前干預(yù)”。這將極大地增加核電站的安全裕度，從根本上解決以往被動(dòng)控制所面臨的“異常工況必然出現(xiàn)”的情況。

如今深度學(xué)習(xí)已經(jīng)在很多領(lǐng)域都取得了顯著成就，例如：計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理等。其中循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）[5]應(yīng)用在序列型的數(shù)據(jù)上效果十分明顯。本文采用的是傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)的變體：長(zhǎng)短期記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)[6]，該網(wǎng)絡(luò)有效地解決了長(zhǎng)時(shí)間序列中有效信息的長(zhǎng)期依賴(lài)問(wèn)題，對(duì)于長(zhǎng)期的歷史數(shù)據(jù)的深層特征更加敏感，更容易捕捉隱含在其中的關(guān)鍵信息，尤其在處理核電站海量歷史運(yùn)行數(shù)據(jù)時(shí)更加出色。

1 模型分析

1.1 傳統(tǒng)數(shù)理統(tǒng)計(jì)方法

Rankin 等人提出使用卡爾曼濾波器的方法來(lái)預(yù)測(cè)反應(yīng)堆停堆事故[7]。卡爾曼濾波器是由卡爾曼（Kalman）提出的時(shí)變線性系統(tǒng)的遞歸濾波器，由包含正交狀態(tài)變量的微分方程模型來(lái)描述。該濾波器通過(guò)將過(guò)去的測(cè)量估計(jì)誤差合并到新的測(cè)量誤差中來(lái)估計(jì)將來(lái)的誤差。

Rankin 的預(yù)測(cè)模型相比于傳統(tǒng)模型提前1s 做出停堆判斷，但是卡爾曼濾波器依賴(lài)于數(shù)學(xué)模型的精確建立，并且對(duì)于線性系統(tǒng)更加有效。面對(duì)反應(yīng)堆事故工況中內(nèi)部核心參數(shù)的非線性變化，卡爾曼濾波器的預(yù)測(cè)性能受到一定影響。

1.2 傳統(tǒng)RNN模型

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）是神經(jīng)網(wǎng)絡(luò)的一種，與前饋神經(jīng)網(wǎng)絡(luò)的不同之處在于，RNN 可以利用它內(nèi)部的記憶來(lái)處理不同時(shí)序長(zhǎng)度的輸入序列。但是隨著迭代次數(shù)的增加，RNN 中會(huì)出現(xiàn)梯度爆炸或者梯度消失問(wèn)題[8]。因此，RNN在預(yù)測(cè)應(yīng)用上難以捕捉信息在較長(zhǎng)時(shí)間中的相關(guān)性。

以RNN 作為研究對(duì)象的工作中，F(xiàn)ang[9]等人使用兩層隱藏層的傳統(tǒng)RNN 模型來(lái)預(yù)測(cè)非線性微波電路的電流。由于傳統(tǒng)RNN 的局限性，其模型無(wú)法有效提取到記憶單元內(nèi)保存的信息。Zhang[10]等人使用RNN 模型預(yù)測(cè)經(jīng)過(guò)麥基---格拉斯方程重構(gòu)后的數(shù)據(jù)，但是該模型無(wú)法處理樣本數(shù)據(jù)大于三維的情況。由此可見(jiàn)，RNN 在處理時(shí)序數(shù)據(jù)時(shí)，存在一定的局限性。對(duì)于核電異常工況這樣具有較長(zhǎng)時(shí)間序列數(shù)據(jù)集的情況，需要一個(gè)比傳統(tǒng)RNN 更理想的預(yù)測(cè)模型。

圖 1 LSTM結(jié)構(gòu)Fig. 1 LSTM Structure

1.3 用于核電異常工況預(yù)測(cè)的LSTM模型

1.3.1 LSTM模型

傳統(tǒng)RNN 容易出現(xiàn)梯度消失或者梯度爆炸。LSTM 在此基礎(chǔ)上提出“門(mén)”的概念，解決了該問(wèn)題。LSTM 本質(zhì)上是一種特殊形式的RNN，由一個(gè)輸入層、多個(gè)隱藏層以及一個(gè)輸出層構(gòu)成。LSTM 的關(guān)鍵之處在于它的記憶單元，它包含以下3 個(gè)門(mén)結(jié)構(gòu)：輸入門(mén)、遺忘門(mén)以及輸出門(mén)。這3個(gè)門(mén)在sigmoid 激活函數(shù)的作用下，會(huì)產(chǎn)生介于0 ～1 之間的數(shù)值作為門(mén)的開(kāi)關(guān)。LSTM 單元內(nèi)部結(jié)構(gòu)如圖1 所示。

圖1 中，X 表示原始輸入，?表示矩陣點(diǎn)乘運(yùn)算，h 表示隱藏狀態(tài)，σ 表示sigmoid 函數(shù)，C 表示記憶單元。其中，X 與不同的權(quán)重和偏差運(yùn)算之后分別得到輸入門(mén)、輸出門(mén)以及遺忘門(mén)的實(shí)際輸入。記憶單元C 能保存針對(duì)長(zhǎng)期數(shù)據(jù)的記憶，是LSTM 的關(guān)鍵組成部分。LSTM 中的神經(jīng)元之間為簡(jiǎn)單的線性交互，從而在很長(zhǎng)一段時(shí)間內(nèi)保持信息的穩(wěn)定，使得LSTM 模型能夠在訓(xùn)練時(shí)避免梯度爆炸或消失問(wèn)題。

1.3.2 RU機(jī)制

滾動(dòng)更新（Rolling Update，RU）是一種數(shù)據(jù)預(yù)處理方法，在時(shí)序數(shù)據(jù)處理上使用尤為廣泛。Wang 等人就將RU機(jī)制用在了電力的負(fù)載預(yù)測(cè)上[11]。RU 方法的處理過(guò)程如圖2 所示。

其中，表格代表的是原始數(shù)據(jù)，初始時(shí)間為t-n，窗口大小為i。

假設(shè)預(yù)測(cè)模型當(dāng)前的輸入向量可以被表示為D=[x1, x2,…, xj,…, xi]，其中xj是表格中j 時(shí)刻的數(shù)據(jù)。如果當(dāng)前時(shí)刻為s 且時(shí)間窗口寬度為i，則當(dāng)前模型的輸入向量為Ds=[xs-i+1, xs-i+2…, xs]。在下一時(shí)刻，即s+1 時(shí)，此時(shí)模型的輸入向量也隨即更新為Ds+1=[xs-i+2, xs-i+3…, xs+1]。同樣的，對(duì)數(shù)據(jù)中其它屬性都進(jìn)行滾動(dòng)更新操作，保持?jǐn)?shù)據(jù)的時(shí)序性與實(shí)時(shí)性。

圖2 RU機(jī)制Fig.2 Rolling update mechanism

采用RU 方法的依據(jù)是該方法能夠降低模型對(duì)參數(shù)預(yù)測(cè)的損失值，從而提升預(yù)測(cè)準(zhǔn)確度。為此，針對(duì)RU 方法進(jìn)行了LSTM 的測(cè)試實(shí)驗(yàn)。結(jié)果如表1 所示。

從測(cè)試實(shí)驗(yàn)結(jié)果可知，使用RU 之后損失值從0.012 降為0.0003。因此，使用RU 來(lái)生成LSTM 模型的輸入向量能夠提升模型預(yù)測(cè)的精度。

1.3.3 數(shù)據(jù)歸一化

在深度學(xué)習(xí)模型中，原始數(shù)據(jù)集往往不能直接作為輸入數(shù)據(jù)。因?yàn)楫?dāng)數(shù)據(jù)的數(shù)值太大或者太小時(shí)，模型很難通過(guò)學(xué)習(xí)得到數(shù)據(jù)之間的時(shí)序相關(guān)性。因此，需要對(duì)輸入數(shù)據(jù)進(jìn)行歸一化處理，即將數(shù)據(jù)按比例縮放，使之落入一個(gè)特定區(qū)間，一般為[0, 1]。主流的方法一般有Z-score 和MinMaxScaler。

本文分別采用Z-score 和MinMaxScaler 兩種方法進(jìn)行對(duì)比驗(yàn)證實(shí)驗(yàn)。基于本文實(shí)驗(yàn)所需要的數(shù)據(jù)集，對(duì)比兩種方法帶來(lái)的預(yù)測(cè)值與真實(shí)值之間的損失值。實(shí)驗(yàn)結(jié)果如表2 所示。

MinMaxScaler 因其更小的損失值被選為本文采用的歸一化函數(shù)。

1.3.4 Dropout方法

當(dāng)神經(jīng)網(wǎng)絡(luò)模型中參數(shù)很多并且訓(xùn)練數(shù)據(jù)不足時(shí)，測(cè)試結(jié)果很容易發(fā)生過(guò)擬合現(xiàn)象。針對(duì)此問(wèn)題，Hinton 等人提出了“Dropout”方法以預(yù)防在模型訓(xùn)練過(guò)程中過(guò)擬合現(xiàn)象的發(fā)生[12]。其原理是：在每個(gè)訓(xùn)練批次中，隨機(jī)使得一定比例的神經(jīng)元失效，從而減少神經(jīng)元之間的相互作用，增強(qiáng)模型的泛化性。

1.3.5 MSE評(píng)估標(biāo)準(zhǔn)

均方差（Mean Squared Error，MSE）是數(shù)理統(tǒng)計(jì)中描述參數(shù)估計(jì)值與參數(shù)真實(shí)值之差平方的期望值，是衡量“平均誤差”的一種較為方便的方法。MSE 的值越小，說(shuō)明預(yù)測(cè)模型在描述實(shí)驗(yàn)數(shù)據(jù)時(shí)具有更好的精確度。本文在模型測(cè)試時(shí)，對(duì)于每一組數(shù)據(jù)的輸入，使用MSE 計(jì)算出真實(shí)值與預(yù)測(cè)值之間的誤差，作為模型預(yù)測(cè)過(guò)程中的損失值。

表1 有無(wú)RU損失值對(duì)比Table 1 Loss comparison with and without RU

表2 不同歸一化函數(shù)損失值比較Table 2 Loss comparison of normalization functions

2 實(shí)驗(yàn)準(zhǔn)備

2.1 數(shù)據(jù)預(yù)處理

2.1.1 蒸汽發(fā)生器壓力變化

該數(shù)據(jù)集由反應(yīng)堆內(nèi)蒸汽發(fā)生器壓力讀數(shù)構(gòu)成，一共有172 個(gè)冗余傳感器的讀數(shù)。由于傳感器物理位置不同或者其他原因，各傳感器讀數(shù)存在差異，使得數(shù)據(jù)集具備一定的多樣性。其中第30、31、32、33 號(hào)傳感器采集的數(shù)據(jù)被用來(lái)作為L(zhǎng)STM 模型的訓(xùn)練輸入，歸一化后如圖3 所示。

2.1.2 小型LOCA事故

該數(shù)據(jù)集由冷卻劑失流事故（Loss of Coolant Accident，LOCA）工況下反應(yīng)堆內(nèi)22 個(gè)參數(shù)構(gòu)成，以100s 為步長(zhǎng)采樣140 個(gè)點(diǎn)。本文選擇其中“穩(wěn)壓器壓力”與“冷卻劑泵出口流量”作為預(yù)測(cè)指標(biāo)。LOCA 工況下，歸一化后的穩(wěn)壓器壓力和冷卻劑泵出口流量如圖4 所示。

圖4（a）和（b）分別表示LOCA 下穩(wěn)壓器壓力讀數(shù)與冷卻劑泵出口流量讀數(shù)。其中LOCA 在第500s 時(shí)發(fā)生。

2.2 RU更新數(shù)據(jù)

對(duì)于蒸汽發(fā)生器壓力變化數(shù)據(jù)以及小型失水事故工況均采用RU 更新原始數(shù)據(jù)。以步長(zhǎng)為1 滑動(dòng)數(shù)據(jù)窗口生成新的數(shù)據(jù)，并整合成模型需要的訓(xùn)練集。

2.3 參數(shù)設(shè)置

為了優(yōu)化模型，本文的LSTM 網(wǎng)絡(luò)模型設(shè)置為1 個(gè)輸入層、2 個(gè)隱藏層、1 個(gè)輸出層的結(jié)構(gòu)。兩個(gè)隱藏層中的LSTM 采用不同的節(jié)點(diǎn)數(shù)：第一個(gè)隱藏層中LSTM 內(nèi)節(jié)點(diǎn)數(shù)為128，第二個(gè)隱藏層中LSTM 內(nèi)節(jié)點(diǎn)數(shù)為64。具體的模型參數(shù)如表3 所示。

圖3 蒸汽發(fā)生器壓力讀數(shù)Fig.3 Normalized SG pressure sensor values

圖4 小破口事故中蒸汽發(fā)生器壓力與冷卻劑泵出口流量讀數(shù)Fig.4 Normalized pressurizer pressure and coolant pump flowrate values

表3 LSTM模參數(shù)Table 3 Parameters of LSTM model

由于Adam 優(yōu)化器[13]在RNN 相關(guān)模型訓(xùn)練中表現(xiàn)良好[14]，本文使用Adam 優(yōu)化器進(jìn)行LSTM 模型的訓(xùn)練。誤差函數(shù)選擇MSE，批處理數(shù)量設(shè)置為50，迭代次數(shù)設(shè)置為500。學(xué)習(xí)率設(shè)置為0.01。本文模型使用Keras 深度學(xué)習(xí)框架構(gòu)建。

2.4 模型訓(xùn)練

對(duì)于蒸汽發(fā)生器壓力變化數(shù)據(jù)，本文選取第30、31、32、33 號(hào)傳感器數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，第34、35、36、37號(hào)傳感器數(shù)據(jù)作為驗(yàn)證集。

圖5 蒸汽發(fā)生器壓力變化預(yù)測(cè)結(jié)果(RNN)Fig.5 SG Pressure prediction with RNN model

圖7 小破口事故中穩(wěn)壓器壓力預(yù)測(cè)結(jié)果Fig.7 The prediction of pressurizer pressure during a small LOCA

對(duì)于小型LOCA 數(shù)據(jù)，為了測(cè)試LSTM 對(duì)于存在參數(shù)差異的同一類(lèi)事故的適應(yīng)情況，本文選取破口大小為7mm的數(shù)據(jù)用作訓(xùn)練，而選擇破口大小為8mm 的數(shù)據(jù)用作測(cè)試。同樣選擇MSE 為評(píng)估標(biāo)準(zhǔn)，學(xué)習(xí)率設(shè)為0.01，迭代次數(shù)設(shè)為500。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 傳統(tǒng)RNN與LSTM的預(yù)測(cè)結(jié)果及對(duì)比分析

針對(duì)蒸汽發(fā)生器壓力變化的工況，選擇了傳統(tǒng)RNN 與LSTM 進(jìn)行工況預(yù)測(cè)對(duì)比。圖5 為傳統(tǒng)RNN 的預(yù)測(cè)結(jié)果，圖6 為L(zhǎng)STM 模型預(yù)測(cè)結(jié)果。

從圖5 和圖6 中可以看出，LSTM 模型的預(yù)測(cè)值與真實(shí)值的吻合度明顯優(yōu)于RNN。該測(cè)試中，RNN 模型的預(yù)測(cè)損失值為1.343×10-4，比LSTM 模型的預(yù)測(cè)損失值3.711×10-6大兩個(gè)數(shù)量級(jí)。同時(shí)從兩個(gè)模型各自預(yù)測(cè)曲線的對(duì)比可以看出，雖然初始階段的極短時(shí)間內(nèi)RNN 的預(yù)測(cè)效果比LSTM 更精確，但后續(xù)階段RNN 的預(yù)測(cè)準(zhǔn)確度明顯下降，而LSTM 的預(yù)測(cè)結(jié)果與實(shí)際值更加吻合。這充分體現(xiàn)了LSTM 在長(zhǎng)時(shí)間序列預(yù)測(cè)中的性能優(yōu)勢(shì)。

圖6 蒸汽發(fā)生器壓力變化預(yù)測(cè)結(jié)果（LSTM）Fig.6 SG Pressure prediction with LSTM model

圖8 小破口事故中冷卻劑泵出口流量預(yù)測(cè)結(jié)果Fig.8 The prediction of coolant pump outlet flowrate during a small LOCA

3.2 LSTM對(duì)小型LOCA事故工況的預(yù)測(cè)及結(jié)果分析

當(dāng)反應(yīng)堆正常運(yùn)行時(shí)，LOCA 是不可預(yù)測(cè)的。但是可以依據(jù)歷史事故數(shù)據(jù)來(lái)預(yù)測(cè)跟蹤LOCA 事故后的工況走勢(shì)。趨勢(shì)預(yù)測(cè)的結(jié)果可以讓系統(tǒng)和操作員們有更多的時(shí)間對(duì)當(dāng)前事故做出應(yīng)對(duì)。在本文使用的數(shù)據(jù)中，LOCA 在第500s時(shí)發(fā)生，之后安全控制系統(tǒng)的介入使得工況數(shù)據(jù)回升到一定的穩(wěn)定狀態(tài)。將工況數(shù)據(jù)經(jīng)過(guò)數(shù)據(jù)預(yù)處理后，輸入到LSTM 模型之中。預(yù)測(cè)結(jié)果如圖7、圖8 所示。

圖7 中，穩(wěn)壓器壓力預(yù)測(cè)起始預(yù)測(cè)值與真實(shí)值存在顯著差異。圖8 中的冷卻劑泵出口流量預(yù)測(cè)在異常工況剛開(kāi)始階段也出現(xiàn)了波動(dòng)。這是因?yàn)樵谠擁?xiàng)測(cè)試實(shí)驗(yàn)中，LSTM模型是按照7mm 破口工況數(shù)據(jù)集進(jìn)行訓(xùn)練，而測(cè)試工況為8mm 破口工況，從而導(dǎo)致最初的欠擬合情況出現(xiàn)。但隨著工況發(fā)展，LSTM 體現(xiàn)出其在時(shí)間序列預(yù)測(cè)上的優(yōu)勢(shì)，及時(shí)判斷出當(dāng)前工況的發(fā)展趨勢(shì)，并適應(yīng)了測(cè)試數(shù)據(jù)集，預(yù)測(cè)結(jié)果也與8mm 破口工況的真實(shí)值趨向擬合。且兩個(gè)參數(shù)的預(yù)測(cè)損失值均在10-3數(shù)量級(jí)，屬于較精確的結(jié)果。由此證明：對(duì)于同一類(lèi)型事故工況，即使參數(shù)存在差異，LSTM也能依靠在時(shí)間序列預(yù)測(cè)上的優(yōu)勢(shì)快速適應(yīng)實(shí)時(shí)工況數(shù)據(jù)，進(jìn)而將預(yù)測(cè)結(jié)果逼近實(shí)時(shí)工況的發(fā)展趨勢(shì)，為工況預(yù)測(cè)結(jié)果的精度奠定基礎(chǔ)。

4 結(jié)論

本文使用基于LSTM 的深度學(xué)習(xí)模型對(duì)核電站異常運(yùn)行工況進(jìn)行預(yù)測(cè)。在模型訓(xùn)練與測(cè)試過(guò)程中應(yīng)用了滾動(dòng)更新方法來(lái)生成輸入向量以確保預(yù)測(cè)結(jié)果的精度。結(jié)果顯示：LSTM 模型在該領(lǐng)域具有切實(shí)的可行性，且預(yù)測(cè)結(jié)果優(yōu)于傳統(tǒng)的數(shù)理統(tǒng)計(jì)方法和傳統(tǒng)的RNN 模型。Rankin 提出的基于卡爾曼濾波器的預(yù)測(cè)方法可在1s 前預(yù)測(cè)到導(dǎo)致停堆的事故工況的出現(xiàn)，而LSTM 模型在理論上可預(yù)測(cè)任意長(zhǎng)度時(shí)間。本文通過(guò)實(shí)驗(yàn)證明，在特定案例中使用LSTM 比使用RNN預(yù)測(cè)的損失值要小兩個(gè)數(shù)量級(jí)，達(dá)到3.7×10-6。利用同類(lèi)型LOCA 事故數(shù)據(jù)訓(xùn)練的LSTM 模型，對(duì)于不同參數(shù)的該類(lèi)事故也能給出滿(mǎn)意的預(yù)測(cè)結(jié)果，充分驗(yàn)證了LSTM 對(duì)于事故工況預(yù)測(cè)的較強(qiáng)適應(yīng)性以及用于故障診斷的可行性。這證明LSTM 完全可以作為智能時(shí)代核電安全控制中對(duì)異常工況進(jìn)行預(yù)測(cè)的基本方法之一，其成功應(yīng)用將為核電站在生命周期中優(yōu)化控制算法，為提高控制精度提供有力的技術(shù)支撐。

實(shí)驗(yàn)過(guò)程中也發(fā)現(xiàn)了欠擬合情況的存在，說(shuō)明針對(duì)異常工況的LSTM 模型存在繼續(xù)完善的空間。后續(xù)工作將針對(duì)當(dāng)前實(shí)驗(yàn)中出現(xiàn)的問(wèn)題，完善模型構(gòu)建，實(shí)現(xiàn)更高擬合度，并解決基于小樣本數(shù)據(jù)集的預(yù)測(cè)問(wèn)題。

致謝

衷心感謝下列科研項(xiàng)目和單位對(duì)本文工作的支持：1）湖南省自然科學(xué)基金面上項(xiàng)目“基于預(yù)測(cè)控制的核電站快速響應(yīng)與智能控制研究”（2018JJ2057）；2）湖南省“湖湘高層次人才聚集工程—?jiǎng)?chuàng)新人才計(jì)劃”（2018RS3050）；3）國(guó)家電力投資集團(tuán)有限公司中央研究院；4）中廣核研究院有限公司。