999精品在线视频,手机成人午夜在线视频,久久不卡国产精品无码,中日无码在线观看,成人av手机在线观看,日韩精品亚洲一区中文字幕,亚洲av无码人妻,四虎国产在线观看 ?

一種融合注意力機制與ED-LSTM模型的核工程虛擬測量方法

2025-08-09 00:00:00黃磊趙大志賴?yán)?/span>閔超
關(guān)鍵詞:解碼器編碼器注意力

中圖分類號:TL329 文獻標(biāo)志碼:A DOI:10.19907/j.0490-6756.250053

A virtual measurement approach integrating attention mechanism with ED-LSTM model in nuclear engineering

HUANG Lei,ZHAO Da-Zhi2,LAI Li3,MINChao 1,2 (204號 (1.School of Sciences,Southwest Petroleum University,Chengdu 6lO5Oo,China; 2.Institute for Artificial Intelligence,Southwest Petroleum University,Chengdu 6lO5Oo,China; 3.School ofMathematics,SichuanUniversity,Chengdu 6lOo65,China)

Abstract: Virtual measurement (VM) approaches are frequently employed in nuclear engineering for the transient condition monitoring of nuclear reactor.As a data-driven approach,VM eliminates the reliance on physical sensors and efectively overcomes thelimitations of conventional monitoring techniques,such as high deployment costs and maintenance challenges.Nowadays,mainstream VM approaches still exhibit inadequate temporal feature extraction and suboptimal prediction accuracy.In this paper,an enhanced VM framework that integrates attntion mechanism with Encoder-Decoder Long Short-Term Memory (ED-LSTM) ar chitecture is proposed.Four attntion mechanisms are used:temporal attention,causal attention,convolutional attention and hierarchical attention.Meanwhile,the attention mechanisms are incorporated into the EDLSTMmodel in three ways:encoder-only,decoder-only and encoder-decoder hybrid.To optimize the model parameters,a high-fidelity nuclear reactor transient dataset generated by PCTRAN simulation software is used,and 13 parameter configuration schemes are evaluated by using the performance metrics including Root Mean Square Error(RMSE),Mean Absolute Error(MAE)and coeficient of determination(R2),respectively.Simulation results demonstrate that:(i) The integration of every attention mechanism into the encoder of ED-LSTM model enhances the model prediction performance,in which the temporal attention mechanism achieves the optimal result through a 23.4% RMSE reduction;(ii) The integration of causal attention mechanism in every way improves the prediction stability across implementations;(ii) The integration of temporal,convolutional or hierarchical atention mechanism into the decoder of ED-LSTM model degrades the model prediction performance,likely due to the information redundancy or overfiting phenomena. The obtained results substantiate the technical feasibilityof integrating atention mechanism with ED-LSTM architecture for the precision enhancementof VM approaches.

Keywords: Nuclear engineering;Virtual measurement;ED-LSTM;Attention mechanism

1引言

虛擬測量方法是核工程中常用的一種瞬時狀態(tài)監(jiān)測工具.該方法用數(shù)學(xué)模型或數(shù)據(jù)驅(qū)動的方法替代昂貴或難以實時獲取的傳感器數(shù)據(jù),能夠為系統(tǒng)的實時監(jiān)測控制和故障診斷提供關(guān)鍵信息.相比傳統(tǒng)的通過傳感器獲取數(shù)據(jù)的方法,虛擬測量方法具有成本低、部署靈活、維護簡單等優(yōu)點,且不受設(shè)備成本、規(guī)模和天氣的影響1.

虛擬測量方法使用的數(shù)據(jù)是一類特殊觀測時間序列2.此類數(shù)據(jù)可能來自金融、交通、能源、氣象、醫(yī)療及核工程等領(lǐng)域[3-7].時間序列預(yù)測方法是虛擬測量方法的數(shù)學(xué)基礎(chǔ).正是利用時間序列預(yù)測,虛擬測量方法才能對數(shù)據(jù)進行分析,提取其中的季節(jié)、趨勢及噪聲等信息,進而用特定方法和模型來預(yù)測和推斷未來某時刻或某段時間內(nèi)數(shù)據(jù)的變化趨勢.

時間序列預(yù)測方法的精度直接影響工業(yè)過程的感知能力,目前,復(fù)雜非線性系統(tǒng)的動態(tài)變化特征給高精度、高魯棒性的虛擬測量方法帶來巨大的挑戰(zhàn).例如,雖然長短期記憶(LongShort-TermMemory,LSTM)模型在捕獲數(shù)據(jù)的長時間依賴趨勢方面表現(xiàn)優(yōu)越,也已被廣泛應(yīng)用于虛擬測量任務(wù),但在面對具有復(fù)雜非線性關(guān)系或長時間跨度的數(shù)據(jù)(如核反應(yīng)堆數(shù)據(jù))時卻存在明顯局限性,如對輸人信息權(quán)重不平衡、無法有效識別關(guān)鍵數(shù)據(jù)等.為此,研究者提出了Encoder-DecoderLSTM(ED-LSTM)模型,并將其用于處理輸入和輸出序列長度不對稱的時間序列數(shù)據(jù),研究表明,該方法在復(fù)雜時間序列預(yù)測中表現(xiàn)出色.

近年來,部分研究者嘗試將注意力機制引入ED-LSTM模型.通過動態(tài)調(diào)整模型對輸人序列各部分的關(guān)注度,此類研究試圖使模型聚焦于時序中最重要部分,以提高模型對數(shù)據(jù)關(guān)鍵特征的捕獲能力和預(yù)測精度.本文的研究是一個最新的嘗試.具體來說,通過將時間注意力、因果自注意力、卷積注意力及分層注意力等4種注意力機制引入ED-LSTM模型的編碼器或解碼器,本文研究了注意力機制對ED-LSTM模型預(yù)測能力的增強作用.基于PCTRAN仿真軟件所生成的核反應(yīng)堆高保真動態(tài)數(shù)據(jù)集,本文通過仿真實驗評價了融合不同注意力機制及不同融合方式的ED-LSTM模型的預(yù)測效果,并用箱型圖和熱力圖展示了不同注意力機制和融合方式對模型的預(yù)測性能的影響.

2 相關(guān)工作

2.1 虛擬測量方法

在核工程中,虛擬測量方法主要通過數(shù)據(jù)驅(qū)動模型或基于物理規(guī)律的數(shù)值模擬來實現(xiàn)狀態(tài)監(jiān)測.目前,該方法已被成功應(yīng)用在那些難以獲取直接測量數(shù)據(jù)的應(yīng)用場景,且表現(xiàn)突出[8.為了克服單一模型的局限性9,當(dāng)前的研究主要關(guān)注那些結(jié)合物理模型和機器學(xué)習(xí)的混合方法.然而,核動力系統(tǒng)作為一類典型的復(fù)雜系統(tǒng),其高度的動態(tài)性和非線性特征對現(xiàn)有虛擬測量方法從精度和適應(yīng)性等方面提出了巨大的挑戰(zhàn).

2.2 LSTM和ED-LSTM

長短期記憶網(wǎng)絡(luò)(LSTM常被用于捕捉數(shù)據(jù)的長時間依賴特征,目前已被廣泛應(yīng)用于金融及工業(yè)過程控制等應(yīng)用場景.LSTM通過門控機制來解決標(biāo)準(zhǔn)循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的梯度消失問題,特別適合處理長時間跨度的數(shù)據(jù)[10].

鑒于傳統(tǒng)的LSTM模型在輸入和輸出序列長度不一致的任務(wù)中表現(xiàn)欠佳,研究者提出了ED-LSTM架構(gòu).該模型最初被用于自然語言處理,目前則已在各類復(fù)雜任務(wù)中得到應(yīng)用[11].在核工程應(yīng)用中,ED-LSTM模型可以有效捕捉系統(tǒng)的復(fù)雜非線性關(guān)系,能夠適應(yīng)系統(tǒng)的動態(tài)變化,對提升虛擬測量方法的預(yù)測性能有重要作用[12].

2.3 注意力機制

雖然ED-LSTM在處理長時間依賴數(shù)據(jù)方面有優(yōu)勢,但該模型對復(fù)雜輸人中不同特征重要性的關(guān)注能力有限.另一方面,注意力機制能夠有效地緩解神經(jīng)網(wǎng)絡(luò)對長時序的長期依賴問題,可能對提高ED-LSTM模型的可解釋性和性能起到重要作用[1.因此,將注意力機制引入ED-LSTM模型可能增強其對時序重要特征的捕捉能力.

本文選用4種注意力機制,分述如下,

(i)時間注意力機制.借鑒Bahdanau等[14提出的方法,時間注意力機制通過對每個時間步的重要性打分使模型聚焦于時序關(guān)鍵部分.如圖1所示,時間注意力機制采用線性變換和激活函數(shù)對輸入特征進行映射,以注意力得分和因果掩碼策略確保模型只關(guān)注當(dāng)前和此前的時間步,防止信息泄露,并有效提取重要歷史特征.涉及的主要公式如下:

其中, X 指經(jīng)過 W 線性層處理后的輸入序列,v是可學(xué)習(xí)的權(quán)重向量,score,是時間步 t 的注意力得分, Wt 是時間步 t 的注意力權(quán)重, T 是總時間步數(shù),

Xt 表示第t個時間步的輸人數(shù)據(jù), Y 為輸出序列矩陣.另外,tanh激活函數(shù)用于隱藏層激活,它的輸出是有界的,有助于控制數(shù)據(jù)分布、減少梯度消失問題,提高數(shù)值計算的穩(wěn)定性,Softmax函數(shù)將向量轉(zhuǎn)換為概率分布,常被用于注意力權(quán)重歸一化處理.

圖1時間注意力機制結(jié)構(gòu)圖

(ii)多頭因果自注意力機制,簡稱多頭注意力機制.多頭注意力機制源自Transformer模型[15],通過查詢(Q)鍵 (K) 和值 (V) 矩陣的線性變換計算輸人的注意力的得分,并利用多個注意力頭來增強表示能力.

Fig.1:Schematic structure of the time attention mechanism圖2多頭注意力結(jié)構(gòu)圖Fig.2 Schematic structure of the multi-head attention mechanism

圖2為多頭注意力機制的基本結(jié)構(gòu).其中,因果掩碼策略確保當(dāng)前時間步的注意力計算只考慮當(dāng)前和之前的時間步,避免信息泄露,并提高預(yù)測精度與可靠性.涉及的主要公式如下:

(ii)時間卷積注意力機制.時間卷積注意力機制是卷積神經(jīng)網(wǎng)絡(luò)(CNN)與時間注意力機制的結(jié)合,結(jié)構(gòu)如圖3所示.類似于時間注意力機制,時間卷積注意力機制在進行后續(xù)操作時先通過一維卷積提取輸人序列的局部特征,以便有效捕捉短期模式與局部依賴性[16].

圖3時間卷積注意力結(jié)構(gòu)圖

(iv)分層注意力機制.分層注意力機制將時序劃分為多個片段,在每個片段內(nèi)計算局部注意力,再對片段特征進行匯總、形成全局特征表示.分層注意力機制的結(jié)構(gòu)如圖4所示,其中,分層結(jié)構(gòu)使得模型能夠在不同粒度上學(xué)習(xí)時序特征、關(guān)注時序局部片段的重要性,然后結(jié)合全局結(jié)構(gòu)進行建模,以增強模型對復(fù)雜層次結(jié)構(gòu)的理解能力[7].

圖4分層注意力結(jié)構(gòu)圖Fig.4Schematic structure of the hierarchical attention mechanism

3 數(shù)據(jù)及模型

3.1 數(shù)據(jù)

本研究使用的動態(tài)數(shù)據(jù)集源自國際原子能署(IAEA)發(fā)布的《PCTRAN通用壓水反應(yīng)堆模擬器練習(xí)手冊》18中所描述的PCTRAN通用壓水堆仿真平臺.該平臺基于兩回路壓水堆(PWR)的通用設(shè)計(熱功率 1800MW ,電功率 600MW ,主要包含反應(yīng)堆冷卻劑系統(tǒng)(RCS)應(yīng)急堆芯冷卻系統(tǒng)(ECCS)蒸汽發(fā)生器(SG)等核心模塊,可以模擬正常工況、瞬態(tài)事故及嚴(yán)重事故等條件下核動力系統(tǒng)的動態(tài)變化.該軟件采用一種基于熱工-水力耦合模型的實時數(shù)值計算方法,利用簡化的兩回路壓水堆系統(tǒng)模型實時計算并更新反應(yīng)堆的各項動態(tài)參數(shù),如溫度、壓力和流量等.軟件的交互式圖形界面如圖5所示.另一方面,基于以上數(shù)據(jù)集,用戶可以觀察和控制反應(yīng)堆系統(tǒng)的關(guān)鍵參數(shù),在正常、過渡與嚴(yán)重事故等多種模式下模擬反應(yīng)堆系統(tǒng)的瞬態(tài)響應(yīng),仿真結(jié)果可以反映壓水堆關(guān)鍵參數(shù)的動態(tài)變化,適用于虛擬測量任務(wù)中的高保真數(shù)據(jù)生成.

本文隨機設(shè)置不同起始功率及其升降幅度,分別利用PCTRAN仿真得到反應(yīng)堆在“升功率”、“降功率”和“甩負(fù)荷”等3種工況條件下的多組數(shù)據(jù),然后各取2組數(shù)據(jù)進行整合,作為訓(xùn)練集,同時以“甩負(fù)荷”工況的第3組數(shù)據(jù)作為測試集.本文選取常見的13個物理傳感器提供的系統(tǒng)參數(shù)進行仿真,如表1所示,其中前12個傳感器作為輸入特征,“LSGA\"作為預(yù)測的目標(biāo)變量.

3.2模型

本文構(gòu)建一種基于ED-LSTM架構(gòu)的預(yù)測模型,并將時間注意力、因果注意力、卷積注意力和分層注意力等4種注意力機制分別融合進模型,以增強模型對時間序列的理解和特征提取能力.如圖6所示,ED-LSTM模型由編碼器(Encoder)和解碼器(Decoder)組成,其中編碼器負(fù)責(zé)提取輸入序列的特征,解碼器負(fù)責(zé)逐步生成未來時間步的預(yù)測.時間注意力的添加方式有3種:只在編碼器添加,只在解碼器添加以及同時在編碼器和解碼器添加.

模型的輸入有多個特征,涵蓋P、THA、THB、WFHB等多個傳感器特征信息.這些輸入特征首先被傳入編碼器,編碼器基于LSTM網(wǎng)絡(luò)結(jié)構(gòu)提取時序中隱藏層的特征.在編碼器部分,模型采用多層LSTM網(wǎng)絡(luò)對輸入時序進行處理,然后根據(jù)需求選擇是否在編碼器中添加注意力機制來提高特征表示能力.在解碼器部分,該模型同樣采用多層LSTM來逐步生成輸出序列,并根據(jù)需求選擇是否結(jié)合注意力機制動態(tài)地聚焦編碼器的輸出特征.

表1傳感器參數(shù)列表

結(jié)果與分析

為全面評價不同注意力機制及融合方式對ED-LSTM模型的預(yù)測效果的影響,本文設(shè)計了包含4種注意力機制及3種添加方式的仿真實驗,共12種,并將結(jié)果與無注意力機制的基準(zhǔn)仿真實驗進行比較.因此,仿真實驗共有13組.在仿真實驗中,每組實驗均進行40次重復(fù)實驗,以確保結(jié)果的穩(wěn)定性和可靠性、減少偶然因素的影響,每次實驗都記錄模型的主要性能指標(biāo),主要包括均方根誤差(RMSE)、平均絕對誤差(MAE)和判定系數(shù)(R2) .另外,本研究采用7:3的訓(xùn)練集與驗證集劃分比例,以確保模型的訓(xùn)練和驗證數(shù)據(jù)充足且均衡.

在模型調(diào)參階段,通過逐步調(diào)整隱藏層單元數(shù)、Dropout率和學(xué)習(xí)率等參數(shù),本文發(fā)現(xiàn),任務(wù)表2中所示的參數(shù)設(shè)置能夠有效捕捉時間序列中的關(guān)鍵特征.此外,AdamW優(yōu)化器在傳統(tǒng)Adam優(yōu)化器的基礎(chǔ)上引入了權(quán)重衰減(L2正則化),有助于模型在訓(xùn)練過程中穩(wěn)定收斂,而結(jié)合Dropout則可以有效減少過擬合的風(fēng)險.

鑒于核動力系統(tǒng)中的傳感器對預(yù)測精度有極高要求,本文優(yōu)先考慮將RMSE作為主要評價指標(biāo),因為它能放大誤差對模型性能的影響、避免忽略較大偏差導(dǎo)致的潛在風(fēng)險.此外,MAE能夠反映模型對穩(wěn)態(tài)參數(shù)的預(yù)測穩(wěn)定性, R2 能夠反映模型對目標(biāo)變量的解釋能力.因此,結(jié)合MAE和 R2 就能夠全面評價模型的整體誤差水平和擬合能力、為決策提供可靠依據(jù).

為減少仿真實驗過程中由隨機初始化或偶然波動導(dǎo)致的極端誤差對結(jié)果的影響,本文參考穩(wěn)健統(tǒng)計學(xué)[19]中的截尾均值法,以RMSE值為參照,剔除每組實驗中5個最大值和5個最小值,保留中間30次實驗的結(jié)果進行統(tǒng)計分析.截尾均值法的基本思想是先將數(shù)據(jù)按大小順序排列,去掉兩端一定比例或一定數(shù)量的極端值,然后對剩下的數(shù)據(jù)計算均值,以便有效降低異常數(shù)據(jù)對整體評估的干擾,同時保留數(shù)據(jù)分布的核心特征,提升結(jié)果的穩(wěn)健性和可重復(fù)性[20].

圖6融合注意力機制的ED-LSTM模型結(jié)構(gòu)圖Fig.6 Schematic structure of the ED-LSTM model integrated attention mechanism
表2調(diào)整后的參數(shù)表Tab.2The list of adjusted parameters

為行文簡潔,本文對注意力機制的添加方式進行簡記.以時間注意力為例,只對編碼器添加記為“時間注意力-E”,只對解碼器添加記為“時間注意力-D”,對編碼器和解碼器都添加則記為“時間注意力-ED”.其他注意力機制類似簡記.

對30次實驗得到的評價指標(biāo)求平均,以無注意力的基準(zhǔn)模型得到的結(jié)果作為對照組,融合注意力后的模型得到的結(jié)果作為實驗組,結(jié)果參見表3.我們有如下結(jié)果.

(i)只對編碼器添加注意力機制時,4種注意力機制均能提高模型的預(yù)測性能,這可能得益于注意力機制聚焦關(guān)鍵特征的能力.

(ii)3種不同的因果注意力機制添加方式都能提高模型的預(yù)測性能,這可能是因為多頭注意力機制能夠捕捉多個傳感器之間的關(guān)系、使模型的性能提升更穩(wěn)定.

(iii)在解碼器中分別添加時間、卷積和分層注意力機制導(dǎo)致模型的預(yù)測性能降低,這可能是因為編碼器提供的特征信息已經(jīng)足夠多,在解碼器上引入注意力反而會使模型關(guān)注相同的信息、導(dǎo)致信息冗余,破壞預(yù)測的連貫性.

(iv)綜合比較來看,只在編碼器上添加時間注意力機制對模型預(yù)測效果的提高最大,RMSE指標(biāo)降低了 23.4% ·

表3實驗得到的性能指標(biāo)的均值Tab.3Mean of the performance metrics of the simulation results

圖7為根據(jù)實驗結(jié)果繪制的箱型圖.此圖更直觀地展示了仿真實驗結(jié)果的RMSE值的分布情況,如中位數(shù)、四分位數(shù)和異常值等.可以看到,圖7的結(jié)果與表3基本一致:時間注意力-E的中位數(shù)RMSE值最低且分布相對集中,表明在編碼器中添加時間注意力的效果最好,能夠顯著且穩(wěn)定地降低模型的預(yù)測誤差.

進一步,本文通過假設(shè)檢驗比較了實驗結(jié)果之間的差異顯著性,鑒于時間序列不服從正態(tài)分布,本文采用非參數(shù)統(tǒng)計中的Mann-WhitneyU檢驗[21來進行分析并繪制熱力圖,結(jié)果如圖8所示,其中深藍(lán)色的區(qū)域表示p值小于顯著性水平,對應(yīng)的兩組RMSE值有顯著性差異.可以看到,結(jié)果與表3和圖7中的結(jié)果同樣一致.

圖7實驗得到的RMSE值的箱型圖Fig.7Boxplot of the RMSE values of the simulation results"

5 結(jié)論與展望

本文分析了不同注意力機制及融合方式對ED-LSTM模型預(yù)測性能的作用,得到了一個最佳的融合注意力機制與ED-LSTM模型的虛擬測量方法.仿真結(jié)果表明,在模型的編碼器上添加注意力機制能夠最大化地提高模型的預(yù)測效果.該方法有望大大提升核工程虛擬測量方法的精度和適應(yīng)性.

對不同類型的核工程數(shù)據(jù),特定的注意力機制可能發(fā)揮關(guān)鍵性作用.通過定制化設(shè)計,可能更好捕捉時序中的關(guān)鍵模式和變化,在虛擬測量任務(wù)中實現(xiàn)更高準(zhǔn)確性和魯棒性.因此,在未來研究中可以考慮對添加在解碼器上的注意力機制進行定制和優(yōu)化,探索更高效的注意力機制,有效減少信息冗余,增強模型對時序關(guān)鍵特征的聚焦能力.此外,將模型與其他先進神經(jīng)網(wǎng)絡(luò)架構(gòu)(如圖神經(jīng)網(wǎng)絡(luò)或變換器)結(jié)合使用可能更有助于提高模型對復(fù)雜動態(tài)系統(tǒng)的預(yù)測適應(yīng)性和精度.總之,未來的工作應(yīng)致力于在保持模型復(fù)雜度可控的前提下提升其在實際應(yīng)用中的效果.

參考文獻:

[1]Liu L,Kuo S M,Zhou M C.Virtual sensing techniques and their applications [C]// 2OO9 International Conference on Networking,Sensing and Control, Okayama,Japan.Piscataway: IEEE,2O09:31.

[2]Sriramalakshmi P,Subhasree V,Vondivillu S T,et al.Time series analysis and forecasting of wind turbine data [C]// Proceedings of the 2022 International Virtual Conference on Power Engineering Computing and Control: Developments in Electric Vehicles and Energy Sector for Sustainable Future (PECCON). Piscataway: IEEE, 2022:1.

[3]Hernandez-Matamoros A,F(xiàn)ujita H,Hayashi T,et al.Forecasting of COVID19 per regions using ARIMA models and polynomial functions [J]. Appl Soft Comput,2020,96:106610.

[4] Dash A,Ye J,WangG.A review of generative adversarial networks(GANs)and its applications in a wide variety of disciplines:From medical to remote sensing[J].IEEE Access,2023,12:18330.

[5] Kamalov F,RajabK,Cherukuri AK,et al.Deep learning for Covid-19 forecasting:State-of-the-art review [J].Neurocomputing,2022,511:142.

[6] Liu YL,Gu Y L. Spatiotemporal characteristics prediction of highway traffic flow based on CNNBiLSTM[J].Traffic Science and Economy,2022, 24:9.[劉永樂,谷遠(yuǎn)利.基于CNN-BiLSTM的高 速公路交通流量時空特性預(yù)測[J].交通科技與經(jīng) 濟,2022,24:9.]

[7] Gasparin A,Lukovic S,Alippi C. Deep learning for time series forecasting: The electric load case[J]. CAAI Transactions on Intelligence Technology,2022,7: 1.

[8] LiL,Zhang Y X,Yu Q Y.Review and prospect of virtual measurement technology for manufacturing processes[J].InfControl,2023(3),52(3):417. [李莉,張雅瑄,于青云.面向制造過程的虛擬量測 技術(shù)綜述與展望[J].信息與控制,2023,52 (3):417.]

[9] HiscoxBD,PopovEL,ArchibaldRK,et al.Artificial intellgence for multiphysics nuclear design optimization with additive manufacturing[R].Oak Ridge: Oak Ridge National Laboratory, 2021.

[10]Hochreiter S,Schmidhuber J.Long short-term memory[J].Neural Computation,1997,9:1735.

[11]:Sutskever I,Vinyals O,Le Q V. Sequence to sequence learning with neural networks [C]// Proceedings of the 28th International Conference on Neural Information Processing Systems (NIPS). Montreal: MIT Press,2014:3104.

[12]ChoK,MerrienboerBV,GulcehreC,etal.Learningphrase representations using RNN encoderdecoder for statistical machine translation [C]// Conference on Empirical Methods in Natural Language Processing(EMNLP),Doha,Qatar. Stroudsburg:ACL,2014:1724.

[13]Liu JW,Liu JW,Luo X L. Research progress in attention mechanism in deep learning[J].Chinese Jour nal of Engineering,2021,43:1499.[劉建偉,劉俊 文,羅雄麟.深度學(xué)習(xí)中注意力機制研究進展[J]. 工程科學(xué)學(xué)報,2021,43:1499.]

[14]Bahdanau D,Cho K,Bengio Y.Neural machine translation by jointly learning to align and trans late[EB/OL].[2025-02-10] htps://arxiv.org/abs/ 1409.0473.

[15]Vaswani A,Shazeer N,Parmar N,et al.Attention is all you need[C]//Proceedings of the 3lst International Conference on Neural Information Processing Systems.Long Beach,California.New York: ACM,2017:6000.

[16]Lecun Y,Bottou L,Bengio Y,et al.Gradient-based learning applied to document recognition [J]. Proceedings of the IEEE,1998,86:2278.

[17]Yang Z,Yang D,Dyer C,et al. Hierarchical attention networks for document classification [C]// Proceedings of the 2Ol6 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, San Diego,California. Stroudsburg:ACL, 2O16:1480.

[18]IAEA. PCTRAN generic pressurized water reactor simulator exercise handbook [M].Vienna:IAEA, 2019.

[19]Huber PJ,Roncheti E M.Robust statistics[M]. Hoboken: John Wileyamp; Sons,2009.

[20]Wilcox R.Introduction to robust estimation and hy pothesis testing[M].Amsterdam:Elsevier,2017.

[21]Myles H,Douglas W A,Eric C.Nonparametric statistical methods[M].Hoboken:John Wileyamp;. Sons,2015.

(責(zé)任編輯:周興旺)

猜你喜歡
解碼器編碼器注意力
注意力分配視角下對大學(xué)生碎片化學(xué)習(xí)注意力失焦現(xiàn)象的積極理解
基于Transformer模型的圖書館借閱量預(yù)測研究
神經(jīng)運動手環(huán)通過手勢實現(xiàn)人機交互
外部知識與內(nèi)部上下文語義聚合的短文本新聞虛假檢測模型
基于多頭集中注意力機制的無監(jiān)督視頻摘要模型
基于多模態(tài)表征學(xué)習(xí)的自動音頻字幕方法
面向視覺-語言模型的遞進互提示學(xué)習(xí)
互聯(lián)網(wǎng)讓我們的學(xué)習(xí)力越來越差?
青年文摘(2025年14期)2025-08-01 00:00:00
非對稱的編碼器-解碼器架構(gòu)下圖像分割方法研究
機械(2025年6期)2025-07-28 00:00:00
主站蜘蛛池模板: 中文字幕日韩欧美| 午夜国产不卡在线观看视频| 国产乱肥老妇精品视频| 亚洲天堂免费| 国产香蕉一区二区在线网站| 99免费在线观看视频| 欧美第九页| 国产精品欧美日本韩免费一区二区三区不卡| 中文字幕无码中文字幕有码在线| 亚洲精品第1页| 亚洲成在人线av品善网好看| 在线免费无码视频| 亚洲va欧美va国产综合下载| 99激情网| 亚洲成aⅴ人在线观看| 无码中文字幕乱码免费2| 爱爱影院18禁免费| 九色最新网址| 欧美日韩一区二区在线播放 | 小说 亚洲 无码 精品| 国产人前露出系列视频| 婷婷综合缴情亚洲五月伊| 国产精品浪潮Av| 99成人在线观看| 中文字幕乱码中文乱码51精品| 成人在线视频一区| 亚洲国产精品VA在线看黑人| 国产一区二区三区在线无码| 国产成人喷潮在线观看| 国产乱视频网站| 激情无码字幕综合| 91在线一9|永久视频在线| 亚洲大尺码专区影院| 五月天综合网亚洲综合天堂网| 精品欧美日韩国产日漫一区不卡| 欧美色香蕉| 国产主播一区二区三区| 巨熟乳波霸若妻中文观看免费 | 美女一区二区在线观看| 日韩精品无码一级毛片免费| 久久综合一个色综合网| 国产日韩欧美在线播放| 女同久久精品国产99国| 一级毛片高清| 囯产av无码片毛片一级| 91精品国产麻豆国产自产在线| 青青青草国产| 99久久国产综合精品女同| 69视频国产| www.91中文字幕| 国产成人亚洲精品蜜芽影院| 中文国产成人久久精品小说| 久久综合五月婷婷| 国产成人久久综合一区| 午夜福利免费视频| 综合色在线| 国产三级国产精品国产普男人| 亚洲天堂日韩在线| 国产在线八区| 日本尹人综合香蕉在线观看| 国产裸舞福利在线视频合集| 无码专区第一页| 中字无码av在线电影| 亚洲国产成人麻豆精品| 国产精品妖精视频| 凹凸国产熟女精品视频| 无码免费视频| 国产在线一二三区| 欧美午夜在线观看| 日韩在线影院| 亚洲自拍另类| 亚洲精品无码高潮喷水A| 99免费在线观看视频| 9啪在线视频| 国产又粗又爽视频| 欧美精品高清| 一区二区影院| a级毛片毛片免费观看久潮| 中文字幕永久视频| 亚洲综合18p| 日韩国产 在线| 免费观看男人免费桶女人视频|