基于ＴｉｍｅＧＡＮ 和ＣＮＮ－ＢｉＬＳＴＭ－Ａｔｔｅｎｔｉｏｎ 的大壩變形預(yù)測混合模型

摘 要：基于歷史數(shù)據(jù)的深度學(xué)習(xí)模型往往需要跨越數(shù)年的大量數(shù)據(jù)集，為了解決數(shù)據(jù)不足問題，提出一種將時間序列生成對抗性網(wǎng)絡(luò)（ＴｉｍｅＧＡＮ）與ＣＮＮ－ＢｉＬＳＴＭ－Ａｔｔｅｎｔｉｏｎ 相結(jié)合的混凝土面板堆石壩變形預(yù)測混合模型。首先，利用ＴｉｍｅＧＡＮ 生成虛擬數(shù)據(jù)來擴展稀疏的數(shù)據(jù)集；然后，利用卷積神經(jīng)網(wǎng)絡(luò)（ＣＮＮ）提取大壩傳感器數(shù)據(jù)中的非線性局部特征，運用ＢｉＬＳＴＭ 捕獲雙向時間序列特征；最后，引入注意力（Ａｔｔｅｎｔｉｏｎ）機制對ＢｉＬＳＴＭ 層提取的信息特征自動進(jìn)行權(quán)重分配，通過全連接層輸出最終預(yù)測結(jié)果。以貴州省畢節(jié)市某混凝土面板堆石壩為例，驗證該混合模型的適用性。建立長短期記憶網(wǎng)絡(luò)（ＬＳＴＭ）、ＣＮＮ－ＬＳＴＭ、ＣＮＮ－ＬＳＴＭ－Ａｔｔｅｎｔｉｏｎ、ＣＮＮ－ＢｉＬＳＴＭ－Ａｔｔｅｎｔｉｏｎ ４ 種基模型，再分別引入ＴｉｍｅＧＡＮ，對比各模型的預(yù)測精度。結(jié)果表明：基于ＴｉｍｅＧＡＮ 和ＣＮＮ－ＢｉＬＳＴＭ－Ａｔ?ｔｅｎｔｉｏｎ 的混合模型的擬合效果明顯優(yōu)于其他模型，其預(yù)測值與監(jiān)測值最接近。相較于傳統(tǒng)單一ＬＳＴＭ 模型，混合模型的ＥＭＳ、ＥＲＭＳ、ＥＭＡ分別降低了７１％、４９％、４５％，Ｒ２提升了２０％。

關(guān)鍵詞：ＴｉｍｅＧＡＮ；ＣＮＮ；ＢｉＬＳＴＭ；Ａｔｔｅｎｔｉｏｎ；混凝土面板堆石壩；變形預(yù)測

中圖分類號：ＴＶ６４１．４ 文獻(xiàn)標(biāo)志碼：Ａ ｄｏｉ：１０．３９６９／ ｊ．ｉｓｓｎ．１０００－１３７９．２０２４．１２．０２１

引用格式：原佳帆，李丹楊，李佳霖，等．基于ＴｉｍｅＧＡＮ 和ＣＮＮ－ＢｉＬＳＴＭ－Ａｔｔｅｎｔｉｏｎ 的大壩變形預(yù)測混合模型［Ｊ］．人民黃河，２０２４，４６（１２）：１２７－１３０，１４３．

０ 引言

大壩作為水利樞紐的重要組成部分，具有顯著的經(jīng)濟效益和社會效益。然而，一旦發(fā)生潰壩，可能會給下游居民造成巨大的人身危害和財產(chǎn)損失［１－２］ 。因此，需要采取科學(xué)有效的方法來監(jiān)測和評估大壩的運行狀態(tài)，盡早識別異常行為，以消除或最大限度地減少不利影響。

隨著人工智能（ＡＩ）的迅猛發(fā)展，研究者們對使用智能數(shù)據(jù)驅(qū)動方法構(gòu)建各領(lǐng)域的預(yù)測模型越來越感興趣［３－６］ 。在大壩變形預(yù)測領(lǐng)域，機器學(xué)習(xí)（ＭＬ）被證明是一種有效的方法，尤其對于長序列監(jiān)測數(shù)據(jù)。Ｙａｎｇ等［７］ 使用基于注意力機制優(yōu)化的ＬＳＴＭ 模型對拱壩變形進(jìn)行建模，證實了ＬＳＴＭ 優(yōu)化模型的擬合效果好于單一ＬＳＴＭ 模型的；Ｗｅｉ 等［８］ 提出了一種基于ＣＮＮＬＳＴＭ的大壩變形預(yù)測模型，該模型可以充分提取時間序列特征，預(yù)測精度較高；歐斌等［９］ 提出了一種基于ＣＮＮ－ＢｉＬＳＴＭ 的拱壩變形預(yù)測模型，該模型結(jié)合ＣＮＮ 的空間特征提取能力和ＢｉＬＳＴＭ 的雙向特征提取能力，具有很好的預(yù)測效果。

對上述模型進(jìn)行評估時，主要針對時間跨度大、數(shù)據(jù)量大和固有穩(wěn)定性的大壩。然而，對于新建大壩而言，相關(guān)指標(biāo)歷史監(jiān)測序列較短、數(shù)據(jù)較少，這種缺陷會影響模型訓(xùn)練的完整性，進(jìn)而影響預(yù)測結(jié)果的準(zhǔn)確性，因此亟待研究基于稀缺數(shù)據(jù)的模型構(gòu)建方法。為此，本文提出了一種基于ＴｉｍｅＧＡＮ 和ＣＮＮ－ＢｉＬＳＴＭＡｔｔｅｎｔｉｏｎ的混合模型用于預(yù)測新建大壩變形，通過Ｔｉ?ｍｅＧＡＮ 生成虛擬數(shù)據(jù)擴展訓(xùn)練數(shù)據(jù)集，利用ＣＮＮ 提取大壩傳感器數(shù)據(jù)中的非線性局部特征， 并運用ＢｉＬＳＴＭ 捕獲雙向時間序列特征，最后通過注意力機制對ＢｉＬＳＴＭ 層提取的信息特征自動進(jìn)行權(quán)重分配，以期更準(zhǔn)確預(yù)測大壩穩(wěn)定狀況。

１ 基礎(chǔ)理論與模型構(gòu)建

１．１ ＴｉｍｅＧＡＮ

生成對抗網(wǎng)絡(luò)（ＧＡＮ）的概念由蒙特利爾大學(xué)著名人工智能研究員Ｇｏｏｄｆｅｌｌｏｗ 于２０１４ 年首次提出。ＴｉｍｅＧＡＮ［１０］ 是ＧＡＮ 的變體，用于生成時間序列數(shù)據(jù)。ＴｉｍｅＧＡＮ 由自編碼器和對抗網(wǎng)絡(luò)構(gòu)成，自編碼器包括嵌入網(wǎng)絡(luò)（Ｅｍｂｅｄｄｉｎｇ ｎｅｔｗｏｒｋ）和恢復(fù)網(wǎng)絡(luò)（Ｒｅｃｏｖｅｒｙｎｅｔｗｏｒｋ），對抗網(wǎng)絡(luò)包括生成器（Ｇｅｎｅｒａｔｏｒ）和鑒別器（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）。

ＴｉｍｅＧＡＮ 采用聯(lián)合訓(xùn)練方法，依賴自編碼器損失ＬＲ、監(jiān)督損失ＬＭ和非監(jiān)督損失ＬＵ對自編碼器和對抗網(wǎng)絡(luò)進(jìn)行訓(xùn)練。首先，通過數(shù)據(jù)重構(gòu)ＬＲ優(yōu)化自編碼器編碼解碼過程；其次，引入監(jiān)測數(shù)據(jù)作為生成器的監(jiān)督項，定義生成器與監(jiān)測數(shù)據(jù)之間的ＬＳ，用于評估生成器的學(xué)習(xí)能力；最后，通過定義無監(jiān)督ＧＡＮ 的對抗損失ＬＵ，實現(xiàn)對生成器的反饋。在關(guān)鍵損失函數(shù)的聯(lián)合訓(xùn)練下，ＴｉｍｅＧＡＮ 實現(xiàn)各網(wǎng)絡(luò)誤差的最小化，完成對序列相關(guān)性的學(xué)習(xí)，從而生成符合真實時序分布的合成數(shù)據(jù)。一般在數(shù)據(jù)設(shè)置中，每個實例由靜態(tài)特征（如性別）和時間特征（如生命體征）組成。令Ｓ 為靜態(tài)特征的向量空間，Ｘ 為時間特征向量空間，ｓ（ｓ∈Ｓ）、ｘ（ｘ∈Ｘ）為可以用具體值實例化的隨機向量。規(guī)定（ｓ，ｘ１：Ｔ～ｐ ）為滿足某種聯(lián)合分布ｐ 的元組，每個序列長度Ｔ 均為隨機變量，學(xué)習(xí)目標(biāo)是某一ｐ＾ （ｓ，ｘ１：Ｔ～ｐ ）盡可能逼近真實分布ｐ（ｓ，ｘ１：Ｔ～ｐ ）。

模型關(guān)鍵損失計算公式如下：

式中：ｓｔ 、ｓ～分別為原始靜態(tài)特征、隨機靜態(tài)特征向量，ｘｔ 、ｘ～ ｔ分別為原始動態(tài)特征向量、隨機動態(tài)特征向量，Ｅ為概率分布的期望。

式中ｙＳ 、ｙｔ 分別為原始靜態(tài)特征、動態(tài)特征的標(biāo)簽，ｙ～Ｓ 、ｙ～ｔ 分別為原始靜態(tài)模型得到的靜態(tài)特征分類結(jié)果、動態(tài)特征分類結(jié)果。

式中：ｈｔ 、ｈｓ分別為ｔ 時刻的動態(tài)特征向量、靜態(tài)特征向量；ｈｔ－１為ｔ－１ 時刻的動態(tài)特征向量；ｚｔ為ｔ 時刻的隨機動態(tài)特征向量；ｇ 為生成器函數(shù)，用于生成動態(tài)穩(wěn)含空間編碼。

１．２ ＣＮＮ

ＣＮＮ 由輸入層、卷積層、池化層、全連接層和輸出層組成。卷積層和池化層是整個模型結(jié)構(gòu)的重點，主要用于提取特征和對特征進(jìn)行降維。

本研究對象為大壩變形，屬于時間序列預(yù)測任務(wù)，因此使用一維卷積（ＣＯＮＶ－１Ｄ） 從數(shù)據(jù)集中提取特征。通過輸入層將監(jiān)測數(shù)據(jù)輸入ＣＯＮＶ－１Ｄ，卷積層和池化層形成卷積組對監(jiān)測數(shù)據(jù)進(jìn)行卷積，重構(gòu)監(jiān)測數(shù)據(jù)特征，其中：卷積層負(fù)責(zé)從數(shù)據(jù)中提取局部特征，池化層負(fù)責(zé)對卷積后的數(shù)據(jù)進(jìn)行特征選擇和信息過濾以減少數(shù)據(jù)量并加快計算。

１．３ ＢｉＬＳＴＭ

ＬＳＴＭ 作為循環(huán)神經(jīng)網(wǎng)絡(luò)（ＲＮＮ）的擴展，具備學(xué)習(xí)長期依賴關(guān)系的能力。相對于傳統(tǒng)ＲＮＮ，ＬＳＴＭ 更適用于處理和預(yù)測具有長間隔的時間序列。ＬＳＴＭ 隱藏層結(jié)構(gòu)包括神經(jīng)元、輸入門、遺忘門和輸出門，見圖１（圖中、分別為記憶細(xì)胞更新過程的乘法、加法操作，Ｃ～ｔ 為更新后的神經(jīng)元）。

神經(jīng)元是ＬＳＴＭ 的核心，負(fù)責(zé)保存重要信息，并傳遞給后續(xù)網(wǎng)絡(luò)層；輸入門決定輸入信息是否寫入神經(jīng)元，即在當(dāng)前時刻ｔ，輸入的ｘｔ有多少保留到記憶細(xì)胞Ｃｔ中；遺忘門用于決定神經(jīng)元中的信息是否被遺忘，即ｔ－１ 時刻的記憶細(xì)胞Ｃｔ －１ 有多少保留到記憶細(xì)胞Ｃｔ中；輸出門用于控制神經(jīng)元下一時刻的輸出，即決定當(dāng)前時刻ｔ 有多少記憶細(xì)胞Ｃｔ 輸出到ｈｔ ；ｈｔ －１、ｈｔ 分別為ｔ－１時刻、ｔ 時刻的輸出狀態(tài)；ｆｔ 、ｉｔ 、ｏｔ分別為遺忘門、輸入門和輸出門對應(yīng)的控制系數(shù)。ＬＳＴＭ 計算過程如下：

ｆｔ ＝ σ（Ｗｆ ｘｔ ＋ Ｕｆ ｈｔ －１ ＋ ｂｆ ） （４）

ｉｉ ＝ σ（Ｗｉ ｘｉ ＋ Ｕｉ ｈｔ －１ ＋ ｂｉ ） （５）

ｏｔ ＝ σ（Ｗｏ ｘｔ ＋ Ｕｏ ｈｔ －１ ＋ ｂｏ ） （６）

Ｃ ～ｔ ＝ ｔａｎｈ（Ｗｃ ｘｔ ＋ Ｕｃ ｈｔ －１ ＋ ｂｃ ） （７）

Ｃｔ ＝ ｆｔ Ｃｔ －１ ＋ ｉｔＣ ～ｔ （８）

ｈｔ ＝ ｏｔ ｔａｎｈ（Ｃｔ ） （９）

式中：Ｗｆ 、Ｗｔ 、Ｗｏ 、Ｕｆ 、Ｕｉ 、Ｕｏ均為權(quán)重，ｂｉ 、ｂｆ和ｂｏ均為各個門結(jié)構(gòu)的偏置，σ 為Ｓｉｇｍｏｉｄ 激活函數(shù)。

ＢｉＬＳＴＭ 是對ＬＳＴＭ 的改進(jìn)，由前向ＬＳＭＴ 與后向ＬＳＴＭ 組成，前向ＬＳＭＴ 按照正向順序處理序列，后向ＬＳＴＭ 按照逆向順序處理序列，在每一時刻， 每個ＬＳＴＭ 單元都能夠同時訪問過去和未來的信息。因此，選擇ＢｉＬＳＴＭ 神經(jīng)網(wǎng)絡(luò)從ＣＮＮ 層提取的長期特征信息中學(xué)習(xí)雙向序列特征，有利于提高模型的預(yù)測精度和特征數(shù)據(jù)的利用率。

１．４ 注意力機制

注意力機制最早源自對人類視覺的研究，在深度學(xué)習(xí)領(lǐng)域，模型訓(xùn)練需要大量數(shù)據(jù)，但在特定情況下，并非所有特征同等重要。注意力機制可以根據(jù)不同的特征來調(diào)整信息權(quán)重，為更重要的特征分配更大的權(quán)重，丟棄不重要的信息，通過這種差異化的權(quán)重分配來提高數(shù)據(jù)處理效率。

１．５ 基于ＴｉｍｅＧＡＮ 和ＣＮＮ－ＢｉＬＳＴＭ－Ａｔｔｅｎｔｉｏｎ 的混合模型構(gòu)建

根據(jù)上述理論， 提出基于ＴｉｍｅＧＡＮ 和ＣＮＮ －ＢｉＬＳＴＭ－Ａｔｔｅｎｔｉｏｎ 的混合模型，該模型構(gòu)建流程見圖２（圖中ｈ１ → 、ｈ２ → 分別為前向、后向ＬＳＴＭ 的隱藏層狀態(tài)， ａ１，ａ２，…，ａｎ為隱藏層狀態(tài)構(gòu)成的新向量）。

第一步：對數(shù)據(jù)進(jìn)行預(yù)處理，即對大壩歷史監(jiān)測數(shù)據(jù)進(jìn)行降噪、標(biāo)準(zhǔn)化處理，對不同類型數(shù)據(jù)進(jìn)行分類。

第二步：基于ＴｉｍｅＧＡＮ 對數(shù)據(jù)進(jìn)行擴充。根據(jù)時間步長對輸入數(shù)據(jù)進(jìn)行三維擴展；自編碼器將真實的時序數(shù)據(jù)編碼成低維表示，捕獲關(guān)鍵特征；Ｇｅｎｅｒａｔｏｒ網(wǎng)絡(luò)把自編碼器輸出的低維表示和隨機向量作為輸入，生成與原數(shù)據(jù)相似的虛擬數(shù)據(jù)，盡可能準(zhǔn)確模擬真實數(shù)據(jù)分布；采用Ｄｉｓｃｒｉｍｉｎａｔｏｒ 網(wǎng)絡(luò)判別生成虛擬數(shù)據(jù)是否與監(jiān)測數(shù)據(jù)相符；通過交替訓(xùn)練Ｇｅｎｅｒａｔｏｒ 和Ｄｉｓｃｒｉｍｉｎａｔｏｒ 網(wǎng)絡(luò)，使得相互競爭協(xié)作逐漸達(dá)到平衡，最終Ｇｅｎｅｒａｔｏｒ 網(wǎng)絡(luò)利用學(xué)到的知識生成虛擬時序數(shù)據(jù)。

第三步：將擴充后的數(shù)據(jù)輸入ＣＮＮ 層。ＣＮＮ 層包括卷積層、批處理規(guī)范化層和池化層，具有直線單元（ＲｅＬＵ）激活函數(shù)。在卷積層沿著時間方向?qū)颖具M(jìn)行卷積，采用批處理規(guī)范化和最大池化優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，最終使用ＲｅＬＵ 激活函數(shù)對輸出結(jié)果進(jìn)行非線性映射。將輸出結(jié)果輸入ＢｉＬＳＴＭ，對數(shù)據(jù)進(jìn)行維度轉(zhuǎn)換，實現(xiàn)選擇性記住或忘記特征信息，有效防止梯度消失或爆炸。選擇ｔａｎｈ 函數(shù)作為非線性激活函數(shù)，對結(jié)果進(jìn)行維度轉(zhuǎn)換，隨即傳入注意力機制層，注意力機制本質(zhì)上是一個加權(quán)求和的過程，在該過程中先計算每個時間序列的權(quán)重，然后對所有時間序列向量進(jìn)行加權(quán)，通過全連接層虛擬函數(shù)處理后，得到預(yù)測值。

２ 工程實例應(yīng)用

２．１ 工程概況

畢節(jié)市某混凝土面板堆石壩壩高１５４ ｍ，壩頂寬１０ ｍ、長４２８．９３ ｍ，最大壩寬４５４．０８５ ｍ。為了實時監(jiān)控大壩運行的工作狀態(tài)，在大壩內(nèi)部安裝了多種傳感器，在壩體橫左０＋００５．０００ 監(jiān)測剖面設(shè)置了水平位移和垂直位移監(jiān)測點，共有４ 條測線（見圖３）。使用２０２０ 年２ 月１ 日至２０２３ 年９ 月３０ 日的壩頂方向水平位移監(jiān)測數(shù)據(jù)進(jìn)行建模，其中７０％為訓(xùn)練集、３０％為測試集。

２．２ 模型精度評估指標(biāo)

為了全面評估基于ＴｉｍｅＧＡＮ 和ＣＮＮ－ＢｉＬＳＴＭＡｔｔｅｎｔｉｏｎ的混合模型的有效性， 建立ＬＳＴＭ、ＣＮＮ －ＬＳＴＭ、ＣＮＮ－ＬＳＴＭ－Ａｔｔｅｎｔｉｏｎ、ＣＮＮ－ＢｉＬＳＴＭ－Ａｔｔｅｎｔｉｏｎ基模型，再分別引入ＴｉｍｅＧＡＮ，對比各模型的預(yù)測精度。精度評價指標(biāo)包括平均平方誤差（ＥＭＳ ）、平均絕對百分比誤差（ＥＲＭＳ）、平均絕對誤差（ＥＭＡ）、決定系數(shù)（Ｒ２），計算公式如下：

式中：Ｎ 為樣本總量，ｙｉ為第ｉ 個樣本的預(yù)測值，＾ｙ ｉ為第ｉ 個樣本的監(jiān)測值，ｙｉ為第ｉ 個樣本的平均監(jiān)測值。

２．３ 模型預(yù)測結(jié)果

ＬＳＴＭ、ＣＮＮ－ＬＳＴＭ、ＣＮＮ－ＬＳＴＭ－Ａｔｔｅｎｔｉｏｎ、基于ＴｉｍｅＧＡＮ 和ＣＮＮ － ＢｉＬＳＴＭ － Ａｔｔｅｎｔｉｏｎ 的混合模型［ＣＮＮ－ＢｉＬＳＴＭ－Ａｔｔｅｎｔｉｏｎ（ＴｉｍｅＧＡＮ）］的精度評價指標(biāo)見表１。

Ｒ２越大，ＥＭＳ、ＥＲＭＳ、ＥＭＡ 越小，模型的擬合效果越好。由表１ 可知，基于ＴｉｍｅＧＡＮ 和ＣＮＮ－ＢｉＬＳＴＭ－Ａｔｔｅｎｔｉｏｎ 的混合模型的模擬精度最高，相較于單一ＬＳＴＭ 模型，其ＥＭＳ、ＥＲＭＳ、ＥＭＡ 分別降低了７１％、４９％、４５％，Ｒ２ 提升了２０％。除ＣＮＮ－ＬＳＴＭ－Ａｔｔｅｎｔｉｏｎ 模型外，其他基模型引入ＴｉｍｅＧＡＮ 后，擬合精度有所提升。

不同模型對大壩變形趨勢的預(yù)測效果見圖５。基于ＴｉｍｅＧＡＮ 和ＣＮＮ－ＢｉＬＳＴＭ－Ａｔｔｅｎｔｉｏｎ 的混合模型擬合效果明顯優(yōu)于其他模型，其預(yù)測值與監(jiān)測值最接近。總而言之，單一ＬＳＴＭ 模型的擬合效果最差，ＣＮＮＬＳＴＭ模型預(yù)測效果稍有改善，但是不如ＣＮＮ－ＬＳＴＭＡｔｔｅｎｔｉｏｎ，原因是注意力機制可以使得模型從大量影響結(jié)果的特征中捕獲到重要的關(guān)鍵特征。ＣＮＮ －ＢｉＬＳＴＭ－Ａｔｔｅｎｔｉｏｎ 可以實現(xiàn)最好的擬合效果，原因是雙向的ＬＳＴＭ 模型結(jié)構(gòu)可以充分利用時間序列中前后時間維度的關(guān)系，獲得更多的特征信息，從而提高模型的預(yù)測精度。

各基模型與引入ＴｉｍｅＧＡＮ 后的預(yù)測結(jié)果殘差對比見圖５（Ｌ：ＬＳＴＭ，ＣＬ：ＣＮＮ－ＬＳＴＭ，ＣＬＡ：ＣＮＮ－ＬＳＴＭＡｔｔｅｎｔｉｏｎ，ＣＢＡ： ＣＮＮ － ＢｉＬＳＴＭ － Ａｔｔｅｎｔｉｏｎ， Ｔ：ＴｉｍｅＧＡＮ））。引入ＴｉｍｅＧＡＮ 之后，大部分模型的擬合精度提高，本文所提出的混合模型的殘差分布密集并且數(shù)值小，預(yù)測結(jié)果最接近監(jiān)測值。Ｔ－ＣＬＡ 與ＣＬＡ 相比精度并無提升，考慮到引入ＴｉｍｅＧＡＮ 之后模型復(fù)雜度變高，而ＬＳＴＭ 作為一種單向的循環(huán)神經(jīng)網(wǎng)絡(luò)，無法有效捕捉未來信息，從而導(dǎo)致性能提升有限。

３ 結(jié)論

以貴州省畢節(jié)市某混凝土面板堆石壩為研究對象，提出了一種基于ＴｉｍｅＧＡＮ 和ＣＮＮ－ＢｉＬＳＴＭ－Ａｔｔｅｎｔｉｏｎ的面板堆石壩變形預(yù)測混合模型。以ＬＳＴＭ、ＣＮＮ－ＬＳＴＭ、ＣＮＮ－ＬＳＴＭ－Ａｔｔｅｎｔｉｏｎ 模型為對照模型，基于ＴｉｍｅＧＡＮ 和ＣＮＮ－ＢｉＬＳＴＭ－Ａｔｔｅｎｔｉｏｎ 的混合模型的模擬精度最高。ＴｉｍｅＧＡＮ 通過生成額外訓(xùn)練樣本來擴展原始數(shù)據(jù)集，有效提升了模型的訓(xùn)練質(zhì)量；ＢｉＬＳＴＭ在泛化能力上優(yōu)于單向ＬＳＴＭ，結(jié)合ＴｉｍｅＧＡＮ 之后，因雙向結(jié)構(gòu)帶來的豐富特征表示而使模型整體泛化能力得到增強；注意力機制用于動態(tài)調(diào)整權(quán)重，有助于提高模型的精度。

參考文獻(xiàn)：

［１］ 彭之辰，吳雙，龔士林．美國伊登維爾壩和桑福德壩潰壩事故反思［Ｊ］．大壩與安全，２０２３（４）：６３－６６．

［２］ 汪大全．國內(nèi)外潰壩事件對大壩安全管理的啟示［Ｊ］．水利技術(shù)監(jiān)督，２０２１（６）：９－１０，１４，２２７．

［３］ 薛萍，廖麗莎，廖衛(wèi)紅，等．南水北調(diào)中線工程水位的水動力－神經(jīng)網(wǎng)絡(luò)耦合預(yù)測模型［Ｊ］．南水北調(diào)與水利科技（中英文），２０２３，２１（６）：１１１６－１１２５．

［４］ 鄒婕，李路．基于隨機森林的ＳＡ－ＢｉＧＲＵ 模型的股票價格預(yù)測研究［Ｊ］．中國物價，２０２３（１１）：５２－５６．

［５］ 李晨陽，鄭東健．基于多層次數(shù)據(jù)處理的ＮＧＯ ＸＧＢｏｏｓｔ 大壩變形預(yù)測模型及其應(yīng)用［Ｊ］．水電能源科學(xué)，２０２３，４１（１１）：７７－８１．

［６］ 周蘭庭，柳志坤，徐長華．基于ＷＡ－ＬＳＴＭ－ＡＲＩＭＡ 的混凝土壩變形組合預(yù)測模型［Ｊ］．人民黃河，２０２２，４４（１）：１２４－１２８．

［７］ ＹＡＮＧ Ｄ Ｓ，ＧＵ Ｃ Ｓ，ＺＨＵ Ｙ Ｔ，ｅｔ ａｌ．Ａ Ｃｏｎｃｒｅｔｅ Ｄａｍ Ｄｅｆｏｒｍａ?ｔｉｏｎ Ｐｒｅｄｉｃｔｉｏｎ Ｍｅｔｈｏｄ Ｂａｓｅｄ ｏｎ ＬＳＴＭ ｗｉｔｈ Ａｔｔｅｎｔｉｏｎ Ｍｅｃｈ?ａｎｉｓｍ［Ｊ］．ＩＥＥＥ ＡＣＣＥＳＳ，２０２０（８）：１８５１７７－１８５１８６．

［８］ ＷＥＩ Ｙ Ｌ，ＬＩ Ｑ Ｂ，ＨＵ Ｙ，ｅｔ ａｌ．Ｄｅｆｏｒｍａｔｉｏｎ Ｐｒｅｄｉｃｔｉｏｎ Ｍｏｄｅｌ Ｂａｓｅｄ ｏｎ ａｎ Ｉｍｐｒｏｖｅｄ ＣＮＮ Ｐｌｕｓ ＬＳＴＭ Ｍｏｄｅｌ ｆｏｒ ｔｈｅ Ｆｉｒｓｔ Ｉｍｐｏｕｎｄｍｅｎｔ ｏｆ Ｓｕｐｅｒ?Ｈｉｇｈ Ａｒｃｈ Ｄａｍｓ［Ｊ］．Ｊｏｕｒｎａｌ ｏｆ Ｃｉｖｉｌ Ｓｔｒｕｃｔｕｒａｌ Ｈｅａｌｔｈ Ｍｏｎｉｔｏｒｉｎｇ，２０２２，１３（２－３）：４３１－４４２．

［９］ 歐斌，張才溢，傅蜀燕，等．基于ＣＮＮ－ＢｉＬＳＴＭ 的特高拱壩變形預(yù)測模型［Ｊ］．排灌機械工程學(xué)報，２０２４，４２（１０）：１０３１－１０３５，１０４３．

［１０］ ＡＤＥＬＥ Ｄ．Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ１８［Ｊ］．Ｊ Ｍａｔｈ Ｐｓｙｃｈｏｌ，２００７，５１（５）：３３９．

【責(zé)任編輯 栗 銘】

基金項目： 貴州省科技計劃項目（黔科合支撐〔２０２３〕一般２５１）；貴州省基礎(chǔ)研究計劃（自然科學(xué)）青年引導(dǎo)項目（黔科合基礎(chǔ)〔２０２４〕青年０９５）