基于改進圖注意力網絡的油井產量預測模型

摘要： 針對圖注意力網絡處理噪聲和時序數據較弱， 并且在堆疊多層后出現梯度爆炸、 過平滑等問題， 提出一種改進圖注意力網絡模型.首先， 使用Squeeze-and-Excitation模塊對樣本輸入數據的特征信息進行不同程度關注， 增強模型處理噪聲的能力； 其次， 使用多頭注意力機制， 將序列數據中每個序列相對其他序列進行加權求和， 提取數據的時序性； 再次， 將圖注意力網絡提取的節點特征與節點的度中心性拼接， 獲取節點的局部特征， 并用全局平均池化的方式提取節點的全局特征； 最后， 將兩者進行融合得到節點的最終特征表示， 增強模型的表征能力. 為驗證改進圖注意力網絡的有效性， 將改進圖注意力網絡模型與LSTM，GRU和GGNN模型進行對比， 實驗結果表明， 該模型預測效果得到有效提升， 具有更高的預測精度.

關鍵詞： 圖注意力網絡； 多頭注意力； 節點度中心性； 全局平均池化

中圖分類號： TP18" 文獻標志碼： A" 文章編號： 1671-5489（2024）04-0933-10

Oil Well Production Prediction Model Based onImproved Graph Attention Network

ZHANG Qiang， PENG Gu， XUE Chenbin

（School of Computer and Information Technology， Northeast Petroleum University， Daqing 163318， Heilongjiang Province， China）

Abstract： Aiming at" the problems that graph attention networks were weak in handling noisy and temporal data， as well as gradient explosion and oversmoothing after stacking multiple layers， we proposed an improved graph attention network model. Firstly， we used" the Squeeze-and-Excitation module to pay different levels of attention to the feature information of the sample input data to enhance the model’s ability to handle noise. Secondly， the temporal sequence of the data was extracted by using the multi-head attention mechanism， which weighted and summed each sequence in the sequence data relative to the other sequences. Thirdly，" the node features extracted from the graph attention network were spliced with the degree centrality of the nodes to obtain the local features of the nodes， and the global features

of the nodes were extracted by using global average pooling. Finally， the two were fused to obtain the final feature representation of the nodes， which enhanced the representational ability of the model.

In order to verify the effectiveness of the improved graph attention network， the improved graph attention network model was compared with LSTM， GRU and GGNN models. The experimental results show that the prediction effect of the model has been effectively improved， with higher prediction accuracy.

Keywords： graph attention network; multi-head attention; node degree centrality; global average pooling

油井產量是油田開發的重要指標［1］， 準確預測產油量可優化開采方案、 提高油田開發效率并降低開采成本. 近年來， 隨著人工神經網絡理論的不斷發展， 越來越多的新型神經網絡被應用在油田產量預測中［2-4］. 同時， 基于深度學習的神經網絡模型也被應用于油田產量的預測. 例如： 任燕龍等［5］使用長短期記憶網絡建立了油田產量的預測模型； 潘少偉等［6］在長短期記憶網絡的基礎上使用注意力機制提取了數據的時序性， 增強了模型的可移植性； 張蕾等［7］提出了一種基于時域卷積網絡的方法， 分階段搭建產量預測模型， 并對該模型使用麻雀搜索算法優化超參數， 提高了模型的訓練速度. 這些模型雖然都取得了較好的效果， 但都未考慮油田開采中井位布局的影響， 即未考慮油田井網拓撲結構對產量的影響.

在水驅油田開發過程中， 由于油田地質結構復雜和地層非均勻的特性， 油田的井位布局采用節點型布局， 即油井和水井成交叉或分叉的布置方式， 這種布置方式是油田能持續增產的關鍵因素. 因此， 為有效挖掘并利用油田中油井和水井的關系和信息， 且體現出不同水井對油井的不同影響程度， 可以將油水井的動靜態數據的特征信息和井網的拓撲結構抽象表現為圖數據， 并采用圖注意力網絡（graph attention network， GAT）進行處理. 相比傳統的機器學習， 圖注意力網絡能考慮到圖數據的拓撲結構， 捕捉圖數據中節點與邊以及節點與節點之間的關系， 具有更強的表達和泛化能力. 但圖注意力網絡存在處理噪聲能力弱， 不能處理時序性數據以及在堆積多層后會出現梯度爆炸、 過平滑等問題， 為解決這些問題， 本文提出一種改進的圖注意力網絡搭建產量預測模型. 首先， 采用SE（squeeze-and-excitation）模塊調整輸入數據特征的重要性， 避免噪聲特征數據產生的影響， 改善模型的魯棒性； 其次， 采用多頭注意力機制， 使序列數據中每個序列占有不同的權重， 使時間軸上越近的序列所占的權重越大， 提高圖注意網絡處理時序數據的能力； 最后， 采用多尺度特征提取的方法， 分別獲取圖數據中節點的全局特征和局部特征， 并將兩者相融合得到節點的特征表示， 以提高模型的表征能力.

1 圖注意力網絡模型

圖神經網絡［9］可使用圖模型處理復雜的系統建模問題， 其核心思想是通過鄰接矩陣的方式聚合節點和鄰居節點的特征， 得到節點的最終輸出表示［10-11］. 但這種聚合方式存在缺點， 不能很好地突出鄰居節點對中心節點的影響程度. 圖注意力網絡［12-14］則改變了節點與鄰居節點的聚合方式， 不再是簡單使用鄰接矩陣的方式聚合， 而是在迭代過程中用注意力機制方式計算每個鄰居節點的注意力權重， 即突出了不同鄰居節點對節點的影響程度. 節點與鄰居節點的權重系數計算公式為

αij=exp{LeakyReLU（βT（Whi‖Whj））}∑Nik=1exp{LeakyReLU（βT（Whi‖Whk））}，（1）

其中： hi表示中心節點； hj表示鄰居節點； W為可訓練參數， 使用拼接操作將變化后的hi和hj拼接； 用βT表示參數點積操作， 同時將得到結果進行歸一化即可得到權重系數； αij為歸一化后的結果， 表示hj對hi節點的影響程度. 定義h′i為hi節點更新后的輸出表示， 更新過程如圖1所示， 計算公式為

h′i=σ∑Nij=1αijWhj.（2）

2 改進圖注意力網絡預測模型

為提高GAT處理噪聲數據和時序數據的能力， 在網絡中引用SE模塊和多頭注意力機制. SE模塊會自適應調整輸入數據特征的重要性， 避免噪聲數據對模型產生影響. 多頭注意力機制會計算不同序列之間的權重， 然后使序列數據中的每個序列相對其他序列進行加權求和， 以此提取輸入數據的時序性. 同時為增強GAT網絡的表征能力， 對輸入數據的特征采用多尺度融合的方法. 即將經過數據轉換模塊得到的圖數據輸入到特征提取模塊中， 分別提取圖數據中節點的局部特征和全局特征； 將獲取的局部特征和全局特征進行融合， 從而得到節點的最終表示. 模型的整體框架如圖2所示. 模型流程如下：

1） 將樣本特征張量X輸入SE模塊， 使SE模塊學習張量X中每個特征的重要性權重， 然后將權重與原始張量X相乘得到加權后的特征向量輸出；

2） 將SE模塊輸出的特征向量輸入到多頭注意力機制中， 利用多頭注意力機制學習特征向量中每個序列的權重， 使每個序列相對其他序列進行加權求和得到新的輸出向量；

3） 為提高模型的泛化性， 將經過多頭注意力機制輸出后的特征向量輸入到數據轉換模塊， 通過數據轉換模塊將輸入數據轉換為圖結構數據；

4） 為增強模型的表征能力， 將轉換的圖數據輸入到特征提取模塊， 分別提取圖數據的局部特征和全局特征， 再將兩者融合， 進而得到最終輸出張量X′.

2.1 噪聲處理

SE模塊可通過調整每個特征的相關性， 抑制不重要的特征， 加強模型處理噪聲的能力. SE模塊的結構如圖3所示. 對于給定的張量

X∈瘙綆H×C（其中H表示樣本數量， C表示特征數）， 計算公式為

zi=1H∑Hj=1xi，j，（3）

其中zi表示第i個特征多個樣本取均值后的結果， 圖中激勵操作是將zi輸入兩層全連接中， 計算出每個特征的注意力權重. 定義si為張量X中第i個特征的注意力權重， 計算公式為

f（zi）=ReLU（W1zi+b1），（4）si=σ（W2f（zi）+b2）.（5）

2.2 時序特征提取

注意力機制是一種計算機視覺和自然語言處理等領域常用的技術［15-18］， 它可以在給定的輸入中自動找出有用的信息， 進而提高模型對重要信息的關注度. 其基本思想是為每個輸入元素分配一個權重， 然后將權重與原始輸入相乘得到加權后的輸出. 雖然注意力機制在很多任務上性能優異， 但注意力機制仍存在計算開銷大和不能捕捉長距離依賴關系等缺點. 自注意力機制［19］則克服了這些缺點， 是注意力機制的一種特殊形式， 它采用并行計算的方式提高模型的計算效率， 并且能捕捉輸入序列之間的長距離依賴關系. 在自注意力機制中， 每個向量都會相對其他向量計算注意力權重， 然后進行加權求和獲得新的輸出向量. 圖4為時序數據中單個序列的自注意力機制計算過程.

將圖4中序列x1與權重矩陣WQ，WK，WV分別相乘即可得到q1，k1，v1， 將數據中其他序列與權重矩陣WQ，WK，WV分別相乘也會得到對應的q，k，v. 最終將這些結果相結合即可得到3個矩陣Q，K，V. 利用得到的Q，K，V即可計算出經過自注意力機制后的輸出表示. 整體計算過程如圖5所示， 其中dk是標準化操作.

多頭注意力機制則是在自注意力機制基礎上， 將輸入向量映射到不同的子空間， 在每個子空間上進行自注意力機制的計算； 最后將多個子空間的注意力表示結果合并得到最終的輸出表示［20］. 因此， 相比自注意力機制， 多頭注意力機制能捕捉輸入的不同方面特征， 具有更好的表征能力. 給定一個輸入張量X∈瘙綆N×d， 多頭注意力機制包含h個頭， 對于自注意力頭i， Headi執行如下運算：

Headi=SoftmaxQi（Ki）TdHead

Vi，（6）

Qi=XWQi， Ki=XW

Ki， Vi=XWVi，（7）

其中： WQi，WKi，WVi∈瘙綆d×dHead為自注意頭i的

權重矩陣； dHead為每個頭的維度， dHead=dh. 最后沿維度拼接各個注意力頭的輸出：

MultiHead（x）=Concat（Headi，…，Headh）.（8）

2.3 模型增強

特征提取模塊包含兩個模塊， 分別是全局特征提取模塊和局部特征提取模塊. 其中全局特征模塊中使用全局平均池化［21-22］提取節點的全局特征. 全局平均池化可對樣本的每個特征求平均值， 然后再連接成一個向量， 以此獲取樣本的全局信息， 計算公式為

global_feature=1N∑Ni=1Xi，（9）

其中： N表示節點總數； X表示節點的特征矩陣， X∈瘙綆N×D， D表示每個節點特征向量的維度; Xi表示節點i的特征向量; global_feature∈瘙綆

D表示節點的全局特征， 也可視為整個圖的全局特征表示.

在局部特征提取模塊中使用GAT網絡和節點度中心性相結合的方式提取節點的局部特征. 同時， 為避免在使用GAT網絡訓練時， 堆疊多層出現的模型退化、 梯度爆炸等問題，

在網絡中引用了殘差連接［23-24］， 如圖6所示. 圖6中h（x）表示由GAT組成的殘差塊， x表示前一層網絡的輸出. 整體過程就是將前一層的輸出輸入到殘差塊中得到新的輸出， 最后再將新的輸出輸入到后續網絡中. 殘差塊可以將模型的冗余層數變為恒等映射， 從而避免產生模型退化現象.

為提高模型的表征能力， 將經由GAT網絡后的輸出與節點度中心性［25-27］進行拼接， 以此表征節點的局部特征. 節點度中心性表示該節點在整個圖中的重要程度.

度中心性較高的節點表示它的鄰居節點更多， 同時也表示該節點的傳播能力較強. 如果刪除該節點， 則會對整個圖的連通性造成較大影響. 因此， 計算圖中節點的度中心性非常必要. 本文主要針對有向圖的處理， 有向圖的節點度中心性需要分別計算入度中心性和出度中心性， 然后再將兩者相加， 計算公式為

Cin（i）=din（i）n-1，（10）

Cout（i）=dout（i）n-1， （11）C（i）=Cin（i）+Cout（i），（12）

其中Cin（i）表示節點i的入度中心性， din（i）表示節點i的入度數， n表示節點總數. 節點i的出度中心性Cout（i）與入度中心性計算過程相同.

最后將入度中心性與出度中心性相加即得出節點i的度中心性C（i）.

3 算法步驟

下面給出改進圖注意力網絡模型（SMF-GATs）算法.

算法1 SMF-GATs模型.

輸入： 采油井和注入井每月生產信息X=（x1，x2，…，xN）， 采油井和注入井的連通信息A=（α1，α2，…，αN）;

輸出： t時刻采油井的產量Xt;

步驟1） Wt←fc（globalAvgPool（X））

步驟2） X←cal（X，Wt）

步驟3） for i←1 to num do //num表示Head數

步驟4）"" WQi，WKi，WVi←linear（X）

步驟5）"" Qi←XWQi， Ki

←XWKi， Vi←XWVi

步驟6）"" Headi←SoftmaxQi（Ki）TdHeadVi

步驟7） end for

步驟8） Xatt←concat（Headi，…，Headnum）

步驟9） for i←1 to N do //N表示月份數

步驟10）"" gi←Graph（xi，αi）

步驟11） end for

步驟12） for G←（g1，g2，…，gN）， Xglobal←globalfeature（G）

步驟13） Xlocal←concat（resGAT（G），degreeC（G））

步驟14） Xt←fc（W1Xglobal+W2Xlocal）

步驟15） end for

步驟16） return Xt.

算法1的步驟如下：

1） 輸入生產信息X=（x1，x2，…，xN）后， 算法對X中的數據進行降噪處理， 即先對X進行平均池化壓縮得到權重矩陣Wt， 再與原始輸入信息X相乘得到新的輸入；

2） 計算降噪輸出后X的查詢（Q）、 鍵（K）和值（V）， 并將這三者相乘獲得新的輸出Xatt， 以此挖掘出生產信息間的長期依賴關系；

3） 將Xatt與采油井和注入井的連通信息A=（α1，α2，…，αN）抽象表現為圖數據集G；

4） 在圖數據集G中分別計算每個節點度中心性和節點聚合周圍鄰居節點后的新節點， 并將兩者融合， 得到節點的局部特征表示；

5） 采用全局平均池化的方式獲取圖數據集G的全局特征， 并將其與前一步的節點局部特征按不同權重融合， 得到節點的最終輸出表示， 再將其輸入到全連接中得出采油井在t時刻的產油量Xt.

算法1是對基礎GAT模型的改進， 涉及降噪、 融入注意力機制以及多尺度提取模塊等操作， 這些操作加強了GAT模型處理噪聲和時序數據的能力， 從而加快了GAT模型的訓練速度， 其時間復雜度低于基礎GAT模型； 但也由于該算法分別計算提取圖數據集的局部特征和全局特征， 使用了更多的矩陣運算， 使得該算法的空間復雜度較基礎GAT模型高.

4 實驗設計與分析

4.1 數據集及歸一化處理

本文實驗使用的數據集是某油田實際生產過程中產生的油水井月數據， 數據集信息列于表1. 由表1可見， 油井和水井共有月數據7 992條， 實驗時將數據按月份劃分比例.

使用24個月的數據作為訓練集， 3個月的數據作為測試集， 即將所有數據中的7 104條數據作為訓練集， 888條數據作為測試集進行實驗.

實驗前需對數據集進行歸一化處理. 本文采用最小最大歸一化方式， 其基本思想就是將原始數據映射到［0，1］內， 計算公式為xnorm=x-xminxmax-xmin，（13）

其中x表示樣本中某個特征的值， xmin表示該特征在數據集中的最小值， xmax表示該特征在數據集中的最大值. 使用最小最大歸一化可消除每個特征的量綱影響， 有利于模型學習特征之間的隱藏關系.

4.2 數據轉換

本文提出的改進圖注意力網絡預測模型中包含數據轉換模塊， 其主要功能是將模型輸入的數據轉換為模型內部需要處理的圖數據. 對應油田數據集， 就是將油水井的月生產數據轉換為圖數據， 方法如下： 將油井和水井視為圖數據中的節點， 注入井和采油井存在有向邊. 每個井的特征數據表現為圖數據節點的特征. 將井距信息作為節點與節點之間邊的屬性. 表2列出了某油田月數據中其中5個月份的數據.

由表2可見， 節點之間的邊數不是一成不變的， 這是因為在油田實際開發過程中可能會存在措施或是調整等生產工況因素， 如注水井停用則表現為該注水井與其他采油井并不連通， 對應的邊數就會減少.

4.3 評價指標

本文實驗采用的評價指標有平方絕對誤差（MAE）、 均方誤差（MSE）和R2， 計算公式如下：

MAE=1n∑ni=1i-yi，（14）

MSE=1n∑ni=1（yi-i）2，（15）

R2（y，）=1-∑ni=1（yi-i）2∑ni=1（yi-y）2，（16）

其中yi為第i個樣本的真實值， i為第i個樣本的預測值， y為樣本真實值的均值， n為樣本的數量. 表3列出了改進圖注意力網絡模型在訓練集和測試集上的各項指標， MAE和MSE是模型在數據集上的平均誤差和均方誤差， R2體現了模型預測值與真實值的擬合程度.

4.4 實驗參數設置

本文實驗中， 設模型的特征輸入維度為21， 多頭注意力機制中頭數設為3， 局部特征提取模塊中GAT的層數設為3. 模型整體使用Adam優化器作為模型的優化器， 加快模型的訓練速度. 模型的初始學習率為0.002， 訓練周期數設為800， 使用均方誤差作為模型的損失函數.

4.5 模型分部對比

為驗證SE模塊、 多頭注意力機制和特征提取模塊對圖注意力網絡模型的提升效果， 在相同的訓練集和測試集情況下， 使用同樣的初始學習率、 優化器、 訓練周期等超參數， 對上述各部分進行實驗對比驗證， 實驗對比結果列于表4. 表4中的S-GATs表示SE模塊與GATs網絡的融合， 通過SE模塊自適應調整輸入數據各特征的權重， 避免了噪聲數據的影響， 使基礎GATs網絡擬合效果得到提升； SM-GATs表示在S-GATs網絡的基礎上融合了多頭注意力機制， 挖掘出輸入數據的時序特征， 提升了模型網絡的性能； SMF-GATs表示在SM-GATs的基礎上加入特征提取模塊， 提取圖數據中的節點局部特征和全局特征， 并將兩者進行融合， 增強了模型的表征能力， 加快了模型的訓練速度， 使模型的預測效果得到提升.

4.6 多種模型預測性能對比

為進一步驗證SMF-GATs模型的有效性， 將該模型與長短時記憶網絡（long short-term memory， LSTM）［28|29］、 門控循環單元（gated recurrent unit， GRU）和門控圖神經網絡（gated graph sequence neural networks， GGNN）［32|33］模型進行對比. 為充分體現各模型的性能， 對每個模型的參數進行調優， 選擇最佳的參數， 實驗結果列于表5. 由表5可見， SMF-GATs和GGNN模型的R2值均高于LSTM和GRU模型. 這是因為SMF-GATs和GGNN模型都屬于圖神經網絡， 而圖神經網絡對比其他經典深度學習網絡會在訓練過程中捕捉數據中節點與節點之間的隱藏關系， 從而提高模型的準確性. SMF-GATs模型在訓練集和測試集的擬合程度比GGNN模型更高， 這是因為SMF-GATs模型引入了SE模塊， 利用SE模塊自適應調整特征的特性， 減少了噪聲數據對模型的影響， 提高了模型的準確性， 并且SMF-GATs模型從不同尺度提取數據特征進行融合， 增強了模型的自身表征能力.

綜上所述， 針對圖注意力網絡處理噪聲和時序數據較弱， 并且在堆疊多層后出現梯度爆炸、 過平滑等問題， 本文提出了一種改進圖注意力網絡模型.

該模型在數據輸入時使用SE模塊調整輸入數據的特征權重， 抑制了數據中不重要的特征， 避免噪聲數據的影響， 改善了模型的魯棒性. 多頭注意力機制的應用則使模型能更好地處理時序數據. 為增強模型的表征能力， 在模型中使用殘差連接、 圖注意力網絡和節點度中心性相結合方式提取圖數據節點中的局部特征， 并使用全局平均池化的方式提取節點的全局特征， 最后將兩者融合得到圖數據節點的最終表示， 使模型預測準確性得到提升.

參考文獻

［1］ 計秉玉， 孟新. 基于儲量結構變化的油田開發指標預測與優化數學模型研究 ［J］. 運籌與管理， 2022， 31（9）： 135-139. （JI B Y， MENG X. Research on Forecasting and Optimizing Mathematical Model of Oilfield Development Indexes Based on Changes in Reserve Structure ［J］. Operations Research and Management Science， 2022， 31（9）： 135-139.）

［2］ 葉鋒. 多元線性回歸在經濟技術產量預測中的應用 ［J］. 中外能源， 2015， 20（2）： 45-48. （YE F. Application of Multiple Linear Regression to Economic and Technical Oil Production Forecast ［J］. Sino-Global Energy， 2015， 20（2）： 45-48.）

［3］ 鐘儀華， 林旭旭， 劉雨鑫. 基于多元混沌時間序列的油田產量預測模型 ［J］. 數學的實踐與認識， 2016， 46（6）： 99-105. （ZHONG Y H， LIN X X， LIU Y X. The Oilfield Output Prediction Model Based on Multivariate Chaotic Time Series ［J］. Mathematics in Practice and Theory， 2016， 46（6）： 99-105.）

［4］ 李東昊， 王天柱. 基于灰色理論和遺傳算法的單井產油量預測方法 ［J］. 天津科技， 2017， 44（8）： 48-51. （LI D H， WANG T Z. Grey Theory and Genetic Algorithm for Single Well Oil Production Prediction ［J］. Tianjin Science amp; Technology， 2017， 44（8）： 48-51.）

［5］ 任燕龍， 谷建偉， 崔文富， 等. 基于改進果蠅算法和長短期記憶神經網絡的油田產量預測模型 ［J］. 科學技術與工程， 2020， 20（18）： 7245-7251. （REN Y L， GU J W， CUI W F， et al. Oilfield Production Prediction Model Based on Improved Fruit Fly Algorithm and Long-Short Term Memory Neural Network ［J］. Science Technology and Engineering， 2020， 20（18）： 7245-7251.）

［6］ 潘少偉， 鄭澤晨， 王吉， 等. 基于長短期記憶網絡和注意力機制的油井產油量預測 ［J］. 科學技術與工程， 2021， 21（30）： 13010-13015. （PAN S W， ZHENG Z C， WANG J， et al. Oil Production Prediction of Oil Wells Based on Long Short-Term Memory Networks and Attention ［J］. Science Technology and Engineering， 2021， 21（30）： 13010-13015.）

［7］ 張蕾， 竇宏恩， 王天智， 等. 基于集成時域卷積神經網絡模型的水驅油田單井產量預測方法 ［J］. 石油勘探與開發， 2022， 49（5）： 996-1004. （ZHANG L， DOU H E， WANG T Z， et al. A Production Prediction Method of Single Well in Water Flooding Oilfield Based on Integrated Temporal Convolutional Network Model ［J］. Petroleum Exploration and Development， 2022， 49（5）： 996-1004.）

［8］ 馬帥， 劉建偉， 左信. 圖神經網絡綜述 ［J］. 計算機研究與發展， 2022， 59（1）： 47-80. （MA S， LIU J W， ZUO X. Survey on Graph Neural Network ［J］. Journal of Computer Research and Development， 2022， 59（1）： 47-80.）

［9］ JIANG B， ZHANG Z Y， LIN D D， et al. Semi-supervised Learning with Graph Learning-Convolutional Networks ［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： 2019： 11313-11320.

［10］ 馬超， 熊順， 蔣丹妮. 圖卷積神經網絡在道路網選取中的應用 ［J］. 測繪科學， 2022， 47（12）： 200-205. （MA C， XIONG S， JIANG D N. Application of the Graph Convolution Network in the Road Network Auto-selection ［J］. Science of Surveying and Mapping， 2022， 47（12）： 200-205.）

［11］ VELICKOVIC P， CUCURULL G， CASANOVA A， et al. Graph Attention Networks ［EB/OL］. （2017-10-30）［2023-03-15］. https：//arxiv.org/abs/1710.10903.

［12］ 岳子巍， 方勇， 張磊. 基于圖注意力網絡的安卓惡意軟件檢測 ［J］. 四川大學學報（自然科學版）， 2022， 59（5）： 88-95. （YUE Z W， FANG Y， ZHANG L. Android Malware Detection Based on Graph Attention Networks ［J］. Journal of Sichuan University （Natural Science Edition）， 2022， 59（5）： 88-95.）

［13］ 劉淵， 趙紫娟， 楊凱. 基于節點相似性的圖注意力網絡表示學習模型 ［J］. 計算機應用研究， 2023， 40（3）： 822-827. （LIU Y， ZHAO Z J， YANG K. Graph Attention Network Representation Learning with Node Similarity ［J］. Application Research of Computers， 2023， 40（3）： 822-827.）

［14］ HU J， SHEN L， SUN G. Squeeze-and-Excitation Networks ［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2018： 7132-7141.

［15］ 牛哲文， 余澤遠， 李波， 等. 基于深度門控循環單元神經網絡的短期風功率預測模型 ［J］. 電力自動化設備， 2018， 38（5）： 36-42. （NIU Z W， YU Z Y， LI B， et al. Short-Term Wind Power Forecasting Model Based on Deep Gated Recurrent Unit Neural Network ［J］. Electric Power Automation Equipment， 2018， 38（5）： 36-42.）

［16］ CAO P， CHEN Y， LIU K， et al. Adversarial Transfer Learning for Chinese Named Entity Recognition with Self-attention Mechanism ［C］//Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. ［S.l.］： ACL， 2018： 182-192.

［17］ 謝琪琦， 辛月蘭， 曾曦. 基于注意力機制的多視圖三維重建 ［J］. 激光雜志， 2023， 44（1）： 136-142. （XIE Q Q， XIN Y L， ZENG X. Multi-view 3D Reconstruction Based on Attention Mechanism ［J］. Laser Journal， 2023， 44（1）： 136-142.）

［18］ 付宏建， 白宏陽， 郭宏偉， 等. 融合多注意力機制的光學遙感圖像目標檢測方法 ［J］. 光子學報， 2022， 51（12）： 312-320. （FU H J， BAI H Y， GUO H W， et al. Object Detection Method of Optical Remote Sensing Image with Multi-attention Mechanism ［J］. Acta Photonica Sinica， 2022， 51（12）： 312-320.）

［19］ VASWANI A， SHAZEER N， PARMAR N， et al. Attention Is All You Need ［J］. Advances in Neural Information Processing Systems， 2017， 30： 6000-6010.

［20］ 張振坤， 張冬梅， 李江， 等. 基于多頭自注意力機制的LSTM-MH-SA滑坡位移預測模型研究 ［J］. 巖土力學， 2022， 43（增刊2）： 477-486. （ZHANG Z K， ZHANG D M， LI J， et al. LSTM-MH-SA Landslide Displacement Prediction Model Based on Multi-head Self-attention Mechanism ［J］. Rock and Soil Mechanics， 2022， 43（Suppl 2）：" 477-486.）

［21］ 周飛燕， 金林鵬， 董軍. 卷積神經網絡研究綜述 ［J］. 計算機學報， 2017， 40（6）： 1229-1251. （ZHOU F Y， JIN L P， DONG J. Review of Convolutional Neural Network ［J］. Chinese Journal of Computeres， 2017， 40（6）： 1229-1251.）

［22］ CHEN Z Y， XU Q Q， CONG R M， et al. Global Context-Aware Progressive Aggregation Network for Salient Object Detection ［C］//Proceedings of the AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2020： 10599-10606.

［23］ HUANG G， LIU Z， VAN DER MAATEN L， et al. Densely Connected Convolutional Networks ［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2017： 4700-4708.

［24］ 王進， 李穎， 蔣曉翠， 等. 基于層級殘差連接LSTM的命名實體識別 ［J］. 江蘇大學學報（自然科學版）， 2022， 43（4）： 446-452. （WANG J， LI Y， JIANG X C， et al. Named Entity Recognition of LSTM Based on Hierarchial Residual Connection ［J］. Journal of Jiangsu University （Natural Science Edition）， 2022， 43（4）： 446-452.）

［25］ DAS K， SAMANTA S， PAL M. Study on Centrality Measures in Social Networks： A Survey ［J］. Social Network Analysis and Mining， 2018， 8： 1-11.

［26］ 閆泓任， 馬國帥， 錢宇華. 基于節點度中心性的無監督特征選擇 ［J］. 數據采集與處理， 2019， 34（2）： 312-321. （YAN H R， MA G S， QIAN Y H. Degree-Centrality Based Feature Selection ［J］. Journal of Data Acquisition and Processing， 2019， 34（2）： 312-321.）

［27］ 黃祖南， 鄭正喜. 復雜產業網絡度中心性研究 ［J］. 統計研究， 2021， 38（5）： 147-160. （HUANG Z N， ZHENG Z X. Research on the Degree Centrality of Complex Industry Network ［J］. Statistical Research， 2021， 38（5）： 147-160.）

［28］ SONG X Y， LIU Y T， XUE L， et al. Time-Series Well Performance Prediction Based on Long Short-Term Memory （LSTM） Neural Network Model ［J］. Journal of Petroleum Science and Engineering， 2020， 186： 106682-1-106682-11.

［29］ 王力， 金輝. 基于多頭自注意力機制的大氣數據系統多故障識別 . 江蘇大學學報（自然科學版）， 2023， 44（4）： 444|451.（WANG L， JIN H. Multi|fault Recognition of Air Data System Based on Multi|head Self|attention Mechanism . Journal of Jiangsu University （Natural Science Edition）， 2023， 44（4）： 444|451.）

［30］ 劉棟， 楊輝， 姬少培， 等. 基于多模型加權組合的文本相似度計算模型 . 計算機工程， 2023， 49（10）： 97|104. （LIU D， YANG H， JI S P， et al. Text Similarity Computing Model Based on Weighted Combination of Multiple Models . Computer Engineering， 2023， 49（10）： 97|104.）

［31］ 胡向東， 張婷. 基于時空融合深度學習的工業互聯網異常流量檢測方法 . 重慶郵電大學學報（自然科學版）， 2022， 34（6）： 1056|1064. （HU X D， ZHANG T. Abnormal Traffic Detection Method for Industrial Internet Based on Deep Learning with Time|Space Fusion . Journal of Chongqing University of Posts and Telecommunications （Natural Science Edition）， 2022， 34（6）： 1056|1064.）

［32］ LI Y J， DANIEL T， MARC B， et al. Gated Graph Sequence Neural Networks ［EB/OL］. （2015-11-17）［2023-03-01］. https：//arxiv.org/abs/1511.05493.

［33］ 李盼， 解慶， 李琳， 等. 知識增強的圖神經網絡序列推薦模型 . 計算機工程， 2023， 49（2）： 70|80. （LI P， XIE Q， LI L， et al. Knowledge|Enhanced Graph Neural Network Model for Sequential Recommendation . Computer Engineering， 2023， 49（2）： 70|80.）

（責任編輯： 韓 嘯）