基于自注意力機制和改進的K-BiLSTM的水產養殖水體溶解氧含量預測模型

馮國富 盧勝濤 陳明 王耀輝

摘要： ?為精確預測水產養殖水體溶解氧含量，本研究提出一種基于自注意力機制（ATTN）和改進的K-means聚類-基于殘差和批標準化（BN）的雙向長短期記憶網絡（BiLSTM）的水產養殖水體溶解氧含量預測模型。首先，根據環境數據的相似性，使用改進的K-means算法將數據劃分成若干個類別；然后，在BiLSTM基礎上構建殘差連接和加入BN完成高層次特征提取，利用BiLSTM的長期記憶能力保存特征信息；最后，引入自注意力機制突出不同時間節點數據特征的重要性，進一步提升模型的性能。試驗結果表明，本研究提出的基于自注意力機制和改進的K-BiLSTM模型的平均絕對誤差為0.238、均方根誤差為0.322、平均絕對百分比誤差為0.035，與單一的BP模型、CNN-LSTM模型、傳統的K-means-基于殘差和BN的BiLSTM-ATTN等模型相比具有更優的預測性能和泛化能力。

關鍵詞： ?水產養殖； 溶解氧預測； K-means聚類； 雙向長短期記憶網絡（BiLSTM）； 自注意力機制

中圖分類號： ?TP391 ???文獻標識碼： A ???文章編號： ?1000-4440（2024）03-0490-10

Prediction model of dissolved oxygen content in aquaculture water based on self-attention mechanism and improved K-BiLSTM

FENG Guo-fu1，2， LU Sheng-tao1，2， ?CHEN Ming1，2， WANG Yao-hui3

（1.College of Information Technology， Shanghai Ocean University， Shanghai 201306， China; 2.Key Laboratory of Fisheries Information， Ministry of Agriculture and Rural Affairs， Shanghai 201306， China; 3.Nantong Longyang Aquatic Products Co.， Ltd.， Nantong 226634， China）

Abstract： ??In order to accurately predict the content of dissolved oxygen （DO） in aquaculture water， a prediction model of dissolved oxygen content in aquaculture water based on self-attention mechanism （ATTN） and improved K-means clustering-bidirectional long-term and short-term memory network （BiLSTM） was proposed. Firstly， according to the similarity of environmental data， the improved K-means algorithm was used to divide environmental data into several categories. Then， based on BiLSTM， residual connection was constructed and batch normalization （BN） was added to complete high-level feature extraction， and the feature information was saved by the long-term memory ability of BiLSTM. Finally， the self-attention mechanism was introduced to highlight the importance of data characteristics at different time nodes， which further improved the performance of the model. The experimental results showed that the mean absolute error （MAE）， root mean square error （RMSE） and average absolute percentage error （MAPE） of the hybrid model based on self-attention mechanism and improved K-BiLSTM were 0.238， 0.322 and 0.035， respectively. Compared with single BP model， CNN-LSTM model and traditional K-means-BiLSTM-ATTN model based on residual and BN， the model constructed in this study had better prediction performance and generalization ability.

Key words： ?aquaculture; dissolved oxygen prediction; K-means clustering; bidirectional long-term and short-term memory network （BiLSTM）; self-attention mechanism

溶解氧含量是決定水產養殖質量和產量的重要因素。漁業養殖中溶解氧含量過高或不足都會影響魚類的新陳代謝和繁殖，嚴重的情況下甚至會影響魚類的正常生長[1]。如何利用現有監測數據，準確預測未來溶解氧含量的變化趨勢，為養殖人員提供決策參考，已成為近年來國內外學者的研究熱點。

由于溶解氧具有時序性、不穩定性和非線性等特點，且受多種因素的影響，各因素之間存在復雜的耦合關系[2]，難以用傳統方法[3-7]和機器學習方法[8-15]進行建模。而反向傳播神經網絡（BP）方法又無法有效提取水質氣象數據時序維度上的關聯，隱藏的時序信息無法被有效利用[16]。循環神經網絡（RNN）適合處理時間序列問題，可有效地關聯上下文信息，常用的循環神經網絡是長短期記憶網絡（LSTM）和門控循環神經網絡（GRU），在此基礎上，陳英義等[17]建立了基于WT-CNN-LSTM的溶解氧含量預測模型，并取得了不錯的效果；曹守啟等[18]提出了改進LSTM的水產養殖水體溶解氧含量預測模型并在不同天氣條件下成功預測溶解氧含量變化趨勢；Wu等[19]采用混合XGBoost-ISSA-LSTM模型實現對池塘短期和長期溶解氧含量準確預測；Yang等[20]構建基于改進鯨魚優化算法的GRU神經網絡預測海參養殖水質，提升了模型的精度和泛化能力。但上述模型并沒有考慮到相似環境因素下溶解氧含量的變化規律，對于非線性更突出的多參數輸入的預測效果并不理想，容易出現預測精度低和結果滯后的情況，因此本研究在基準模型預測之前對輸入水質和氣象數據進行K-means聚類，以更好地反映溶解氧含量變化趨勢。

若輸入特征之間的關系復雜或者預測時長過長，會導致預測結果滯后和誤差增大的問題[21]。為了篩選與目標關聯性更強的參數特征，Yang等[22]提出用CNN-BiLSTM-AM模型對水產養殖水體溶解氧含量分別進行短期和長期預測；Zhang等[23]構建注意力機制和BiLSTM模型進行河流水質預測；Li等[24]通過引入小波變換和注意力機制提出了一種新的混合模型BC-MODWT-DA-LSTM來預測水產養殖水體氨氮含量。上述多階段模型引入了注意力機制，但因其是通過簡單堆疊建立模型，注意力的權重容易出現偏差，為了防止偏差，本研究采用自注意力機制自適應調整權重，并且在基準模型中加入BN層和殘差連接防止過擬合。

本研究擬提出一種基于自注意力機制（ATTN）和改進的K-BiLSTM的溶解氧含量預測模型，并以江蘇省南通市中洋河豚莊園養殖基地的養殖水質和氣象數據為樣本進行模型訓練，提高預測精度。

1 數據獲取與預處理

1.1 數據獲取

本研究所采用的數據來自南通中洋河豚莊園養殖基地。試驗池塘長15.0 m，寬15.0 m，水深約1.2 m。水質數據來自于傳感器，空間分辨率為15.0 m，氣象數據來源于氣象站。試驗采用的是從2021年2月到2021年7月傳感器記錄的水溫、pH、溶解氧含量、氨氮含量和鹽度（電導率法測定溶解鹽質量濃度）等養殖環境數據以及氣象站記錄的大氣溫度、濕度、大氣壓、光照度、風速5個氣象數據，共6 940組數據，采樣頻率均為30 min，數據缺失率為1.17%。短時間內參數浮動范圍較小，本研究以2 h為時間單位計算各項參數的平均值。

1.2 數據預處理

自動數據采集難免會導致數據缺失，為了保證模型的最終預測效果，需預先對水質數據進行處理。本研究采用線性插值法解決數據缺失的問題。線性插值法的計算公式（1）為：

Xk=Xw+ （Xr-Xw）（k-w） （r-w） ?（1）

式中，Xk為要補齊的缺失值；Xw為Xk前面最近的已知數據；Xr為Xk后面最近的已知數據，w、r為已知數據時間點，k為缺失值時間點，位于w和r之間。

由于采集到的數據各個分量具有不同的維度和量綱，在對數據進行劃分數據集之前，首先采用公式（2）對數據進行歸一化處理：

x=（x′-xmin）/（xmax-xmin） （2）

式中，x′和x分別為原始采樣數據和歸一化之后的數據，xmin和xmax分別為原始數據的最小值和最大值。

2 模型的構建

2.1 改進的K-means算法

2.1.1 K-means算法 ?K-means算法是一種迭代聚類算法，它通過將大量樣本數據按照到預先選定的聚類中心之間的歐式距離進行聚類，形成多個聚類簇。聚類簇重新選定聚類中心后再次迭代聚類，最終達到最優聚類效果。假設樣本集X={x1，x2，x3，…，xn}中有n個樣本，每個樣本有p個特征參數，xi={xi1，xi2，xi3，…，xip}。隨機選取k個樣本，V={v1，v2，v3，…，vk}作為初始聚類中心，則每個樣本xi與初始聚類中心vk的歐式距離為：

d（xi，Vk）= （xi1-vk1）2+…+（xip-vkp）2 ?（3）

K-means聚類的目標是使得每個樣本到它所在聚類簇的聚類中心的距離盡可能小并且聚類簇間的距離盡可能大，直至達到指定的迭代次數或者聚類中心不再發生變化為止。優化目標為：

E=∑ k i=1 ?∑ zj∈ki （zj-vk）2 （4）

式中，ki為聚類簇樣本，zj為聚類簇ki中的樣本，vk為聚類簇ki的簇中心，E為簇內平方和，其值越小越好。

2.1.2 改進的K-means算法

2.1.2.1 輪廓系數的改進 輪廓系數是用于評價聚類算法好壞的一種指標，常用于確定分類簇數值（k）。輪廓系數包括內聚度和分離度，內聚度代表了類內樣本之間的緊密程度，內聚度越低代表聚類結果越緊湊，分離度代表了類間樣本的緊密程度，分離度越高代表類間分離程度越高。輪廓系數的計算公式如下：

S（i）= [b（i）-a（i）] [a（i），b（i）]max ?（5）

其中a（i）代表當前樣本在同類樣本中的平均距離，b（i）代表當前樣本在距離它最近的類別中的平均距離。輪廓系數S（i）值越大時k值選取得越好。

為了降低傳統輪廓系數沒有考慮類內的最小距離和類間的平均距離帶來的潛在影響，引入了點i到它所屬類中其他點的最小距離s（i）以及點i到非所屬類中所有點的最大平均距離r（i），改進后的輪廓系數公式如下：

S（i）= [r（i）-a（i），b（i）-s（i）]max [a（i），b（i）]max ?（6）

M個樣本點的平均改進的輪廓系數S為：

S= 1 M ∑ M i=1 ?[r（i）-a（i），b（i）-s（i）]max [a（i），b（i）]max ?（7）

公式（7）反映出各個樣本之間更加全面的制約關系。

2.1.2.2 初始聚類中心選取方法的改進 傳統聚類方法隨機選擇k個數據作為聚類中心，容易陷入局部最優且無法獲得最佳聚類簇。本研究針對此方面進行改進。

數據集中每個樣本xi距離其他樣本的平均歐式距離是：

D（i）= ∑ N j=1 d（xi，xj） N ?（8）

其中xj為樣本集中的其他樣本；N為樣本總數；xi為當前樣本；d（xi，xj）為樣本距離。如果樣本xi的平均歐式距離內的樣本數量越多，則說明xi是這個樣本集所包含的某一區域的中心。此時以xi作為聚類的初始中心更易收斂。計算公式如下：

Num[xi，D（i）]=∑ N j=1 u[d（xi，xj）-D（i）] （9）

式中，Num[xi，D（i）]為以xi為中心，以D（i）為半徑范圍內樣本點的個數；d（xi，xj）為當前樣本距離聚類中心的距離；u[d（xi，xj）-D（i）]為階躍函數，u（v）公式為：

u（v）= 1， v≥00， v<0 ?（10）

v為函數自變量。計算出所有樣本xi的Num[xi，D（i）]值之后，從大到小選取前k個作為初始聚類簇中心，可有效避免陷入局部最優。

2.1.2.3 相似度度量方法改進 在K-means聚類分析中，可以使用歐式距離和余弦距離來衡量水質參數X和任意其他水質數據Y之間的相似度，這兩者都包含m維特征，如水溫、氨氮含量。歐式距離用來衡量多維空間中點之間的實際絕對距離，反映樣本屬性之間的數值差異性。公式如下：

d（X，Y）= ??∑ m j=1 （xj-yj）2 ?（11）

式中xj和yj分別為X和Y的第j個分量。余弦距離指的是，計算2點與原點所成的直線夾角的余弦值，取值范圍是[-1，+1]，越趨近于1代表越相似，越趨近于-1代表方向相反，0代表正交，簡單來說，夾角越大就說明兩點越不相似，夾角越小說明越相似。其公式如下：

cos（X，Y）= ∑ m j=1 xjyj ???∑ m j=1 x2j∑ m j=1 y2j ??（12）

鑒于2種度量方式優勢互補，提出改進的相似度度量公式：

sim（X，Y）= 1 1+d（X，Y） ·cos（X，Y） （13）

改進的相似度綜合考慮了歐式距離相似度和余弦相似度，且存在上限。sim（X，Y）值越大說明2點越相似，sim（X，Y）值越小說明越不相似。

2.1.2.4 改進的K-means算法流程 為了避免不良樣本的引入導致模型的收斂速度慢、預測精度低等問題，本研究首先對歸一化之后的數據采用改進后的K-means聚類[25]將相似的樣本劃分成一簇，然后在相同的簇中建立模型來進行溶解氧含量的預測。對于給定的n個樣本所構成的集合，選取改進的輪廓系數最大值所對應的k值作為樣本簇的個數，按照改進的初始聚類中心選取方法來選取初始聚類中心，根據當前樣本距離簇中心的綜合相似度距離，將其劃分到最近的簇，然后一直迭代至簇內的樣本距離簇中心的綜合距離盡可能小，相似度盡可能高，簇間的距離盡可能大，相似度盡可能低。算法流程如下：

1）為n個樣本計算Num[xi，D（i）]值并從大到小排序，選取前k個點作為初始聚類中心，即簇中心。

2）計算每個樣本到各個簇中心的綜合相似度距離，將其劃分至綜合距離最近的簇。

3）更新每個簇中心。

4）重復步驟2～步驟3直至每個簇中心不再發生變化。歸一化之后的樣本經過改進的K-means聚類之后得到k個簇，按照公式（14）計算出每個簇的中心。

x — i= 1 ni ∑ ni j=1 xij （14）

其中第i簇含ni個樣本，xij表示第i類的第j個樣本。模型測試過程中，計算當前測試集中的樣本到各個簇中心的綜合相似度距離，將距離最近的簇作為當前樣本的所屬簇，使用所屬簇的神經網絡模型對當前樣本進行溶解氧含量預測。

2.2 改進的雙向長短期記憶網絡（BiLSTM）

2.2.1 長短期記憶網絡（LSTM） ?LSTM神經網絡可以有效地捕捉到長期順序特征，而無需進行特征工程，此外，它解決了RNN存在的梯度消失和短期記憶問題，使模型能夠正常收斂。因此，LSTM已經成為時間序列建模的一種重要工具。LSTM的基本結構如圖1所示。LSTM擁有3種類型的門結構（遺忘門、輸入門和輸出門）來保護和控制細胞狀態。

xt表示當前時刻的輸入；ht-1、Ct-1分別表示上一個時刻的輸出和細胞狀態；ft、it、Ot分別為遺忘門、輸入門和輸出門的輸出；C ～ t為候選細胞狀態；ht和Ct分別為當前時刻的輸出和細胞狀態；σ和tanh為激活函數。

2.2.1.1 遺忘門 在LSTM中，上一個輸出信號會通過遺忘門，該門決定會從細胞狀態中保留和舍棄什么信息。遺忘門根據上一個輸出ht-1和當前輸入xt進行Sigmoid非線性映射，并輸出一個各個分量都在0到1之間的向量ft，1表示完全保留，0表示完全舍棄，最后與細胞狀態Ct-1相乘。其公式如下所示：

ft=σ[Wf·（ht-1，xt）+bf] （15）

式中，xt為當前時刻輸入；ht-1為上一時刻輸出；Wf和bf為權重和偏置；ft為遺忘門輸出；σ為激活函數。

2.2.1.2 輸入門 ?LSTM的輸入門是一種用于控制信息流的門，它由一個Sigmoid函數和一個乘法運算組成，通過對當前輸入和上一時刻狀態隱藏向量的組合來控制信息的流動。輸入門控制哪些信息能夠進入LSTM單元，而哪些信息不能進入，從而控制LSTM單元的輸出，其公式如公式（16）和公式（17）所示：

it=σ[Wi·（ht-1，xt）+bi] （16）

C ～ t=tanh[WC·（ht-1，xt）+bC] （17）

式中，xt為當前時刻輸入；ht-1為上一時刻輸出；Wi、WC為權重；bi和bC為偏置；it為輸入門的輸出；C ～ t為候選細胞狀態。

2.2.1.3 記憶單元更新 ?將舊細胞狀態Ct-1更新為Ct，其更新公式為：

Ct=Ct-1·ft+C ～ t·it （18）

式中，Ct為當前時刻細胞狀態；Ct-1為上一時刻細胞狀態；ft為遺忘門輸出；C ～ t為候選細胞狀態；it為輸入門的輸出。

2.2.1.4 輸出門 ?LSTM輸出門也是一種用于控制信息流的門，它也由一個Sigmoid函數和一個乘法運算組成。它控制什么時候將LSTM單元當前的輸出信息發送出去，以及何時將該信息保留在單元內部。輸出門也可以控制LSTM單元的輸出，使得輸出信息的流動更加有序，從而達到更好的預測結果，其公式如公式（19）和 公式（20）所示：

ot=σ[Wo·（ht-1，xt）+bo] （19）

ht=ot·tanh（Ct） （20）

式中，xt為當前時刻輸入；ht-1為上一時刻輸出；Wo、bo為權重和偏置；Ct當前時刻細胞狀態；ot為輸出門的輸出；ht為當前時刻輸出。

輸出門將內部狀態的信息傳遞給外部狀態ht，Sigmoid函數確定記憶單元的哪些信息傳遞出去，然后，細胞狀態通過tanh函數得到[-1，1]的值并將它和輸出門的輸出相乘，最終外部狀態僅僅會得到輸出門確定輸出的那部分。

2.2.2 雙向長短期記憶網絡（BiLSTM） ?雙向長短期記憶神經網絡是一種用于處理和預測時間序列數據的深度學習架構，它開發自傳統的長短期記憶網絡（LSTM）。BiLSTM的基本思想是，它使用2個獨立的隱藏層，分別處理前向和后向數據流。這樣，BiLSTM可以更好地捕獲輸入數據中的歷史和未來信息，從而更好地處理時間序列數據。其基本流程如圖2所示。

2.2.3 BiLSTM的改進 ?殘差連接是一種對神經網絡進行深度構建的技術，它可以將多個神經網絡層連接起來，并通過跳過連接來減少模型的復雜性，從而改善網絡的性能。殘差連接的思想是：如果模型中的某些層不起作用，那么它們可以被簡單地“跳過”，從而幫助模型學習更深層次的特征，有效地減少訓練時間和提高準確率。本研究以構建殘差塊（Residual block）的方式大大加深BiLSTM模型層次。基本殘差結構如圖3所示。

隨著神經網絡隱藏層的加深，容易產生梯度消失和梯度彌散的問題，而通過殘差連接可以有效避免這2種情況的出現，并且能夠減少網絡模型的參數量，提高模型的訓練效率，有助于高效提取更高層次的特征。BiLSTM能夠有效提取時序數據特征，本研究結合批標準化（BN）和BiLSTM構建出基于殘差和引入BN層的BiLSTM網絡，模型如圖4所示。模型包括BiLSTM層和多個殘差單元，其共同完成溶解氧含量相關環境數據特征提取，隨后將特征送入BN和隨機丟棄（Dropout），進一步提高模型訓練效率和增強泛化能力。

2.3 自注意力機制

注意力機制（Attention mechanisms）技術可以追溯到人類視覺系統。當人們觀察時，會有選擇性地捕獲重要的信息，而忽略不太重要的內容[26]。注意力機制旨在通過將有限的資源集中在處理更重要的信息上，以提升神經網絡在不同時間點上對重要信息的關注能力，進而提高模型的性能。自注意力機制是一種利用數據特征內在信息的注意力機制，以便在多個時間節點上發現輸入特征之間的相關性。其基本結構如圖5所示。

首先，自注意力機制輸入矩陣 X 經過線性變換得到矩陣 Q 、 K 、 V ，變換矩陣是通過學習得到的。其次，矩陣 Q 和矩陣 K 的轉置相乘，再除以1個尺度 ??dk 得到相關性矩陣 A ，其中，dk為查詢向量和鍵向量之間的維度，目的是為了防止方差過大，分布陡峭。然后使用Softmax函數將矩陣 A 歸一化為 A′ 。最后將 A′ 與矩陣 V 相乘得到注意力機制層的輸出特征。計算公式如下：

Attention（ Q，K，V ）=softmax（ ?QK T ???dk ?） V ?（21）

式中， Q、K、V 分別是查詢矩陣、鍵矩陣和值矩陣；softmax為激活函數； ??dk 為縮放因子，dk是 K 的維度；Attention（ Q，K，V ）為模型輸出。本研究使用自注意力機制的目的是為了獲得時間維度上水質特征的重要程度，以提高模型的預測性能。

2.4 預測模型

養殖過程中水體溶解氧含量的變化受多個復雜因素影響，并且在時間維度上呈非線性變化趨勢，所以在溶解氧含量預測任務中，不僅要考慮如水溫、pH等參數之間的復雜關系，而且模型構建還要考慮到時間維度上的變化。BiLSTM能夠有效地捕捉長序列之間的數據關聯，緩解梯度消失現象，同時效果優于傳統RNN，比LSTM能夠更有效提取時序數據特征，因此本研究使用BiLSTM作為基準模型。為了有效避免梯度消失和提取高層次特征以及增強模型的泛化能力，本研究在BiLSTM的基礎上引入了殘差和BN層。由于溶解氧含量在時間維度上呈現差異性，在上述改進的BiLSTM模型基礎之上加入自注意力機制ATTN，獲取不同時間節點上的特征重要程度，降低非重要特征的影響，提高預測精度。預測流程如圖6所示。

使用本研究模型對溶解氧含量預測的步驟如下：

1）將獲取的水質數據進行缺失值填充和歸一化處理，按照6∶2∶2的比例劃分成訓練集、驗證集和測試集。

2）對訓練集和驗證集使用改進的K-means算法劃分類別，對不同類別的數據集分別進行模型構建和訓練。

3）初始化基于殘差和BN層的BiLSTM-ATTN模型參數，將訓練集數據輸入模型不斷訓練直至驗證集表現良好或達到預定訓練輪次。

4）將測試集中的數據輸入所屬類別模型中得到測試集的預測結果，將本研究模型與其他模型的預測結果進行對比分析，得到溶解氧含量最優預測模型。

2.5 模型評價指標

本研究選取平均絕對誤差（MAE）、均方根誤差（RMSE）、平均絕對百分比誤差（MAPE）作為模型的性能評估指標，其計算公式為公式（22）～公式（24）。

MAE= 1 N ∑ N i=1 ?yi-y — i ?（22）

RMSE= ???1 N ∑ N i=1 （yi-y — i）2 ?（23）

MAPE= 1 N ∑ N i=1 ??yi-y — i ?yi ?（24）

式中，N表示樣本個數，yi和y — i分別表示預測值和真實值。以上3個指標的取值范圍是[0，∞），RMSE值越小表明模型的預測能力越好，MAE和MAPE值越小表明模型穩定性越好。

3 結果與分析

3.1 改進的K-means聚類算法評估

我們采用改進的輪廓系數來選取聚類簇的個數（k），k取不同值時的輪廓系數值如表1所示。當k取4時輪廓系數最大，因此本研究采用4作為聚類簇的個數。

3.2 模型參數

所有試驗均在PC主機上運行，主機性能：2.3 GHz Intel i7-11800H處理器、16 G內存、NVIDA GeForce RTX3060顯卡、Microsoft Windows 10。選用Tensorflow作為深度學習平臺。本研究使用2.1節提出的改進的K-means聚類算法將訓練集和驗證集數據劃分成4個簇，并分別在各個簇中訓練基于殘差和BN的BiLSTM-ATTN模型。溶解氧含量預測模型主要由改進的K-menas聚類、BiLSTM層、殘差、BN層、ATTN層、全連接層和輸出層構成。模型結構確定后，多次調整模型參數進行試驗，得到最優的基于自注意力機制和改進的K-BiLSTM模型。表2是本研究模型的參數設置。

3.3 模型對比分析

為驗證本研究模型的性能優勢，將本研究模型與單一的BP模型、CNN-LSTM模型、傳統的K-means-基于殘差和BN的BiLSTM-ATTN模型、改進的K-means-BiLSTM-ATTN模型和未引入自注意力機制的改進的K-BiLSTM 5個模型進行對比。使用MAE、RMSE和MAPE統計指標對不同模型進行評估和比較，結果如表3所示。

由表3中Model1和Model2與Model6的對比可以得出，預先對樣本進行相似聚類可以有效剔除具有較大差異的樣本數據進而提升模型的預測精度。其次，Model3和Model6相比可以得出，改進的K-means聚類具有更好的聚類效果并且對各個類別的模型預測能力提升貢獻較大。由Model4和Model6相比的結果可以得出結論，殘差連接的構建和BN層的加入使得本研究模型擁有更強的特征提取能力和泛化能力。比較Model5和Model6模型評價指標，表明自注意力機制的引入提升了模型的預測能力和穩定性。本研究所提出的改進的K-means-基于殘差和BN的溶解氧含量預測模型的MAE、RMSE、MAPE分別為0.238、0.322和0.035，表明，本研究提出的混合模型在溶解氧含量預測方面優于單一的BP模型、CNN-LSTM模型、傳統的K-means-基于殘差和BN的BiLSTM-ATTN模型、改進的K-means-BiLSTM-ATTN模型和未引入自注意力機制的改進的K-BiLSTM模型。

圖7為各預測模型溶解氧含量的預測結果和實際溶解氧含量的比較，其中橫坐標是樣本數，共347組測試數據，縱軸為溶解氧含量（mg/L）。從圖中可以看出，相比于其他模型，本研究提出的改進的K-means-基于殘差和BN的BiLSTM-ATTN模型的預測結果波動更小更貼近真實曲線。

4 結 論

為了提升水產養殖過程中水體溶解氧含量的預測精度，本研究提出了一種基于自注意力機制和改進的K-BiLSTM的溶解氧含量預測的混合模型。采用改進的 K-means 聚類對樣本數據進行分類，防止不同類別樣本間的過度干擾，提高了預測數據源的準確性。引入了殘差連接和BN層，不僅有效地減少訓練時間和提高準確率，還起到提取更高層次特征的作用。BiLSTM網絡和自注意力機制分別起到了在時間序列上進行長期記憶保存與突出重要信息的作用。本研究提出的模型具有更高的精確度和較好的魯棒性，可用于實際漁業生產。

參考文獻：

[1] ??LIPIZER M， PARTESCANO E， RABITTI A， et al. Qualified temperature， salinity and dissolved oxygen climatologies in a changing Adriatic Sea[J]. Ocean Science，2014，10（5）：771-797.

[2] 陳英義，程倩倩，方曉敏，等. 主成分分析和長短時記憶神經網絡預測水產養殖水體溶解氧[J]. 農業工程學報，2018，34（17）：183-191.

[3] 金光炎. 水文統計理論與實踐[M]. 南京：東南大學出版社，2012.

[4] 劉 明，李由明，王 平，等. 基于小波分解的凡納濱對蝦養殖水體水質的仿真研究[J]. 廣東農業科學，2013，40（17）：170-172.

[5] 徐 梅，晏 福，劉振忠，等. 灰色GM（1，1）-小波變換-GARCH組合模型預測松花江流域水質[J]. 農業工程學報，2016，32（10）：137-142.

[6] 岳 遙，李天宏. 基于模糊集理論的馬爾可夫模型在水質定量預測中的應用[J]. 應用基礎與工程科學學報，2011，19（2）：231-242.

[7] 黃廷林，韓曉剛，盧金鎖. 基于Lyapunov指數的混沌預測方法及在水質預測中的應用[J]. 西安建筑科技大學學報（自然科學版），2008，40（6）：846-851.

[8] ALVAREZ MEZA A M， DAZA SANTACOLOMA G. Parameter selection in least squares support vector machines regression oriented，using generalized cross-validation[J]. Dyna-Colombia，2012，79（171）：23-30.

[9] 鄒志紅，王學良. BP模型在河流水質預測中的誤差分析[J].環境科學學報，2007，27（6）：1038-1042.

[10] AMID S， GUNDOSHMIAN T M. Prediction of output energies for broiler production using linear regression， ANN （MLP， RBF）， and ANFIS models[J]. Environmental Progress & Sustainable Energy，2017，36（2）：577-585.

[11] 劉東君，鄒志紅. 最優加權組合預測法在水質預測中的應用研究[J]. 環境科學學報，2012，32（12）：3128-3132.

[12] 劉雙印，徐龍琴，李振波，等. 基于PCA-MCAFA-LSSVM的養殖水質pH值預測模型[J]. 農業機械學報，2014，45（5）：239-246.

[13] 龔懷瑾，毛 力，楊 弘. 基于變尺度混沌QPSO-LSSVM的水質溶氧預測建模[J]. 計算機與應用化學，2013，30（3）：315-318.

[14] 孫伯寅，董國慶，張 榮. 支持向量機在水源水化學耗氧量預測中的應用[J]. 環境與健康雜志，2016，33（6）：544-547.

[15] 羅華軍，黃應平，劉德富. 基于WA-SVM的水庫溶解氧預測[J]. 西北農林科技大學學報（自然科學版），2009，37（3）：181-186.

[16] 宦 娟，劉星橋. 基于K-means聚類和ELM神經網絡的養殖水質溶解氧預測[J]. 農業工程學報，2016，32（17）：174-181.

[17] 陳英義，方曉敏，梅思遠，等. 基于WT-CNN-LSTM的溶解氧含量預測模型[J]. 農業機械學報，2020，51（10）：284-291.

[18] 曹守啟，周禮馨，張 錚. 采用改進長短時記憶神經網絡的水產養殖溶解氧預測模型[J]. 農業工程學報，2021，37（14）：235-242.

[19] WU Y H， SUN L Q， SUN X B， et al. A hybrid XGBoost-ISSA-LSTM model for accurate short-term and long-term dissolved oxygen prediction in ponds[J]. Environ Sci Pollut Res Int，2021，29（12）：18142-18159.

[20] YANG H H， LIU S E. Water quality prediction in sea cucumber farming based on a GRU neural network optimized by an improved whale optimization algorithm[J]. PeerJ Comput Sci，2022，8：e1000.

[21] ZOU Q H， XIONG Q Y， LI Q D， et al. A water quality prediction method based on the multi-time scale bidirectional long short-term memory network[J]. Environmental Science and Pollution Research，2020，27（9）：16853-16864.

[22] YANG W B， LIU W， GAO Q. Prediction of dissolved oxygen concentration in aquaculture based on attention mechanism and combined neural network[J]. Math Biosci Eng，2023，20（1）：998-1017.

[23] ZHANG Q， WANG R Q， QI Y， et al. A watershed water quality prediction model based on attention mechanism and Bi-LSTM[J]. Environmental Science and Pollution Research，2022，29（50）：75664-75680.

[24] LI Y T， LI R. Predicting ammonia nitrogen in surface water by a new attention-based deep learning hybrid model[J]. Environmental Research，2023，216：114723.

[25] CAO X K， LIU Y R， WANG J P， et al. Prediction of dissolved oxygen in pond culture water based on K-means clustering and gated recurrent unit neural network[J]. Aquacultural Engineering， 2020，91：102122.

[26] 何津民，張麗珍. 基于自注意力機制和CNN-LSTM深度學習的對蝦投餌量預測模型[J]. 大連海洋大學學報，2022，37（2）：304-311.

（責任編輯：陳海霞）