戶外養殖魚群攝食強度視頻分類模型研究

摘 要：傳統的魚群養殖采用定點、定時的專人投喂方式，無法滿足智能化養殖的需求。隨著機器視覺發展和進步，越來越多的水產養殖采用該技術進行餌料投喂工作，以節約成本和提高效率。本文基于戶外養殖池塘魚群攝食強度視頻數據集，搭建戶外養殖池塘魚群攝食強度分類模型，提出了一種基于遷移學習的長期循環記憶網絡模型。模型利用遷移后的MobileNet V1網絡和長短期記憶（Long short-term memory，LSTM）神經網絡，搭建魚群攝食強度視頻分類網絡模型，遷移后的MobileNet V1的輸出與分類網絡相連，進行視頻數據分類，分類的準確率為85%。

關鍵詞：遷移學習；長短期記憶神經網絡；魚群攝食強度；水產養殖" " "中圖分類號：S 964" " 文獻標志碼：A

水產養殖業在中國漁業發展中具有重要地位[1]，早在春秋戰國時期，我國就已出現第一部系統介紹魚類養殖的著作《養魚經》，這是中國最早的養魚著作。經過數千年的歷史技術積淀，我國已經成為世界上唯一一個水產養殖總量高于捕撈產量的國家[2]，同時水產養殖也是我國漁業的主要生產方式。其中開放式池塘養殖產量占全國水產養殖總量的80%，魚類的養殖占總體淡水水產養殖的83%，因此提高水產養殖的生產率對推動我國水產養殖業快速發展具有重要作用。隨著水產養殖業不斷發展和擴大，工業化的魚類養殖技術也在不斷更新和適應不同的養殖環境，進行餌料自動投喂是水產養殖實現自動化、工業化和智能化的關鍵一步。

利用機器視覺技術對魚群的攝食情況進行監控和識別，可以及時發現魚群的異常情況，降低養殖過程中的風險。本文使用基于遷移后的MobileNet V1網絡和長短期記憶神經網絡（Long short-term memory，LSTM）搭建魚群攝食強度視頻分類網絡模型，判斷魚群的攝食強度，進行智能化投餌。

1 魚群攝食強度分類模型

本文基于戶外養殖池塘，該水產基地位于上海市崇明區，主要從事綠色食品魚養殖，是崇明優質淡水魚生產基地，主要的養殖品種有鱸魚、草魚和花鰱魚等。

該養殖基地養殖環境為戶外開放式養殖池塘，一個池塘水深約2m，長約50m，寬約25m，面積超過1000m2（2畝），每個池塘配有一個投餌機，投餌機型號為佛山市中漁科技有限公司的顆粒飼料投餌機ZY150，安裝在岸邊的延伸臺。每個投餌機配有一個半自動控制器，控制器具有定時投餌、餌料檢測等基礎性功能，需要手動開、關機。投餌機采用扇形噴灑式投餌方案，投餌半徑約為6m。

利用安置好的攝像頭，并根據實時串流協議（Real Time Streaming Protocol，RTSP）采集不同時間段魚群攝食和未攝食的視頻數據，提取時長為2s的視頻數據樣本，進行數據樣本的整理和標注工作。

再制作魚群攝食強度分類數據集過程中，需要對預先采集的視頻進行剪裁等處理，提取時長為2s的視頻樣本，每個視頻樣本包括60個視頻幀。將樣本按照強攝食（大量魚群浮出水面劇烈爭奪魚餌）、弱攝食（部分魚群浮出水面攝取魚餌，不爭奪）和未攝食（無魚群浮出水面）3種攝食狀態進行數據標注，將數據集的80%作為訓練集，20%作為測試集。視頻數據集共包括1071個時長為2s的視頻，其中未攝食視頻樣本355個，弱攝食樣本335個，強攝食樣本381個，具體數量見表1。不同狀態下的視頻幀如圖1所示。

采集完成后進行數據預處理。采用直方圖均衡化增加圖像的全局對比度，使亮度可以更好地分布在直方圖上。直方圖均衡化處理是以累積分布函數為基礎的直方圖修正法，即通過一個灰度映射函數，將原直方圖改造成所希望的直方圖。圖像的直方圖如公式（1）所示。

式中：nk 為圖像中灰度級為k（k=0，1，2，…，L-1）的像素個數，其中L為最大灰度級。

在直方圖的基礎上，進一步計算直方圖每一個灰度級出現的相對頻率Pr（k），如公式（2）所示。

式中：N為圖像中像素的總數。

累積分布函數是概率密度函數的累積和，表示每個灰度級及其之前所有灰度級出現的累積概率，將公式（2）進行累積，可得公式（3）。

式中：dcf （rk）為灰度級rk及其之前所有灰度級的累積概率。

下一步將累積概率映射到新的灰度級上，實現灰度級的重新分配，將公式（3）的值乘以最大灰度級，代入公式（4），得到新的灰度級。

式中：rk為歸一化后的灰度級。

將原始圖像中的每個像素值替換為對應的新灰度級，從而得到均衡化后的圖像，對比效果如圖2所示。

預處理后的圖像對比度明顯增強，圖像中魚群攝食的魚體邊緣、色彩等細節更突出。將預處理后的視頻送入訓練好的魚群攝食強度分類模型中，獲得當前時刻的攝食強度；上位機根據設定投餌策略確定下一時刻餌料的投放速率，并實時向自動投餌機發出投餌指令；自動投餌機接收指令后開始工作，對魚群的攝食情況進行實時反饋，處理流程如圖3所示。

2 基于遷移學習的長期循環記憶網絡模型

MobileNet V1網絡是谷歌團隊于2017年提出的專注于移動端和嵌入設備的輕量級卷積神經網絡，與傳統的神經網絡相比，它在準確率小幅度降低的前提下顯著減少了模型的參數與運算量。ImageNet項目是一個用于視覺對象識別軟件研究的大型可視化數據庫，在網絡的預訓練方面通用性、適應性強。

長短期記憶網絡LSTM（Long Short-Term Memory，LSTM）[3]是循環神經網絡RNN（Recurrent Neural Network，RNN）的一種變體。鑒于梯度消失的原因，RNN只能有短期記憶，LSTM網絡利用精妙的門控制將短期記憶與長期記憶結合起來，并在一定程度上解決了梯度消失的問題，可以學習長期依賴信息。記住長期的信息在實踐中是LSTM的默認行為，不是需要付出很大代價才能獲得的能力。所有RNN都具有一種重復神經網絡模塊鏈式的形式。

本文所提基于遷移學習的長期循環記憶網絡模型的視頻幀特征提取部分采用在ImageNet項目中預訓練好的MobileNet V1網絡，它共有28層（不包括平均池化層和全連接層），圖像輸入大小為（224，224，3），原始網絡輸出1000個類別，利用遷移學習剔除網絡的平均池化層和輸出層，保留經ImageNet預訓練后的剩余層權重參數和模型結構，將平均池化層的輸出（1024維）作為視頻幀的深度特征并用于視頻分類。

模型的分類網絡部分采用長短期記憶網絡，基于LSTM神經網絡搭建包括L層的視頻分類器，用于整合視頻幀深度特征并進行視頻分類。分類器與遷移后的MobileNet V1的平均池化層相連，分類器包括1層LSTM層、L-2層全連接層和1層輸出層，輸出層包括3個節點，分別代表未攝食、弱攝食和強攝食3種類別。

利用遷移后的MobileNet V1網絡和長短期記憶（Long short-term memory， LSTM）神經網絡搭建魚群攝食強度視頻分類網絡模型（如圖4所示），遷移后的MobileNet V1的輸出與分類網絡相連，最后對遷移的MobileNet V1權重參數進行微調，對基于LSTM的視頻分類器進行全訓練，實現視頻數據分類。

本模型傳遞函數采用線性整流函數（Linear rectification function）。線性整流函數又稱修正線性單元，是一種在人工神經網絡中常用的激活函數，不會造成梯度消失和梯度爆炸，如公式（5）所示。

輸出層分類函數采用Softmax函數，如公式（6）所示。

式中：zi為第i個節點的輸出值；C為輸出節點的個數。

利用該運算，可以將各個輸出節點的輸出值范圍映射到[0，1]，并且約束各個輸出節點輸出值的和為1的函數。

損失函數是用來量化模型預測和真實標簽間差異的一個非負實數函數，本模型采用交叉熵損失函數，計算樣本屬于不同攝食強度的概率，如公式（7）所示。

式中：θjTx（j=1，2，3）為神經網絡對類別j的原始預測值；P（j）為樣本屬于類別j的概率。

進而評估樣本實際值和預測值間的差距熵（即2個概率分布間的相似性），如公式（8）所示。

式中：yj 為圖像真實類別。

3 模型結果分析

本文選取綜合準確率（Accuracy）、精準度（Precision）、召回率（Recall）和F1得分（F1 Score）共4個評價指標來評估本網絡的性能。綜合準確率（Accuracy）代表最終分類正確的視頻樣本數量占全部視頻樣本總量的比例；精準度（Precision）代表最終分類為某一類別的視頻樣本數量中分類正確的比例；召回率（Recall）代表所有分類到某一類別的視頻樣本占應該分類到該類別的比例；F1得分（F1 Score）為綜合評價指標，是Precision和Recall的加權調和平均，它綜合考慮了精準度和召回率，能夠避免算法出現保守預測和暴力召回的情況。具體的數學描述如公式（9）所示。

式中：TP為True Positives，即被正確分類的正例；TN為True Negatives，即被正確分類的負例；FP為 Positive，即被錯誤分類的負例；FN為 Negative，即被錯誤分類的正例；N為樣本總數。

通常Accuracy和Precision越高，網絡的效果越好；Recall越高，網絡“回憶的能力”越好。但是Precision和Recall這2個指標有時是相互矛盾的，因此綜合考慮精確率和召回率這2個度量值比較重要。F1得分綜合了Precision和Recall這2個指標的結果，如果模型的F1得分較高，說明試驗的結果有效且模型效果較優。

通過具體分析三大類別的分類情況，可以看出網絡對未攝食狀態的分類效果最好，這是因為未攝食狀態下的視頻水面波動平穩沒有異常狀態，也不存在魚群上浮水面的情況，分類錯誤的情況較少，而弱攝食狀態與強攝食狀態下相似之處較大，均有魚群上浮水面，所以存在一定分類錯誤的情況。網絡的綜合準確率（Accuracy）、精準度（Precision）、召回率（Recall）和F1 得分（F1 Score）均為80%以上，說明網絡能較好地對水上魚群攝食強度視頻數據集進行分類，不存在暴力召回、梯度爆炸等異常情況。

4 投餌應用策略

將搭建并訓練好的算法模型搬至養殖現場的上位機中，完成投餌控制系統搭建。視頻信息通過RTSP實時串流協議實時顯示在上位機界面中，并及時存儲。根據魚塘魚群的數量、生長情況等決定投餌機的初始投放速率。

開始投餌時，投餌機以正常投餌速率v進行投餌。如果模型判別出當前的攝食狀態為強攝食，那么加大投餌機的投放速率，速率變化為2v；如果模型判別出當前的攝食狀態為中攝食，那么將投餌機的投放速率設定為v；如果模型判別出當前的攝食狀態為未攝食或長時間處于弱攝食狀態，那么關閉投餌機，如公式（10）所示。

選取適當的速率調整間隔，投餌機會根據魚群的攝食情況實時調整餌料的投放速度。具體的投餌速率v和時間T需要根據魚塘魚群的數量、生長情況等因素決定。

5 結論

本文基于水上魚群攝食強度視頻，將遷移學習和長期循環記憶網絡相結合，提出了一種基于遷移學習的長期循環記憶網絡模型。本文在養殖基地的戶外池塘環境下采集魚群攝食和未攝食期間的視頻圖像，制作了水上魚群攝食強度視頻數據集，并在該數據集的基礎上進行研究，提出了戶外養殖魚群攝食強度視頻分類模型。最終試驗結果表明，基于遷移學習的長期循環記憶網絡模型的綜合準確率（Accuracy）、精準度（Precision）、召回率（Recall）和F1得分（F1 Score）均為80%以上，表明模型可以對水上魚群攝食強度視頻進行強攝食、弱攝食和未攝食這3種狀態進行分類，并且具有參數較少、計算速度較快等特點，可以較好地適應養殖基地環境，為精準投餌提供指導。

本文提出的魚群攝食強度分類模型是一個三分類模型，分類的類別有限，未來將嘗試進一步細化分類的類別，在其他細化領域進行自動化、智能化改進，例如魚類異常行為檢測、魚類體長測量等，進一步提高水產養殖的總體智能化水平。

參考文獻

[1]鄭思寧，劉強，鄭逸芳.規?；a養殖技術效率及其影響因素分析[J].農業工程學報，2016，32（20）：229-235.

[2]韓剛，許玉艷，劉琪，等.科學制定水產養殖業綠色發展標準的思考與建議[J].中國漁業質量與標準，2019，9（5）：55-60.

[3]SHI X，CHEN Z，WANG H，et al.Convolutional LSTM"network：A machine learning approach for precipitation nowcasting[M].Cambridge：MIT Press，2015.

基金項目：廣東省普通高校青年創新人才類項目“基于機器視覺的魚類養殖投餌船設計與研究”（項目編號：2023KQNCX240）。