基于L(2+1)D的養殖魚類攝食狀態下活躍程度識別方法

摘" 要： 魚類行為的活躍程度是魚類行為研究中的關鍵指標，可為水產養殖過程提供有用的基礎數據。然而現有的計算機視覺方法在活躍程度識別的應用中依賴于大量存儲和計算資源，在實際場景中實用性較差。為了解決這些問題，提出一種魚類攝食活動識別模型——L（2+1）D，將3D卷積分解為2D大空間卷積和1D時間卷積，使用少量的大型卷積核來增加感受野，實現更強大的特征提取效果。將空間卷積和時間卷積串聯成用于時空特征學習的時空模塊，并減少時空模塊數量，達到減少參數數量的同時提高準確性的效果。實驗結果表明，所提方法可以在實際水產養殖中準確識別魚群的活躍程度，準確率可達到65.02%，并更適合部署在資源受限的設備或現場。

關鍵詞： 魚類活躍程度； 卷積神經網絡； 圖像預處理； 特征提取； 時空特征學習； 行為量化

中圖分類號： TN957.52?34" " " " " " " " " " " " "文獻標識碼： A" " " " " " " " " " " "文章編號： 1004?373X（2024）08?0155?05

Method for identifying activity level of cultivated fish under feeding state based on L（2+1）D

TANG Xiaomeng1， MIAO Xinying1， 2

（1. Information Engineering College， Dalian Ocean University， Dalian 116023， China;

2. Key Laboratory of Environment Controlled Aquaculture， Ministry of Education， Dalian 116023， China）

Abstract： The activity level of fish behavior is a key indicator in the fish behavior research， providing useful basic data for aquaculture processes. The existing methods based on computer vision rely on a large amount of storage and computing resources in the application of activity level recognition， which has poor practicality in practical scenarios. To address these limitations， a fish feeding activity recognition model named L（2+1）D is proposed. 3D convolution is decomposed into 2D large spatial convolution and 1D temporal convolution. A small number of large convolutional kernels are used to increase receptive fields， so as to realize a more powerful feature extraction effect. The spatial convolution and temporal convolution are concatenated into spatiotemporal modules for feature extraction， and the number of spatiotemporal modules is reduced， achieve the effect of reducing the number of parameters while improving accuracy. The experimental results show that the proposed method can accurately identify the activity level of fish schools in actual aquaculture， with an accuracy rate of 65.02%， and is more suitable for deployment in resource limited equipment or sites.

Keywords： fish activity level; convolutional neural network; image preprocessing; feature extraction; spatiotemporal features learning; behavioral quantification

0" 引" 言

隨著我國水產養殖產量穩步增長，實現水產養殖智能化、自動化、數字化是水產養殖可持續發展的必然趨勢。其中，魚類活躍程度識別在實際場景中扮演著重要的角色，具有多方面的意義和應用[1]。魚類攝食狀態下活躍程度的識別對于魚類養殖和捕撈具有重要的意義。在養殖過程中，了解魚類的攝食狀態和活躍程度可以幫助養殖者調整飼料的投放量和時間，以保證魚類的健康和生長[2]。在捕撈過程中，了解魚類的活躍程度可以幫助漁民選擇更有效的捕撈方法和工具，提高捕撈效率和收益。此外，魚類攝食狀態下活躍程度的識別還可以幫助科學家研究魚類的行為和生態習性，為保護和管理水生生物資源提供重要的參考依據[3]。

目前，魚類在攝食狀態下的活躍程度識別仍然主要依賴養殖者的經驗。使用人工直接觀測魚類行為來辨別魚類攝食強弱的方法，在養殖中具有應用局限性[4]，比如：費時費力、觀察結果難以參數化。這可能導致飼喂不足或過度飼喂。攝食不足可能會影響魚類的生長速度，降低肌肉轉化率，影響生產效率，極端情況會導致同類之間出現搶食行為和相互攻擊現象[5]。另一方面，過度喂養可能會導致食物浪費，提高養殖成本[6]。而且殘留在水中的飼料會產生氨氮和有害的硝酸鹽化合物，這些化合物會影響魚類的健康生長、污染水質環境，進而影響可持續發展[7]。

在早期階段，傳統手工方法是常用且有效的方法，但需要依賴人的專業知識提取目標特征，包括背景模型[8]、幀差分方法[9]、光流技術[10]。這些方法會受到水面反射噪聲的擾動或超參數輕微波動的影響，導致網絡不穩定[11]。計算機視覺與深度學習技術的深度融合以快速、高效、非入侵、無需人工干預等特點，為魚類活躍程度識別方法提供一種潛在的解決方案[12]。因此，本文提出了一種基于深度學習的養殖魚類在攝食狀態下活躍程度識別方法，旨在探究養殖魚類攝食狀態下活躍程度與水花信號特征之間的關系；同時，探索一種客觀、精準、實時、有效的魚類活躍程度識別方法，為攝食狀態的行為分析、攝食量化評估提供基礎數據。該識別方法成為飼料智能投喂研究課題的一項重要研究內容，為養殖魚類活躍程度研究在現實方面的應用提供一種新的思路[13]。

1" 圖像數據采集與預處理

1.1" 圖像采集

本研究在大連海洋大學水產養殖設施與裝備工程研究中心進行，采用4套循環水綜合實驗系統，每個系統有3個養殖桶，養殖桶直徑為0.93 m，桶高為1 m，取水量為0.8 m3/h。實驗以褐點石斑魚為研究對象，平均規格為100 g。在119尾試驗魚背部肌肉注射電子芯片標記，追蹤每個個體的生長信息。水產養殖系統自動排放污染物并補充水，水源為經過沉淀的天然海水。蓋住養殖桶的頂部以遮擋光線，光源為全光譜LED燈。燈的開關是自動控制的，攝像系統采用定點俯拍。攝像頭距離水面0.5 m，可以清晰捕捉到全水面圖像，并記錄下投餌前1 min到餌料吃完后1 min的完整視頻。在一個喂魚期，共采集70個完整的喂魚視頻進行剪輯，分辨率為480×270像素。整個系統在第16車間E6養殖池，池塘大小為6.7 m×6.7 m×1.2 m，水深約1 m。將照相機放置于培養池上方1.5 m處，整個系統如圖1所示。

1.2" 建立數據集

從采集的視頻數據中捕獲視頻幀，獲得魚群圖像以構建本文的數據集。由于視頻每秒有24幀，并且為了避免構造的數據集中的相似圖像問題，通過每4幀拍攝圖像來獲得魚群圖像。此外，與魚群圖像相似度較高的圖像被手動消除。所獲得的魚群圖像為紅綠藍（RGB）jpg格式，大小為2 560×1 920。根據魚類活動程度將視頻分為強攝食狀態（186個短視頻）、弱攝食狀態（217個短視頻）和無攝食狀態（216個短視頻）3個不同的類別。整個數據集按照2∶1的比例分為訓練集和驗證集，具體分布如表1所示。

2" 基于卷積神經網絡的魚類活躍程度識別模型的實現

2.1" 識別魚類活躍程度模型總體設計

為判斷魚類在攝食狀態下的活躍程度，本文提出了一種基于L（2+1）D的魚類在攝食狀態下活躍程度的識別方法，以實現水產養殖中的魚類行為分析、按需攝食。將數據集的視頻信號作為輸入信息送入網絡，首先進行切幀、隨即裁剪等圖像預處理操作，輸出的圖像進入計算機視覺模型，將特征圖先后進行空間上和時間上的特征提取，通過計算得到行為量化結果，采用Softmax函數取得概率最大值來判斷魚類活躍程度的類別，即無攝食、強攝食和弱攝食三種狀態。魚類活躍程度實驗框圖如圖2所示。

2.2" 數據集預處理

由于數據集中魚群圖像背景復雜、光照不均勻、亮度和色調都有一些變化，因此在喂食圖像中存在大量的魚和魚之間的顯著重疊。通過對魚群圖像進行預處理，增強了數據樣本的多樣性，提高了模型的性能。首先，從采集到的視頻數據中獲取視頻幀，構建魚群圖像的數據集，總共73 474幅RGB幀圖像，具體分為：用于無喂食狀態的22 888個圖像、用于強喂食狀態的23 728個圖像以及用于弱喂食狀態的26 858個圖像。其次，對魚群圖像進行隨機寬高比裁剪，將圖像隨機裁剪成不同的大小和寬高比。

在此前提下，通過改變旋轉角度和旋轉中心點對圖像進行隨機旋轉，再將旋轉圖像修剪為統一大小。最后，魚群圖像在亮度、對比度、飽和度和色調方面被隨機改變，達到數據增強的目的，增加了訓練樣本的多樣性，從而提高模型的泛化能力和魯棒性。

三種攝食行為的RGB幀圖像如圖3所示。

2.3" L（2+1）D識別模型

在真實高密度水養殖場景下，魚類大多具有集群行為，以不同的狀態分布運動。本文中魚群圖像特征提取是通過提取水面上的代表性信息來描述整個圖像，用其作為識別魚群活躍程度的基礎。本文提出的L（2+1）D模型是一種在R（2+1）D網絡基礎上改進的魚類活躍程度識別模型，將3D卷積分開成2D空間卷積和1D時間卷積，并將增加空間卷積核尺寸和調整輸入時間幀數的方法應用在水下視頻特征提取中，2D空間卷積在空間維度上對圖像進行特征提取。L（2+1）D網絡的總體結構如圖4所示。

針對分類任務需要上下文信息、3×3卷積核的感受野小且提取特征過少的問題，首先，在特征提取的骨干網絡中改變空間卷積核的尺寸，將原有的3×3卷積核增大到25×25，同時通過重參數化將尺寸為5×5的小卷積核提取的特征與大卷積核提取的特征相融合，給模型提供了足夠大的感受野和更好地聚合空間信息的能力，使模型在特征提取時更加準確，進而提升識別精度。其次，由于2D卷積僅僅考慮到視頻空間維度的信息，而沒有考慮到時間維度的幀間運動信息，本研究提出的模型在關注空間信息的同時也考慮到視頻信號的時間信息，并在時間維度上改變幀間間隔，即使用快速刷新時間分辨率來有效地對快速變化的運動進行建模，以便于網絡能看見更多的水花信息，有利于魚類活躍程度的識別。最后，減少時空模塊的數量，即減少2D空間卷積和1D時間卷積層數，從而大幅度減少參數量，實現了模型輕量化，達到了數據處理即時性效果，提高了模型方法應用的便捷性和實用性。

在原有模型中，卷積神經網絡大多通過堆疊較小的卷積來增大感受野，這會導致每個輸出所包含信息的范圍較小，而通過增大卷積核尺寸增加有效感受野，可包含更多的上下文信息，提高特征提取的能力。通過實驗獲得最佳效果，達到了精準識別魚類活躍程度的效果。該模型設計更易于優化，提高了實際應用場景下的識別速度。

2.4" 行為量化結果

在模型提取出圖像中顯著特征的基礎上，進行行為量化結果分析。當餌料投入養殖水池，魚類表現活躍且在水面處有強烈水花，從而判斷為魚類強烈攝食狀態；當魚類表現平靜且水面處有微弱水花時，可判斷為魚類微弱攝食狀態；當餌料投入養殖水池后，魚類無反應且水面處無水花，可判斷為魚類無攝食行為。隨著投喂次數增加，記錄攝食反應時間和活躍程度持續之間的變化，確定飽食投喂次數，從而確定魚群飽食量。

3" 實驗過程

實驗使用A100顯卡，通過Anaconda環境管理器安裝相關工具包，在Pycharm編譯器上實現Python代碼編譯，同時在PyTorch 1.10架構上進行模型的訓練和測試。

3.1" 模型訓練

在訓練階段，首先將預處理后的魚群圖像輸入至L（2+1）D網絡，在2D空間卷積和1D時間卷積上分別提取魚群圖像特征和時序信息，并在卷積層之間增加BN層，在卷積層之后，對特征圖進行歸一化，從而加速網絡學習，進一步提高模型性能；其次，將提取的特征傳入2個3×3卷積核；最后，通過計算損失函數等指標不斷優化模型參數，直至訓練出最優辨識模型。

對比模型的試驗結果，分析各改進模塊的有效性，具體設計如下：

1） 對每個模型均訓練130輪，設置相同的初始學習率、損失函數等超參數，具體參數設計如表2所示。

2） 從每個模型訓練生成的權重集合中選取最優的權重文件，根據評估指標比較改進模型的提升程度。

在推理階段，利用得到的最優魚群攝食活躍程度識別模型對測試集中的圖像進行測試，對魚群攝食狀態下的活躍程度圖像進行識別，識別結果分別為強攝食狀態、弱攝食狀態和無攝食狀態。

3.2" 模型評估

3.2.1" 評估指標

使用不同的評價指標可以客觀、準確地評估網絡的檢測性能，綜合魚類活躍程度識別速度快、準確率高、適應水下環境能力強、部署模型靈活的要求，本研究從不同角度對模型識別效果進行評價，評價指標為模型參數量（Params）、識別準確率（Accuracy）。準確率是正確和錯誤預測的類實例的總和（TP+TN）與總實例（TP+FP+FN+TN）的比率，公式如下：

[Accuracy=TP+TNTP+FP+TN+FN]

3.2.2" 消融實驗

為評估提出的方法在不同模塊情況下的有效性，主要進行了不同卷積核尺寸和不同卷積核個數的實驗。通過增減時空模塊數量和改變空間卷積核大小，設計4種實驗方案，分別是兩層的17×17、兩層25×25、三層17×17和三層25×25的空間卷積核。由消融實驗結果可得，卷積核尺寸越大，準確率越高。在魚群攝食行為數據集上驗證了訓練策略對算法識別性能的影響，如表3所示，在兩層空間卷積核尺寸為25×25的情況下，實驗取得最佳效果。

3.2.3" 對比試驗

為評估本文提出方法的性能，在魚群攝食行為識別數據集上將消融實驗結果最優方法與3種基準分類方法進行比較。在L（2+1）D訓練過程中，原始圖像縮小至265×265，作為L（2+1）D的輸入。再進行數據增強，用于擴大樣本數量，如隨機水平翻轉，隨機旋轉，具有亮度、對比度、飽和度的顏色抖動。最后，使用Pytorch框架進行了攝食行為識別算法訓練。如表4所示，本文提出的模型在ResNet50、ResNet101的2D網絡基礎上準確率分別提升了30.27%、26.33%，在R（2+1）D基礎上提升了23.27%。此外，在參數量方面也大幅度減少，在原模型R（2+1）D的基礎上減少29.98×106，便于實際應用的部署和實現。

4" 結" 論

本文提出了一個不同的時空卷積來識別魚群攝食行為時的活躍狀態，共分為三種行為狀態，包括無攝食狀態、弱攝食狀態和強攝食狀態。該方法對養殖者制定最佳攝食決策、提高養殖效率和促進魚類健康生長具有重要意義。此外，為了更有效地捕捉空間信息，設計了一種由大卷積核組成的新型骨干結構，即L（2+1）D。其中時空模塊的空間卷積核增大，進一步優化了特征提取，使魚群攝食識別更加準確。本文提出的時空模塊可以很容易地取代標準卷積核，在參數量大幅度減少的情況下精度有所提升。在真實的魚類攝食視頻數據集上進行測試，識別準確率達65.02%，實驗證明了所提方法的有效性和泛化能力。因此，所提出的方法適合于部署在資源受限的設備或實時應用中，并能根據魚類的攝食需求動態調整投喂量，有效控制投喂量，降低養殖費用，保證魚類健康生長，為實現智能魚類行為分析和智能水產養殖提供了實踐指導。未來的工作將探索一個在此基礎上優化的基于時空數據視頻分析的模型，進一步細化魚群的行為狀態。

注：本文通訊作者為繆新穎。

參考文獻

[1] 楊玲.基于機器視覺的工廠化魚群攝食行為智能分析方法研究[D].北京：中國農業大學，2022.

[2] 何佳，黃志濤，宋協法，等.基于計算機視覺技術的水產養殖中魚類行為識別與量化研究進展[J].漁業現代化，2019，46（3）：7?14.

[3] 陳彩文.基于計算機視覺的魚群攝食行為分析研究[D].太原：太原理工大學，2017.

[4] YANG L， LIU Y， YU H， et al. Computer vision models in intelligent aquaculture with emphasis on fish detection and behavior analysis： a review [J]. Archives of computational methods in engineering， 2021， 28（4）： 2785?2816.

[5] YANG L， YU H H， CHENG Y L， et al. A dual attention network based on efficientNet?B2 for shortterm fish school feeding behavior analysis in aquaculture [J]. Computers and electronics in agriculture， 2021， 187： 106316.

[6] TRAN D， WANG H， TORRESANI L， et al. A closer look at spatiotemporal convolutions for action recognition [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City， UT， USA： IEEE， 2018： 6450?6459.

[7] THU T， VO E， KO H， et al. Overview of smart aquaculture system： focusing on applications of machine learning and computer vision [J]. Electronics， 2021， 10（22）： 1?26.

[8] UBINA N， CHENG S C， CHANG C C， et al. Evaluating fish feeding intensity in aquaculture with convolutional neural networks [J]. Aquacultural engineering， 2021， 94： 102178.

[9] QIU Z， YAO T， MEI T. Learning spatio?temporal representation with pseudo?3D residual networks [C]// IEEE International Conference on Computer Vision. Venice， Italy： IEEE， 2017： 5534?5542.

[10] WEI D， BAO E， WEN Y， et al. Behavioral spatial?temporal characteristics?based appetite assessment for fish school in recirculating aquaculture systems [J]. Aquaculture， 2021， 545： 737215.

[11] WAGEEH Y， MOHAMED H E D， FADL A， et al. YOLO fish detection with Euclidean tracking in fish farms [J]. Journal of ambient intelligence and humanized computing， 2021， 12（1）： 5?12.

[12] BARRETO M O， REY P S， YANG Y， et al. Emerging indicators of fish welfare in aquaculture [J]. Reviews in aquaculture， 2022， 14（1）： 343?361.

[13] ZHANG L， WANG J， DUAN Q. Estimation for fish mass using image analysis and neural network [J]. Computers and electronics in agriculture， 2020， 173： 105439.

作者簡介：唐曉萌（1997—），女，滿族，遼寧鐵嶺人，碩士，研究方向為基于深度學習的計算機視覺。

繆新穎（1977—），女，滿族，河北承德人，博士研究生，教授，研究方向為智能控制、數據挖掘。