基于雙流殘差卷積神經網絡的養殖鰻鱺(Anguilla)攝食強度評估研究*

李 凱 江興龍 許志揚 林 茜

基于雙流殘差卷積神經網絡的養殖鰻鱺()攝食強度評估研究*

李 凱1, 2江興龍1, 2①許志揚1, 2林 茜1, 2

(1. 集美大學水產學院 福建廈門 361021; 2. 鰻鱺現代產業技術教育部工程研究中心 福建廈門 361021)

為實現對養殖鰻鱺()攝食強度的準確評估, 提出了一種基于雙流殘差卷積神經網絡的鰻鱺攝食強度評估方法, 該方法針對傳統雙流網絡(Two-stream)中存在的問題做出了相應的改進。首先針對傳統雙流網絡存在網絡結構較淺, 無法提取到充分的鰻鱺攝食行為特征的問題, 選擇使用ResNet50網絡進行替換, 以提取到更具代表性的特征。其次針對傳統雙流網絡最后的分類結果是把空間流和時間流的得分取平均值融合而獲得, 這種方式較為簡單, 且其空間流和時間流網絡為獨立進行訓練, 容易導致網絡出現學習不到鰻鱺攝食行為的時空關聯特征的問題, 選擇使用特征層融合方式對空間流和時間流網絡提取獲得的特征進行融合, 讓網絡能夠并行進行訓練, 以提取到時空信息間的關聯特征。試驗結果表明: 文內提出的基于雙流殘差卷積神經網絡的鰻鱺攝食強度評估方法準確率達到98.6%, 與單通道的空間流和時間流網絡相比, 準確率分別提升了5.8%和8.5%, 與傳統的雙流網絡相比準確率也提升了3.2%。

鰻鱺; 攝食強度; 雙流殘差卷積神經網絡; ResNet50; 并行訓練; 特征層融合

目前, 我國的魚類養殖過程中餌料的投喂方式主要有兩種, 一種是人工投喂方式, 主要依靠養殖人員自身的養殖經驗來控制投喂量, 對養殖人員的養殖經驗有很高的要求, 如果是大規模的養殖基地就會耗費大量的人力成本, 大大降低了養殖效益; 另外一種是機械投喂方式, 它的缺點是忽略了魚類攝食狀態的變化情況, 不能根據魚類的食欲自動調整投喂量, 容易導致投喂不當的情況出現, 從而影響養殖魚類的健康生長, 降低養殖效益(周應祺等, 2013; 穆春華等, 2015)。而鰻鱺()作為我國經濟價值較高的優質水產養殖種類, 在其養殖過程中, 準確檢測出鰻鱺的實際攝食狀況有助于科學地投喂飼料, 對實現鰻鱺精準高效養殖有重要意義。

機器視覺技術作為一種非入侵式、經濟且高效的方法, 已經成為檢測和評估魚群攝食狀態的重要研究手段(張志強等, 2011; 范良忠等, 2011; 李賢等, 2012; Wishkerman, 2016)。喬峰等(2015)通過對采集的魚群攝食圖像進行濾波、增強、二值化等圖像處理操作, 提取出魚群位置、大小以及聚集程度等攝食行為特征, 然后將這些特征輸入實時決策的餌料投喂系統, 結合魚群實時的攝食狀態進行投喂, 但易受室外光線和水面反光等因素的影響, 導致系統決策失誤。趙建等(2016)提出了一種改進的動能模型來分析魚群的攝食活動, 通過色彩空間轉換的方法分割出水面的反光區域, 結合光流法和信息熵量化水面反光區域的動能信息, 獲得了較好的試驗結果, 但是該方法對光照條件要求較高, 在實際養殖環境中難以應用。Sadoul等(2014)提出了一種通過拍攝的視頻來量化循環水養殖條件下魚群行為的方法, 即通過魚群分散度和魚群游動活躍度兩個指標來量化魚群行為, 試驗發現魚群在攝食時, 其分散度指標明顯減小, 游動活躍度指標明顯增大, 這為檢測魚群的攝食狀態提供了一種新方法, 但是該試驗中魚群的數量較少。陳彩文等(2017)首先通過背景減法分割出目標魚群, 接著使用灰度共生矩陣算法對魚群攝食圖像進行處理, 以提取出圖像的紋理特征, 最后利用這一特征實現了對魚群攝食狀態的實時檢測, 但是該方法僅僅只利用了圖像的紋理特征, 較為簡單, 難以在環境條件復雜的生產環境中使用。Liu等(2014)使用改進后的幀間差分法來分析魚群攝食視頻, 將得到的魚群分散度、相互作用力以及水流場變化幅度這三個魚群行為特征綜合起來, 實現了對魚群攝食狀態的實時評估, 但是該方法要求魚群和養殖環境之間存在明顯色差, 并且檢測精度易受水面反光和水花的影響。胡利永等(2015)通過圖像濾波、邊緣檢測以及閾值分割等一系列圖像處理技術提取出魚群攝食圖像的面積特征和水花特征, 量化了魚群的攝食行為, 以此來控制餌料投喂, 但是該方法需要較好的光照條件, 還易受水面波動和反光的影響, 有較大的局限性。

目前, 深度學習技術在魚類檢測方面也得到了應用(Rauf, 2019; Li, 2020; Zhang, 2020), 其中就有研究學者將其用于檢測和識別魚類的攝食狀態。劉楊(2021)利用改進后的YOLOV4 (Bochkovskiy, 2020)模型對水下殘餌進行檢測識別, 間接地研究了魚類的攝食行為, 結果表明模型的檢測準確率遠高于傳統的機器學習方法, 證明了深度學習方法的實用性和優越性。Zhou等(2019)通過分類模型LeNet對魚類攝食強度進行了分類, 分為無、弱、中等和強四類, 該模型的分類準確率達到90%。M?l?y等(2019)使用雙流遞歸卷積神經網絡對水下魚類攝食行為進行了識別, 該網絡將魚類游動過程的空間圖像信息和時間序列的運動信息結合起來, 使得網絡有更強的魯棒性(Robust), 從而能更準確地區分水下魚類的攝食狀態和非攝食狀態。深度學習模型的網絡結構更深, 并且它所提取的特征是神經網絡經過大量的學習得到, 能夠挖掘出隱藏在圖像中的高層語義信息, 所以不易受到養殖魚類的大小、種類以及養殖環境中的光照不均勻等因素的影響, 相較于傳統的機器視覺方法有更強的魯棒性。綜上, 針對傳統雙流網絡(Two-stream)中存在的問題, 本研究提出一種基于殘差結構的雙流卷積神經網絡, 實現了對鰻鱺攝食強度的準確評估。

1 圖像采集系統與數據集構建

1.1 圖像采集系統

試驗數據采集于福建省三明市清流縣和南平市延平區的工廠化鰻鱺養殖基地及廣東省臺山市的土池鰻鱺養殖基地。鰻鱺養殖過程中餌料投喂都是定時定點進行的, 即到了喂食時間養殖池中的鰻鱺會基于條件反射習慣性地聚集于餌料臺進行攝食。因此本研究的圖像采集系統如圖1所示, 選擇將相機安裝于養殖池中餌料臺的正上方, 由于工廠化養殖基地的養殖池位于室內, 光線條件較差, 且鰻鱺對于紅外光線不敏感, 所以試驗相機采用近紅外工業相機(MER- 232-48NIR), 并同時使用兩個紅外燈進行補光。此外, 由于土池養殖基地的養殖池位于室外, 光線條件較好, 因此只需使用普通監控相機(?？低?即可。試驗相機均通過一根長4 m的千兆雙絞線與計算機相連, 其中近紅外工業相機采集的是黑白視頻, 普通相機采集的為彩色視頻, 視頻采集幀率均為24幀/s。

圖1 圖像采集系統

1.2 數據集構建

試驗首先從13口鰻鱺養殖池中采集了多個鰻鱺攝食視頻, 然后將這些視頻進行分解, 分解方式為每秒截取一幀圖像, 并且使用Farneback稠密光流算法(Farneb?ck, 2003)提取對應的鰻鱺攝食行為的光流圖像。參考?verli等(2006)制定的魚類攝食強度分類規則, 并通過作者長期的觀察后, 發現不同攝食狀態下的鰻鱺攝食行為有較大的變化, 綜上本研究將鰻鱺的攝食強度分為強、較強、正常、較弱和弱這5個等級, 其具體的區分規則如表1所示。

試驗共選擇了2 000張圖像作為本研究的鰻鱺攝食強度數據集, 其中1 000張圖像為工廠化養殖池中采集的, 每種攝食強度包含空間位置圖及其對應的光流能量圖各200張, 示例如圖2所示, 需要說明的是為了避免無關區域對圖像檢測的影響, 選擇將圖中除餌料臺之外的區域做置黑處理; 另1 000張圖像為池塘養殖池中采集的, 同樣每種攝食強度包含空間位置圖及其對應的光流能量圖各200張, 示例如圖3所示。在制作訓練集和測試集之前, 使用自編寫的shuffle_data程序將原數據集中的各類圖像打亂, 然后劃分訓練集和測試集, 劃分比例為7︰3。

表1 鰻鱺的攝食強度區分標準

Tab.1 Criteria for distinguishing the eel feeding intensity

2 基于雙流殘差卷積神經網絡的鰻鱺攝食強度評估

2.1 雙流卷積神經網絡

視頻信息相較于二維的靜態圖像而言多了時間維度這一概念, 因此要對視頻中物體的行為進行分析就需要融合物體的空間流和時間流信息。隨著卷積神經網絡的不斷發展, 研究學者們通過模仿人腦視覺系統的雙通路結構設計了雙流卷積神經網絡(Simonyan, 2014), 其具體的網絡結構如圖4所示。該網絡由空間流和時間流這兩部分神經網絡構成。其中空間流網絡將視頻中的單幀圖像作為輸入, 用于提取圖像中的空間位置特征; 而時間流網絡則將視頻中相鄰幀間計算得到的光流圖像當作輸入, 用于提取出視頻幀序列中的運動特征。在雙流網絡的最后利用平均值融合法將兩個流的分類結果進行融合, 將融合后的分數作為網絡的最終分類結果。

圖2 工廠化養殖池中采集圖像

注: a. 空間位置圖; b. 光流能量圖

圖3 土池養殖池中采集圖像

注: a. 空間位置圖; b. 光流能量圖

圖4 雙流卷積神經網絡具體結構

2.1.1 空間流網絡 空間流網絡以視頻中的單幀圖像作為網絡的輸入, 它通過提取靜態幀圖像的特征來識別視頻中物體的信息。那么對于本研究的鰻鱺攝食強度評估任務而言, 空間流網絡可以通過提取單幀鰻鱺攝食圖像中攝食魚群的形狀、大小以及空間位置等特征來評估視頻中鰻鱺的攝食強度。因為鰻鱺攝食行為是一個過程, 所以理論上來說攝食視頻中的每一幀攝食圖像都能作為空間流網絡的輸入, 但是為了使網絡能夠更好提取出鰻鱺攝食時的特征, 在選取攝食圖像幀時選擇圖像較為清晰的那一幀作為網絡的輸入?？臻g流網絡使用的是VGG-16網絡(Simonyan, 2015)。

2.1.2 時間流網絡 時間流網絡的與空間流網絡的結構一致, 都是使用VGG-16作為特征提取網絡, 不同之處在于時間流網絡將視頻中相鄰幀之間計算得到的光流圖像當作輸入。光流圖像能有效地描述鰻鱺攝食過程中的運動趨勢和速度等運動信息, 有助于提升鰻鱺攝食強度的評估準確率。

光流法是視頻運動目標識別領域中常用的算法, 包括稀疏光流法和稠密光流法這兩類。其中稠密光流法能對視頻幀圖像中的所有像素點進行計算, 得到的光流位移場也包含了所有運動位移向量, 所以這類方法不但計算精度高, 而且所呈現出的光流圖像效果也好。因此本研究使用Farneback稠密光流算法提取鰻鱺攝食行為的光流圖像, 下面將對Farneback光流算法做詳細介紹。

Farneback光流算法通過估計連續兩幀圖像間的全局位移的方式解決了圖像中存在灰度值快速變化的問題, 所以該方法不要求視頻中場景空間一定靜止的, 十分適用于提取物體大尺度運動產生的光流信息。其主要原理在于利用一個擴展多項式近似表示每個像素點的鄰域值, 如式(1)所示:

式中,()為像素點的鄰域值,表示矩陣的轉置,為對稱矩陣,為向量,為標量。假如前一幀圖像表示為

那么下一幀圖像在全局位移后變為

利用相鄰幀間亮度值恒定不變原理, 使得f()和f()對應項系數相等, 得到以下等式:

若式中A為非奇異矩陣, 則可解出全局位移量:

在計算得到稠密光流場之后, 通過使用孟賽爾顏色系統對其進行上色, 可將光流場可視化為光流圖像。

2.2 雙流殘差網絡模型

2.2.1 殘差網絡 通常情況下, 增加網絡的深度可以使網絡提取到更高級的圖像特征, 進而有效提升網絡的性能。然而, 如果只是通過簡單地堆疊網絡層的方式來加深網絡的深度, 不但起不到作用, 反而會使網絡的性能退化。研究發現, 增加卷積神經網絡的深度之后, 容易在網絡反向傳播過程中引起梯度消失和爆炸等問題, 導致訓練網絡無法收斂, 網絡中的權重參數得不到優化, 并最終影響網絡的性能。

為了消除加深網絡深度對網絡性能造成的影響, He等(2016)提出了殘差神經網絡, 主要原理是將深層網絡中的多個網絡層擬合為一個非線性殘差映射, 通過引入多個這樣的結構以進行整體映射關系的擬合。假設非線性網絡層的輸入為, 期望要獲得的實際映射函數為(), 而需要逼近的殘差函數為(), 則整體映射關系表達式如式(6)所示:

() =() –. (6)

在實際的殘差網絡中引入了恒等映射的概念, 具體來說就是通過一種跳躍連接的方式, 直接跳過兩層或多層, 將每個網絡層輸入和輸出連接在一起, 這意味著每層網絡的輸出不再是像以前的神經網絡一樣是輸入的映射, 而是代表輸入與映射的相加。殘差結構如圖5所示。

圖5 殘差結構示意圖

實際映射關系如式(7)所示,(,{W})表示殘差映射函數, 如式(8)所示。

() =(, {W}) +, (7)

(, {W}) =2·(1), (8)

式中,為激活函數Relu,1和2分別表示兩個卷積層(如圖5所示的一個兩層的殘差結構, 即包含兩個卷積層)的權重參數。此外, 式(6)中的與輸入的維度必須相同,+表示通過跳躍連接將與中的所有像素點進行逐行元素相加。如果出現與維度不相同的情況, 則必須對跳躍連接處進行線性投影s, 其操作如式(9)所示。

() =(, {W}) +s. (9)

在本研究的試驗中, 將使用網絡結構較深的殘差神經網絡ResNet50來替換原Two-stream網絡中的VGG-16網絡。ResNet50的網絡結構如表2所示。

表2 ResNet50網絡結構

Tab.2 The ResNet50 network structure

在ResNet50網絡中, 包含了49層卷積層, 以及最后分類的1層全連接層。從表2中可以看出, ResNet50的卷積層可分為5個卷積模塊, 即卷積層1至卷積層5。其中卷積層1只包含一個7×7的卷積層, 在其之后又連接了一個最大池化層; 而后四個卷積層由多個殘差結構堆疊而成, 每個殘差結構由三層卷積層組成, 卷積核大小分別為1×1、3×3以及1×1, 卷積層2至卷積層5包含的殘差結構數量分別3個、4個、6個以及3個, 各卷積層輸出的特征圖維度分別為256維、512維、1 024維以及2 048維。在卷積層5后面連接了一個平均池化層, 能夠加強特征映射和分類類別的一致性, 最后就是分類的全連接層, 其包含的神經元數量與所需分類的類別數一致, 一般為1 000個, 而在本研究中為5個。

2.2.2 雙流殘差網絡模型設計 在2.1節的內容中介紹了雙流卷積神經網絡, 該網絡能夠融合鰻鱺攝食行為的空間流信息和時間流信息。其中空間流網絡以視頻中的單幀鰻鱺攝食圖像作為輸入, 用于提取圖像中攝食鰻鱺的空間分布特征; 時間流網絡以Farneback稠密光流算法提取鰻鱺攝食行為的光流圖像作為輸入, 用于提取鰻鱺攝食時的運動趨勢和速度信息。在本研究中, 首先對空間流和時間流使用的卷積神經網絡進行改進, 即使用ResNet50網絡代替了網絡結構較淺的VGG-16網絡; 然后由于原Two-stream的空間流和時間流網絡為各自分開訓練的, 會導致網絡出現無法學習到時空信息之間的關聯特征的問題, 且雙流網絡最后的分類分數是把空間流和時間流的分數按一定比例融合得到, 最常見的為平均融合法, 這種融合方式較為簡單, 容易導致網絡分類結果不準確。因此本研究對Two-stream網絡的融合方式進行了改進, 即使用特征層融合的方式來代替Two-stream網絡的決策層融合方式。綜上, 本研究設計了一種基于殘差結構的雙流卷積神經網絡, 它的網絡結構更深, 而且能夠讓空間流網絡和時間流網絡并行進行訓練, 使網絡能學習到時空信息的關聯特征, 提高網絡的評估準確率。其具體結構如圖6所示。

圖6 本文雙流殘差網絡的具體結構

3 試驗與結果分析

3.1 試驗環境與參數設置

本研究試驗基于PyTorch框架, 使用硬件環境配置為: 處理器為Intel酷睿i9-9900X, 顯卡為NVIDIA RTX2080Ti, 顯存為11 G; 使用軟件環境配置為: 系統為Ubuntu18.04.1, 運行內存為128 G, Python版本為3.8, CUDA版本為11.2。

本研究試驗相關網絡模型參數設置: 模型迭代次數設置為100個epoch; batch_size設置為4; 模型優化器選擇帶動量的SGD算法, 其中動量因子參數設置為0.9; 權重衰減參數設置為0.000 5; 模型學習率參數初始化為0.001, 學習率每迭代完一個epoch就衰減為原來的0.33倍。

3.2 雙流殘差卷積神經網絡訓練結果

本研究的雙流殘差卷積神經網絡的融合位置選擇在空間流和時間流ResNet50的卷積層5之后。使用特征層融合的方式進行融合, 具體操作是將兩個通道數為2 048的特征層在相同的空間位置上進行拼接, 融合得到的特征層通道數為4 096。

鰻鱺攝食強度數據集共有2 000張圖像, 其中70%用作訓練, 30%用作測試。在數據集輸入網絡進行訓練之前, 使用經過預訓練的空間流和時間流ResNet50網絡的權重來初始化雙流殘差網絡的權重。在雙流殘差網絡中時間流和空間流網絡并行進行訓練, 網絡共迭代100輪。

雙流殘差網絡在訓練過程中每迭代完一個epoch就記錄一下網絡損失函數值, 其變化趨勢如圖7所示。從圖7中可以看出, 訓練過程中網絡損失在大概第18個epoch之前下降很快, 而在第50個epoch之后逐漸趨于穩定, 證明網絡模型已經達到收斂。

雙流殘差網絡每訓練完一個epoch就通過測試集進行評估, 并記錄下此時網絡的準確率。網絡在訓練階段的準確率變化如圖8所示, 從圖8中可知, 訓練時網絡的準確率上升很快, 在第10個epoch準確率就達到95%以上, 隨著訓練的進行準確率緩慢上升, 在第20個epoch之后逐漸平穩, 最后網絡的準確率達到98.6%。

3.3 模型檢測結果比較與分析

為了驗證本研究的雙流殘差網絡在鰻鱺攝食強度評估上的有效性, 首先與空間流和時間流網絡的評估準確率進行了比較, 如表3所示。其次還比較了雙流殘差網絡與Two-stream以及雙流網絡的評估準確率, 如表4所示。

圖7 雙流殘差網絡的訓練損失變化

圖8 雙流殘差網絡在測試集上的準確率變化

表3 雙流殘差網絡與單流網絡準確率比較

Tab.3 Comparison in the classification accuracy between dual-stream residual network and single-stream network

注: 表中各方法的分類算法均為ResNet50

表4 雙流殘差網絡與其他雙流網絡準確率比較

Tab.4 Comparison accuracy between dual-stream residual network and other dual-stream networks

注: 平均融合方式是指將空間流和時間流網絡的檢測結果之和取平均值的方式; 特征層融合方式在2.2.2雙流殘差網絡模型設計中有詳細介紹

從表3中可以看出, 空間流網絡的評估準確率為92.8%, 時間流網絡的評估準確率為90.1%, 前者比后者準確率高了2.7%, 說明在網絡結構一致的情況下, 空間流網絡的表現要優于時間流網絡。分析原因可能是由于時間流網絡的輸入即光流圖像容易受到水面反光以及水面波動等因素的影響, 導致光流圖像對攝食魚群的運動信息描述不準確, 從而影響網絡的評估結果。而二者使用特征層融合方式得到的雙流殘差網絡的評估準確率為98.6%, 相比空間流網絡和時間流網絡分別提升了5.8%和8.5%, 說明本研究的雙流殘差網絡能有效區分鰻鱺的各類攝食強度。

從表4中可以看出, Two-stream網絡的評估準確率為95.4%, 在將Two-stream的分類算法VGG-16替換為ResNet50之后得到雙流網絡, 其評估準確率為96.2%, 相較于Two-stream網絡準確率有些許提升, 提升了0.8%, 說明網絡結構較深的ResNet50能比VGG-16提取到更有效的特征。而本研究的雙流殘差網絡準確率為98.6%, 比Two-stream網絡和雙流網絡分別提升了3.2%和2.4%, 說明在特征層融合的方式能使網絡充分學習到鰻鱺攝食行為的時空關聯特征, 從而使得本研究雙流殘差網絡對鰻鱺攝食強度有較高的評估準確率。

由于本研究的雙流殘差網絡是在原Two-stream網絡基礎之上改進的, 所以為了進一步分析本研究改進的雙流殘差網絡對鰻鱺攝食強度評估準確率的影響, 本研究還計算了Two-stream和雙流殘差網絡對于鰻鱺攝食強度評估的混淆矩陣, 如圖9和圖10所示?；煜仃嚹軌蛑庇^地展示出網絡對于每類攝食強度的評估準確率, 其中橫軸表示攝食強度的真實標簽, 縱軸表示網絡預測標簽, 對角線上的數值為各類攝食強度的評估準確率。由圖9和圖10可知, 本研究雙流殘差網絡在鰻鱺攝食強度數據集上各類別的評估準確率均有不同程度的提升, 其中攝食強度為較強、正常、較弱和弱的準確率分別提升了5%、4%、2%和5%, 并且本研究雙流殘差網絡在鰻鱺攝食強度為強、正常和較弱的評估準確率均達到100%, 在攝食強度為較強和弱的評估準確率也都在95%以上。綜上說明, 與原Two-stream網絡相比, 本研究的雙流殘差網絡能充分利用鰻鱺攝食行為的時空關聯信息來實現對鰻鱺攝食強度的準確評估, 反映出本研究雙流殘差網絡的改進策略顯著有效。

圖9 Two-stream網絡的混淆矩陣

圖10 雙流殘差網絡的混淆矩陣

此外, 與以往的研究相比本研究方法也有更好的效果。周超等(2019)提出了一種基于近紅外機器視覺的方法, 將魚群攝食強度分為弱、一般、中和強4類, 該方法通過灰度共生矩陣來提取魚群攝食圖像的紋理特征, 再利用支撐向量機進行分類, 實現了對鏡鯉攝食強度的評估, 其評估準確率為87.78%。張佳林等(2020)首先利用變分自動編碼器提取水下魚群圖像的特征, 然后將得到的特征矩陣輸入卷積神經網絡進行分類, 以區分水下大西洋鮭的攝食行為和非攝食行為, 其分類準確率達到89%。Ubina等(2021)提出了一種基于三維卷積神經網絡的魚類攝食強度分類方法, 將魚類的攝食強度分為無、弱、中和強四類, 該方法的分類準確率為95%。與以上研究相比, 本方法的效果更好, 評估準確率達到98.6%, 并且在本研究中將魚群的攝食強度等級劃分更為詳細, 分為了強、較強、正常、較弱和弱這5個等級。本研究提出的方法對于魚類攝食強度有著更好的評估效果。

4 結論

本研究將雙流殘差卷積神經網絡應用于養殖鰻鱺的攝食強度評估。首先對傳統的Two-stream網絡進行了介紹, 然后針對該網絡存在的弊端提出了改進方法。針對原Two-stream網絡存在網絡結構較淺, 無法提取到充分的鰻鱺攝食行為特征的問題, 本研究使用網絡結構較深ResNet50網絡代替了VGG-16網絡以提取到更充分、更具代表性的特征; 針對原Two-stream的空間流和時間流網絡為獨立進行訓練, 且網絡最后的分類結果是把空間流和時間流的得分求和然后取平均值得到, 容易導致網絡出現無法學習到時空信息之間的關聯特征的問題, 本研究使用特征層融合的方式替代平均值融合的方式, 使網絡能夠學習到時空信息之間的關聯特征, 并能進行并行訓練。

試驗結果表明, 使用網絡結構更深的ResNet50之后, 鰻鱺攝食強度評估準確率達到96.2%, 準確率有小幅提升, 提升了0.8%; 再使用特征層融合方式之后得到本研究的雙流殘差網絡, 其評估準確率達到98.6%, 準確率又提升了2.4%, 并且與原Two- stream網絡相比, 準確率提升了3.2%。本研究的成果可以用于指導鰻鱺養殖全過程的高效精準投飼, 提高飼料的利用與轉化效率。例如, 可以根據本研究雙流殘差卷積神經網絡的評估結果對鰻鱺飼料的投喂量進行科學精準的調整, 當鰻鱺攝食強度為弱和較弱時, 采取降低投餌量的措施; 當鰻鱺攝食強度為正常時, 采取維持投餌量的措施; 當攝食強度為較強和強時, 采取增加投餌量的措施。綜上, 本研究的雙流殘差網絡在鰻鱺攝食強度評估研究上有重要的參考價值。

喬峰, 鄭堤, 胡利永, 等, 2015. 基于機器視覺實時決策的智能投餌系統研究[J]. 工程設計學報, 22(6): 528-533.

劉楊, 2021. 基于深度學習的水下殘餌檢測方法研究與實現[D]. 揚州: 揚州大學: 34-37.

李賢, 范良忠, 劉子毅, 等, 2012. 基于計算機視覺的大菱鲆對背景色選擇習性研究[J]. 農業工程學報, 28(10): 189-193.

張志強, 牛智有, 趙思明, 2011. 基于機器視覺技術的淡水魚品種識別[J]. 農業工程學報, 27(11): 388-392.

張佳林, 徐立鴻, 劉世晶, 2020. 基于水下機器視覺的大西洋鮭攝食行為分類[J]. 農業工程學報, 36(13): 158-164.

陳彩文, 杜永貴, 周超, 等, 2017. 基于圖像紋理特征的養殖魚群攝食活動強度評估[J]. 農業工程學報, 33(5): 232-237.

范良忠, 劉鷹, 余心杰, 等, 2011. 基于計算機視覺技術的運動魚檢測算法[J]. 農業工程學報, 27(7): 226-230.

周應祺, 王軍, 錢衛國, 等, 2013. 魚類集群行為的研究進展[J]. 上海海洋大學學報, 22(5): 734-743.

周超, 徐大明, 吝凱, 等, 2019. 基于近紅外機器視覺的魚類攝食強度評估方法研究[J]. 智慧農業, 1(1): 76-84.

趙建, 朱松明, 葉章穎, 等, 2016. 循環水養殖游泳型魚類攝食活動強度評估方法研究[J]. 農業機械學報, 47(8): 288-293.

胡利永, 魏玉艷, 鄭堤, 等, 2015. 基于機器視覺技術的智能投餌方法研究[J]. 熱帶海洋學報, 34(4): 90-95.

穆春華, 范良忠, 劉鷹, 2015. 基于計算機視覺的循環水養殖系統殘餌識別研究[J]. 漁業現代化, 42(2): 33-37.

BOCHKOVSKIY A, WANG C Y, LIAO H Y M, 2020. YOLOV4: optimal speed and accuracy of object detection [J]. arXiv: 2004.10934.

FARNEB?CK G, 2003. Two-frame motion estimation based on polynomial expansion [C] // Proceedings of the 13th Scandinavian Conference on Image Analysis. Halmstad, Sweden: Springer: 363-370.

HE K M, ZHANG X Y, REN S Q,, 2016. Deep residual learning for image recognition [C] // Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA: IEEE: 770-778

LI D L, WANG Z H, WU S Y,, 2020. Automatic recognition methods of fish feeding behavior in aquaculture: a review [J]. Aquaculture, 528: 735508.

LIU Z Y, LI X, FAN L Z,, 2014. Measuring feeding activity of fish in RAS using computer vision [J]. Aquacultural Engineering, 60: 20-27.

M?L?Y H, AAMODT A, MISIMI E, 2019. A spatio-temporal recurrent network for salmon feeding action recognition from underwater videos in aquaculture [J]. Computers and Electronics in Agriculture, 167: 105087.

?VERLI ?, S?RENSEN C, NILSSON G E, 2006. Behavioral indicators of stress-coping style in rainbow trout: do males and females react differently to novelty? [J]. Physiology & Behavior, 87(3): 506-512.

RAUF H T, LALI M I U, ZAHOOR S,, 2019. Visual features based automated identification of fish species using deep convolutional neural networks [J]. Computers and Electronics in Agriculture, 167: 105075.

SADOUL B, MENGUES P E, FRIGGENS N C,, 2014. A new method for measuring group behaviours of fish shoals from recorded videos taken in near aquaculture conditions [J]. Aquaculture, 430: 179-187.

SIMONYAN K, ZISSERMAN A, 2014. Two-stream convolutional networks for action recognition in videos [C] // Proceedings of the 27th International Conference on Neural Information Processing Systems. Montreal, Quebec, Canada: MIT Press: 568-576.

SIMONYAN K, ZISSERMAN A, 2015. Very deep convolutional networks for large-scale image recognition [C] // Proceedings of the 3rd International Conference on Learning Representations. San Diego, CA, USA: ICLR.

UBINA N, CHENG S C, CHANG C C,, 2021. Evaluating fish feeding intensity in aquaculture with convolutional neural networks [J]. Aquacultural Engineering, 94: 102178.

WISHKERMAN A, BOGLINO A, DARIAS M J,, 2016. Image analysis-based classification of pigmentation patterns in fish: a case study of pseudo-albinism in Senegalese sole [J]. Aquaculture, 464: 303-308.

ZHANG S, YANG X T, WANG Y Z,, 2020. Automatic fish population counting by machine vision and a hybrid deep neural network model [J]. Animals, 10(2): 364.

ZHOU C, XU D M, CHEN L,, 2019. Evaluation of fish feeding intensity in aquaculture using a convolutional neural network and machine vision [J]. Aquaculture, 507: 457-465.

EVALUATION ON FEEDING INTENSITY OF AQUACULTURE EEL () BY DOUBLE-FLOW RESIDUAL CONVOLUTION NEURAL NETWORK

LI Kai1, 2, JIANG Xing-Long1, 2, XU Zhi-Yang1, 2, LIN Qian1, 2

(1. Fisheries College, Jimei University, Xiamen 361021, China; 2. Engineering Research Center of the Modern Technology for Eel Industry, Ministry of Education, Xiamen, 361021, China)

To accurately evaluate the feeding intensity in eel () culture, the eel intensity evaluation method based on double-flow residual convolution neural network was proposed, by which the problems existing in traditional double-flow network (Two-stream) was solved. The traditional two-flow network is shallow in network structure and not able to extract sufficient eel feeding behavior information. Therefore, ResNet50 network was chosen to extract more representative features. The final classification score of the traditional double-flow network could be obtained by combining the average scores of spatial flow and time flow, and the fusion method was relatively simple, and the spatial flow and time flow network were trained independently, which could lead to an issue that the network cannot learn the spatio-temporal correlation characteristics of eel feeding behavior. We chose to use the feature layer fusion method to fuse the features extracted from the spatial flow and time flow network, by which the network was trained in parallel to extract the correlation features of the spatio-temporal network. Results show that the classification accuracy of the eel feeding intensity evaluation in double-flow residual convolution neural network reached 98.6%, which was 5.8% and 8.5% higher than that of single-channel spatial flow and time flow network, respectively. Compared with the traditional double-flow network, the classification accuracy was improved by 3.2%.

eel; feeding intensity; double-flow residual convolution neural network; ResNet50; parallel training; feature layer fusion

*國家重點研發計劃“特色魚類精準高效養殖關鍵技術集成與示范”, 2020YFD0900102號; 福建省科技廳高校產學合作項目, 2020N5009號。李 凱, 碩士研究生, E-mail: 924140205@qq.com

江興龍, 博士, 教授, E-mail: xinlongjiang@jmu.edu.cn

2022-11-07,

2023-01-14

Q959.9; S965

10.11693/hyhz20221100291