基于光流法的魚群攝食狀態細粒度分類算法

唐 宸，徐立鴻※，劉世晶

（1. 同濟大學電子與信息工程學院，上海 201804；2. 中國水產科學研究院漁業機械儀器研究所，上海 200092）

0 引言

近年來，由于水產養殖產品需求量的日益增長，漁業養殖技術受到了越來越多的關注[1]。研究表明，科學、合理的餌料投放技術是確保魚群健康生長的關鍵[2-3]，實際養殖過程中可以通過對魚群的攝食狀態進行分類來描述其攝食行為[4-5]，進而實現對魚群攝食過程的實時監控[6-8]。此外，隨著養殖規模的擴大，循環養殖系統（Recirculating Aquaculture System, RAS）逐漸成為漁業工廠化養殖的首選方案[9-10]。該系統裝配了水流循環裝置以確保水流的循環清潔，能夠最大程度地保證水產養殖的可持續性[11]。因此，在循環養殖系統中研究魚群的攝食狀態分類算法，對在工廠化養殖中精細地描述魚群的攝食行為、實現更加精準的投餌自動控制，具有重大意義。

目前，針對魚群攝食狀態分類算法的研究，可分為基于聲學模型和基于視覺模型兩類。如Juell等[12-13]通過聲學傳感器探測餌料的剩余情況以進一步分析魚群當前的攝食狀態；Masaló等[14]則通過聲納技術直接探測魚群的游動狀態，然而這些算法大多依賴于價格高昂的聲學傳感器而無法大規模應用于實際生產環境。相比之下，基于視覺模型的算法研究僅使用視頻采集設備，成本相對較低，此類算法逐漸成為該領域的研究熱點。Atoum等[15]和Li等[16]利用相關濾波技術跟蹤單條魚的游動情況進而分析魚群整體的攝食狀態，但這類魚群跟蹤算法較難處理魚群遮擋情況，因此在養殖密度較大的循環養殖系統中不太適用。另外，從魚群整體角度考慮，Duarte等[17]提出了圖像處理活動系數（Image Processing Activity Index, IPAI），通過視頻的幀間差值來計算魚群的游動系數；Liu等[18]和Zhou等[19]提出了魚群攝食聚集系數（Flocking Index of Fish Feeding Behavior, FIFFB）和魚群攝食搶食強度（Snatch Intensity of Fish Feeding Behavior, SIFFB）2個系數來量化魚群的聚集和搶食程度；陳彩文等[20]基于魚群攝食圖像的紋理特征來評估魚群的攝食強度；Zhou等[21]直接采用卷積神經網絡對魚群攝食的圖像進行分類；H?kon等[22]提出了雙流循環神經網絡（Dual Stream Recurrent Network, DSRN）

對魚群的攝食狀態進行分類，DSRN的網絡結構為VGGNet[23]和ResNet[24]，計算量大，在實際使用時計算機需裝配GTX1080或更高等級顯卡，不太適用于經濟成本受限的工廠化養殖環境，而張佳林等[25]提出了變分貝葉斯卷積神經網絡（Variational Auto Encoder Convolutional Neural Network, VAE-CNN）通過提取視頻的變分貝葉斯特征對工廠化養殖環境的魚群攝食狀態進行分類。

光流法基于視頻相鄰幀計算光流位移場表征物體的運動趨勢，根據該光流位移場可以計算物體的運動特征，尤其適用于分析視頻內物體的運動狀態[26-29]，如Zhao等[27]通過光流法計算魚群的游動特征，提出了一個動能模型對魚群的聚集和離散程度進行建模。由于當前對魚群攝食行為的研究大多采用深度學習方法，應用光流法的研究較為鮮見，因此本研究創新性地將光流法用于提取魚群在視頻相鄰幀間的運動特征，進而對魚群的攝食狀態進行分類。

綜上，大部分魚群攝食狀態分類算法都基于實驗室的理想環境開展研究，導致算法在應用時往往存在諸如光照、能見度等條件限制而無法應用于復雜的工廠化養殖環境。本研究旨在提出一種適用于工廠化循環養殖系統的魚群攝食狀態分類算法，首先收集并標注了基于水下視角的魚群攝食狀態細粒度分類數據集，其次通過光流法提取視頻內魚群的幀間運動特征，然后構建一個幀間運動特征分類網絡對該特征進行細粒度分類，最后基于投票策略確定視頻的最終類別，該算法可為精細化描述魚群的攝食行為，實現精準投餌自動控制提供參考。

1 材料與方法

1.1 試驗材料與環境

本研究試驗對象為大西洋鮭魚（Salmo salarL.），該魚種具有較強的搶食性，且在不同攝食階段的行為差異較為明顯，試驗魚體長約40～45 cm，平均魚體質量2 kg左右。試驗數據采集于山東煙臺的東方海洋科技有限公司（中國）7號養殖車間，車間內養殖池池深1.8 m，平均半徑4 m。養殖池水溫保持在15 ℃左右，池內溶解氧濃度保持在10～12 mg/L，養殖密度約為7.5條/m3。

該養殖車間配備的投餌裝置為箱式投餌機，投餌時該機器會沿著導軌向周圍拋灑餌料。該投餌機采用定時定量的投餌方式，每日08:00、12:40、20:00進行投餌，每次投餌操作并非1次性將餌料全部投出，而是按照投餌1 min、暫停1 min的方式進行間隔投餌，該方式有利于魚群在每次投餌時充分攝食。

1.2 視頻采集系統方案

視頻采集設備為水下攝像機（Hero7，GoPro，美國），視頻圖像分辨率為1 920×1 080像素，幀率為30 Hz。所有視頻均以水下視角采集，4個攝像機以90°間隔安裝在養殖池四周，通過立桿固定在距池底0.5 m的高度，靠緊池壁，保證拍攝視角水平。基于4個位置采集視頻能夠較好的避免單一視角下魚群攝食行為不明顯的情況。整個視頻采集過程中確保視頻的光照一致性，剔除光照過強、過弱的視頻片段。此外，循環養殖池存在人工增氧行為，增氧過程中采集的視頻片段其畫面內容難以分辨，也需剔除。視頻處理依靠基于Python語言的圖像處理庫OpenCV完成。

1.3 數據集制作

所采集原始視頻長度均在2～3 min不等，首先將原始視頻按照魚群的未攝食、弱攝食和強攝食進行標注，其次在原始視頻內部按照3 s的長度切分出多條樣本，并對這些樣本進行篩選，剔除畫面被異物遮擋、充氧曝氣的噪聲樣本，最后構成魚群攝食狀態細粒度分類數據集。

原始視頻的標注參照?verli等[30]提出的魚群攝食狀態標注規則完成，分為：1）未攝食：魚群對周圍餌料無反應，正常巡游；2）弱攝食：魚群開始主動進食，但只對周圍餌料有反應，游動范圍較小；3）強攝食：魚群開始主動搶食，游動范圍明顯擴大。

標注工作由5名研究人員同時展開，采取一致性原則，即至少4人對某個視頻樣本標注同一類別后該樣本可被確定標為對應類別，否則將其記為“類別模糊樣本”并直接廢棄。最終，魚群攝食狀態細粒度分類數據集的單個樣本長度為3 s（90幀），共包含752個視頻樣本，其中未攝食、弱攝食和強攝食類別分別包含311、311和130個樣本，訓練集樣本（525個）、驗證集樣本（75個）、測試集樣本（152個）按照7:1:2的比例劃分。

考慮到基于水下視角采集視頻的光照情況較差，視頻畫面較暗，以偏藍綠色調為主，大部份像素點的像素值都集中在[50，100]區間內，本研究采用直方圖線性變換法，拉寬像素值的分布區間，增強視頻畫面的亮度和對比度。

2 基于光流法的魚群攝食狀態細粒度分類算法構建

2.1 光流法提取幀間運動特征

本研究采用光流法[31]提取視頻內魚群的幀間運動特征。光流法在圖像的全局范圍內計算每個像素點在相鄰幀間的偏移量，形成光流位移場。該光流位移場能夠很好地表示循環養殖池場景中魚群整體的運動情況。

光流法依賴于下述3個假設：1）亮度恒定，目標的像素值在相鄰幀間不會發生變化；2）時間連續，物體在相鄰幀間的運動十分微小；3）空間一致，領域范圍內的像素點具有相同的運動趨勢。基于亮度恒定假設，目標的像素值在相鄰幀中保持不變，該等量關系如式（1）所示：

式中p(x,y,t)表示坐標為(x,y)的像素點在t時刻的像素值，pixels；p(x+x',y+y',t+t')表示該像素點在t+t′時刻移動到(x+x′,y+y′)位置后的像素值，pixels。對式（1）進行泰勒展開，推導出光流方程如式（2）所示：

式中px為像素值p對位置x的偏導，pixels；py為像素值p對位置y的偏導，pixels；pt為像素值p對時刻t的偏導，pixels/s；u為光流沿x方向的運動矢量，pixels/s；v為光流沿y方向的運動矢量，pixels/s。

像素點移動的幅值強度（pixels）和相角角度（°）計算如式（3）和式（4）所示：

式中Px(u,v)為光流位移場中坐標為(u,v)的像素點沿水平方向x的偏導，pixels；Py(u,v)為坐標為(u,v)的像素點沿垂直方向y的偏導，pixels；mag(u,v)為坐標為(u,v)的像素點移動的幅值強度，pixels；ang(u,v)為坐標為(u,v)的像素點移動的相角角度，(°)。本研究采用光流法計算得到視頻相鄰幀的光流位移場后，根據該光流位移場的水平分量px和垂直分量py計算每個位置像素點移動的幅值強度（pixels）和相角角度(°)，然后將幅值強度和相角角度分別在最小值至最大值范圍內均勻地劃分為多個區間，并統計不同區間內的像素點數量，得到幅值強度和相角角度的區間分布信息，將該分布信息作為視頻內相鄰兩幀的幀間運動特征。

對于魚群攝食狀態細粒度分類數據集中的單個視頻樣本（其包含90幀圖像），采用光流法對視頻內所有相鄰幀計算，可得到89個幀間運動特征，由此可將魚群攝食狀態細粒度分類數據集轉化為幀間運動特征細粒度分類數據集，幀間運動特征細粒度分類數據集共包含66 928個樣本，其中未攝食、弱攝食和強攝食類別分別包含27 79、27 679和11 570個樣本，訓練集樣本（46 725個）、驗證集樣本（6 675個）、測試集樣本（13 528個）按照7:1:2的比例劃分。

2.2 幀間運動特征分類網絡

本研究提出了1個包含5層全連接層的幀間運動特征分類網絡對光流法提取的幀間運動特征進行分類，該網絡的整體結構如圖1所示。

其中，網絡的輸入層為光流法提取的16維的幀間運動特征，輸入層之后為3層隱含層，其激活函數均采用Relu激活函數，隱含層節點數分別為64、128、64，輸出層有3個節點分別代表未攝食、弱攝食和強攝食3個類別，并采用Softmax分類函數預測類別概率，如式（5）所示：

式中L為對數損失值；Gi表示類別i對應的標簽，其中真實類別標簽為1，其余類別標簽為0，該損失函數只會針對標簽為1的真實類別計算對數損失值，且預測概率越小，對數損失值越大。

該網絡基于幀間運動特征細粒度分類數據集訓練，訓練集包含46 725個幀間運動特征樣本，該數據規模能夠較好的滿足幀間運動特征分類網絡的訓練需求，可減小訓練過程中出現過擬合的可能性。該網絡的學習率為0.001，迭代次數為2000次。

2.3 投票策略

魚群攝食狀態細粒度分類數據集的單個視頻樣本經過光流法計算可得到89個幀間運動特征樣本，經過幀間運動特征分類網絡分類可得到89個對應的分類結果（未攝食、弱攝食和強攝食），算法后續根據這89個分類結果確定視頻樣本的最終類別。

本研究提出了基于自定義閾值的多數投票策略，在89個幀間運動特征的分類結果中選擇預測頻率最高的類別作為視頻樣本最終的候選類別，且額外增加了閾值判斷（閾值可自行設置為視頻幀總數量的50%、80%或其他任意值），要求候選類別對應的預測頻率大于閾值時算法才將其預測為視頻的最終類別，否則將其預測為“不確定類別”。例如某個視頻樣本的89個幀間運動特征在未攝食、弱攝食和強攝食3個類別中分別有48、18、23個預測樣本，投票閾值設置為視頻幀總數量的60%，此時未攝食類別的預測頻率最高為53.9%，但低于閾值60%，因此算法最終將該視頻樣本預測為不確定類別。

本研究基于候選類別預測頻率（R, %）的計算方法如式（7）所示：

式中m為候選類別的幀間運動特征樣本的數量，Tf為所有類別的幀間運動特征樣本的總數量。

投票閾值和視頻樣本預測類別的預測頻率成正比關系，投票閾值設置越高，算法最終預測類別的預測頻率就越高。因此算法可以通過調整投票閾值，獲得不同預測頻率的預測結果。

投票閾值的設定如下：若對魚群攝食狀態的分類精準度要求較高，推薦將投票閾值設置為80%，以高預測頻率盡可能地保證視頻樣本預測的正確性；若對魚群攝食狀態分類結果的確定性要求較高，推薦將投票閾值設置為50%，避免大量視頻樣本因預測頻率不達標而被預測為不確定類別。

2.4 性能評價指標

本研究選取了精準度（Precision, %）、召回率（Recall, %）、F1得分（F1-score, %）、視頻準確率（AccuracyV，%）和幀間運動特征準確率（AccuracyF，%）5個評價指標來評估算法的最終性能。精準度、召回率、F1得分用于評價算法在每個類別內部的分類效果，視頻準確率和幀間運動特征準確率用于評價算法在類別間的綜合分類效果。

精準度表示算法預測的所有屬于該類別的樣本中預測正確的比例，召回率表示所有真實屬于該類別的樣本中被算法正確預測的比例。如果僅僅關注精準度指標，則容易出現算法保守預測的情況（即算法只對極少數樣本做出預測，大量正確樣本被遺漏，則會出現精準度很高但召回率很低的現象）；而僅僅關注召回率指標則容易出現算法暴力召回的情況（即算法將所有類別的樣本全都預測為某一類別，則會出現精準度很低但召回率很高的現象）。F1得分則綜合考慮了精準度和召回率之間的關系，評估算法性能時能夠避免算法出現保守預測和暴力召回的情況。視頻準確率用于衡量算法最終對視頻樣本的分類效果，其以視頻樣本為單位進行計算，其計算如式（8）所示：

式中Nv為預測正確的視頻樣本數量，Tv為所有類別的視頻樣本的總數量。幀間運動特征準確率用于衡量算法內部幀間運動特征分類網絡的分類效果，其以幀間運動特征樣本為單位進行計算，其計算如式（9）所示：

式中Nf為預測正確的幀間運動特征樣本數量，Tf為所有類別的幀間運動特征樣本的總數量。

3 結果與分析

3.1 幀間運動特征維度選擇

本研究算法在提取視頻內魚群的幀間運動特征時首先通過光流法計算得到像素點運動的幅值強度和相角角度信息，并將幅值強度和相角角度在最小值至最大值的范圍內均勻地劃分為多個區間，該區間劃分數量將會影響算法最終的分類效果（表1）。投票閾值設置為50%，幅值強度和相角角度的區間劃分數量從4個增加至8個時，算法的幀間運動特征準確率和視頻準確率均有明顯提升，分別達94.6%和98.7%；當區間劃分數量從8個增加至16個時，算法的幀間運動特征準確率和視頻準確率增幅很小，分別為0.3個百分點和0.5個百分點，說明增加區間劃分數量所帶來的效果提升已趨于飽和。考慮到區間劃分越多，特征復雜度越高，本研究算法最終采用幅值強度和相角角度的8個區間劃分方案，在保證分類效果的前提下，盡可能地降低幀間運動特征的維度。

表1 不同區間數量下本研究算法的幀間運動特征準確率和視頻準確率 Table 1 Inter-frame motion feature accuracy and video accuracy of algorithm proposed in this study under different numbers of ranges

3.2 本研究算法試驗結果分析

本研究算法在投票閾值設置為50%時未攝食、弱攝食和強攝食類別的的精準度、召回率和F1得分如表2所示，3個類別的F1得分分別為99.5%、97.6%和95.2%，均在95%以上，說明該算法在50%投票閾值情況下能夠很好地完成魚群攝食狀態的細粒度分類任務。

表2 投票閾值設置為50%時本研究算法的性能 Table 2 Performances of algorithm proposed in this study when voting threshold is 50%

3.3 其他攝食狀態分類算法試驗結果對比

為驗證魚群攝食狀態細粒度分類任務中時序信息的重要性，本研究與以下3類相關算法進行了對比試驗：1）基于紋理特征的算法，參考陳彩文等[20]通過圖像的紋理信息表征魚群的攝食強度，將本研究中通過光流法提取的幀間運動特征替換為基于灰度共生矩陣提取的單幀紋理特征。該算法首先通過灰度共生矩陣提取視頻單幀的紋理特征，并訓練分類神經網絡對該紋理特征進行分類，最后通過投票策略預測視頻樣本的最終類別。投票閾值設置為50%時該算法在未攝食、弱攝食和強攝食類別的F1得分分別為90.3%、89.6%和7.3%（表3），此時該算法的視頻準確率為80.9%（表4），細粒度分類效果較差；2）單幀卷積神經網絡算法，參考Zhou等[21]直接采用卷積神經網絡對視頻內部所有的單幀圖像進行分類。該算法直接訓練卷積神經網絡對視頻內部所有的單幀圖像進行分類，后續同樣通過投票策略預測視頻樣本的最終類別。投票閾值設置為50%時該算法在未攝食、弱攝食和強攝食類別的F1得分分別為91.6%、86.8%和91.1%（表3），此時該算法的視頻準確率為89.4%；當投票閾值提高至80%時該算法的視頻準確率大幅下降至62.5%，對比本研究算法91.4%的視頻準確率，兩者差距明顯（表4）；3）基于水下視角的變分貝葉斯卷積神經網絡分類算法[25]（Variational Auto Encoder Convolutional Neural Network, VAE-CNN）。本研究修改了VAE-CNN算法的網絡結構，將其從原先的魚群攝食狀態二分類結構擴展到魚群攝食狀態的細粒度分類結構，該算法將視頻內所有單幀圖像的變分貝葉斯特征進行合并作為該視頻樣本的最終特征，并對該特征進行分類。投票閾值設置為50%時未攝食、弱攝食和強攝食類別的F1得分分別為63.4%、64.1%和0（表3）。VAE-CNN算法直接對視頻樣本進行分類，無法引入投票策略，因此針對不同投票閾值計算視頻準確率的評估方法不適用于該算法。此外，本研究算法的視頻準確率隨著投票閾值的升高而呈現下降趨勢。投票閾值越高，算法預測視頻類別時對候選類別預測頻率的要求就越高，更多的視頻可能因為候選類別的預測頻率未達到投票閾值而被預測為不確定類別，即被正確預測的視頻樣本數減少。投票閾值從為50%提高至80%時，本研究算法的視頻準確率呈現下降趨勢，從98.7%降至91.4%（表4）。

表3 投票閾值設置為50%時不同算法在3種類別的F1得分 Table 3 F1-score of different algorithms in 3 categories when voting threshold is 50%

表4 不同投票閾值下不同算法的視頻準確率 Table 4 Video accuracy of different algorithms under different voting thresholds

分析以上對比試驗結果，得到以下結論：

1）基于紋理特征的算法無法對強攝食類別進行分類，說明視頻單幀圖像的紋理特征所包含的信息無法解決魚群強、弱攝食狀態的細粒度分類問題。本研究算法通過光流法提取幀間運動特征的創新方法更加有效。

2）基于單幀CNN的算法在提高投票閾值時視頻準確率下降明顯，說明該算法在視頻內部對很多幀分類錯誤，無法準確地學習魚群強、弱攝食狀態之間的差異。本研究算法通過光流法提取幀間運動特征的創新方法更加有效。

3）VAE-CNN算法的對比試驗表明，在魚群攝食狀態細粒度分類任務上，直接合并VAE特征所包含的信息不足以區分魚群強、弱攝食狀態之間的差異。考慮到VAE-CNN算法直接基于視頻樣本訓練，本研究中的魚群攝食狀態細粒度分類數據集僅包含752個視頻樣本，數據集規模過小也會影響VAE-CNN算法的學習能力。這也說明了本研究算法能夠很好地解決數據集規模過小的問題，通過光流法提取視頻的幀間運動特征將視頻樣本轉化為幀間運動特征樣本，隱式的擴大了訓練數據的規模。

4 結 論

本研究面向工廠化循環養殖池環境采集視頻，制作了一個魚群攝食狀態的細粒度分類數據集，并提出了一種基于光流法特征提取的魚群攝食狀態細粒度分類算法，同時對其效果進行了驗證。驗證結果表明，該算法通過對魚群攝食狀態的細粒度分類能夠更精細地描述魚群的攝食行為，且有以下特點：

1）本研究算法在投票閾值設置為50%時，視頻準確率達98.7%；在投票閾值提高至80%時，視頻準確率為91.4%。在不同的投票閾值設置下，算法的視頻準確率始終在90.0%以上，說明該算法在工廠化循環養殖池場景中的分類魯棒性較強。

2）較之于基于紋理特征的算法和單幀卷積神經網絡算法對視頻內的單幀圖像提取特征，本研究算法提取視頻相鄰幀的幀間運動特征在魚群攝食狀態的細粒度分類任務上更加有效。

3）較之于變分貝葉斯卷積神經網絡分類算法（Variational Auto Encoder Convolutional Neural Network, VAE-CNN），本研究算法通過光流法提取視頻內部的幀間運動特征，將視頻樣本轉化為幀間運動特征樣本，隱式的擴大了數據集規模，解決了視頻數據集規模過小不利于算法訓練的問題。

本研究根據工廠化循環養殖池中魚群的巡游特點針對性的提出了基于光流法特征提取的魚群攝食狀態細粒度分類算法，然而在非工廠化的野外養殖環境中魚群的巡游特點可能有所不同，本研究的下一步工作將面向野外養殖環境進一步完善當前算法。