基于計算機視覺的魚類低氧脅迫行為檢測與跟蹤算法

李道亮 姜國旗 楊建安 白 羽 謝 琰 王承國

(1.中國農業大學國家數字漁業創新中心, 北京 100083; 2.中國農業大學信息與電氣工程學院, 北京 100083;3.中國農業大學煙臺研究院, 煙臺 264670)

0 引言

在水產養殖中,魚類福利對于魚的生長有著至關重要的影響[1-3],其中溶解氧是影響魚類福利水平的重要指標之一。在工廠化水產養殖中,溶解氧含量與魚類養殖密度密切相關,一旦水池長時間處于低氧狀態下,魚將會大面積的出現生長放緩、生殖能力下降、免疫功能低下和發病率、死亡率升高等現象[4-5]。傳統水產養殖方式主要依賴養殖人員的經驗和肉眼觀察來判斷魚是否受低氧環境脅迫,但其實時性差、可靠性低、準確性低。為了工廠化水產養殖能夠盡可能減少人工干預、增加魚的福利以取得最大化的收益,有必要提出一種對魚的低氧脅迫行為可實時、可靠、準確判斷的方法。

計算機視覺技術作為一種非入侵式且穩定性較好的方法,逐漸成為魚類物種行為檢測的首選[6]。計算機視覺常見的任務包括圖像分類、目標檢測[7-8]、目標跟蹤[9-10],在水產養殖行業已經得到了較廣泛的應用。針對渾濁的水下環境,HUSSAM等[11]將彩色多尺度Retinex顏色增強技術與YOLO算法結合以實現較高的魚類檢測精度。DU等[12]提出了一種ResNet50-LSTM算法來識別魚育種過程中的基本行為,該算法在光照強度低、養殖密度高、養殖環境復雜的養殖車間中檢測效果顯著,有很好的魯棒性和有效性。CAI等[13]將YOLO v3和MobileNet進行結合,優化了MobileNet骨干網絡中特征圖的確定策略,相對于原模型其檢測精度提升3.06個百分點,且推理速度也有明顯提升。HU等[14]提出了一種改進的YOLO v4算法用于檢測殘余飼料顆粒,其對密集連接和去冗余操作進行特征映射改進,AP50增長27.21個百分點,計算量減少30%,但其更適用于極小目標的檢測。

隨著深度學習的迅速發展和目標檢測算法精度不斷提升,基于目標檢測的多目標跟蹤算法已成為主流,根據目標跟蹤類型分為單目標跟蹤和多目標跟蹤。WANG等[15]提出了一種檢測、跟蹤魚類異常行為的YOLO v5和SiamRPN++組合網絡,其主要對檢測頭、上采樣和下采樣進行改進,檢測精度和速度效果較好,但SiamRPN++采用迭代的方式實現多目標跟蹤,原理上還是單目標追蹤,當迭代次數過多時,會消耗大量的GPU資源。SI等[16]采用YOLO v5和多目標跟蹤技術DeepSORT開發了一套準確可靠的多斑馬魚幼蟲跟蹤系統,其檢測精度和跟蹤精度的魯棒性相對較好,但對于檢測器和跟蹤器還有很大的提升空間。

因此,本文構建一種改進的YOLO v5和DeepSORT組合網絡算法用于檢測和跟蹤魚類低氧脅迫行為,為魚類高效養殖提供技術支持,其主要包含檢測器YOLO v5和跟蹤器DeepSORT兩部分,在檢測器原基礎模型上增加基于移位窗口的自注意力機制Swin Transformer用于提升YOLO v5中Backbone和Neck對特征信息的提取能力,進而提高YOLO v5對魚類低氧脅迫行為檢測精度,在跟蹤器方面采用Warmup和Cosine Annealing結合的策略對學習率進行調整以加速模型收斂,以提升跟蹤模型整體性能。

1 數據采集與數據處理

1.1 數據采集

魚類低氧脅迫行為識別所用到的實驗數據取自于重慶農業科學院魚菜共生AI工廠,選取對象為50條亞成年加州鱸魚,采用海康威視變焦攝像頭(4.0×106像素)以速度25 f/s拍攝視頻數據片段共90個,拍攝時間為2022年6—8月,期間拍攝時間段為 09:00—11:30、13:30—17:30。整個視頻數據采集的過程中,除實驗池中溶解氧含量會出現大幅度變化外,其余水質參數指標均控制在亞成年加州鱸魚正常生活范圍內,實驗場地(1.5 m×2 m)如圖1所示。

圖1 實驗場地Fig.1 Experimental site

1.2 數據處理

從拍攝的視頻中抽取圖像序列并通過Labelimg工具進行標注、Python圖像截取,其中1 439幅圖像用于檢測器,9 184幅圖像用于跟蹤器。對于檢測器圖像,為了防止過擬合、避免樣本不均衡,并為了提升模型的魯棒性及泛化能力,分別對其中的200、600、170幅圖像添加高斯噪聲、椒鹽噪聲及亮度調節,并對數據集進行隨機劃分,訓練集與驗證集圖像數量比為8∶2。對于跟蹤器圖像,將截取圖像按照Market1501數據集格式進行分配,訓練集與驗證集比為9∶1。

2 目標檢測和目標跟蹤算法原理

采用檢測和目標跟蹤算法YOLO v5與DeepSORT。YOLO v5作為檢測器對視頻幀中的目標進行檢測,檢測結果作為跟蹤器DeepSORT的輸入,更高的檢測精度能提升DeepSORT的跟蹤性能。DeepSORT提取檢測器檢測的目標特征,計算前后兩幀目標的匹配程度,為每個所追蹤到的目標分配對應ID。

2.1 目標檢測算法

目前,主流的目標檢測算法主要分為One-Stage和Two-Stage。One-Stage直接通過主干網絡給出類別和位置信息,其算法包括YOLO[17-18]系列、SSD[19]和EfficientDet[20]。Two-Stage先由算法生成一系列樣本的候選框,再通過卷積神經網絡提取相關特征進行目標的分類和定位,其代表算法為R-CNN[21]系列。通常情況下,前者相對后者檢測速度較快,在某些情況下檢測精度略高。

2.1.1Swin Transformer注意力機制

Swin Transformer[22]作為一種通用的計算機視覺主干網絡,主要解決Transformer從NLP領域調整到 CV領域所帶來的實體尺寸、分辨率等差異。其作為一種分層級的Transformer,通過移位窗口將自注意的計算限制在非重疊的局部窗口上,并允許跨窗口連接。

Swin Transformer整體架構如圖2a所示,它首先是通過面片分割模塊將輸入的RGB圖像分割成不重疊的面片,每個面片都被看作一個“token”,其特征被設置為原始像素RGB的連接。本文使用的是4×4的面片尺寸,其特征維數為4×4×3=48,并將該原始值特征上應用線性嵌入層,將其投影到任意維度C。Swin Transformer共包含4個階段,每個階段都包含2部分,分別是Patch Merging(第1 階段為Linear Embedding)和連續的Swin Transformer Block,目的是用來計算相關性和采樣,其第1階段不會改變特征圖尺寸,其余3個階段在改變特征圖的同時改變了通道數。Swin Transformer Block是在標準的Transformer基礎上,替換多頭注意力計算部分MSA(Multi-head self-attention)為基于移位窗口的模塊W-MSA(Windows multi-head self-attention)和SW-MSA(Shifted windows multi-head self-attention),其余結構不變,如圖2b所示。

圖2 Swin Transformer注意力機制Fig.2 Swin Transformer attention mechanism

2.1.2YOLO v5算法優化

本文構建了一種新的目標檢測算法ST-YOLO v5,網絡結構如圖3所示,其主要由4部分組成,分別為輸入端、Backbone、Neck和Prediction。輸入端主要對輸入數據進行Mosaic數據增強、自適應錨框計算以及自適應圖像縮放。Backbone主要由Focus、C3及SPP等模塊組成,主要目的是目標特征提取。Neck采用FPN+PAN結構,其中FPN和PAN的走向相反,前者從上往下傳遞強語義特征,后者從下往上傳遞強定位信息,讓模型的參數在不同的層次進行聚合。Prediction的主體部分由3個Detect組成,其利用基于網格的anchor在不同尺度的特征圖上進行目標檢測,進行最終預測的輸出。

圖3 ST-YOLO v5網絡結構圖Fig.3 ST-YOLO v5 network structure

在ST-YOLO v5中,首先將原YOLO v5的C3模塊與Swin Transformer模塊結合成C3STR模塊,并分別對Backbone中最后2個C3模塊、Neck中前2個C3模塊進行C3STR模塊的改進替換。經過實驗對比發現,ST-YOLO v5的檢測效果明顯優于原YOLO v5。因此,ST-YOLO v5更適合作為檢測器。

2.2 目標跟蹤算法

SORT算法是DeepSORT的前身[23-24],其跟蹤過程是首先通過檢測器(如Faster R-CNN、YOLO等)把每一幀的物體檢測出來,隨后通過卡爾曼濾波算法[25-26]和匈牙利算法[27]分別進行幀預測、匹配。SORT檢測速度較快,但是當物體發生遮擋時會出現頻繁的ID切換,進而導致跟蹤效果不佳。因此,DeepSORT在SORT模型的基礎上引入級聯匹配(Matching cascade)和新軌跡確認(Confirmed),可以有效地改善遮擋情況下目標跟蹤的效果。

2.2.1學習率策略

在訓練過程初期因距離目標太遠,一般采用較大的學習率,但較大的學習率容易導致不穩定性。DeepSORT的學習率策略為每過20輪迭代,學習率變為原學習率的1/10。而這種學習率策略會使學習率出現階梯現象,導致模型不能快速、穩定收斂。為了解決這種慢且不穩定的收斂情況,本文采用Warmup策略[28]對前5個epoch進行預熱學習率調整。該策略的核心在于逐步預熱,它將學習率從一個小值逐漸增加到一個大值,可有效地解決模型前期收斂慢、不穩定問題。

通常在模型訓練過程中,隨著模型訓練的進行,會逐漸降低學習率,這樣才有助于找到最優解。因此,當采用Warmup策略逐步預熱學習率到所設預值時,則采用Cosine Annealing策略[29-30]對學習率進行調整。在整個訓練過程中學習率的變化曲線如圖4所示。

圖4 學習率變化曲線Fig.4 Learning rate change curves

由圖4可知,采用Warmup和Cosine Annealing結合的學習率調整策略能夠更好地減少學習率階梯現象。通過大量測驗來驗證這種學習率結合調整策略的可行性,驗證結果如圖5所示。從收斂角度看,相對于原學習率調整策略,Warmup和Cosine Annealing結合的學習率調整策略能夠加快跟蹤模型收斂速度,減少了模型前期在收斂過程中階梯現象。因此,在跟蹤模型訓練過程中,采用Warmup和Cosine Annealing結合的學習率策略比原有的學習率策略更適用于DeepSORT模型訓練。

圖5 不同學習率策略下損失值和錯誤率的變化曲線Fig.5 Change curves of loss value and error rate at different learning rates strategy

2.2.2DeepSORT算法

DeepSORT核心思想是采用傳統的單假設追蹤方法,使用遞歸的卡爾曼濾波和逐幀的數據關聯。DeepSORT首先采用卡爾曼濾波預測軌跡,隨后利用匈牙利算法將檢測框和預測框進行級聯匹配和IOU匹配,最后進行卡爾曼濾波更新,算法流程如圖6 所示。

圖6 DeepSORT跟蹤流程Fig.6 DeepSORT tracking process

在匹配問題上,DeepSORT采用匈牙利算法來解決檢測框和預測框之間關聯性的問題。其中對于運動和外觀信息的整合采用馬氏距離來描述,其計算式為

(1)

式中dj——第j個缺氧鱸魚檢測框的狀態

yi——第i個目標跟蹤器對缺氧鱸魚經過卡爾曼濾波后預測框的狀態

Si——檢測框和預測框之間的協方差矩陣

(2)

DeepSORT分別從運動物體可能位置的信息和外觀信息兩個方面考慮分配問題。為了構建關聯問題,DeepSORT通過加權和將兩個指標結合,其計算式為

ci,j=λd(1)(i,j)+(1-λ)d(2)(i,j)

(3)

3 實驗結果與分析

3.1 檢測器和跟蹤器評估指標

3.1.1目標檢測器評估指標

對ST-YOLO v5性能評價主要指標是精確率、召回率、平均精度、幀率以及權重。在指標計算方面,在ST-YOLO v5中采用混淆矩陣,真陽性(True positive,TP)、真陰性(True negative,TN)、假陽性(False positive,FP)、假陰性(False negative,FN)。

3.1.2目標跟蹤器評估指標

在多目標跟蹤評估方面,采用TrackEval工具對DeepSORT進行整體性能評估,主要評估指標分別為跟蹤準確度(MOTA)、跟蹤精度(MOTP)、ID切換數(IDSW)和綜合指標(IDF1)。其中MOTA是跟蹤準確度,MOTA是對漏報數(FN)、誤報數(FP)、ID切換數(IDSW)的一個整體性評估,是衡量多目標跟蹤模型DeepSORT在檢測和跟蹤方面一個非常直觀的性能參數。MOTA的計算式為

(4)

式中N——真實軌跡總數量

MOTP為跟蹤精度,主要考慮的是檢測框和目標真實邊框的重疊情況,其計算式為

(5)

式中dt,i——當前幀位置匹配誤差

ct——當前幀匹配成功個數

IDF1為正確識別的檢測數與平均真實數和計算檢測數之比,主要評估DeepSORT算法的穩定性,值越大表示越穩定,其計算式為

(6)

式中IDTP——正確識別的目標數量

IDFP——錯誤識別為目標數量

IDFN——未能識別為目標數量

3.2 目標檢測器選型

針對于不同場景和目標物,One-Stage和Two-Stage的算法檢測效果不同。為了對目標檢測模型進行準確選型,分別對One-Stage中的SSD、YOLO v4、YOLO v5、YOLO v6、YOLO v7、EfficientDet算法和Two-Stage中的Faster R-CNN進行對比實驗,其實驗結果如表1所示。表中mAP@0.5表示IOU閾值為5時識別對象的平均精度。

表1 目標檢測算法對比實驗結果Tab.1 Comparative experimental results of target detection algorithms

由表1可知,Two-Stage中最具有代表性的算法Faster R-CNN在幀率和權重方面均不如YOLO系列,其實時性較差,且不適合在移動端部署。在One-Stage中SSD和EfficientDet的mAP@0.5遠低于YOLO系列。對于YOLO系列,YOLO v4的mAP@0.5略高于YOLO v5,但YOLO v5的幀率遠高于YOLO v4,且YOLO v5權重遠遠小于YOLO v4的權重。YOLO v6的幀率高于YOLO v5,但mAP@0.5和權重均不如YOLO v5。YOLO v7的mAP@0.5、權重、幀率均不如YOLO v5。鑒于本研究對于檢測精度和推理速度要求較高,因此采用YOLO v5作為基礎目標檢測模型。

YOLO v5提供4種規模的版本,分別為YOLO v5s、YOLO v5m、YOLO v5l、YOLO v5x。為了更加準確對目標檢測模型版本進行選型,對以上4種規模的版本進行了實驗對比,對比結果如表2所示。表中mAP@0.5:0.95表示不同IOU閾值(從0.5到0.95,步長0.05)上的平均精度均值。

表2 YOLO v5不同規模版本對比實驗結果Tab.2 Comparative experimental results of YOLO v5 versions of different scales %

由表2可知,YOLO v5s的mAP、召回率均高于其余3種,且YOLO v5s結構相對簡單,實時檢測性能好。本文將采用YOLO v5s作為基礎檢測器。

3.3 不同注意力機制下檢測器性能評估

在深度學習中,注意力機制已經成為一個重要的概念[31],其本質是通過網絡自主學習生成一組權重系數,并以動態加權的方式來著重強調所關注的區域,同時忽略不相關信息。在目標檢測領域,常見的注意力機制為SE、ECA、CA、CBAM等,它們與Swin Transformer都能提升目標檢測模型對特征信息提取的能力,影響目標檢測模型的精度。為了探究YOLO v5模型在不同注意力機制下提取加州鱸魚低氧脅迫行為信息的能力,進行了一系列的對比實驗,主要參考指標有mAP、精確率、召回率,其結果如表3所示。當把SE和ECA添加到YOLO v5模型中,其模型在mAP@0.5、mAP@0.5:0.95和精確率方面都有所降低。對于注意力機制CBAM,添加后其各項指標均不如原YOLO v5模型。注意力機制CA在mAP@0.5、mAP@0.5:0.95方面相較于原YOLO v5模型有一定的提高,但從整體指標對比來看提升效果遠不如本文所提出的ST-YOLO v5模型。ST-YOLO v5在mAP@0.5、mAP@0.5:0.95和召回率方面分別提升1.9、1.3、0.8個百分點。因此,本文所提出的ST-YOLO v5更適合于檢測加州鱸魚的低氧脅迫行為。

表3 不同注意力機制對比實驗結果Tab.3 Comparative experimental results of different attention mechanisms %

為了進一步驗證ST-YOLO v5模型檢測加州鱸魚低氧脅迫行為的有效性,對包含加州鱸魚低氧脅迫行為的隨機視頻幀圖像進行實例測驗,視頻幀圖像包含遮擋和非遮擋兩種情況,其實例測驗結果如圖7所示。由圖7可知,在相同實驗環境下,以上6種模型均能夠識別到加州鱸魚低氧脅迫行為。但綜合視頻幀圖像的遮擋和非遮擋兩種情況來看,對于真實的加州鱸魚低氧脅迫行為,ST-YOLO v5模型所提供的置信度相對更高,表明基于移位窗口的自注意力機制Swin Transformer模塊能夠最大程度地提升目標檢測模型YOLO v5對加州鱸魚低氧脅迫行為信息的提取能力,進而提升模型對目標行為的檢測效果。

圖7 不同注意力機制下YOLO實例檢測圖像Fig.7 YOLO instance detection images under different attention mechanisms

3.4 跟蹤模型性能評估

為了驗證本文所提出的關于加州鱸魚缺氧行為跟蹤模型的有效性,在所采集的數據集中隨機挑選一段視頻進行跟蹤測驗,其測驗結果如圖8所示。根據優化前后DeepSORT的實例跟蹤結果,在遮擋和非遮擋情況下,優化后的跟蹤模型并沒有出現漏檢、ID切換、重檢的情況,表明本文所優化的跟蹤模型相較于原跟蹤模型性能優異。

圖8 實例跟蹤結果Fig.8 Instance tracking results

為了對優化后多目標跟蹤模型做一個整體性能評估,采用跟蹤性能評估工具TrackEval,并在采集的加州鱸魚低氧脅迫行為視頻數據集中隨機選取一段視頻用于跟蹤模型整體性能評估,選取的視頻數據片段采用DarkLabel標注工具進行目標真實路徑標注,標注結果和跟蹤模型輸出結果作為評估工具的輸入,優化前多目標跟蹤模型與優化后多目標跟蹤模型評估結果如表4所示。

表4 跟蹤模型評估結果Tab.4 Tracking model evaluation results

由表4可知,所提出的改進YOLO v5與DeepSORT模型相對于優化前跟蹤模型在MOTA、MOTP和IDF1方面分別提升4.0、0.7、10.7個百分點。在IDSW方面,改進后的算法模型在跟蹤缺氧的加州鱸魚時,并沒有因遮擋出現ID切換的情況。

綜上所述,改進后的算法模型在遮擋和非遮擋情況下性能表現優異,更適用于加州鱸魚低氧脅迫行為的跟蹤。

4 結論

(1)針對工廠化水產養殖中傳統水產養殖方式對魚類低氧脅迫行為判斷存在準確率低、可靠性差、實時性差等問題,構建了一種基于ST-YOLO v5的多目標跟蹤模型DeepSORT,該模型在魚類低氧脅迫行為檢測、跟蹤方面性能表現優異,為魚類養殖人員提供了一定的技術支持。

(2)對不同類型、不同規模版本的目標檢測算法進行對比實驗,最終選擇YOLO v5s作為基礎目標檢測算法,并構建目標檢測算法ST-YOLO v5。ST-YOLO v5相對于基礎目標檢測算法在mAP@0.5、mAP@0.5:0.95和召回率方面分別提升1.9、1.3、0.8個百分點,模型的整體性能更優異。

(3)在ST-YOLO v5的基礎上引入多目標跟蹤模型DeepSORT,并采用Warmup和Cosine Annealing結合的學習率調整策略加速跟蹤模型收斂。實驗結果表明,基于ST-YOLO v5的跟蹤模型DeepSORT在MOTA、MOTP和IDF1方面分別提升4.0、0.7、10.7個百分點,并且ID的切換頻率得到抑制。