基于改進YOLOv7的毛蝦捕撈漁船作業目標檢測與計數方法

孫月瑩 ，陳俊霖 ，張勝茂 ，王書獻 ，熊 瑛 ，樊 偉

（1.上海海洋大學信息學院，上海 201306；2.大連海洋大學航海與船舶工程學院，大連 116023；3.農業農村部漁業遙感重點試驗室，中國水產科學研究院東海水產研究所，上海 200090；4.江蘇省海洋水產研究所，南通 226007）

0 引 言

中國毛蝦 (Acetes chinensis) 又稱蝦皮，隸屬于櫻蝦科、毛蝦屬，為浮游性小型蝦類，分布于中國渤海、黃海、東海及南海北部沿岸，是重要的海洋經濟漁業資源[1]。長期以來，生物和環境學家十分重視對海洋生物多樣性的保護[2]，而非法的過度捕撈一直是海洋生物多樣性的最大威脅之一[3]，導致包括中國毛蝦在內的許多漁獲物的產量逐年下降。《中國漁業統計年鑒》顯示，中國毛蝦的捕撈產量自2006年達到72萬t的峰值后，出現了急劇下降現象。2019年，中國毛蝦捕撈產量為38.9萬t，相較于2018年42.5萬t的捕撈產量再次出現了高達8.46%的負增長。2020年，中國毛蝦捕撈產量為36.7萬t，相較于2019年38.9萬t的捕撈產量達5.62%的負增長。為科學捕撈毛蝦、保護海洋漁業資源，中國于2020年開始實行毛蝦限額捕撈[1, 4- 5]。嚴格的限額捕撈依賴于精準的漁船捕撈作業數據[6]，但是傳統的漁撈日志存在記錄完整度低、數據客觀性差等缺點[7]。因此，可將近幾年新興的電子監控（electronic monitoring，EM）系統應用于中國毛蝦限額捕撈漁船中，并以此數據來源開發出自動化的漁船作業信息記錄系統，以規避傳統漁撈日志的弊端。

近年來，國內外許多學者進行了相關捕撈作業研究。李國東等[8]以中國毛蝦限額捕撈管理為例，提取毛蝦網船在限額捕撈期間的北斗船位數據，對捕撈努力量等管控要素進行了分析研究，為解決中國單品種限額捕撈難點積累了經驗。WANG等[7]以監控數據為數據來源提出了一種基于三維卷積神經網絡的中國毛蝦漁船狀態識別方法，實現了對捕撈作業漁船船位狀態的實時監控。KALAISELVIV等[9]基于VMS（vessel monitoring system，VMS）數據開發了用于預測船舶捕撈狀態的模型，該模型可以用來監控非法的捕撈活動。以上研究大多側重于捕撈行為，在漁業捕撈作業中目標檢測和計數方面的研究較少。

深度學習中的卷積神經網絡在文字、語音、圖片和視頻等領域應用廣泛，近年來，正逐漸深入到海洋等研究領域中[10-12]。各種預訓練卷積網絡模型被用于提取圖像特征，但由于缺少運動建模，基于圖像的深度特征無法直接應用于視頻[13-16]。基于深度學習的行為識別技術通常以視頻流為數據源，綜合考察一個時間序列的圖像信息，繼而實現一個完整的行為識別[17-18]。深度學習中的目標檢測算法，具有自動提取特征，可并行化和檢測精度高等優點，廣泛應用于高精度測量領域[19]。目標檢測算法主要分為兩類：單階段算法（one stage）和雙階段算法（two stage）。單階段算法通過網絡提取特征來預測物體的分類與位置，主要有YOLO系列算法、SSD算法。雙階段算法需先生成候選區域再通過卷積神經網絡預測目標的分類與定位，主要有R-CNN系列算法[20-22]。一般認為，單階段算法實時性較好但檢測精度相比雙階段算法較差。但是，隨著YOLO等單階段目標檢測算法的不斷迭代，其快速、高效、準確的檢測性能受到了廣泛關注和應用，目前主流的目標檢測算法精度已經達到了工業標準[23]。此外，YOLO系列算法還具有較強的泛化能力和適應性，能夠適應不同尺度、姿態、遮擋等復雜情況下的目標檢測任務，這對于海洋漁業領域的實際應用非常有意義。

傳統的漁船捕撈作業研究主要基于VMS數據，但VMS數據相比于EM數據具有一定的局限性，在停泊狀態下難以進一步細分捕撈行為。EM可采集豐富的數據源，其中包含多種漁業信息[24-26]，結合深度學習技術，有助于分析捕魚動態，在漁船監測領域有很好應用前景。本研究以中國毛蝦限額捕撈漁船的EM數據為數據來源，對數據進行篩選、標記、劃分，采用目標檢測算法中的YOLOv7算法實現毛蝦捕撈作業目標檢測，結合實際數據特征，對算法做了進一步改進，以期提升算法在該領域的檢測性能。基于目標檢測的結果，使用SORT算法，以視頻流為數據源，對檢測到的目標進行追蹤計數，實現中國毛蝦捕撈漁船作業信息統計記錄。

1 數據與方法

1.1 數據來源

本研究毛蝦捕撈船長36.9 m、噸位160 t、主機功率220 kW，網具為張網（圖1a）。本研究所采用的EM數據利用型號為DS-2CD7A47EWD-XZS(D)的海康威視高清攝像頭拍攝，分辨率均為2 560×1 440像素，設置5個位置的拍攝（圖1b）。

圖1 毛蝦捕撈漁船監控示意圖Fig.1 Schematic diagram of the monitoring of fishing vessels for Acetes chinensis

前甲板鐵桿上的攝像頭1朝船尾方向拍攝，從正方向拍攝記錄漁船工作區。前甲板駕駛艙上方的攝像頭2和攝像頭3互為補充的拍攝記錄了收放網過程及鐵錨的狀態。安裝在后甲板鐵桿上的攝像頭4朝船尾方向拍攝，用于拍攝記錄船舶碰撞等安全狀態。安裝在前甲板駕駛艙左下方的攝像頭5，用于拍攝記錄捕撈的毛蝦裝筐的漁獲過程。

1.2 數據預處理

捕撈漁船一般在白天作業，晚上偶爾作業。為確保數據的有效性，對2022年6月15日—2022年7月10日的中國毛蝦限額捕撈EM數據進行篩選，剔除晚上無作業、視頻模糊不清和斷幀等無效視頻段。選擇使用攝像頭2拍攝到的下網視頻，對下網時拋出的錨（anchor）進行標注識別，進而對毛蝦捕撈漁船下網數量實現計數。選擇使用攝像頭5拍攝到的毛蝦裝筐漁獲過程視頻，對裝有毛蝦的筐（basket）進行標注識別，并對捕撈的毛蝦筐數進行計數，為實現毛蝦單位捕撈努力量漁獲量（catch per unit effort，CPUE）計算提供產量數據。經過以上篩選后，最終選擇使用其中的80個有效視頻段作為本次試驗的數據。

在有效視頻段中，隨機選取部分視頻使用PotPlayer工具截取目標檢測模型所需的圖片數據（圖2），對圖片進行篩選，并使用labelImg軟件標注，同時生成對應包含標注類別和位置坐標的txt標簽文件，共標注6 258張圖片。標注分為兩類，分別命名為basket和anchor，依次代表裝有毛蝦的漁筐和下網時拋出的錨，其中含有basket目標的圖片共3 364張，含有anchor目標的圖片共2 894張。將兩類目標圖片及其txt標簽文件分別按照8∶1∶1分為訓練集、驗證集和測試集，然后再將兩類目標的對應數據集合并，形成標準的coco格式數據集。

圖2 預訓練圖片Fig.2 Pre-training images

1.3 研究方法

本研究旨在利用深度學習方法通過中國毛蝦漁船EM視頻數據實現毛蝦捕撈作業目標檢測與計數，本研究的技術路線如圖3所示。

圖3 技術路線圖Fig.3 Technical routes graph

1）圖像獲取：在實施中國毛蝦限額捕撈的漁船上安裝EM系統，獲取毛蝦捕撈過程的視頻數據。通過通訊基站或移動硬盤等設備將數據傳輸到服務器上。

2）數據集構建：篩選有效視頻片段，提取視頻中關鍵的毛蝦捕撈作業圖像，對圖像進行分類標注后構建目標檢測數據集、目標跟蹤計數數據集。

3）毛蝦捕撈作業目標檢測網絡構建：將構建的目標檢測數據集輸入到YOLOv7網絡模型中進行訓練，結合數據集的特征和實際需求對原始模型進行改進，以得到目標檢測性能更高的模型作為毛蝦捕撈作業跟蹤計數的檢測器。

4）毛蝦捕撈作業目標識別和計數實現：將采集篩選出的毛蝦捕撈作業視頻，使用改進后的SORT算法進行目標檢測與計數試驗。

5）結果分析：對毛蝦捕撈作業目標檢測和計數結果進行評估，將模型輸出的結果與人工核驗的結果進行對比分析，驗證方法的可行性。

1.3.1 YOLOv7網絡模型

YOLOv7整體的網絡架構如圖4所示，主要由輸入端Input、主干網絡Backbone和網絡輸出端Head3個部分組成。輸入端Input部分對輸入的圖片預處理，經過Mosaic數據增強、自適應圖像填充、自適應錨框后得到640×640大小的RGB圖片，輸入到Backbone中。Backbone為網絡的主干，用于提取特征，由若干CBS模塊、MP1及ELAN結構組成，其中CBS模塊由Conv+BN+SiLU構成，MP1主要是由Maxpool和CBS構成，ELAN是由多個CBS構成的結構，實現對同一特征圖不同尺寸的特征提取。輸出端Head部分是一個PAFPN結構，與YOLOv5的head結構基本一致，區別在于將YOLOv5中的CSP模塊換成了ELAN-P模塊，ELAN-P與backbone部分ELAN的組成結構基本一致，不同之處是CAT數量不同。網絡Head部分最終完成類別預測和目標邊界框錨定，輸出3個不同尺寸的預測結果，實現對多目標的多尺度預測。

圖4 YOLOv7網絡結構Fig.4 YOLOv7 network structure

1.3.2 YOLOv7模型改進

為了提高網絡性能，本文引入了MobileOne結構，提出了改進的YOLOv7網絡模型YOLOv7-MO。主要改進工作為：1）使用輕量級網絡MobileOne作為YOLO v7的主干網絡。2）網絡輸出端Head部分加入C3模塊。3）剪除一些冗余操作，讓整個網絡輕量化。

MobileOne的核心模塊基于MobileNetV1設計，結構與MobileNetV1基本一致，區別是把MobileNet中的深度可分離卷積替換為了圖5所示的神經網絡結構塊。圖5中左側部分構成了MobileOne的一個完整結構塊，由上下兩部分構成，其中上面部分基于深度卷積（depthwise convolution），下面部分基于點卷積（pointwise convolution），Act.表示激活函數。深度卷積模塊由三條分支構成，最左側分支是1×1卷積；中間分支是過參數化的3×3卷積，即k個3×3卷積；右側部分是一個包含BN層的跳躍連接。深度卷積本質上是分組卷積，分組數與通道數相同，這里的1×1卷積和3×3卷積都是深度卷積。點卷積模塊由兩條分支構成，左側分支是過參數化的1×1卷積，由k個1×1卷積構成，右側部分是一個包含BN層的跳躍連接。在訓練階段，MobileOne由如圖5所示的神經網絡塊堆疊而成。訓練完成后經過重參數化方法將圖5左側所示的神經網絡塊重參數化為圖5右側的結構。

圖5 MobileOne神經網絡結構塊Fig.5 MobileOne neural network blocks

1.3.3 SORT算法

在目標檢測的基礎上對毛蝦捕撈作業信息進行統計，主要統計對象為漁筐（裝有毛蝦的筐）、錨（下網時拋的錨）即目標檢測階段的basket和anchor目標。根據視頻數據中basket和anchor目標移動時間不固定、同一時間可能出現多個basket目標等特點，本研究選擇使用基于目標檢測的多目標跟蹤算法SORT（simple online and realtime tracking）對毛蝦捕撈漁船EM數據進行目標跟蹤。基于對算法效率和準確率的提升，對SORT算法的檢測部分做出改進：將其檢測部分由原始的Fast R-CNN替換為本研究預訓練階段得到的最優模型；在SORT算法中添加合適的碰撞檢測線、計數器、閾值和時間戳，在對basket和anchor進行目標追蹤的基礎上實現對兩者的計數，由anchor和basket的數量可進一步計算得到中國毛蝦捕撈漁船作業時的下網數量和CPUE值。

SORT算法是一個簡單、有效、實用的多目標跟蹤算法，核心是卡爾曼濾波和匈牙利算法[27]，其算法流程如圖6所示。

圖6 改進的SORT算法流程圖Fig.6 Flowchart of the improved SORT algorithm

卡爾曼濾波（Kalman filter）是一種高效的自回歸濾波器[28-29]，其主要作用是通過傳感器測量獲得預測數據，再根據預測和更新的公式，可以基于目標前一時刻的位置來預測當前時刻的位置。

預測式：

更新式：

匈牙利算法又稱匈牙利匹配法，常在數學問題上用于解決指派問題，即上一幀的目標和當前幀的目標具有一一對應的關系，可求解出最好的分配結果[30-31]。在目標追蹤中解決的是預測框和檢測框之間的分配問題，即確定當前幀的某個目標是否與前一幀的某個目標相同，如本試驗的漁筐和錨。

通過卡爾曼濾波預測軌跡，并使用匈牙利算法將預測后的軌跡和當前幀中的檢測目標進行匹配，之后對卡爾曼濾波更新，實現對同一物體的定位。最后，結合數據的實際特征設置閾值和時間戳，通過線與線的碰撞檢測方法，用計數器實現了對捕撈的漁筐和拋錨數量的精準統計。

1.4 試驗環境

試驗基于Ubuntu 18.04操作系統, Python 3.8編程語言, Pytorch 1.8.2深度學習框架。試驗使用訓練集和驗證集的數據進行模型訓練和驗證。試驗相關硬件配置和訓練階段的模型參數設置如表1所示。

表1 試驗相關硬件配置和模型參數Table 1 Experiment-related hardware configuration and model parameters

1.5 試驗評價指標

在檢驗模型效果時，本文采用精確度（precision，P）、召回率（recall，R）、平衡分數（F1）、模型參數量（parameters）、浮點運算數（floating point operations，FLOPs）、查準率和查全率（P-R）曲線、F1曲線來評估目標檢測模型的性能。

精確度（P）和召回率（R）的計算公式如下：

式中TP指將正樣本正確預測出來的數量，FP指將負樣本錯誤的預測為正樣本的數量，FN指將正樣本預測為負樣本的數量。以本試驗檢測的anchor為例，TP指在檢測anchor目標時將真實為anchor的目標預測為anchor的數量，FP指將不是anchor的目標預測為anchor的數量，FN指將真實anchor的目標預測為其他的數量。

F1是P和R的調和值，綜合考慮了召回率和精確率對試驗數據的影響，防止某一指標主導試驗結果，計算式如下所示：

浮點運算量（floating point operations，FLOPs）即模型計算量，其大小可以用來衡量模型復雜度。

P-R曲線可以直觀地顯示出樣本的精確率和召回率在總體數據上的關系，曲線與坐標軸圍成的面積為類別平均精度AP值和各類平均精度mAP值，兩者的計算式如下所示：

本文使用ACP值（average counting precision）來評估中國毛蝦捕撈漁船作業的計數算法準確率，計算式如下所示：

式中S表示算法統計的basket或anchor數量，N表示人工統計的basket或anchor數量，i表示視頻序號，j代表目標種類，M表示計數試驗的視頻段總數量。

2 結果與分析

2.1 目標檢測試驗結果與分析

2.1.1 YOLOv7模型與YOLO系列其他模型對比

為驗證YOLOv7在本研究毛蝦捕撈漁船作業數據集上檢測效果，分別將YOLOv3、YOLOv5s和YOLOv7三種YOLO系列的網絡模型在毛蝦捕撈漁船作業數據集上進行訓練，并在測試集上進行測試，試驗結果如表2所示。

表2 不同YOLO系列模型檢測結果Table 2 Different YOLO series model target detection results

通過表2對比結果可以看出，在相同迭代次數內，YOLOv7網絡模型的大小和參數量小于YOLOv3，大于YOLOv5s, 但YOLOv7網絡模型的大小和參數量已能滿足毛蝦捕撈作業的決策需求。YOLOv7的各類平均平衡分數F1比YOLOv3和YOLOv5s分別高出10.2、3.4個百分點，F1得分情況在basket和anchor兩類目標上YOLOv7均高于YOLOv3和YOLOv5s兩類模型。因此，本研究選用YOLOv7模型，并在此基礎上進行改進，以增強其在實際漁船作業情況下，提高捕撈漁船作業目標的實時監測準確率并使得模型更加容易嵌入到EM系統中。

2.1.2 改進YOLOv7結果對比

將目標檢測階段訓練得到的YOLOv7和YOLOv7-MO模型在相同的測試集（658張圖像）下進行對比試驗，得到如表3所示目標檢測結果。

表3 目標檢測模型結果對比Table 3 Comparison of target detection models results

由表3可知，本研究改進的YOLOv7-MO模型相比原始YOLOv7模型檢測效果有了明顯提升。改進后的YOLOv7-MO模型在測試集上獲得了97.3%的平均識別精確率，其中漁筐和錨的識別精確率分別為96.9%和97.6%。改進后的YOLOv7-MO相比原始YOLOv7模型的P、R、F1值均有提升，根據表中數據計算可得，改進后的模型相比原始模型，兩類平均P、R、F1分別提升了2.0、1.1、1.5個百分點。

圖7a為本試驗模型YOLOv7-MO的總體及兩類目標（Basket、anchor）在測試集上的P-R曲線對比圖。其中橫軸代表Recall，縱軸代表Precision，該曲線與坐標軸圍成的面積為類別精度（AP）值，其中basket和anchor的值分別為98.9%和98.8%，各類平均精度(mAP)值為98.8%。

圖7 YOLOv7-MO模型目標檢測結果Fig.7 YOLOv7-MO model target detection results

圖7b為本試驗模型YOLOv7-MO的總體及兩類目標（Basket、anchor）在測試集上的F1得分圖。由圖可得，置信度在40%～60%區間上取得了比較好的F1分數，在置信度為51.9%時，兩類平均F1分數取得了最大值97.0%。

在深度學習模型中，模型大小及其復雜度直接影響了實際應用的效果。模型大小（model size）可以直接影響模型的運行速度。模型的復雜度可以用參數量（parameters）和浮點運算數（floating point operations，FLOPs）來衡量，兩者可以共同描述模型計算量，模型的復雜度也可以直接影響模型的運行速度。

由表4的模型參數結果對比可得，本研究優化的YOLOv7-MO模型大小、參數量、浮點運算量較原始模型YOLOv7均有所下降，模型運行速度得到了提升。因此，在毛蝦捕撈目標識別中，本研究優化的YOLOv7-MO模型相較于原始的YOLOv7模型目標檢測效果和模型大小及其復雜度均取得了較好的效果，模型性能得到了提升，可用于毛蝦捕撈目標識別。

表4 模型參數比較Table 4 Comparison of model parameters

2.1.3 與其他模型的比較

在本研究的毛蝦捕撈漁船作業數據集上，將本研究改進的模型與改進前的YOLOv7模型以及其他典型的目標檢測算法模型Faster RCNN、YOLOv3、YOLOv5s分別進行對比，結果如表5所示。

表5 不同模型檢測效果對比Table 5 Comparison of detection results of different models

通過對比可以看出，相比雙階段模型（以Faster RCNN為例）YOLO系列模型較小且目標檢測效果較好。雖然Faster RCNN模型的精確度和召回率較高，但是平均準確率和各類AP值明顯低于YOLO系列模型，在實際的漁船捕撈作業中錯檢漏檢情況會較為明顯。本文根據YOLOv7改進后的YOLOv7-MO模型平均準確率與Faster RCNN、YOLOv3、YOLOv5s、YOLOv7模型相比，分別提高了21.4、12.7、1.1和0.7個百分點。平衡分數F1相比YOLO系列模型中的YOLOv3、YOLOv5s、YOLOv7分別提升了11.7、4.9、1.5個百分點。改進后的模型大小和參數量小于YOLOv7，綜合性能指標有一定的優勢。

2.1.4 改進后模型檢測效果

本試驗模型YOLOv7-MO的檢測效果如圖8所示，圖8a、8b、8c分別表示了在等待拋錨、開始拋錨和拋錨過程三個主要狀態下，模型對anchor目標的檢測情況；圖8d、8e、8f表示了在收網過程中，模型對basket目標的檢測情況，圖8d表示單個目標出現時的檢測情況、圖8e表示目標被遮擋時的檢測情況、圖8f表示多個目標出現時的檢測情況。由圖片和視頻檢測效果可得，該模型可以精確的識別出漁船EM視頻數據中的basket和anchor，由此進一步可得漁船作業過程中的下網數量和漁獲量。

圖8 YOLOv7-MO模型檢測效果Fig.8 YOLOv7-MO model detection effects

2.2 統計作業結果與分析

對毛蝦主要作業類別（下網數量和漁獲筐數）進行人工統計，與YOLOv7-MO-SORT的統計結果作對比。在算法中添加碰撞檢測線，如圖9所示，采用黑色線作為計數統計試驗的碰撞檢測線，圖9a、9b中黑色水平直線為basket計數的碰撞檢測線，圖9c、9d中黑色斜線為anchor計數的碰撞檢測線。

圖9 計數統計碰撞檢測線示意圖Fig.9 Schematic diagram of the counted statistical collision detection line

在算法中設置碰撞檢測線、計數器、閾值和時間戳。根據視頻數據的實際情況，毛蝦漁獲過程中basket目標由人拖動，所以攝像頭5拍攝到的basket目標通過檢測線時存在目標被遮擋和目標不完整的情況。結合實際數據特征，將basket目標的置信度計數閾值設置為0.5，即當通過檢測線的basket目標檢測置信度大于等于0.5時，認為該目標是應當被檢出的basket目標。通過觀察訓練出的最優目標檢測模型對EM視頻中anchor目標的檢測情況，在下網拋錨過程中anchor目標的置信度在0.8左右，因此將anchor目標的置信度計數閾值設置為0.7。圖像左上方顯示目標計數器，檢測到的目標未通過檢測線時計數器并未對該目標計數，目標達到設定閾值并通過檢測線后計數器對目標進行計數。

隨機選取有效視頻段中15個含有漁獲毛蝦裝筐的視頻段，人工統計15個視頻段的漁獲毛蝦筐數（Nb）。將隨機選取的15個漁獲毛蝦視頻段輸入YOLOv7-MOSORT算法中，對漁獲的毛蝦筐數（Sb）進行統計，得到如表6所示的計數信息。

表6 漁獲毛蝦筐數計數試驗結果統計Table 6 Statistics on the results of the basket counting experiment

隨機選取有效視頻段中含有10次下網作業的視頻段，人工統計10次下網作業的下網數量(Nn)。將隨機選取的10次下網作業的視頻段輸入YOLOv7-MO-SORT算法中，對拋錨的數量(Sa)進行統計繼而得到下網數量(Sn)，據張網捕撈示意圖可得兩者的數量關系如式（9）所示。下網數量計數信息如表7所示。

表7 下網數量計數試驗結果統計Table 7 Statistics on the results of the net counting experiment

通過計算可得，本研究YOLOv7-MO-SORT模型實現了毛蝦筐數80.0%和下網數量95.8%的計數精度。

3 討 論

3.1 數據選取

傳統的漁船捕撈作業研究主要基于VMS數據，但VMS數據相比于EM數據具有一定的局限性。VMS系統是基于衛星定位技術的船舶監控系統，其數據主要包含船舶經緯度、航速、航向等船位信息，可用于識別漁船捕撈行為[12, 32]。EM系統是以攝像裝置為核心的電子監控系統，以視頻的形式記錄作業漁船的行為活動，EM數據是實時的視頻，可用于量化漁船作業信息。例如，在航速為0時，基于VMS數據僅可將漁船行為識別為停泊。但在此情況下，根據EM數據可做進一步的漁船作業識別和信息統計，如：拋錨、下網、收錨、收網行為識別、量化漁獲或下網數量。此外，目前漁船作業的統計主要依靠人工記錄的方法，往往會出現漏記、錯記等現象，導致航次捕撈統計的結果不準確。在作業漁船上安裝EM系統，可以輔助觀察員，以更加直觀、客觀的方法對漁船作業信息監控和記錄。

本研究在對數據進行預處理時首先對獲取到的EM數據進行篩選，剔除晚上無作業、視頻模糊不清和斷幀等無效的視頻段，提高了數據質量，確保了試驗數據的有效性，提高了試驗效率。在深度學習算法中，訓練集用于計算梯度更新權重，即訓練模型；驗證集在模型訓練過程中檢驗模型配置，驗證模型的有效性，挑選獲得最佳效果的模型，在模型訓練過程中通常是重復利用的；測試集用于評估模型，選擇使用未參與模型訓練和驗證的數據對模型進行評估可避免過擬合現象的出現，有效評估模型的泛化能力。因此，本研究進行目標檢測模型訓練與評估時，將數據集按照8∶1∶1劃分為訓練集、驗證集和測試集，確保了試驗結果的可靠性。

3.2 模型選擇與設計

本研究以YOLOv7模型為基礎，它在YOLO系列先前工作的基礎上進一步提高了檢測速度和精度[33-36]。總體架構方面提出了ELAN結構及基于此的E-ELAN結構[37-38]，該架構在不破壞原始梯度路徑的情況下可以增強網絡的學習能力。在網絡優化策略方面，添加了一個額外的輔助頭部結構[39]。網絡新增方便部署的REP層，REP層在訓練時，如果輸入和輸出的通道數、高、寬和大小一致時，會再添加一個BN的分支，三個分支相加輸出。在部署時，會將分支的參數重參數化到主分支上，取3×3的主分支卷積輸出，這對部署非常方便[40-41]。

MobileOne是Apple公司為移動設備設計的基于重參數化的主干神經網絡結構，具有簡單、高效、即插即用的特點，實現了高效架構中最先進的技能[42]。本研究選擇使用該輕量級網絡作為YOLOv7的主干網絡，并在輸出端head部分加入了C3模塊，從試驗結果來看，該改進方法使得模型精確率（P）、召回率（R）、F1得分情況相比YOLOv7模型分別提升了2.0、1.1和1.5個百分點。在選擇使用輕量級網絡MobileOne輕量級網絡作為模型主干網絡的同時剪除了YOLOv7模型中的一些冗余操作，使得模型更加輕量化，改進后的模型大小明顯減小，模型大小、參數量和浮點運算數相比YOLOv7模型分別縮小了10.2%、10.6%和61.6%，提高了模型的運行速度和可用性。

3.3 計數模型評估指標

評估計數模型時，使用本研究設計的評估指標ACP。隨機選取一定數量的有效視頻段，對每個視頻段進行人工計數，再輸入模型進行計數，計算得到兩者計數之差，將所有視頻段的計數差值相加除以各視頻段的人工計數總數得到計數誤差，進而計算得到計數準確率（ACP）。吳必朗等[43]在進行魚道過魚計數時，采用模型計數總數除以人工計數總數的計算方法評估計數模型性能，該方法可能會因為試驗樣本的選擇存在一定的偶然誤差。ZHANG等[44]在進行丁香魚作業漁船信息計數時，也采用模型計數總數除以人工計數總數的計算方法評估計數模型性能，但試驗數據本身可能是多個視頻段，因此該計算方法可能會存在一定的修正誤差。本研究中的計數試驗選擇采用多個視頻段作為試驗數據，避免了單個視頻段帶來的計數偶然誤差；計算計數準確率時，用每個視頻段人工計數與模型計數的差值之和除以總體人工計數之和，可以避免修正誤差，本試驗設計的評估指標能更加合理評估計數試驗模型。

3.4 計數閾值設置方法

對于置信度計數閾值的選取，一般需要根據實際場景中目標的大小、形態、數量等特點來確定。通常情況下，較小的置信度計數閾值可以提高目標檢測的召回率，但同時也會引入一些誤檢結果。較高的置信度計數閾值可以提高檢測結果，但可能會導致漏檢的情況。

本研究在對目標的計數閾值進行選取時，主要考慮目標的大小、數量和分布情況。Anchor目標的數量相對較多出現頻率較高，且anchor目標個體較大，結合目標檢測階段對anchor目標檢測精度和置信度均大于0.8的試驗結果，將anchor目標的計數閾值設置為0.7，以確保目標檢測追蹤到anchor目標并完成正確計數，并避免一些虛假檢測結果的產生。Basket目標的數量根據實際作業情況來看，在大多數情況下，其出現的頻率較低，且basket目標個體較小，在漁船工作人員將其移動通過攝像頭5時，會出現目標遮擋的情況，在目標追蹤到通過檢測線的瞬間，basket目標的目標檢測置信度較低，因此適當降低目標計數閾值，將basket目標的計數閾值設置為0.5，減少漏檢情況的發生。

3.5 計數誤差

本研究仍存在一些不足之處有待改進。在EM視頻識別計數結果中，目標檢測框會出現短暫的消失和重現，這使得計數結果出現了一定的誤差。因此，在試驗中采用卡爾曼濾波消除抖動，使得預測框在整個檢測過程中保持平穩，得到更加準確的檢測結果。模型統計的下網數量偏高，是因為在模型統計拋錨數量時，anchor目標被重復檢測。通過觀察總結拋錨規律，設置時間戳，當兩次檢測出anchor目標之間達到一定時間間隔時被認為出現下一個anchor目標，進行計數，anchor目標的計數誤差問題因此得到了一定的解決。在進行毛蝦筐（basket）的計數統計時，實際作業規律不穩定，并非所有漁獲的裝有毛蝦的筐都會通過本研究設置的檢測線。當漁獲量較大時，作業后期漁獲的一些裝有毛蝦的筐可能未通過檢測線，如圖10a所示。當轉運船到達時，這些未通過計數檢測線的漁筐會直接轉載到轉運船，本試驗設置的計數器未對其進行計數，如圖10b所示直接被移動到圖像的右側區域。此外，當裝有毛蝦的筐（basket）通過檢測線時，在攝像頭拍攝到的圖像中，basket目標會被船員遮擋，如圖10c左下方所示導致可識別的目標不完整，當模型識別出此目標時，置信度較低。

圖10 漁獲毛蝦時的特殊情況Fig.10 Special circumstances when catching Acetes chinensis

本研究為確保計數目標是正確目標，在計數模型中設置了閾值，考慮到basket目標通過檢測線時目標不完整、置信度較低的情況，適當調低了basket計數閾值，以盡可能確保船員拖動的basket目標通過檢測線時被檢測出。因此，本研究所作的毛蝦筐數計數統計是在basket目標均通過檢測線的理想狀態下的統計。針對以上所述問題，還需進行進一步的研究，可以解決的方案有：1）在作業漁船的適當位置增加安裝攝像頭，拍攝作業漁船漁獲物的轉運情況，通過漁獲物的轉運EM數據進行計數。調整現有攝像頭的位置，拍攝更清楚的作業過程。2）制定漁船作業規范，劃分漁船工作區域，船員在工作時將漁獲物按照指定區域和流程進行移動。3）修改模型，設計更加合理的計數方法，以進行完整計數。

4 結 論

針對中國毛蝦捕撈漁船限額捕撈作業規范問題，研究采用漁船電子監控(electronic monitoring，EM)系統采集作業數據，改進YOLOv7模型，構建了YOLOv7-MO目標檢測模型和YOLOv7-MO-SORT計數模型。目標檢測YOLOv7-MO模型使用輕量級網絡MobileOne作為主干網絡，網絡輸出端head部分加入C3模塊，在原始YOLOv7模型上剪除了一些冗余操作，讓整個網絡輕量化，更適合漁船捕撈作業識別。使用該模型對中國毛蝦限額捕撈漁船的主要特征進行檢測，達到了97.3%的識別精確率，在模型更加輕量化的基礎上實現了更好的準確性。在目標檢測的基礎上，改進SORT算法對目標進行計數，將目標檢測部分修改為預訓練的YOLOv7-MO，并在算法當中添加合適的碰撞檢測線，設置閾值和計數器，實現了對毛蝦捕撈漁船漁獲毛蝦筐數和下網數量的自動化數量統計，分別達到了80%和95.8%的計數準確率。該功能方便漁船作業信息的管理和記錄，一定程度上避免了傳統的人工記錄漁船作業信息的一些弊端，進行毛蝦筐數計數統計可為毛蝦單位捕撈努力量漁獲量（catch per unit effort，CPUE）等漁業信息值的計算提供方便。本研究解決了毛蝦捕撈漁船作業識別和計數問題，同樣可應用于其他作業漁船，為后續實現精度更高、更快的捕撈漁船作業識別和統計方法提供了參考。