基于YOLOv3模型的金槍魚魚群特征識別初步研究

馬 碩，張 禹，王魯民，張 勛，金衛(wèi)國，王國來，常衛(wèi)東

(1 中國水產(chǎn)科學研究院東海水產(chǎn)研究所，上海 200090；2 上海開創(chuàng)遠洋漁業(yè)有限公司，上海 200082)

金槍魚圍網(wǎng)漁業(yè)是綜合技術集成度最高的大洋性漁業(yè)之一[1-2]。單船年產(chǎn)量達上萬噸，產(chǎn)值可達上億元人民幣，當前中國批復的金槍魚圍網(wǎng)船共計30艘左右[3]，主要在中西太平洋作業(yè)，在遠洋漁業(yè)中占有重要地位。

長期以來，金槍魚圍網(wǎng)漁業(yè)的魚群搜索一直是船隊作業(yè)成本的最大支出之一，該階段需耗費大量時間、人力及燃油成本[4]。近年來，中西太平洋漁業(yè)管理組織針對金槍魚資源現(xiàn)狀，對圍網(wǎng)船實施更加嚴格的管理方法[5-9]，進一步增加了入漁成本，尋求高效的魚群搜索方法迫在眉睫。與此同時，基于圖像和視頻的智能識別、智能輔助分析技術發(fā)展迅速，在提高效率、降低人力成本等方面有獨特優(yōu)勢，應用場景越來越廣[10 -14]。據(jù)悉，金槍魚圍網(wǎng)漁業(yè)魚群搜索方法主要依靠人工瞭望、雷達探測和直升機搜索等方式尋找魚群[15]。人工瞭望距離受限、人數(shù)多、效率低；直升機搜索成本高，而且安全性差。因此借助基于圖像和視頻的智能識別、智能輔助分析技術，采用無人機機載攝像設備開展魚群搜索是一可行的選擇[16-19]。

視覺是人類接觸世界最直接的方式，從圖像中提取到特征信息是十分重要的[20]。Harris等[21]提出了Harris角點檢測算法來提取圖像特征，開啟了圖像識別的研究領域。Krizhevsky等[22]在ImageNet[23]大規(guī)模視覺識別挑戰(zhàn)競賽上通過深層次卷積神經(jīng)網(wǎng)絡取得了當時最佳的性能表現(xiàn)，由此開啟了計算機視覺領域的深度學習時代。具體到目標檢測領域，從2013年R-CNN模型[24]開始，深度學習方法取得了迅猛發(fā)展，目前，深度學習方法已經(jīng)成為目標檢測領域的主流解決方案[25]。

本研究利用無人機平臺搭載圖像識別技術來代替?zhèn)鹘y(tǒng)的魚群搜索方法，可幫助漁船更快更高效地尋找魚群。為驗證方法的可行性，基于YOLOv3算法建立識別模型，進行金槍魚魚群特征的識別研究。

1 材料與方法

1.1 影像素材來源

本研究所用的視頻數(shù)據(jù)是上海開創(chuàng)遠洋漁業(yè)有限公司圍網(wǎng)漁船在中西太平洋海域，拍攝的金槍魚魚群畫面，通過存儲設備將采集的數(shù)據(jù)存儲到硬盤中，共42 G金槍魚特征視頻資料，作為本次的研究對象。

1.2 模型方法

本研究使用的是開源計算機視覺工具Tegu，它是基于Python語言，在主流開源框架Keras與TensorFlow的基礎上，針對計算機視覺相關的應用場景對上述開源框架進行了進一步的封裝，進一步降低了使用難度。該工具提供了一系列主流的計算機視覺相關模型的實現(xiàn)，本研究使用它提供的YOLOv3模型。

YOLO的全稱是You Only Look Once，即該模型是一個One-Stage模型[26]，它將R-CNN中的兩個階段合并為一個，只對圖像進行一次瀏覽就可以識別出圖中的物體類別和位置[27-28]。相比R-CNN，YOLO不再通過兩階段運算篩選出候選區(qū)，而是使用預定義的候選區(qū)，將目標圖片切分為7×7=49個網(wǎng)格(Grid)，在此基礎上允許每一個網(wǎng)格預測出2個邊框(Bounding box，即包含某對象的矩形框)，模型在這些事先劃定的候選區(qū)內(nèi)找出真正的對象[29]。

圖1展示了YOLO模型的模型結構——該模型包括24個卷積層，接受大小為448×448的輸入圖像，若實際圖像的大小不滿足這一尺寸，則應當縮放至該尺寸。模型的輸出是一個7×7×30大小的張量。由于YOLO將圖像切分為7×7大小的方格，因此這一張量可以被認為是針對每一個方格，都輸出一個30維的向量。這一向量包括以下信息：

圖1 YOLO模型結構Fig.1 YOLO model structure

(1)針對20個對象的分類概率

如上文所屬，目標檢測問題首先是一個分類問題——機器學習模型對于分類問題的輸出，通常是一個維度等于類別數(shù)的向量。向量的每一維度都代表一個對應的類別，該維度的值表示當前給定輸入對于該類別的評分。對于整個向量的所有維度，使用Softmax函數(shù)可以將所有評分轉化為加和為1的概率值：

YOLO支持最多20種類別，因此分類向量長度為20，概率最大的分類即為預測的類別。

(2)邊框位置

每一個方格內(nèi)需要給出2個邊框，每一個邊框需要用一個4維向量[x,y,w,h]表示——其中(x,y)為邊框中心點的坐標，(w，h)為邊框的寬和高[30]。

(3)邊框的置信度

置信度越高，說明模型越可以確保輸出結果正確，計算公式如下：

本研究使用的YOLOv3模型是YOLO系列目標檢測中的第3代，它使用多個logistic分類器代替Softmax可進行多標簽分類，滿足研究的應用條件。相對于其他的目標檢測方法，它可以將一個單神經(jīng)網(wǎng)絡應用于整張圖像，該網(wǎng)絡將圖像劃分為不同的區(qū)域，進而預測每一塊區(qū)域的邊界框和概率，這些邊界框會通過預測的概率加權，在獲得了所有的預測方框之后，模型將使用非極大值抑制技術，將預測方框組合成最終的預測結果。若兩個方框的預測分類相同，且IOU大于某一閾值(例如0.5)，則將兩個方框合并為一個，將置信度較小的方框刪除。最終的輸出結果如圖2所示，識別出的目標用紅色方框標出。

圖2 識別效果Fig.2 Recognition effect

1.3 數(shù)據(jù)預處理

數(shù)據(jù)預處理包括視頻分割、圖像篩選、圖像裁剪和特征標注4個步驟。首先將得到的金槍魚特征視頻進行切割，處理為逐幀的圖像，然后對圖像進行篩選，只選擇具有清晰的金槍魚魚群特征圖像，剔除無特征圖像，此外，YOLOv3模型輸入圖像需為矩形，本研究傳入數(shù)據(jù)時選擇像素為416×416的圖像，保證訓練效果。

1.4 環(huán)境搭載

本研究使用開源的計算機視覺工具Tegu，該工具提供了一系列主流的計算機視覺相關模型，YOLOv3模型就是其中的一種。本模型訓練選擇在一臺Linux服務器上，使用一塊GeForce GTX1080顯卡來完成。模型訓練完成之后，使用訓練好的模型文件即可在支持神經(jīng)網(wǎng)絡推斷功能的無人機機載計算機、或配置了支持CUDA的英偉達顯卡的Windows PC上完成識別任務。

1.5 識別準確率評估方法

選取數(shù)據(jù)集外的金槍魚魚群特征視頻進行模擬識別測試、并記錄正確識別和誤識別的時間長度，計算正確識別在整個識別時間的比重，作為模擬識別的準確率，并分析該模型識別金槍魚魚群的可行性。

2 識別模型分析與結果

2.1 數(shù)據(jù)集構建

在金槍魚圍網(wǎng)捕撈過程中，搜索魚群是第一步。搜索方法主要是船員們站在高處通過望遠鏡瞭望尋找金槍魚魚群，少數(shù)大型圍網(wǎng)捕撈漁船配備載人直升機巡航搜索海面金槍魚魚群特征，包括流木、海鳥、跳躍群躍出海面而產(chǎn)生的浪花、浮水魚群因攝食海表生物而產(chǎn)生的白沫等。依據(jù)海面上魚群產(chǎn)生的浪花特征可以判斷出魚群的種類，尤其是浮水魚群的移動方向，為浮水魚群的捕撈提供重要依據(jù)。而這些金槍魚群產(chǎn)生的行為特征統(tǒng)稱為金槍魚魚群特征。根據(jù)這些特點將特征視頻按照3 s的間隔進行切片，得到10 000多張?zhí)卣鲌D片，將切片所得圖片進行篩選，篩選出來的圖片作為訓練集數(shù)據(jù)，該數(shù)據(jù)集主要的魚群特征為浮水群特征，如圖3。

圖3 數(shù)據(jù)集圖片示例Fig.3 Example of dataset pictures

具體篩選的標準如下：1)數(shù)據(jù)集中圖像所展示的特征必須清晰可見，區(qū)別于其他浪花；2)數(shù)據(jù)集中圖像均為實際環(huán)境拍攝，去除人為因素的影響；3)數(shù)據(jù)集中圖像質量高，為后續(xù)的數(shù)據(jù)集構建提供基礎。

2.2 模型訓練

采集到的金槍魚魚群標注圖像共663張(圖4)，因特征數(shù)據(jù)有限，文中僅針對浮水群特征進行研究。具體是使用Tegu提供的預訓練模型文件，即使用遷移學習方法[31-32]，首先在公開的ImageNet大規(guī)模數(shù)據(jù)集上進行預訓練，然后凍結大部分模型參數(shù)，使用采集到的標注圖像進行微調(diào)訓練來達到有效識別金槍魚漁情的目的。

圖4 標注圖像Fig.4 Labelling images

模型訓練是深度學習與遷移學習訓練的核心部分。其主要任務是在開源計算機視覺工具Tegu框架下，使用從ImageNet訓練完成后遷移過來的深度網(wǎng)絡模型，提高模型訓練的效率。為了檢測模型訓練效果，使用交叉驗證方法，將20%的數(shù)據(jù)劃為驗證集，剩余的數(shù)據(jù)作為訓練集。每訓練一輪(Epoch)之后，在驗證集上進行驗證。初始設置為連續(xù)訓練20輪，觀察驗證集精度，訓練17輪之后驗證集精度不再提高，故不再增加訓練輪數(shù)，將模型參數(shù)保存到本地文件中。

圖5展示了驗證集損失隨訓練輪數(shù)變化的曲線。該值表示估量模型的預測值和真實值的不一致程度，該值可以用于衡量模型在驗證集上的總體誤差大小。

圖5 驗證集損失曲線Fig.5 Validation Loss Curve

2.3 結果

本試驗使用兩段視頻流進行測試，具體測試方法是分別從訓練集和驗證集篩選一段視頻進行模擬識別，其中訓練集時長為172 s，誤識別時長為0 s，驗證集時長為226 s，誤識別時長為71 s。從模擬識別的結果來看，訓練集的視頻內(nèi)容，識別準確率100%，說明在訓練過程中，數(shù)據(jù)集的特征被完全識別，20輪訓練已經(jīng)將模型識別精度達到最高。對驗證集的識別準確率為68.6%，表明該模型對研究特征的識別準確率為68.6%。在傳統(tǒng)的漁情預報中，預報模型大多都是漁場預報[33-36]，該模型直接識別金槍魚魚群，可以使預報更加精細化，具有實際的應用意義。但從識別過程來看，誤識別發(fā)生的主要原因是數(shù)據(jù)集中的特征圖像不全面，浮水群產(chǎn)生的浪花在不同天氣、不同時間段的光照、不同角度都會影響其視覺特征，因此需要足夠的特征圖像來補充數(shù)據(jù)集。

3 討論

3.1 識別準確率的探討

經(jīng)查閱文獻，大多漁情預報精度在70%左右[37]，本研究模型識別準確率68.6%，具有實際的應用價值。雖然本研究的識別精度略低，但當前諸多漁情預報模型大多根據(jù)海域的環(huán)境因子和空間因子建立的，運用衛(wèi)星遙感技術獲取海洋環(huán)境數(shù)據(jù)，將漁場和海洋環(huán)境關系結合，分析金槍魚的適宜環(huán)境用于快速尋找作業(yè)漁場[34-37]，捕撈船依然需要在偌大的漁場尋找魚群，主要用于大尺度海域內(nèi)預報，本模型可在支持神經(jīng)網(wǎng)絡推斷功能的無人機機載計算機上完成識別任務，漁船可攜帶無人機和地面站設備出海，然后放飛無人機執(zhí)行搜索任務，無人機通過自己的攝像頭和機載計算機進行目標檢測，是針對具體魚群的預報，更加精準化。

3.2 其他影響因素分析

由于在實際的預報中，天氣、光照等影響因素對金槍魚魚群的可視特征影響較大，因此為了減少單一使用某種因子在特征提取時，對預測結果產(chǎn)生影響，在特征采集時要對影響因子進行兼顧，盡可能全地采集不同天氣和光照下的金槍魚魚群特征。此外，特征采集的方式也是特征識別的關鍵，本研究在測試中出現(xiàn)將漁船造成的浪花誤識別為金槍魚白沫特征，是因為本次研究的特征數(shù)據(jù)是以船的視角進行拍攝，角度過于傾斜，導致拍攝的白沫特征與浪花特征差異不明顯，針對類似情況，對以后該研究的特征采集應結合應用場景，以無人機視角進行采集，調(diào)整采集魚群特征的角度，使魚群特征盡可能全方位展現(xiàn)在圖像中，使特征圖像占采集圖像的1/3。

本研究的金槍魚魚群特征類型單一、特征數(shù)據(jù)庫不夠充分也是識別準確率的影響因素之一。實際上金槍魚魚群特征包括流木、海鳥、跳躍群躍出海面而產(chǎn)生的浪花、浮水群因攝食海表生物而產(chǎn)生的白沫、魚群聚集使海面顏色加深等，而這些特征的采集需要長期的積累，經(jīng)過不斷采集數(shù)據(jù)特征進行補充訓練。在后續(xù)的研究中，需每種特征累計至1 000張清晰圖片，保留少部分作為驗證集，其余部分進行補充訓練，以進一步提高模型識別的精度和特征類型。

3.3 智能識別技術應用拓展

基于YOLOv3模型的金槍魚魚群特征識別技術需要借助無人機平臺才能完成漁情搜索，隨著無人機技術的快速發(fā)展，運用無人機平臺進行目標識別成為未來的一個應用方向。今后還需要研究如何與無人機結合，形成一套金槍魚漁情搜索系統(tǒng)。從識別效果來看，模型自動框選識別目標，具體應用中，對于目標識別的提示亦可使用其他方法，如信號警示燈、識別報警等，這對于漁業(yè)方面其他需求，亦可探索應用，目前深水網(wǎng)箱養(yǎng)殖發(fā)展迅速，在大型網(wǎng)箱中均有實時監(jiān)控系統(tǒng)[38]，但對網(wǎng)箱內(nèi)養(yǎng)殖魚類狀態(tài)的智能識別，如魚類死亡或非正常狀態(tài)的智能識別報警、網(wǎng)箱狀態(tài)的智能識別與報警等[39-41]，今后可開展深入研究。

4 結論

基于YOLOv3模型的識別準確率為68.6%，通過綜合分析認為可以實現(xiàn)對金槍魚魚群特征的識別，為精細化漁情預報提供了一種全新思路。根據(jù)分析結果，需在海上獲取更多金槍魚魚群影像，擴充數(shù)據(jù)集，進行補充訓練，進一步提高識別準確率，為在金槍魚圍網(wǎng)漁船海上實時識別金槍魚魚群的實際應用提供技術支撐。

□