基于改進Mask RCNN和SVR的無接觸梭子蟹體質量預測研究

唐 潮, 胡海剛*, 史 策, 錢云霞

基于改進Mask RCNN和SVR的無接觸梭子蟹體質量預測研究

唐 潮1, 胡海剛1*, 史 策2, 錢云霞2

（1.寧波大學 海運學院, 浙江 寧波 315832; 2.寧波大學海洋學院, 浙江 寧波 315832）

提出了一個改進Mask RCNN目標檢測算法用以對養殖梭子蟹進行視覺特征測量. 通過在養殖區域采集梭子蟹圖像, 用上位機識別梭子蟹旋轉角度以及甲長和甲寬方向, 對輸出的Mask進行模板修補, 提高模板內區域的置信度. 通過圖像-實景對應關系換算梭子蟹的真實尺寸, 并估算其投影面積、甲寬與甲長, 結果準確率高于85%. 同時, 對視覺算法得到的梭子蟹尺寸特征與其體質量進行擬合, 引入-means聚類, 實現雙模型支持向量回歸機(SVR)預測結構. 通過差分進化算法對SVR適應度函數進行尋優, 設計了隨迭代次數、尋優效果同步變化的縮放因子, 以及適者更易生存策略的交叉概率因子, 以驗證改進算法的尋優能力. 測試時, 對新傳入的數據首先進行歸一化處理, 然后判斷所歸屬的聚類中心, 再傳至相應的SVR模型進行預測. 測試結果相對誤差小于18%.

梭子蟹; 視覺特征; 體質量; Mask RCNN; 無接觸測量

在梭子蟹工廠化循環水養殖過程中, 工作人員需要定期檢測其尺寸、形狀, 觀察其顏色等特征, 為餌量、用藥、分級等提供依據[1]. 目前養殖蟹主要通過人工肉眼判斷, 手工接觸或使用簡單工具進行測量, 不僅效率低還容易導致蟹感染疾病, 甚至死亡[2]. 通過計算機視覺技術, 在養殖環境下實現對水生生物特征進行無損檢測已成為趨勢[3]. 該方法可實現對水質和生物生長、行為等監控[4], 這種監測具有經濟、可遠程操作、無須接觸和精度高等特點[5]. 傳統機器視覺的無監督分割方法的效果主要取決于目標與背景的差異[6], 在水產養殖中應用較少. 文獻[7-9]分別在專設背景下對魚、蟹目標進行分割, 提取尺寸特征后建立了目標物與其體質量的回歸模型. 但在梭子蟹養殖中, 水中會出現蟲蛾、殘餌、泥沙等雜質, 這對傳統的無監督圖像目標檢測和分割方法帶來了挑戰. 隨著計算機技術的進步, 特別是深度學習的發展, 基于卷積神經網絡的目標檢測方法在復雜背景下展現了優勢, 不再需要將生物體移框到專設的拍攝區域[10-11].

目前學界將深度學習的目標檢測算法分為兩類[12]: 一類是基于回歸的YOLO系列算法[13], 將類別和邊界框的坐標同時進行預測, 該算法速度快, 但召回率稍差; 趙德安等[14]利用該算法對水下的灰度河蟹圖像進行了檢測, 取得了較好效果. 另一類是基于區域的RCNN系列算法[15], 將前景與背景分割, 前景分類, 該算法識別速度較慢, 但召回率較高. 這兩類算法都只能識別出目標的范圍, 不能較好地分割出物體的輪廓, 也不能根據物體旋轉的角度對邊界框進行旋轉, 因此不能滿足對尺寸識別的需要. 為此, He等[16]提出了Mask RCNN算法,該算法具有物體掩膜(Mask)的預測分支, 可以分割出圖像中的實例, 從而可進一步由面積等參數回歸獲得梭子蟹實時體質量的預測. 在體質量預測方面, 王靜安等[17]對河蟹甲殼尺寸與體質量進行了線性擬合, 發現雌雄河蟹甲長、甲寬等與體質量密切相關. 張超[18]利用最小二乘法對梭子蟹面積和體質量進行了單因子擬合. 為進一步提高精度, 唐楊捷等[19]采用甲寬、甲長和面積實現了3因子對體質量的擬合, 將預測誤差降至2.23%以下.但現有方案還不能做到在養殖背景下的基于實時圖像的尺寸測量. 因此, 如何將多元體質量擬合方法與無接觸圖像算法進行有機結合, 以進一步提高模型性能具有重要意義.

本文以無接觸圖像識別為出發點, 提出了一種通過獲取養殖環境下梭子蟹投影面積、甲寬與甲長, 并經特征聚類后對應不同聚類中心建立體質量的預測模型, 通過靜態圖像識別估測梭子蟹的體質量. 該技術可輔助實現餌料投放的“閉環”控制, 有助于提高水產養殖的智能化水平.

1 檢測材料和方法

1.1 實驗平臺的搭建

實驗平臺設備主要包括三腳架、CCD工業相機、定焦鏡頭、連接設備和上位機PC.

實驗對象為單筐養殖梭子蟹. 選取生長狀況良好、個體大小不同, 共200只梭子蟹, 依次放置在養殖筐內, 在養殖筐中注入海水和泥沙模擬養殖環境. 用三腳架將工業相機架設在養殖筐上方, 視野保持在養殖筐范圍. 相機鏡頭的選型與實際工作匹配. 實驗采集裝置的工作距離(WD)約1m. 為便于一對一編號和基于視覺尺寸提取, 單次拍攝的視場尺寸(FOV)與框體尺寸(400mm×300mm)一致. 相機鏡頭焦距的計算公式為:

式中:CCD為相機靶面尺寸, 取12.7mm(1/2英寸), 有效像素1920×1440.

為保證整個框體完全處于視野中, 分橫縱2個方向分別計算值, 取兩者較小值, 即選用焦距為16mm的定焦鏡頭, 鏡頭像面尺寸為19.9mm(2/3英寸), 大于相機的靶面尺寸, 以互相兼容[20].

1.2 模板修正的Mask RCNN尺寸提取

圖1 Mask RCNN網絡結構

Mask分支將特征圖池化為28×28像素, 并在預測時計算出每個像素前景可能性的概率, 超過閾值則被判定為前景. 小尺度的Mask特征圖減小了生成掩膜所需的算力, 使得Mask RCNN在增加實例分割功能的基礎上不增加運算時間.

殘餌、反光等會影響梭子蟹輪廓的識別, 或有部分螯足被虛警, 造成甲殼識別出現小面積的畸形. 為了提高Mask識別的準確度和識別養殖環境下梭子蟹的旋轉角度, 本文在Mask分支預測出的概率矩陣基礎上, 提出了優化梭子蟹甲殼分割的方法, 即通過統計大量甲殼形狀找到最具普適性的甲殼模板, 并將模板最佳匹配到生成的掩膜位置, 按照模板形狀對Mask的概率矩陣進行修正, 以進一步削弱超出正常梭子蟹輪廓部分, 刪除明顯離群的虛警部分.

1.3 聚類優化梭子蟹體質量預測

圖2為梭子蟹體質量建模和預測過程. 依據梭子蟹體質量與甲殼長和寬的密切關系[22], 在采用面積的基礎上, 加入甲長、甲寬, 搭建3因子回歸模型, 以提高預測的準確度. 模型根據梭子蟹3個視覺特征的內在屬性, 通過聚類建立各類預測模型, 并將其輸入到支持向量機(SVM)中加以訓練.

圖2 梭子蟹體質量預測模型

2 基于后驗邏輯的模板匹配

2.1 模板獲取

由于掩膜的修正依賴模板, 因此改進效果優劣直接取決于模板能否代表絕大多數梭子蟹的甲殼范圍. 梭子蟹通過多次脫殼實現生長, 每次脫殼后甲寬和甲長都有一定增長, 但增長趨勢十分接近, 長寬比基本保持不變[23].

本文采用200只水平放置的梭子蟹甲殼區域的二值圖作為樣本集, 按甲殼寬等比歸一化, 得到甲寬相同甲長各異的新樣本; 按照重心位置疊加, 取所有樣本圖像的交集, 得到一張可以覆蓋各種形狀的初始甲殼模板t. 始終固定模板寬度不變, 長度從樣本的最小值按照設定步長增至最大值, 模板與樣本(=200)的平均交并比(Avg IOU)的計算公式為:

將滿足平均交并比最大的位置所對應圖片的長和寬作為最終模板尺寸(圖3).

圖3 梭子蟹甲殼模板

2.2 基于圖像矩的重心和傾角識別

由網絡推斷出的實例雖然具有語義, 但并不能識別其相對于模板旋轉的角度, 這為模板的匹配帶來了困難. 針對梭子蟹甲殼的對稱性, 本文采用二階矩計算輸出掩膜的傾斜角度.

實例分割出的Mask為甲長方向個像素, 甲寬方向個像素的二值圖像,(,)表示坐標為(,)點對應的像素值, 若位于實例內, 則為1, 否則為0.

式(3)可分別計算出預測Mask的圖像矩, 其中00為零階矩,01和10為一階矩,20、02和11表示二階矩, 通過式(4)可求出實例的重心(c,c)和旋轉角.

2.3 模板后驗匹配

為了減少匹配產生誤差, 需要對模板圖按實例大小進行縮放, 以重心為中心旋轉至Mask相同的角度. 由于水中顆粒存在散射, 會造成實例尺寸明顯大于梭子蟹的真實甲殼, 若按回歸Mask長寬放大模板會導致模板包含過多的背景部分. 經比較最終采用面積匹配法, 放大倍數的計算公式為:

式中:SJ為衰減因子, 取0.9左右, 以平衡圖像噪音的干擾, 并防止放大倍數過大;Mask為實例面積, 隨個體大小變化;Temp為模板面積, 取定值.

完成放縮后旋轉, 為保證旋轉前后模板甲殼區域面積不發生改變, 需要對仿射變換后的圖片重心位置和邊界框尺寸進行如下調整:

采用Python 3.6軟件中pencv模塊下cv2.Get- RotationMatrix2D函數計算按模板重心(C,C)給定角度的變換矩陣, 并根據式(7)對稍作調整, 矩陣中前2列實現旋轉, 最后1列實現移動轉軸至任意點, 并修正因旋轉可能導致的越界部分.

將修正后的變換矩陣傳入warpAffine函數進行仿射變換和邊界調整, 計算輸出模板重心. 根據新模板和Mask重心完成Mask與模板圖片的匹配, 此時模板圖與Mask產生3處邏輯關系(圖4).

圖4 模板與掩膜邏輯關系

圖4中S1為模板和Mask的共同置信區域, 最有把握識別正確; S2為Mask識別出而不包含在模板中的部分, 很可能是水中顆粒散射造成的虛警部分, 應予衰減; S3是由于甲殼邊緣部分特征不明顯很難被識別出的部分, 應增大Mask矩陣中相應位置的概率. 對不同區域Mask的概率進行增益或衰減的具體數值計算公式為:

3 模型訓練與測試

3.1 實驗數據集制作

(1)圖像收集. 為消除地域和人工選育的影響, 分別選用產地為浙江寧波和山東青島的梭子蟹, 品種為養殖蟹和野生蟹, 共收集梭子蟹甲殼訓練集1000張, 驗證集200張, 測試集85張, 測試集與訓練集圖片采自不同時間和產地的梭子蟹.

(2)數據增廣. 在梭子蟹識別中經常會因為視角的傾斜、鏡頭畸變、光線變化、局部遮擋、波紋和旋轉等造成識別準確率下降, 因此通過變換訓練集以達到提前模擬這些工況. 數據增廣方式為: 首先對所有圖片進行水平和垂直翻轉, 然后對3倍大小的訓練集隨機進行仿射變換、高斯噪聲、亮度調整、局部涂黑和高斯模糊中的一種或多種變換, 從而將訓練集擴充至6000張.

(3)前景標記. 采用Labelme插件完成數據ground truth標注.

3.2 模型的遷移學習

訓練和測試配置為Intel i7 6700K處理器及七彩虹GTX1070顯卡, 內存16GB, 采用GPU加速. 訓練采用遷移學習方式, 輸入標記好前景的訓練集圖像進行前向模型計算, 反向誤差傳遞, 更新頂層權重, 訓練階段采用異步隨機梯度下降算法防止訓練陷入馬鞍點. momentum參數選為0.9, 訓練重復次數(epoch)為30, 權值初始學習率設為0.001. 隨著epoch次數增加逐漸減小, 衰減系數設為0.0001. 圖5是改進Mask RCNN訓練損失值及交并比曲線.

雖然很多高校都成立了諸如大學生創業園、創業孵化基地、創客空間等創新創業平臺，也開發了創新創業教育教材，并設置了固定創新創業學時，但存在著投入大、收效小的尷尬局面，實際成效難以量化，象征性意義大于實質性意義，對于提升人才培養質量、提高人才核心職業競爭力的幫助極為有限。

圖5 損失值與交并比隨改進Mask RCNN訓練次數的變化

由圖5可看出, 隨著訓練迭代次數的增加, 損失值迅速降低, 并逐漸收斂穩定在0附近; 交并比逐漸增大, 但因實際測試環境較為復雜, 受波紋、殘餌等影響, Mask RCNN始終不能完全精確地將梭子蟹甲殼部分與背景分割開, 最終交并比穩定在0.9以上. 從上述各參數的訓練過程看, 模型的收斂結果較為理想.

3.3 圖像與實際尺寸的轉化

由于在鏡頭選型時確保視野內只包含單只蟹框, 因此在硬件不變條件下, 每次采集圖像的視野長、寬和包含像素始終固定, 可以通過每個像素的長度換算圖像中梭子蟹對應的真實尺寸. 定義單位真實尺寸對應圖像中個像素, 其單位為像素·mm-1, 滿足:

式中:pixel為采集圖像在寬度上分布的像素數目,針對同一鏡頭和相機感光元件, 存在固定的分辨率和像素, 像素與分辨率的比值確定圖像的像素尺寸;0為整個視野真實的寬度, 測量時選取與梭子蟹主體位于同一水平面的最大視野的實際長度.

本例采用1920×1440像素與96ppi, 取像素寬度為1440, 視野寬度為養殖框的寬度, 取300mm, 代入式(9), 得=4.8. 由此可以根據梭子蟹圖像在長度(或寬度)方向所占據的像素數目(L)和梭子蟹實例在圖像上所占據的總像素數(A), 根據式(10)推導出所對應的真實尺寸()及真實投影面積(), 其計算公式為:

3.4 算法性能對比

85張測試集圖像采自真實養殖狀態, 背景包含水面、殘餌、糞便、泥沙等. 推斷時將測試集依次傳入訓練所得模型, 由于蟹螯足、殘餌與蟹甲殼紋理接近, 據先驗知識將檢測框分辨率像素設為128×128、256×256、512×512, 即刪除不匹配梭子蟹甲殼的推薦區域(RPN)尺寸, 避免對非目標區域的誤識別, 識別的綜合效果見表1. 性能評價采用召回率()和平均精度(P)2項指標, 其計算公式分別為:

式中:為測試集包含的圖片數;P為每張圖像中真陽性個數;N為虛警語義個數;P為出現的假陽性個數.

3.5 驗證結果分析

表1 梭子蟹識別模型的平均性能

圖6和圖7分別是改進前后掩膜范圍對比, 以及梭子蟹甲長、甲寬和面積算法推斷與人工實測誤差對比. 從圖6和圖7可看出, 梭子蟹面積、甲長和甲寬的估算準確率基本保持在85%以上, 對甲殼部分分割良好. 甲寬誤差大部分呈負值, 說明算法對甲殼尖端部分分割效果較差, 造成甲寬估算過短, 如編號6、54、71等樣品; 甲長估測有部分誤差超過10%, 如編號5、11、53等樣品, 其原因為誤將收起的梭子蟹大螯識別為甲殼, 造成甲長被錯誤地放大.

圖6 改進前后掩膜范圍對比

圖7 算法改進前后測量誤差對比

由圖7(a)可看出, 在甲長識別時, 改進算法明顯減小了誤差折線的波動和誤差峰值, 將甲長誤差絕對值基本保持在10%以下. 從圖7(b)可看出, 由于梭子蟹大螯部分被誤識別時會明顯增加甲長的估測值, 但其相對于甲殼部分面積較小, 改進算法能有效地依照模板將多余部分刪除, 提高甲長估測的準確性. 改進算法由于依靠原始算法的掩膜輸出, 面積誤差部分與原算法趨勢相同, 優化程度較小(圖7(c)). 由表1可知, 改進后誤差均方波動減小較為明顯, 改進前后測試集中甲長、甲寬和面積3個尺度的誤差絕對值均保持在0.10以下的樣本數量由44個增加到60個, 均保持在0.05以下的樣本數量由6個增加到29個. 在峰值誤差方面, 由于某些樣本中采集模糊、反光, 如編號50的梭子蟹圖像, 造成原始算法對梭子蟹甲長、寬和面積估測顯著減少, 誤差較大的初始掩膜對改進算法的效果也產生負面影響, 最終因模板變形后對甲寬方向的伸長作用, 初始掩膜和模板疊加后一定程度上補償了面積和甲寬的缺失, 但是由于面積的負誤差, 造成模板對甲長方向沒有改進效果, 最終使得算法針對某些樣本出現較大的峰值誤差. 適當采用較大的模板放大系數、良好的補光、穩定的高速攝像機可緩解這類問題的產生.

綜上可知, 改進算法對于提取梭子蟹的視覺尺寸相比原始算法在精確度和穩定性上都有一定提高, 為后續體質量回歸提供了更準確的數據.

4 梭子蟹體質量預測

4.1 改進的差分進化算法

差分進化算法是一種尋優算法, 其基本思想是隨機產生初始種群, 通過變異得到新個體, 將新個體與當代種群中預先決定的個體相比較, 優勝劣汰, 引導搜索過程向最終的最優解靠近.

4.1.1 差分進化算法的參數改進

(1)追逐適應度的自適應變異因子

在尋優初期, 通過較大的尋優函數返回值加大變異縮放因子, 保持群體多樣性, 避免早熟[24]. 隨著代數的增加和均方誤差的下降, 縮放因子迅速減小, 回到設定值0附近[25], 提高搜索到最優解的概率. 但只通過代數的增長進行衰減較為刻板, 不能根據當前尋優過程的特異性優化尋優過程, 若代數設置較大, 則尋優過程會經歷長時間的較大變異縮放因子, 引起尋優過程頻繁跳過最優值, 浪費算力. 本文通過Sigmoid函數縮放兩代之間的適應度以調整取值, 隨著適應度減少, 調整變異幅度, 減小尋找最優值所需的步數. 本文設置的縮放因子計算公式為:

式中:0為預設的縮放因子, 取0.5;為算法當前代數;n為預設進化總代數;為權重常數, 經實驗選取0.8時表現較好;為源自神經網絡生長曲線S型激活函數, 可將實數域的適應度之差縮放為0~1之間數值, 其表達式為:

best()表示第代種群中適應度最高個體對應的適應度, 當超過3代后, 便可計算前兩代間的適應度差異, 從而指導進行自適應變化.

(2)適者生存的交叉策略

除縮放因子外, 交叉概率(r)也會影響尋優效果.r主要反映在交叉過程中, 子代與父代、中間變異體之間交換信息量的大小程度.r值越大, 包含新信息程度越大, 收斂速度較慢, 但有利于保存物種多樣性; 反之, 如果r值偏小, 雖然收斂速度加快, 但會使種群的多樣性快速減小, 不利于全局尋優.

本文設計的自適應交叉概率可根據每個個體與當代整體水平的關系進行調整, 對優秀個體的性狀更加寬容, 能夠兼顧收斂速度和種群多樣性.r的計算公式為:

4.1.2 尋優性能驗證

為了測試本文提出的改進算法(-r-DE)的收斂性能和逃出馬鞍點能力, 將-r-DE算法與標準差分進化算法(DE)以及自適應交叉因子的DE算法(r-DE)進行仿真結果對比. 實驗參數設置為: 粒子種群大小Z=20, 最大迭代次數max=500, 搜索區間為[-10,10].

表2 3種算法在不同適應度函數下的收斂精度

注: 1)Ackley函數因Python計算精度原因, 在0處仍出現-4.44×10-16的誤差, 因此認為當迭代出現相應精度時, 誤差為0.

選取Rosenbrock、Rastrigin、()和Ackley測試函數[26], 這些函數存在眾多局部最小值區域, 且均存在最小值(0). 分別用上述函數進行標準DE算法、rDE算法以及r-DE算法試驗對比, 結果見表2.

由表2可知, 當差分進化進行迭代時, DE算法更容易陷入局部最優的馬鞍點且難以逃離, 導致算法收斂性能較弱.r-DE算法對于優秀的個體降低采納標準, 可以顯著提高進化過程的收斂速度.-r-DE算法增強了防止越過最優值的性能, 隨著代數次數的增加逐漸減小變異因子. 但只通過代數的增長進行衰減不能反映數據衰減的特性, 不能緊跟適應度的減少調整變異幅度. 通過Sigmoid函數縮放兩代之間的適應度, 用差值進一步減小取值, 匹配空間搜索速度, 可顯著減小尋找最優值所需的步數.

r-DE算法和-r-DE算法比DE算法精度有顯著提升. 以尋優精度達到0為前提, 在尋優步數方面,-r-DE算法收斂時的迭代次數比r-DE算法與DE算法平均減少了16.7%與38.7%; 在精度方面,-r-DE算法始終能搜尋到3種方案中的最優值. 因此,-r-DE算法在適應度函數的尋優步數和精度上均有優勢, 其交叉因子和變異因子的自適應改進均有效.

4.2 基于k-means聚類和自適應DE算法的支持向量回歸(SVR)梭子蟹體質量預測模型

4.2.1 數據來源

用于體質量預測的梭子蟹特征數據來自寧波大學智慧養殖實驗室. 樣本為帶有體質量標簽的175只梭子蟹養殖圖像, 詳見表3. 經改進Mask RCNN方法提取樣本梭子蟹甲長、甲寬、面積3個視覺特征作為訓練特征, 對應的體質量信息作為預測目標.

表3 原始數據

續表

4.2.2 樣本的-means聚類

-means聚類是在給定個初始中心點情況下, 把每個點分到離其最近的簇中心點所代表的簇中, 所有點分配完畢后, 再根據一個簇內的所有點重新計算該簇的中心點, 然后再迭代進行分配點和更新簇中心點, 直至簇中心點的變化很小, 或者達到指定的迭代次數.

在對數據進行聚類前, 為排除3個坐標尺度不同對聚類產生的影響, 根據式(17)分別將3個視覺參數歸一化到[0,1]區間, 其中X和分別表示歸一化前后的視覺參數,為個數據點的平均數.

數據依個中心聚類結果顯示: 當=1時, 梭子蟹體質量分布散亂, 數據標準差為52.83; 將設為2時, 兩類數據標準差都有所減少, 一類甲寬較大, 且甲殼面積較突出, 基本分布在200g以上, 命名為“寬大型”, 其標準差為28.76; 另一類相比前類甲寬較小, 甲殼面積也較小, 命名為“窄小型”,其標準差為50.77; 將設為3時, 原先窄小和寬大型數據在150g左右的交界區域又細分出新型數據, 依照分類自變量可將新聚類中心命名為“方正型”, 表現出甲寬較短、甲長較長的特征, 圍成的面積更大, 新聚類中心的生成使3組數據的標準差都有所下降, 分別為22.9、43.59和28.45, 但考慮到“方正型”與另外2類區別不顯著, 且3次聚類后“寬大型”數據量過少, 預測時會出現過擬合現象, 綜合考慮選擇=2.

當=2時, 梭子蟹按照生長程度自發歸成2類, 符合自然生物規律. 聚類后可以更有效地區分同一批梭子蟹由外形尺寸的權重不同導致的體質量預測差異, 每一組歸屬于不同聚類中心的數據都有各自的預測模型, 模型的準確性相應提高.

4.2.3 聚類優化SVR預測結果分析

SVR是支持向量機一個重要的應用分支, SVR通過尋找使所有的樣本點總偏差最小的最優超平面實現參數回歸.

將參數應用到SVR模型中, 對新傳入來自2個聚類中心的25個測試集樣本點歸一化后, 判斷所歸屬的聚類中心, 再傳入相應的預測模型進行回歸, 得出預測體質量值, 預測體質量與實際體質量對比結果如圖8所示.

計算預測值與真實值之間的相對誤差, 并與原始SVR模型、聚類后的原始SVR模型和BP神經網絡模型進行對比, 其中BP神經網絡采用6隱藏節點數目, epoch設為50, 隱含層轉移函數: tansig, 輸出層轉移函數: purelin, 訓練函數: traninbr, 最大訓練次數設為1000, 目標最小誤差設為0.00001,學習速率設為0.0001.

圖9為各模型預測結果. 從圖9可知, 優化算法可以有效找到擬合效果最好的參數, 提高預測精度, 相比未改進算法其相對誤差顯著減小, 誤差峰值基本保持在20%以下.

圖8 改進模型預測體質量與實際體質量對比

圖9 各模型預測結果對比

通過圖9與表4可看出, 雖然BP神經網絡和聚類優化后的支持向量機都表現出較好的預測性能, 最大相對誤差都未超過20%, 但未經聚類的算法由于損失函數針對2個聚類中心的不同特征, 旨在建立對2個中心共同的最小誤差模型, 因此其誤差損失波動性較大, 且對任一樣本點的預測都有均衡偏差, 如圖9中SVR和BP神經網絡曲線, 其整體趨勢基本圍繞在軸上下, 但波動較強; 對比聚類后, 由于后者能夠分別學習到不同樣本簇的特征, SVR均方誤差降低了5.8g, 聚類+優化SVR均方誤差性能超越BP神經網絡, 在4類算法中表現最優. 由此可驗證, 2類樣本尺寸-體質量模型并不相同, 若用單一模型進行預測難以找到統一的優化指標和回歸曲線, 無法得到最佳性能.

從預測精度看, 無論采用何種預測方法, 編號23樣本總出現嚴重的負誤差, 該體質量樣本對應視覺樣本編號77, 由于面積預測時過多受到遮擋, 視覺輸出存在較大誤差, 面積參數由Mask RCNN的掩碼轉換而來, 因而造成體質量預測錯誤, 這類現象可由補光優化進一步改進. 聚類+優化SVR的最大相對誤差比BP神經網絡和聚類+SVR分別低54%和3%; 對于均方根誤差, 聚類+優化SVR的均方根誤差最小, 即預測模型表現穩定. 總體而言, 聚類和差分進化算法符合梭子蟹尺寸及體質量回歸預測多變量、多模型的特點, 可提高SVR的預測性能.

表4 模型預測誤差比較

5 結語

本文采用CCD相機獲取梭子蟹圖像, 提出了模板匹配的改進Mask RCNN檢測算法, 通過自適應選擇縮放因子和交叉概率的差分進化算法優化支持向量回歸, 實現了對梭子蟹體質量的預測, 測試效果良好.

計算機輔助蟹尺寸識別及其體質量預測可提高蟹工廠化養殖的自動化程度, 降低人工成本, 具有一定的應用價值. 但蟹厚度也會對蟹體質量造成影響, 因此在后續研究中將考慮采用雙目視覺方案, 獲取梭子蟹的厚度信息, 建立多元擬合模型, 以達到更精確的預測效果.

[1] 曹廣斌, 蔣樹義, 韓世成, 等. 工廠化水產養殖中的自動控制技術[J]. 水產學雜志, 2011, 24(1):60-64.

[2] 周顯青, 孫儒泳, 牛翠娟. 應激對水生動物生長、行為和生理活動的影響[J]. 動物學研究, 2001, 22(2):154- 158.

[3] Mathiassen J R, Misimi E, Bond? M, et al. Trends in application of imaging technologies to inspection of fish and fish products[J]. Trends in Food Science & Technology, 2011, 22(6):257-275.

[4] 段延娥, 李道亮, 李振波, 等. 基于計算機視覺的水產動物視覺特征測量研究綜述[J]. 農業工程學報, 2015, 31(15):1-11.

[5] Zion B. The use of computer vision technologies in aquaculture – A review[J]. Computers and Electronics in Agriculture, 2012, 88:125-132.

[6] 周莉莉, 姜楓. 圖像分割方法綜述研究[J]. 計算機應用研究, 2017, 34(7):1921-1928.

[7] Viazzi S, van Hoestenberghe S, Goddeeris B M, et al. Automatic mass estimation of Jade perchby computer vision[J]. Aquacultural Engineering, 2015, 64:42-48.

[8] 王文靜, 徐建瑜, 呂志敏, 等. 基于機器視覺的水下鲆鰈魚類質量估計[J]. 農業工程學報, 2012, 28(16):153- 157.

[9] 張超, 徐建瑜, 王文靜. 基于機器視覺的梭子蟹質量估計方法研究[J]. 寧波大學學報(理工版), 2014, 27(2):49- 51.

[10] 姚霆, 張煒, 劉金根. 基于深度學習的圖像分割技術[J]. 人工智能, 2019, 6(2):66-75.

[11] 駱桂蘭, 陳軍, 王會聰, 等. 水產養殖過程中計算機視覺的應用[J]. 畜牧與飼料科學, 2017, 38(12):91-92.

[12] 房永峰. 基于深度學習的牲畜目標檢測與跟蹤算法研究[D]. 合肥: 中國科學技術大學, 2019.

[13] Redmon J, Divvala S, Girshick R, et al. You only look once: Unified, real-time object detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016:779-788.

[14] 趙德安, 劉曉洋, 孫月平, 等. 基于機器視覺的水下河蟹識別方法[J]. 農業機械學報, 2019, 50(3):151-158.

[15] Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition, 2014:580-587.

[16] He K M, Sun J, Tang X O. Single image haze removal using dark channel prior[C]//2009 IEEE Conference on Computer Vision and Pattern Recognition, 2009:20-25.

[17] 王靜安, 陳開健, 劉小燕, 等. 大通湖水域河蟹體長、體重及頭胸甲關系研究[J]. 湖南文理學院學報(自然科學版), 2017, 29(1):35-39.

[18] 張超. 計算機視覺技術在梭子蟹養殖中的應用研究[D]. 寧波: 寧波大學, 2014.

[19] 唐楊捷, 胡海剛, 張剛, 等. 基于計算機視覺和GA- SVM的梭子蟹體重預測[J]. 寧波大學學報(理工版), 2019, 32(1):32-37.

[20] 陳軍. 基于機器視覺的汽車油泵支撐桿尺寸實時檢測系統[D]. 杭州: 浙江大學, 2017.

[21] Ren S Q, He K M, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6):1137-1149.

[22] 高保全, 劉萍, 李健, 等. 三疣梭子蟹形態性狀對體重影響的分析[J]. 海洋水產研究, 2008, 29(1):44-50.

[23] 高天龍, 王燕飛, 鮑雪寧, 等. 單體筐養三疣梭子蟹的蛻殼與生長規律研究[J]. 生物學雜志, 2016, 33(3):41- 46.

[24] 高岳林, 劉軍民. 差分進化算法的參數研究[J]. 黑龍江大學自然科學學報, 2009, 26(1):81-85.

[25] 顏學峰, 余娟, 錢鋒, 等. 基于改進差分進化算法的超臨界水氧化動力學參數估計[J]. 華東理工大學學報(自然科學版), 2006, 32(1):94-97; 124.

[26] 紀震, 廖惠連, 吳青華. 粒子群算法及應用[M]. 北京: 科學出版社, 2009:74-78.

Weight estimation of non-contact swimming crabs based on improved Mask RCNN and SVR

TANG Chao1, HU Haigang1*, SHI Ce2, QIAN Yunxia2

( 1.Faculty of Maritime and Transportation, Ningbo University, Ningbo 315832, China; 2.School of Marine Science, Ningbo University, Ningbo 315832, China )

The data of farmed crabs mainly rely on manual measurement, which is both labor intensive and resource wasting. In this paper, an improved Mask RCNN size measurement algorithm is proposed, and the original Mask based on probability output from Mask RCNN is modified according to the template obtained in advance to achieve more accurate size estimation. First, crab images are captured by using cameras, which are then segmented with the Mask RCNN algorithm. After applying a second-order moment algorithm on the mask, the template is transferred and rotated into the center of the original mask, and the corresponding part is modified by adding and subtracted benefits, so as to obtain a more accurate image of the carapace. The real size of the crab is converted through the image-real scene mapping, and the area, width and length of the crab carapace are estimated with an accuracy of more than 85%. The size obtained by the visual algorithm is fitted to the weight of the swimming crab. In order to improve the matching degree of the model, the-means clustering is introduced to implement a dual-model support vector regression machine (SVR) prediction structure, which uses the differential evolution algorithm to optimize the fitness function of the SVR. In the test process, after normalizing the newly input data, the cluster center to which it belongs is first determined, and then the corresponding SVR model is applied for prediction. The test set results show that the relative error remains below 18%.

swimming crab; visual feature; weight; Mask RCNN; non-contact measurement

TP274

A

1001-5132（2021）02-0031-11

2020?05?18.

寧波大學學報（理工版）網址: http://journallg.nbu.edu.cn/

浙江省公益技術項目（2017C32014）; 浙江省重點研發計劃（2019C02055）; 寧波市科技富民項目（2017C10006）; 寧波市自然科學基金（2019A610424）.

唐潮（1995－）, 男, 江蘇宿遷人, 在讀碩士研究生, 主要研究方向: 計算機視覺. E-mail: 2906941684@qq.com

胡海剛（1966－）, 男, 浙江舟山人, 高級實驗師, 主要研究方向: 船舶工程安全技術與機電控制. E-mail: huhaigang@nbu.edu.cn

（責任編輯 史小麗）