基于機器視覺的淡水魚去鱗損傷無損檢測識別方法

閆朋濤，王昆倫，孫家亮，張學雨，王碧堯，王慧慧*

1. 大連工業大學機械工程與自動化學院（大連 116034）；2. 國家海洋食品工程技術研究中心（大連 116034）

隨著人們生活水平的提高，對于高品質魚蛋白的需求量在逐年增加，淡水魚類含有豐富的蛋白質，其產量在魚類總產量中約占73%[1-2]。2017年漁業年鑒顯示，2016年全國淡水魚類養殖量達約3 179.3萬 t，比2015年增長約100.5萬 t，隨著淡水魚需求量的逐年增長，淡水魚產量與前處理過程的不匹配狀態已嚴重制約相關行業的發展，提高淡水魚加工自動化、智能化水平顯得尤為重要。淡水魚前處理加工過程的關鍵工序主要包括去鱗、去臟、去頭。其中，去鱗損傷是影響產品外觀品質、減少貨架期的重要因素，目前對去鱗損傷的檢測還主要依賴人工完成，是制約淡水魚加工裝備自動化、智能化主要原因之一。

近年來伴隨著人工智能的崛起，機器學習和深度學習得到了極大的發展。計算機技術和相關硬件設備的進步為機器學習和深度學習的應用提供了硬件基礎。計算機視覺作為一種新興的技術，依托計算機高速運算的優勢和相關圖像采集設備性能的提高，在食品加工與產品品質檢測方面有著廣泛的應用。同時，與機器視覺相關的設備正朝著快速、無損、高精度、高自動化等方向發展[11,13-14]。目前已經在蔬菜、水果等無損檢測中得到了越來越多的研究和應用[12,16,20]。王樹文等[3]利用圖像采集設備將采集的圖像利用圖像處理的方法得到番茄缺陷的特征參數，建立BP神經網絡模型，最終實現了對番茄損傷的自動檢測和分類；李順琴等[4]基于計算機視覺提取橙子的大小顏色和表面特征，通過建立RBF神經網絡模型，實現對橙子的自動化檢測和分級也取得了不錯的效果；李錦衛等[5]通過計算機視覺技術，利用灰度截留分割和十色模型對馬鈴薯的表面缺陷和有芽進行了研究，通過計算機視覺技術建立的該檢測方法可以快速有效的檢測出馬鈴薯的表面缺陷。

研究面向機械式去鱗過程，基于機器視覺和圖像處理技術建立淡水魚去鱗損傷自動識別算法模型，實現了淡水魚去鱗損傷的快速、無損檢測。

1 材料與方法

1.1 試驗材料

研究以鯉魚為例展開相關試驗。試驗用鯉魚購置于大連長興水產市場，挑選的為鱗片無損傷的鮮活鯉魚，經過去頭、去臟后放入帶冰的保溫箱中迅速運回實驗室。使用刮板式去鱗機進行樣品的去鱗操作試驗，隨機選取帶有去鱗損傷的鯉魚進行圖像采集，為后續的處理提供數據支持。

1.2 儀器設備與圖像數據的采集

利用機器視覺系統裝置采集每個樣本相應的圖像數據，該系統裝置主要由工業相機、鹵素燈光源、工控裝置等組成，曝光時間為10 ms，物距50 cm，所采圖像分辨率為960×1 400 pixel2，圖像的位深度為24，圖像格式為BMP。

針對具有去鱗損傷的圖像，在損傷圖像處選取30×25 pixel2大小的矩形區域作為損傷的感興趣區域（ROI），在正常魚體圖像處選取30×25 pixel2大小的矩形區域作為無損傷ROI區域。

1.3 圖像處理與模型搭建

1.3.1 圖像顏色模型的選擇和預處理

為獲取圖像中ROI的特征，計算機對彩色圖像的處理需要根據應用目的的不同選用不同的彩色模型，研究采用應用較為普遍的RGB顏色模型[9-10]。

對數字圖像進行多分辨率分析時，小波變換能夠在空間頻率域進行局部化分析，通過伸縮平移等運算操作對圖像的像素信號函數進行細化，能夠實現空間頻率信號的自動分析。方法具有低熵、多分辨率性、去相關性，基數選擇靈活等特點，對尖峰和突變信號具有良好的保護作用。因此，研究采用閾值小波變換進行圖像去除噪聲處理，并與原始圖像處理效果進行對比分析。

1.3.2 神經網絡建模

廣義神經網絡（GRNN）是一種建立于非線性回歸分析基礎之上的徑向基神經網絡[6-7]，其具有較強的非線性映射能力和全局收斂性，具有較簡單的網絡結構，較強的魯棒性和容錯性；徑向基函數神經網絡（RBF）是一種基于高斯函數的非線性映射的神經網絡，該網絡將數據轉化到高維空間，實現高維空間線性可分，網絡訓練時間較短，不易產生局部最優解[8]。GRNN、RBF網絡已廣泛應用于食品品質的分級預測[7,18]。研究建立基于GRNN和RBF網絡的魚加工損傷預測模型，并針對預測的準確率、建模時間進行對比分析。模型輸入層神經元由所采集樣品的圖像特征構成，輸出層神經元由0、1構成，分別代表完好魚體表面和損傷魚體表面。選擇100個30×25 pixel2圖像來構建預測模型，其中50個為完好魚體表面圖像，50個為損傷魚體表面圖像，標記好后，分層按比例選取這100個圖像中的60個圖像用于模型的訓練，40個圖像用于模型的驗證。

1.3.3 損傷區域識別驗證與可視化

利用上述模型實現完好魚體區域與損傷魚體區域的預測，在此基礎上對圖像進行圖像二值化處理，其中完好魚體的圖像部分賦值為0，損傷魚體的圖像部分賦值為1，通過形態學圖像處理區域聯通和小區域去除[9-10]的方法降低消除預測過程中產生的誤差。在此基礎上，利用二值圖像數據特點，通過預測圖像與原始樣本圖像的乘法運算，實現損傷區域的可視化。利用預測損傷區域與實際損傷區域面積相對誤差比驗證模型精確度，比值公式如式1所示，其結果值越接近100%說明模型預測越準確。

式中：p1為預測所得損傷區域的圖像面積，p2為原圖像實際損傷區域的面積，P為鯉魚的預測損傷區域與實際損傷區域的接近程度百分比即準確率。

1.3.4 數據處理

研究利用Matlab 2011a（The Math Works Inc．，美國）軟件，進行識別模型的建立和損傷區域圖像仿真等相關運算和操作。

2 結果與討論

2.1 圖像去噪分析

圖1為預處理圖像，其中圖1（a）為原始圖像，（b）為經小波去噪處理后圖像，比較兩圖像效果，去噪圖與原圖差別不大，說明由于暗箱和光源的設置較為合理，消除了大量的光照和噪聲的影響，為減少圖像處理的時間，提高分析檢測的速度，故選擇原始圖像直接進行后續分析與建模等相關運算。

圖1 預處理圖像

2.2 圖像區域的劃分與分析

從原始圖像中可以看出，圖像主要由背景、正常魚體區域、損傷魚體的區域構成，背景、正常魚體部分、損傷魚體部分顏色差別較大，如圖2所示，魚體的正常區域不同部位顏色值存在差別。為了消除這種影響，根據觀察和分析可將魚分割成三個部分，分別研究其顏色值變化情況。如圖3所示，魚體圖像包含背景、魚腹、魚背、魚尾、損傷區域五部分，分別在五部分內選取30×25 pixel2大小的圖像塊，計算其R、G、B平均值（圖4），魚腹、魚尾、魚背、背景區域的R、G、B平均值逐漸降低，損傷區域的R平均值與魚尾相似，G平均值與魚尾背相似，B平均值與魚背相似。說明破損區域顏色值與其它區域顏色值存在差異，可以此為特征進行破損區域識別的研究。

圖2 魚體分割圖像

圖3 ROI區域

圖4 R、G、B平均值

2.3 預測模型的搭建及分析

在15條鯉魚圖像中隨機選取魚背、魚腹、魚尾共計50個圖像塊，損傷區域50圖像塊，分別進行R、G、B平均值的計算，以此作為輸入建立魚加工損傷預測模型，并分別選擇GRNN和RBF網絡構建此模型。

GRNN網絡的輸入層神經元個數為3，對應所選圖像塊的R、G、B平均值。隱層神經元的個數由訓練樣本通過自適應練習確定。在擴展常數的選取方面，針對100個圖像塊的GRNN網絡擴展常數展開試驗，當該網絡的擴展常數越大時，所得擬合函數越平滑，但需要大量神經元用以適應其快速的變化，反之，選擇較小的擴展常數，也需要較大數量得神經元適應緩慢變化的函數，通過上述100個圖像塊進行試驗發現，擴展常數取3時，基于GRNN網絡的魚加工損傷預測模型分級效果最好，預測速度最快。該網絡的輸出神經元為2個，分別對應正常魚體圖像和損傷區域。

RBF網絡的輸入層神經元個數為3，同樣對應所選圖像塊的R、G、B平均值。隱層神經元由自適應確定。針對100個圖像塊的RBF網絡擴展常數展開試驗，當RBF網絡擴展常數選擇17.5時，網絡預測效果最好、速度最快。RBF網絡輸出層同GRNN網絡。

針對前述GRNN和RBF網絡，選擇60個圖像塊進行網絡訓練，其中30個為正常魚體圖像，30個為損傷魚體圖像；選擇40個圖像塊進行網絡預測，其中20個為正常魚體圖像，20個為損傷魚體圖像，預測結果如表1所示。預測結果表明，上述兩種網絡預測魚損傷區域都有較高的準確率，其中GRNN和RBF網絡識別正常區域都是100%，針對損傷區域的預測，GRNN網絡預測準確率為100%，RBF網絡預測準確率相對較差（80%）。

表1 GRNN網絡和RBF網絡識別正常與損傷結果

為驗證魚加工損傷預測模型的應用效果，選取十五幅具有機械損傷的魚體圖像，通過圖像處理中的特征提取[11]，計算出相應部分所占像素點的多少作為面積，進一步通過p值的計算結果作為損傷識別的準確率。如表2所示，基于GRNN網絡的p值平均值為0.941；基于RBF網絡的p值平均值為0.836。說明兩種神經網絡都可以較好實現魚損傷區域的自動識別，其中GRNN網絡模型識別效果更優。光照不均勻、損傷多樣性等因素可能是造成識別誤差的主要原因[8]。區域可視化結果，其中a1和b1分別是GRNN和RBF網絡模型識別出魚體損傷的區域，a2和b2分別是GRNN和RBF網絡模型經過圖像處理中區域聯通和小區域去除得到的相關二值圖像，a3和b3分別是GRNN和RBF網絡模型獲得的魚體狀況可視化效果圖，可視化的結果同樣證明了GRNN和RBF網絡模型可以很好的識別出損傷區域，但是GRNN網絡模型預測出的損傷區域通過對比則更接近實際損傷區域。

表2 GRNN和 RBF網絡識別仿真損傷區域與實際損傷區域面積比值

圖5 基于GRNN網絡和RBF網絡識別損傷區域可視化

3 結論

研究針對面向淡水魚加工過程中的去鱗損傷檢測問題，展開有關魚去鱗損傷自動識別的關鍵技術研究，建立了基于計算機視覺技術的魚去鱗損傷無損檢測方法。根據魚正常區域與損傷區域顏色差異性，將魚樣本圖像劃分為魚腹、魚背、魚尾、損傷和背景五部分，提取不同區域的ROI，針對魚體顏色RGB值的變化進行相關的統計學分析[15,17,19]。利用樣本圖像R、G、B值的差異等特點建立基于GRNN和RBF網絡的魚損傷區域預測模型，實現了魚的正常與損傷區域的識別，識別模型準確率分別為98%和80%。為驗證上述模型的可行性，進行了損傷區域可視化研究，計算預測損傷區域與實際損傷區域的相對面積比的準確率值（p），最終，基于GRNN網絡的p值平均值為0.941，基于RBF網絡的p值平均值為0.836，結果表明GRNN網絡識別效果較好且優于RBF網絡。上述研究為開發魚損傷區域快速檢測設備提供了數據支持和可行的檢測方法。