海產品智能分揀裝備與系統設計

金宗毅 陶學恒,2 金 艷 馮怡然 王慧慧 張 旭

(1. 大連工業大學機械工程與自動化學院，遼寧 大連 116034；2. 國家海洋食品工程技術研究中心，遼寧 大連 116034)

中國作為一個海洋大國，海洋面積達到473萬m2，擁有廣闊的海洋牧場。但目前中國所捕撈海產品的后續分揀工作仍處于初級階段，主要依靠人工操作和相關配套設備協作完成，加工水平遠遠低于國外。近年來，機器視覺技術迎來了飛速發展，在各個領域的應用層出不窮。將計算機視覺技術應用至水產行業，對海產品進行識別、定位和后續分類，既能在保證海產品質量的同時提高生產效率，也能減少對勞動力的需求。

朱蓓薇等[1]發明了一種具有分級功能的海參加工生產線裝置，包括上料帶傳送機構和噴淋裝置；上料帶傳送機構的末端接有內臟清理單元，上輸送帶傳送機構的上輸送帶上順著傳輸方向隔成多級輸送通道；所述上輸送帶的末端接有物料清洗單元，而后送至質構控制主機，最后由物料箱接收加工好的海參。實現一體化生產，節省了人力成本，減少了污染環節，達到高效生產的目的。陶學恒等[2]提出了一種海產品自動稱重分揀裝置，包括第一輸送帶、圖像識別系統、步進電機、撥料板、支撐板、第一輸送帶電機、第二輸送帶電機、稱重傳感器、支撐臺、支腿、臺面、滑塊和滑臺；將以往靜態稱重速度提高了3倍，整體稱重速度達到動態稱重設備的平均速度，實現了靜態稱重引入動態機構，大大降低了制造工本，同時保證了高速度，高精度。胡澤軍等[3]設計了一種根據灰度變化設定ROI區域的計算方法，針對黑夜與白天的行車區域與非行車區域分離。對霍夫直線檢測出的直線，增加對分割圖像內 HOG(Histogram of Oriented Gradient)特征提取后利用 SVM(Support Vector Machines)分類檢測的方法，為車道線檢測提供一種高擬合度的魯棒性算法，能夠有效地進行彎道和直道的識別。謝為俊等[4]通過圖像色調下飽和度和明度的明顯差異識別青頭：不同顏色范圍匹配不同結果；根據形狀差異判斷胡蘿卜斷裂與否：將待檢胡蘿卜的最小外接矩形與標準匹配模板通過Hu不變矩進行圖像適配，得到兩個圖像匹配系數，根據匹配系數判別是否斷裂。相比之下，將機器視覺應用到海產品分揀處理方向的研究則較為缺失。

試驗擬利用裝備機械結構對物料進行分級，通過系統算法完成物體分類，構建一個基于機器人的海產品智能分揀裝備，以期實現海產品的高效、快速、智能分揀。

1 海產品智能分揀系統生產線的系統構成與工作原理

1.1 海產品智能分揀系統構成

海產品智能分揀系統由機器人分揀系統、物料輸送系統、稱重分級系統、視覺識別系統等構成，工作過程皆由PLC編程控制完成，其系統布局如圖1所示。

圖1 海產品智能分揀裝備系統總體布局圖Figure 1 General layout of seafood intelligent sorting equipment system

1.2 海產品智能分揀裝備與系統的工作原理

基于機器人的海產品智能分揀裝備與系統，以分揀魚、蝦、貝類等海產品為主。魚、蝦、貝類等海產品經傳送帶輸送到智能識別攝像頭下方，機器人通過機器視覺識別技術，分辨出魚、蝦、貝類的品種；當確定識別結果為目標品種(魚、蝦、貝類)時，啟動輸送線上的撥叉裝置將目標品種(魚、蝦、貝類)推送至傳送帶旁的電子稱重臺進行自動稱重(分級)，根據不同重量規格將同一目標品種(魚、蝦、貝類)分為不同的重量等級；與電子稱重臺連接的計算機接收到反饋信號后、啟動機器抓取機構將目標品種(魚、蝦、貝類)分揀至分揀倉。工作流程如圖2所示。

圖2 海產品智能分揀系統總體流程圖Figure 2 General flow chart of seafood intelligent sorting system

1.3 海產品智能分揀裝備系統各結構組成

分揀裝備系統主要由機器人分揀系統、物料輸送系統、稱重分級系統、視覺識別系統4個子系統組成。4個子系統通過計算機網絡進行信息傳遞，通過示教器和控制臺可以實現人工操作和自動操作并行處理，能夠實現人機交互進而構成一個完整的閉環測控分揀系統。

1.3.1 分揀機構的選用 分揀機構是海產品智能分揀裝備的核心結構，需要實現對海產品進行一系列的分揀操作。參考國內外先進分揀機構，并結合使用要求，確定分揀機構采用六自由度的結構形式。為減輕機構質量及提高各組成部分受載能力，其結構材料選用鋁合金材質。

如圖3所示，該分揀機構由底座、肩部、大臂、肘部、前臂和手腕組成。機構對應6個關節分別為腰部旋轉一軸(S)、肩部旋轉二軸(L)、肘部旋轉三軸(U)、手腕偏轉四軸(R)、手腕仰俯五軸(B)和六軸末端執行器[5]。智能分揀機構的6個關節處各有一個交流伺服電機，每個關節的動作都由電機分別控制。各關節電機帶動一個諧波減速器或RV減速器。分揀機構通過底座固定在傳送帶旁邊。

圖3 分揀機器人機器臂軸結構Figure 3 Sorting robot arm shaft structure

根據分揀動作的要求，確定了智能分揀機器人的操作技術方案，機器人應能夠將稱重臺上的海產品快速抓取并輸送至對應的分揀倉。

末端執行器采用氣動式機械夾爪(如圖4所示)，氣缸筒為無油自潤滑裝置，具有高速度、低摩擦、自潤滑、高壽命等優點。執行器性能可靠，操作安全，該氣動式機械夾爪適用于貝類夾取。分揀機構有效負載7 kg，工作范圍703 mm，具有結構緊湊、機身小巧、易于集成、經久耐用等優點。

圖4 末端執行器手爪三維建模圖Figure 4 3D modeling of end-effector claw

1.3.2 物料輸送裝置及系統 上料輸送裝置由電動機及傳送皮帶滾道組成，電動機采用YS7124三相異步電動機，級數4級，額定功率370 W，額定轉速1 440 r/min，滿足使用要求。

1.3.3 稱重分級裝置及系統 稱重分級系統采用Mettler Toledo電子臺秤。最大秤量6 kg，最小秤量0.04 kg，實際分度值2 g，工作溫度范圍-10～40 ℃。

1.3.4 物料存儲倉 物料存儲倉有4個不同倉位，分別接收各個路徑不同種類物料的單元(如圖5所示)。

圖5 物料存儲倉Figure 5 Material storage bin

2 基于機器視覺的海產品智能識別技術

2.1 海產品智能識別算法(Faster R-CNN)

基于計算機視覺的貝類檢測與識別技術是典型的圖像分析、理解和分類問題[6-9]。文章探討了一種基于貝類特征進行修改的新型Faster R-CNN算法。Faster R-CNN算法最大的特點是將特征抽取、proposal提取、bounding box regression三者融合于同一網絡架構中，其綜合處理能力大，檢測速度快[10-11]。

其基本原理：將任意的P×Q特征圖縮放至M×N并送至Conv layers網絡(13個conv層，13個relu層，4個pooling層)固定變為(M/16)×(N/16)大小，使得Conv layers生成的feature map與原特征圖對應。后進入RPN：候選檢測框生成網絡(Region Proposal Networks)，RPN網絡分為兩條線，一條通過softmax計算anchors獲得positive和negative分類，一條針對anchors的bounding box regression偏移量作出計算，獲得精確的proposal。其輸出的positive anchors和通過bounding box regression偏移量取得proposals綜合匯集至Proposal層，并在去除不符合條件的proposals后送至RoI Pooling層。RoI Pooling層同時接收通過Conv layers層的feature maps和通過RPN輸出的proposals綜合計算出最終用于Classification層的proposal feature maps，使用full connect層和softmax將各proposal分類(如貝類、魚類等)，輸出概率向量cls_prob；并再次利用bounding box regression獲得各proposal的位置偏移量bbox_pred，最終提高目標檢測框精準度[12-14]。算法框架如圖6所示。

圖6 Faster R-CNN架構Figure 6 Faster R-CNN architecture

2.2 改進的Faster R-CNN算法

針對貝類分類和檢測利用DenseNet作為基本特征提取網絡改進方案。DenseNet網絡繼承自ResNet網絡，相比于ResNet網絡，DenseNet的網絡機制更為激進，其將所有的層都互相連接，每一層都與前面的所有層進行連接，構建了一個極為密集的網絡機制。ResNet網絡僅僅是通過元素級相加的方式將層與前面幾個層相連接。DenseNet卻是將層前面的所有層都在channel維度上連接起來，一起作為下一層的輸出。并且由于DenseNet直接連接了其他所有層，使得其可以任意調用其他層的特征，減少了計算浪費，極大地提高了效率[15]。DenseNet網絡機制如圖7所示。

圖7 DenseNet密集連接機制Figure 7 DenseNet dense connection mechanism

傳統網絡在L層輸出：

xl=Hl(xl-1)。

(1)

Resnet網絡在L層輸出：

xl=Hl(xl-1)+xl-1。

(2)

DenseNet網絡在L層輸出：

xl=Hl([x0,x1,…,xl-1])。

(3)

對于DenseNet網絡，塊之間的密集連接可以有效利用淺層和深層特征以確保其效率和狹窄性，并能夠減少其復雜性和計算負擔。采用4個121層的密集塊構成特征提取網絡，在去除完全連通層和分類層之后，通過連接RPN和RoI池化層進行目標識別和定位。

2.3 改進的Faster R-CNN算法試驗結果

為了驗證Faster R-CNN算法的有效性，采集了貝類數據集。貝類數據集分為4個物種(海螺、扇貝、貽貝和蛤蜊)，共包含8 436張圖像(見表1)。數據具有不同的光照強度、遮擋、復雜背景以及多個目標，以確保檢測模型涵蓋了現實生活中常見的貝類。其中90%用作訓練集，10%用作測試集。

表1 貝類外觀形體識別訓練與測試集Table 1 Training and testing set for shellfish appearance and body recognition

迭代訓練仍使用Conv Layers提取feature maps。整個網絡使用Loss函數：

(4)

該Loss函數分為兩部分：

(1)cls loss：用于分類anchors為positive與negative的網絡訓練。

(2)reg loss：用于bounding box regression網絡訓練。

實際過程中Ncls和Nreg差距較大，引入參數λ平衡二者，使總體網絡均勻計算兩種Loss。計算公式：

(5)

(6)

(7)

實際卷積損失過程及訓練過程的測試準確率如圖8所示。經過大約2 000次卷積后，總體損耗可以迅速降低并穩定在0.1～0.2，測試精度也穩定在80%左右。

圖8 損失訓練過程及識別準確性測試Figure 8 Loss training process and identification accuracy testing

評價指標為平均精度(AP),即PR曲線下的面積。在P—R曲線上，P代表精度、準確率：預測結果為真的樣本中真正為真的比例。R代表召回率：預測結果召回了多少真正的真樣本。其計算公式：

(8)

(9)

mAP:多個AP的平均值，計算公式：

(10)

式中：

NTP——真陽性樣本數；

NFP——假陽性陰性樣本數；

NFN——假陰性陽性樣本數；

AP——單個種類識別精度。

分別使用ResNet和DenseNet作為基本特征提取網絡進行訓練，并使用測試集對網絡模型進行評估。表2列出了獲得的各種貝類的AP值。

從表2可以看出，使用DenseNet進行特征提取，mAP值高達83%，比ResNet高出近4%。3種貝類(蛤蜊、扇貝和貽貝)的檢測結果大大改善，驗證了利用DenseNet改進的Faster R-CNN在檢測準確率上優于前網絡。

表2 不同網絡模型的測試結果Table 2 Test results of different network models %

3 結論

研發了一種基于機器人技術的海產品智能分揀裝備與系統，構建了一個能夠實現智能、高效、自動分揀海產品的機械裝備系統；提出一種基于Faster R-CNN深度學習的海產品外觀品級的識別算法，能夠有效利用人工神經網絡的淺層和深層特征，并可大大改善海產品檢測的準確性。鑒于海產品種類的多樣性，后續將在此裝備系統基礎上繼續研發針對不同海產品的末端專用夾具，以滿足實際生產需求。