基于并聯機器人的單片裝火腿缺陷識別與分揀系統設計

王銀明 張 丹

分揀作業是食品、醫藥生產的重要環節，在工業、煤炭等領域也有應用。目前大部分中小企業依然采用人工分揀的方式，不但分揀效率低、勞動強度大，而且容易造成二次污染。因此，學者們采用高精度、高靈活性的并聯機器人，并結合自動控制、機器視覺等技術，開發自動分揀系統，替代人工完成復雜的識別、抓取、搬運、裝箱等作業[1-2]。顧涵等[3]開發了食品分揀系統，最大抓取速度達到150次/min，漏抓率小于0.1%，誤抓率小于0.05%。陳永平等[4]開發了傳送分揀系統，分揀效率可達到60個/min，漏抓率小于0.2%。姚學峰等[5]基于改進NURBS曲線插補算法，將食品分揀機器人的運動時間從3 230 ms降低到3 070 ms。王秋紅等[6]開發了塊狀食品分揀系統，定位偏差僅為0.20 mm。包光旋等[7]開發了智能分揀系統，分揀成功率在96%以上，識別率為100%。陳亞琳等[8]、賈超廣等[9]分別開發了袋裝食品分揀系統，每分鐘能夠分揀120包袋裝食品。趙鵬宇等[10]開發了法蘭軸承的分揀系統，識別率在99%以上，識別速度為110 ms左右。商德勇等[11]開發了煤矸分揀機器人，大大提高了分揀效率。趙鵬宇等[12]改進了目標識別算法，該算法的定位精度達到并聯機器人的抓取要求。代慧等[13]為了提高抓取、碼放包裝物品的精度與穩定性，建立了并聯機器人的動力學模型。

目前大多分揀系統針對合格產品進行抓取，視覺系統的作用大多為跟蹤定位。而實際上，大多產品都可能出現殘缺品，后續如果重新安排人工分揀進行剔除，分揀效率將大打折扣。由于殘缺品的缺陷種類、形狀、大小各不相同，識別殘缺品的算法比識別合格品的算法復雜很多。程子華[14]開發了殘缺餅干分揀系統，對殘缺餅干的識別準確率達到100%。陳立辛等[15]基于深度學習的圖像處理算法，開發了花生米缺陷分揀系統，對缺陷花生米的識別準確率達到98.71%，抓取耗時為0.61 s。餅干、花生米這類食品的缺陷較為簡單，而火腿等肉制品因黏度高，容易粘附混入異物，也可能粘附包裝導致折痕，因此缺陷識別難度更大，目前尚未出現識別火腿等肉制品缺陷的分揀系統。研究擬基于Delta并聯機器人，開發一種能夠識別單片裝火腿缺陷的分揀系統，以期實現單片裝火腿識別、抓取、搬運、分揀、剔除的連續化作業。

1 并聯機器人數學建模與優化設計

所采用的Delta并聯機器人是一個結構簡單的2自由度平面并聯機器人，其運動學、動力學特性是分揀系統的關鍵，直接影響分揀的速度與精度。為了建立運動學和動力學模型，將機構簡化為平面5桿鉸鏈機構，以A1A2線段的中點O為原點，以A1A2所在直線為x軸，水平向右方向為x軸正方向；以垂直于A1A2的直線為y軸，豎直向上方向為y軸正方向，建立xOy平面坐標系，如圖1所示。

1.1 運動學模型

e. 主動關節與原點的間距 H. 原點到工作空間的距離 b、h. 工作空間的寬度、高度 l1、l2. 主動臂、從動臂的桿長 ui、wi. 主動臂、從動臂的單位向量 θ1i、θ2i. 主動臂桿、從動臂桿與x軸的夾角圖1 Delta并聯機器人簡圖Figure 1 Diagram of Delta parallel robot

(1)

式中：

Ai=-2l1y；

Bi=-2l1[x-sgn(i)e]；

反之，給出關節變量θ，求解機器人末端位姿矩陣r，得到位置正解方程，如式(2)所示。

(2)

式中：

D=-[2e+l1(cosθ11-cosθ12)]；

E=-l1(sinθ11-sinθ12)；

F=el1(cosθ11+cosθ12)；

1.2 動力學模型

假設Delta并聯機器人為理想運動副，并將動平臺、末端執行器和負載的質量全部折算到點P，而且忽略從動臂轉動慣量，并將其質量按靜力等效原則以1∶2的比例簡化到動平臺和主動臂兩端。結合機器人的結構特點，構建簡化剛體動力學模型，如式(3)所示。

τ=τa+τv+τg，

(3)

式中：

τ——驅動力矩，τ=(τ1τ2)T；

τa——慣性力矩，τa=(mJ-T+IAJ)a；

τv——離心力矩，τv=IAf；

τg——重力力矩，τg=mArAg(cosθ11cosθ12)T+mgJ-T(0 1)T；

m——動平臺的等效質量，kg；

a——點P的加速度矢量，m/s2；

IA——主動臂(含等效質量)相對于其轉軸的轉動慣量，kg·m2；

mArA——主動臂(含肘架和從動臂等效質量)對其轉軸的質徑積，kg·m；

J——雅可比矩陣；

f——與速度有關的函數，s-2。

歌手陳奕迅年初參加某活動，一個粉絲高呼“游泳健身要不要了解一下”，現場畫風特別喜感。正是如此，這句話漸飆升成為當下最惡毒又帶點玩笑口吻的問候，比如吐槽別人太瘦了你可以說漢堡奶茶了解一下、吐槽青蛙旅行不聽話的呱兒子你可以說干鍋牛蛙了解一下等等。

1.3 評價指標

由于機構頻繁地加速與減速，所以慣性力矩τa與離心力矩τv對驅動力矩τ的貢獻較大，所以定義慣性項與速度項兩類動力學性能評價指標，計算公式：

τaG=maxr∈Wtmax[σaimax(Mi)]i=1,2→min，

(4)

τvG=maxr∈Wtmax[σvimax(Ni)]i=1,2→min，

(5)

(6)

(7)

(8)

式中：

αi——鏈內壓力角，°；

β——鏈間壓力角，°；

l1、l2——主動臂、從動臂的桿長，mm；

ui、wi——主動臂、從動臂的單位向量。

1.4 約束條件

e≥emin。

(9)

為了盡量緊湊，設定工作空間與機構尺寸滿足式(10)。

b=2(e+l1)。

(10)

根據極限位形，設定裝配條件滿足式(11)。

(11)

為了機構具有良好的運動傳遞性能，αi和β在全域工作空間內的最大值應不超過一定上限，引入式(12)與式(13)的運動學性能約束。

αmax=maxr∈Wtmaxi=1,2(αi)≤[α]，

(12)

βmax=maxr∈Wtβ≤[β]。

(13)

1.5 優化設計

為了獲得Delta并聯機器人最優的設計尺寸，基于上述的數學模型，結合評價指標與約束條件，對Delta并聯機器人進行尺寸優化，該問題實質上是受約束的多目標優化問題，可調用MATLAB優化工具箱中的多目標優化算法求解。在滿足上述約束條件下，利用MATLAB優化工具箱，以τaG與τvG為指標進行多目標優化，尋找Delta并聯機器人最優設計參數，可得最優解如表1所示。當e為0.075～0.150時，每間隔0.025優化一次，每次優化都能收斂，從而獲得合適的桿件尺寸，使力矩指標τaG與τvG達到最小，進而為選用小轉矩電機奠定基礎。不過考慮到一般減速機的實際尺寸，選擇e=0.125 m的一組最優解作為最優尺寸參數，l1、l2、H的尺寸隨之確定。

表1 優化結果Table 1 Optimized results

圖2 Delta并聯機器人的路徑軌跡Figure 2 Path trajectory of Delta parallel robot

2 分揀系統總體設計

2.1 總體設計原則

考慮到食品分揀的工藝特點，食品分揀設備應滿足以下幾個設計原則：

(1) 系統簡單化。因為組件過多將增加控制難度，所以盡量采用一臺并聯機器人與一套視覺系統實現食品識別、抓取、搬運、分揀、剔除等操作，以降低結構的復雜程度。

(2) 系統柔性化。為了適應不同種類與不同規格的食品，分揀設備應具備一定兼容性，例如并聯機器人末端夾持器可根據食品種類與規格進行人為更換。

(3) 損傷最小化。在識別、抓取、搬運、分揀、剔除等各個環節，分揀設備均應避免破壞包裝、污染食品等。例如，采用工業相機進行視覺檢測，而不采用某些化學檢測方法；采用真空吸附方式，而不采用機械抓取方式。

2.2 機械結構設計

基于Delta并聯機器人，開發了單片裝火腿分揀系統平臺，如圖4所示。該分揀系統平臺由6部分組成：① 鋁合金框架，整體尺寸為1.3 m×0.9 m×1.8 m，支撐所有機械與電子元件；② Delta并聯機器人，工作空間為1.0 m×0.25 m，最大有效負載為3 kg，重復定位精度為±0.1 mm，最大水平加速度為150 m/s2，最大垂直加速度為75 m/s2；③ 末端執行器，為真空吸盤，執行吸附、搬運、放置動作，能夠同時處理6個單片裝火腿，真空吸盤可吸附100～500 g重物，而且可人為更換；④ 傳送帶，長2 m，用來傳送單片裝火腿；⑤ 由德國Basler公司aca1920-40gc型號的CMOS相機和LED陣列組成的視覺系統，能夠快速、精確地提取單片裝火腿的特征；⑥ 提升機構，可上下升降、左右移動；⑦ 觸摸屏監視器，顯示圖形用戶界面(GUI)，包含分揀工藝過程數據。

圖4 單片裝火腿分揀系統平臺Figure 4 Sorting system platform of single-piece ham package

2.3 控制系統設計

控制系統包括硬件部分和軟件部分。硬件部分主要由工控機與運動控制器組成，如圖5所示；軟件部分主要由分揀控制系統和視覺控制系統組成。系統采用上下雙層控制方式，上層(上位機)以工控機為核心，負責圖像處理、人機交互、系統通信等任務，完成對單片裝火腿的識別、跟蹤、定位。下層(下位機)以運動控制器為核心，通過USB接口與工控機通信，它一方面接收來自紅外傳感器的激活數字信號，另一方面發送信號控制傳送帶速度、并聯機器人的運動和提升機構的移動，完成單片裝火腿的吸附、搬運、分揀、剔除作業。系統電源為220 V交流電，通過驅動器為電機供電，采用12 V AC/DC電源適配器為運動控制器、紅外傳感器等供電，通過USB接口為相機、鼠標、鍵盤等供電。

圖5 控制系統硬件Figure 5 Hardware of control system

2.4 圖像處理算法

視覺系統的圖像處理算法直接影響缺陷識別的準確度，圖像處理算法流程如圖6所示。① 采集1幅RGB格式的圖像，并將圖像上6個單片裝火腿分割成6幅單獨的圖像；② 對每幅圖像依次進行高斯濾波、中值濾波處理，在圖像最大化并減少噪聲影響的同時，保留圖像細節；③ 將RGB空間轉化為HSV顏色空間；④ 基于單片裝火腿的顏色譜設置合理的閾值，在HSV空間中完成對圖像的閾值分割；⑤ 將分割完成的HSV顏色空間圖像，轉換到灰度空間得到灰度圖像，并二值化灰度圖像；⑥ 對圖像進行形態學閉運算，檢測是否存在異物缺陷；⑦ 如果不存在異物缺陷，還需采用Canny算子對圖像進行邊緣檢測，并通過霍夫變換檢測包裝上的特征，檢測是否存在折痕缺陷。

不論是檢測到異物缺陷還是折痕缺陷，算法都將返回一個2×3的數組，記錄缺陷包裝在該數組中的位置，后續由機器人剔除出去。

圖6 圖像處理算法流程Figure 6 Flow of image processing algorithm

2.5 系統工作流程

食品分揀系統工作流程：控制系統上電后，程序進行初始化處理，完成開機準備工作；視覺系統程序采用不斷循環的方式，當傳送帶上的單片裝火腿進入作業區域時，工業相機拍照采集圖像，并將圖像傳送給工控機，工控機通過圖像處理算法識別異物、折痕等缺陷，并跟蹤、定位缺陷包裝的位置；然后通過運動控制器驅動并聯機器人，機器人將按照最優路徑運動，進行食品吸附、搬運、分揀、剔除等操作；最終，將有缺陷的單片裝火腿放入廢棄箱，將無缺陷的單片裝火腿放入包裝箱，實現單片裝火腿的分揀作業。

為了便于操控與監管，基于python語言開發了一個人機交互圖形化用戶界面GUI，如圖7所示。通過這個界面，操作者可以輸入單片裝火腿的數量與規格、包裝箱的數量與大小，還可以設置傳送帶的速度等。此外，該界面還可以對分揀過程進行實時監管，并存儲已剔除的缺陷產品數量、已完成包裝箱數量、生產進度等數據，創建一個包含所有存儲數據的Excel報表。所有數據均可以通過本地網絡進行處理和發送，用戶可以登陸連接到本地網絡的計算機進行訪問。

3 實驗驗證

為了驗證分揀系統的有效性，對100 g的單片裝火腿開展分揀實驗，并故意放入一些帶有異物缺陷與折痕缺陷的單片裝火腿。實驗是在室內環境下進行，將光源位置與光照強度調整到位并保持不變。實驗結果表明，該系統能夠準確、快速地識別異物缺陷與折痕缺陷(圖8)，而且因為室內照明可控，不受戶外光照影響，系統識別率高達95%；而且該系統還能夠準確、高效地分揀單片裝火腿，分揀成功率達到98%，分揀效率為160包/min。因此，該系統能夠滿足火腿加工企業的分揀作業需求。

圖7 人機交互圖形化用戶界面GUIFigure 7 Graphical user interface (GUI) for human-computer interaction

圖8 識別異物缺陷與折痕缺陷Figure 8 Identification of impurities and creases

4 結論

以Delta并聯機器人為基礎，結合自動控制、機器視覺等技術，設計搭建了一種能夠識別單片裝火腿缺陷的分揀系統。該系統能夠成功識別異物缺陷與折痕缺陷，識別率高達95%；分揀成功率達到98%，分揀效率為160包/min，能夠準確、高效地分揀單片裝火腿，證明了經過深入學習后的視覺識別分揀系統不僅可以用于識別、抓取合格食品，還可以識別、剔除殘缺品，因此能夠滿足火腿加工企業的分揀作業需求。但試驗僅限于識別異物缺陷與折痕缺陷，對于更多缺陷種類的識別還有待深入研究。