基于機器視覺的油炸花生揀選系統設計

谷林峰，李亞

天津市輕工與食品工程機械裝備集成設計與在線監控重點實驗室，天津科技大學（天津 300222）

油炸花生是生花生米在高溫熱油下急劇受熱后的加工食品。隨著出口貿易的不斷發展，油炸花生的需求量也越來越大，對油炸花生的品質要求也逐漸提高[1-2]。目前，傳統的基于傳送帶的油炸花生分揀生產線主要依賴于人眼識別，人工挑揀次品，人力分裝成品，勞動力成本大，誤檢率較高，且抗疲勞能力較差。也有少數企業采用光電色選機[3]等自動化設備進行分揀工作，但誤檢率也比較高。近幾年，機器視覺技術被逐漸應用于檢測產品質量[4-6]，并引導機器人完成分揀工作[7-8]，代替人工重復性操作，配合高幀頻工業相機和機器人，為油炸花生智能分揀提供了可能。

機器視覺技術在揀選系統中有兩個功能：獲取目標定位信息和通過圖像信息判別目標缺陷特征。搭建油炸花生分揀的系統主要有兩個難點：一是花生的油炸過程會使整個分揀過程處在油污環境中，以純潔氣源為動力的“吸盤”抓取裝置并不適用；二是生花生經過油炸處理后，采集的圖像易受噪聲污染且缺陷特征變復雜，單一的分類器無法有效篩檢優品類。

針對以上問題，提出一個基于機器視覺的油炸花生分類揀選系統。該系統考慮相機視野和機器人工作范圍無重疊的狀況，優化現場手眼標定操作方法[9]，保證了目標定位精度；利用柔性抓取手爪代替吹吸剔除裝置，避免發生誤揀或油污堵塞氣路；針對復雜的油炸花生缺陷特征，設計組合分類器代替單一的分類指標[10-12]，提高油炸花生檢測準確率。

1 系統整體結構

油炸花生揀選系統主要由視覺采集模塊、分揀模塊、傳輸模塊組成，所需硬件框架如圖1所示。

圖1 系統硬件框架

1.1 圖像采集模塊

圖像采集模塊由面陣相機、環形無影光源、鏡頭組成。為適應傳送帶移動物體高速拍攝要求，并考慮傳送帶工作區域視野大小，選用CMOS型工業相機，幀率50 fps，鏡頭選用Computar公司12 mm定焦鏡頭。因為相機曝光時間較短，需要采用大功率LED燈，提高亮度保證光通量。打光方式如圖2所示，利用環形無影光源采用低角度照明，提取花生表面紋理結構，實現一定傳送帶區域內無遺漏的均勻照明，消除對角陰影。

圖2 打光方式

1.2 分揀模塊

機器人通過控制柜與上位機建立TCP通信，共享上位機圖像處理信息，經過手眼標定矩陣轉換得到目標位置，進而控制末端手爪進行抓取。因油炸花生質地酥脆，傳統剛性手爪受材質和抓取方式影響，易夾碎目標，采用微型仿生柔性夾爪。

1.3 傳輸模塊

傳送皮帶由步進電機驅動，應用矢量型閉環控制技術，保證速度穩定，避免電機丟步問題，脈沖頻率200 kHz。因部分油炸花生缺陷特征在背面難以檢測，設置兩套檢測系統前后重復篩檢，用帶有一定坡度的振動板相連接，翻滾花生使視覺系統能夠檢測花生正反面特征，降低漏檢率。

2 系統工作原理

油炸花生揀選系統根據輪廓檢測和特征提取原理獲取運動目標的圖像，當上位機圖像處理完畢，利用相機與機器人標定結果，將定位坐標和檢測結果傳輸給機器人，驅動末端夾爪移動進行分揀動作，系統工作流程如圖3所示。

圖3 系統流程圖

2.1 圖像校正

因鏡頭會有一定的制造精度誤差，導致鏡頭存在切向畸變和徑向畸變[13]，在圖像處理之前需要對已采集圖片進行校正，其中徑向畸變對成像影響最大，此次計算中充分地將誤差畸變其近似為徑向畸變，設(u～,v～)為校正前的像素坐標，則畸變校正后的坐標(u,v)表示為

式中：為徑向畸變量級，決定圖像畸變程度。

2.2 手眼標定

工業相機安裝在傳送帶正上方調整水平，勻速轉動傳送帶，得到標定塊前后移動的圖像照片和編碼器對應讀數，可求得像素平面與傳送帶平面坐標的轉換關系；控制機器人末端多次觸碰傳送帶上指定標定點，可得出機器人基坐標與傳送帶平面坐標的轉換關系，進而計算視覺與機器人之間的閉環轉換關系，標定過程如圖4所示。

圖4 坐標系位置關系

根據已得的手眼標定關系，像素坐標(u,v)與對應機器人坐標(xR,yR)之間轉換關系為

式中：α為像素坐標系與傳送帶坐標系X軸之間的夾角；θ為傳送帶坐標系與機器人基坐標系之間X軸之間的夾角；(u0,v0)分別為像素坐標系原點與傳送帶坐標系原點的X軸和Y軸方向的偏移距離；Tx、Ty分別為傳送帶坐標系與機器人基坐標系X軸、Y軸方向的偏移距離。

2.3 機器人抓取算法

為保證目標抓取準確度，采用步進電機驅動傳送帶并應用矢量型閉環控制技術，對上位機反饋目標采用微分追蹤攔截算法[14]。如圖5所示，該算法根據傳送帶運行速率v和過去時間段i，計算偏移量Xj，公式可表示為

圖5 微分攔截抓取算法

3 圖像處理

花生在經過油炸加工處理后，現場對比其缺陷特征主要有四類：異型、發芽、焦糊、霉斑，如表1所示，難以通過單一指標有效篩檢，采用輪廓形態特征比對和區域閾值對比算法，檢測批量油炸花生中的缺陷目標。

表1 缺陷分類

3.1 圖像預處理

經過工業相機現場采集的油炸花生彩色圖像，圖片會受到現場環境光影響，夾雜噪聲干擾信息，將彩色圖像分離為單通道圖像，根據HSV顏色空間下的目標圖像[15]，直觀性地對比后選擇明亮度V通道圖像，計算公式為

為了消除圖像尖銳噪聲，先對所選V通道圖像進行低通濾波，計算得到每個像素點與其8鄰域像素點的平均值，然后進行對比度調整算法，最終調整灰度值為：

式中：Factor為對比度因子，表示對比度增加量；mean為經過均值濾波后的像素灰度值；In為V通道圖像原始像素灰度值；Out為對比度調整后的結果像素灰度值。

3.2 圖像分割

預處理后的圖像包括目標和背景信息，因深色傳送帶與花生圖像像素灰度值變化較為明顯，利用設定閾值將圖像二值化，最終得到像素點灰度值結果為：

式中：σ為固定閾值；s(x,y)為像素點原始灰度值。

3.3 特征提取

異型和發芽的花生在采集圖像中大多數呈畸形，根據形態特征提取花生輪廓信息，利用飽滿度和褶皺度參數指標，易于篩除形態缺陷目標。

1) 在預處理后的二值化圖像中，像素灰度值被分割為0和255區域，二者交界近似為花生目標輪廓，采用逐行列掃描像素點灰度值，通過對圖像二維離散像素點(x,y)求偏導數，表示前后灰度值梯度ΔF：

在花生輪廓的邊緣，一定有較大的灰度梯度，此次使用八鄰域像素點之間的灰度差值，近似偏導數，公式見式（9）。

對于梯度大于設定閾值的像素點集合即目標輪廓邊緣。

2) 利用提取的輪廓花生目標面積與擬合最小矩形面積的比例，來反映花生的飽滿度Q，如圖6（a）所示。具體方法：通過花生外形輪廓擬合的矩形長軸a、短軸b、花生輪廓與矩形面積的交集S1，油炸花生飽滿度Q按式（10）計算。

圖6 特征提取

3) 利用提取的花生輪廓周長與擬合橢圓周長的比值，來反映花生的褶皺度L，如圖6（b）所示。具體方法：通過對花生二值化圖像邊緣強化處理，計算邊緣的像素點個數記為C1，利用直接最小二乘法擬合橢圓輪廓，得到橢圓長半軸和短半軸分別所占像素點個數c和d，L按式（11）計算。

3.4 區域灰度差

花生的霉斑特征在經過油炸處理后，顏色會變黑，但對于不同的花生黑化程度不同，用單一的閾值分割難以檢測不同色度的花生缺陷。對于預處理后的二值化圖像存在256個灰度級，區域內花生表面灰度值差異較大，可通過讀取花生目標區域的灰度直方圖，計算該區域灰度值的最大差異值。計算步驟：

1) 初始化灰度直方圖h[k]=0,k∈[0, 255]。

2) 遍歷指定區域x0≤x≤x0+M；y0≤y≤y0+N的灰度值，記錄到h[f(x,y)]中。

3) 計算各灰度級出現的概率h[f(x,y)]/(M2-M1)×(N2-N1)，完成后通過灰度直方圖可以直觀地得出灰度級覆蓋范圍，閾值差值過大且最小灰度值小于設定閾值，可判定為缺陷。

圖7 灰度直方圖

4 試驗及數據分析

為了驗證此揀選系統的可行性，采用計算機CPU為Intel i7-4790（3.6 GHz），內存8 GB及OpenCV3.3搭建系統運行環境，并建立上位機與機器人控制器之間的穩定通信。通過文中提到的圖像處理算法，篩選缺陷油炸花生目標，并將缺陷目標的坐標信息即時發送給下位機控制器，然后機器人進行揀選動作，流程如圖8所示。

圖8 圖像處理算法

試驗將油炸花生分為正常粒和缺陷粒，經人工篩選出50粒異型、焦糊、霉斑等缺陷粒和50粒正常粒，混合兩種類別的樣本進行在線檢測和揀選準確性試驗。根據文中提出的手眼標定方法計算轉換矩陣，對100粒花生進行在線檢測，計算每粒油炸花生圖像的飽滿度、褶皺度、灰度差分別如圖9（a）～（c）所示。同時上位機將缺陷目標坐標定位發送給機器人控制器進行抓取動作，進行3次重復性試驗，每次傳送帶輸送距離在1200 mm左右，測試分揀定位精度，試驗結果如表2所示。

圖9 圖像特征提取

表2 定位精度

5 結論

對機器視覺在油炸花生實時檢測和揀選方面的應用進行了研究。利用組合分類器檢測缺陷目標，經過大量樣試驗，在當前試驗環境下設定飽滿度閾值為0.69，褶皺度閾值為5.1，局部區域像素灰度差為90時，油炸花生檢測效果最好，誤檢率可降低到5%以下。根據提出的適合現場操作的手眼標定方法進行坐標轉換，機器人采用微分追蹤算法進行抓取，進行3組重復性試驗，定位偏差在0.68 mm，該系統具有可行性。