親親腸殘次品在線視覺檢測識別方法

黨國輝 王永強 周聰玲

(天津科技大學機械工程學院，天津 300222)

親親腸是一種灌腸制品，其生產過程包括較多工序。目前針對親親腸外觀缺陷的檢測主要依賴于人工目檢，其主觀性較強、檢測效率低、檢測標準不統一，同時也很難對殘次品的類型進行區分與統計。親親腸外觀缺陷主要包括過小、切斷、過長、腸衣破裂和異形(見圖1)。

圖1 合格品與各類殘次品

機器視覺檢測技術因其高效、無接觸等特點，被廣泛應用于食品檢測中[1-7]。吳陳陳等[8]采用機器視覺檢測技術，根據青豆的圓形度形狀特征與G分量下的顏色特征實現了對殘次品的在線篩選。林少波[9]采用機器視覺檢測技術，根據親親腸長度特征與端面圓弧曲率特征實現了親親腸部分殘次品的在線篩選。謝為俊等[10]應用機器視覺檢測技術，根據胡蘿卜表面的顏色特征與形狀特征實現了胡蘿卜的在線分選。目前研究均是根據待檢測產品的具體特征以采取特定的檢測方法，且現有方法均不能很好地適用于親親腸殘次品的檢測。

研究擬應用機器視覺檢測技術，結合硬件機構的設計，以實現對親親腸幾類常見外觀殘次品的在線篩選及分類統計，旨在為親親腸智能化生產提供依據。

1 檢測原理

首先，在產品輸送過程中，利用機械裝置將親親腸梳理成行列分布均勻的矩陣式狀態；其次，親親腸被平移輸送機構輸送至圖像采集區域(圖像采集區域寬度為覆蓋三行產品)后，在旋轉機構帶動下進行自轉，以實現在不同角度下分別拍攝3次親親腸圖像；最后，通過圖像處理技術對親親腸的外部特征進行提取并分析識別，檢測出殘次品及其缺陷類別。其在線檢測原理示意圖如圖2所示。

1. 圖像采集機構 2. 光源 3. 物料輸送機構 4. 傳感器 5. 親親腸

2 圖像采集和預處理

圖像采集機構主要包括觸發裝置、相機、鏡頭以及光源等部分。同時，采集的圖像中包含有多個產品，為了檢測每一粒親親腸的缺陷特征還需對采集的圖像進行單粒產品區域分割以及相應的預處理。

2.1 圖像采集

試驗主要檢測親親腸的外觀缺陷，故其輪廓信息十分重要。光源與背景的選擇需要在圖像中同時凸顯上述兩部分的特征，使目標與背景的對比度增強。物體的顏色特征體現在其對不同波長的可見光具有選擇性吸收。親親腸填充漿料部分呈粉紅色，端部裸露腸衣部分為乳白色，腸體表面光滑。選擇低角度紅色光源及黑色背景，在凸顯目標邊緣輪廓的同時也可有效避免由鏡面效應造成的圖像光斑現象。

親親腸的某些缺陷特征(如異形和脹裂缺陷)在不同拍攝角度呈現明顯差異。為了獲取親親腸圓柱面完整的輪廓，在圖像采集區采用齒輪齒條機構帶動鏈輥自轉，以實現親親腸在水平運動的同時實現自身旋轉的機械裝置，輔助相機拍攝不同角度下的圖像信息。其原理如圖3所示。

1. 齒條 2. 齒輪 3. 鏈輥 4. 親親腸 5. 觸發裝置

圖像采集實現方式：在圖像采集區域，鏈輥3端部的齒輪2與固定安裝在機架的齒條1嚙合實現鏈輥旋轉以帶動鏈輥上的親親腸自轉。圖像采集區域設定為能夠采集到三行親親腸的寬度，在輸送機構的一側安裝有觸發裝置，每經過一行親親腸產品，觸發相機拍攝一次圖像，使得親親腸從進入采集區域到離開采集區域恰能獲取3幅不同角度下的圖像信息。該方法實現了對親親腸圓柱面不同角度下圖像的獲取，從而提高了殘次品的檢出率。

2.2 圖像預處理

圖像中親親腸產品呈三行多列的矩陣式分布，且目標區域固定。以三行三列的目標區域為例，在對圖像進行處理前先對整幅圖像按目標區域位置進行單粒化親親腸的分割，如圖4(a)所示。然后單獨對分割后的子區域進行后續處理，單粒化親親腸子區域如圖4(b)所示。

圖4 圖像區域分割示意圖

子區域圖像中會存在圖像噪聲，需進行預處理。根據圖像噪聲特點，采用中值濾波，該方法對一定類型的隨機噪聲能提供良好的祛噪能力，且比相同尺寸的線性平滑濾波器引起的模糊更少，中值濾波算子公式為：

(1)

式中：

Sxy——中心點在(x,y)處、大小為m×m的子圖像窗口的一組坐標；

g(s,t)——子圖像窗口中某一像素坐標。

采用中值濾波法對子區域圖像進行處理，結果如圖5所示。

圖5 中值濾波后圖像

3 缺陷特征提取及識別方法

產品外觀缺陷特征集中體現在其邊緣輪廓上，選擇Canny算子對邊緣進行檢測，其檢測結果如圖6所示。

圖6 Canny算子邊緣檢測

親親腸殘次品外觀缺陷特征主要體現在長度、中部區域上下邊緣間距的變化以及端部區域的形狀變化。為此，通過求取其輪廓的最小外接矩形以及劃分區域后分別根據各區域輪廓線的異常變化對缺陷種類進行區分。因為親親腸兩端部區域的大小與親親腸直徑大致相當，所以依此對區域進行劃分，產品外形輪廓處理過程原理如圖7所示。

圖7 親親腸圖像輪廓區域劃分

3.1 過長、過小和切斷殘次品識別方法

合格品親親腸的長度L應在一個標準的范圍內，即L-Δ≤L≤L+Δ。對于過長、過小和切斷3類殘次品，其長度均不在規定范圍內。采用最小外接矩形的長來定義產品的長度L，如圖8所示。

圖8 不同類型殘次品輪廓最小外接矩形示意圖

殘次品判別標準為：

(2)

式中：

li——某產品的長度，mm；

L——產品標準長度，mm；

Δ——合格品長度公差，mm。

對于親親腸長度缺陷的判別，原則上需通過標定來獲取其實際長度。鑒于實踐中對尺寸測量的精度要求不高，故根據圖像特征設計一種簡易的標定方法：在單粒化分割親親腸過程中將圖像分割窗口設定為確定值的長和寬，并以此作為標尺，在求得親親腸最小外接矩形的長和寬后，計算其與所在分割窗口長和寬的占比，便可求得其實際長寬尺寸，如圖9所示。

1. 單粒化親親腸分割區域固定大小窗口 2. 親親腸輪廓最小外接矩形

按式(3)計算親親腸長度。

(3)

式中：

Lq——分割窗口區域長度，像素；

Li——親親腸最小外接矩形長度，像素；

lq——分割窗口區域實際長度，mm；

li——親親腸實際長度，mm。

對于過小和切斷殘次品僅僅依靠長度特征不能有效區分，還需判斷其端部輪廓曲線的變化。合格品在其兩個端部區域的輪廓近似圓弧狀，而切斷類殘次品必然有一個端部特征表現為近似直角形狀，其左、右端部輪廓線變化區分非常明顯。為此，先將端部區域上下等分為3個區域，如圖10(a)和圖10(b)所示；然后舍去中間區域，分別提取上下區域內輪廓線上像素點的坐標，如圖10(c)和圖10(d)所示；最后可將輪廓線等間隔劃分為若干個直線段，再求取線段斜率，通過比較斜率的變化判斷是否為切斷。

圖10 端部特征區域劃分示意圖

為了在求取輪廓線像素點坐標的同時還能確保像素之間的相對位置關系，采用鏈碼的方式。根據區域內輪廓線的分布規律，對于親親腸左側端部兩個輪廓采取從右至左、從上至下的掃描策略獲取到第一個像素錨點P1，再根據錨點采用圖11(a)中的八鏈碼掃描策略得到輪廓各點像素坐標；對于右側端部兩個輪廓采取從左至右、從上至下的策略獲取第一像素錨點，再采用圖11(b)所示的八鏈碼掃略方式獲取輪廓各像素的坐標值。

圖11 兩端輪廓掃略鏈碼示意圖

獲取端部輪廓點集后根據缺陷特征的大小等間隔劃分5個小區域，如圖12所示。用最小二乘法擬合直線得出每段擬合直線的斜率。在擬合線段過程中可能會出現斜率無窮大的情況，根據正切函數變化規律和端部輪廓在像素坐標系中的分布情況將擬合線段與行坐標軸角度>80°的斜率設為7。

通過相鄰斜率值的差Δci來體現特征輪廓的變化。

圖12 端部輪廓線等間隔分段

Δci=|Xi+1-Xi|，

(4)

式中：

Δci——相鄰兩段擬合直線斜率差；

Xi——第i段擬合直線斜率；

Xi+1——第i+1段擬合直線斜率。

得到一組斜率差Δci后求出其最大斜率差值Δcmax，如果Δcmax>ε則可判斷其端部被切斷。最后根據相鄰線段斜率變化情況，選取合適的閾值ε即可判別其端部是否合格。圖13為兩端部輪廓等間隔分段擬合直線斜率變化圖。

圖13 端部輪廓線斜率變化圖

3.2 破裂、異形殘次品識別方法

對于破裂和異形兩類殘次品，其共同的缺陷特征是親親腸中部區域上下兩邊緣間的距離變化不均勻。根據缺陷特征，對親親腸輪廓區域的劃分，截取中間上下兩邊緣圖像，如圖14所示。

截取中部邊緣區域后計算其連通域，用以過濾區域中可能存在的像素雜點。采取等比例間隔抽取兩邊緣對應點并得到其距離xi，然后計算其標準差τ用以分析兩邊緣采樣點距離的離散程度。

(5)

式中：

τ——距離的標準差值；

xi——抽樣邊緣距離，像素；

n——抽樣個數。

圖14 中部輪廓截取示意圖

對圖14中的輪廓等比例間隔得到上下兩邊緣距離，計算抽樣距離的平均值并得到上下邊緣距離與平均值的相對變化，如圖15所示。

圖15 抽樣距離與其平均值相對變化

標準差只能反映親親腸中部是否存在缺陷，不能反映具體的缺陷類型，因此需要其他缺陷特征用以區分殘次品類型。對于異形類殘次品，其缺陷特征表現為中部輪廓凹陷，其輪廓如圖16所示。

圖16 異形缺陷產品輪廓示意圖

根據該缺陷的形狀特征，使用凸殼的方法對該類缺陷進行判別。凸殼是包含集合中所有對象的最小凸集，其頂點必為點集中的點，其可以看作是輪廓的最小外包圍輪廓，結果如圖17所示。

圖17 異形缺陷凸殼圖

得到凸殼輪廓后，按式(6)計算親親腸實際輪廓包圍面積與凸殼所包圍面積的比值T，根據比值可判斷其是否為異形缺陷。

T=A實/A包，

(6)

式中：

T——親親腸實際輪廓包圍面積與凸殼包圍面積之比；

A實——親親腸實際輪廓包圍面積；

A包——凸殼輪廓所包圍面積。

4 試驗與分析

4.1 殘次品篩選閾值選取

(1) 親親腸長度范圍統計：挑選出過長、過小、切斷與合格品親親腸各500粒，其長度范圍如圖18所示。

圖18 親親腸合格品與殘次品長度統計

由圖18可知，合格品親親腸長度均值μ為45.002 mm，方差σ為2.97，其長度頻率分布如圖19所示。根據3σ原則令合格品公差范圍Δ=3σ，即Δ=8.91。

圖19 合格品長度頻率分布圖

(2) 端部切斷殘次品判別閾值的選取：由圖20可知，合格品端部輪廓擬合線段斜率差的極大值最大≤3，因此可將閾值ε設為3，>3則定義為端部缺陷。

圖20 合格品與切斷最大斜率差值統計圖

(3) 破裂與異形殘次品判別閾值的選取：合格品、破裂和異形殘次品親親腸各500粒，由圖21可知，合格品親親腸距離標準差<10，因此可將閾值τ設為10，>10則可能是破裂或異形缺陷。

圖21 親親腸中部輪廓距離標準差統計

通過標準差不能區分破裂與異形殘次品，因此還需通過親親腸實際輪廓包圍面積與凸殼所包圍面積的比值T進行判別，破裂和異形殘次品的面積比T如圖22所示。由圖22可知，脹裂缺陷親親腸的面積比T≥0.97，因此可將閾值T設為0.97，當T<0.97時為異形缺陷。

圖22 破裂和異形殘次品實際輪廓與凸殼

4.2 親親腸殘次品種類識別

根據不同的缺陷特征對殘次品進行分類，其分類流程見圖23。

圖23 親親腸殘次品分類流程圖

選取合適的閾值，使用試驗檢測方法分別對合格品、異形、破裂、切斷、過小和過長樣品各500粒進行識別，結果見表1。

表1 試驗結果

由表1可知，試驗檢測方法對合格品和各類缺陷產品的識別均有較高的正確率。對合格品的錯誤識別是由于其端部腸衣占比超過親親腸直徑的1/3，使其誤判為端部不合格產品。

5 結論

應用機器視覺檢測技術實現了親親腸外觀殘次品的在線檢測與分類識別。該方法算法簡便、實用性強，能夠較好地滿足親親腸在線檢測的要求，同時可實現對于殘次品判別的量化標準。缺陷的在線分類統計可實時反映出親親腸生產線設備的運行狀況，有效指導生產過程。為滿足實際生產要求后續還需進行大樣本試驗。