PET瓶封蓋缺陷視覺檢測算法研究

吳蘭蘭，陳 碩*，黃祥斌，陸 華

(1.福州大學 機械工程及自動化學院，福建 福州 350116；2.福州三龍噴碼科技有限公司，福建 福州 350014)

0 引 言

隨著飲料企業生產線的自動化程度不斷提高，生產過程中也會產生一些不合格產品，封蓋缺陷就是在旋蓋過程中產生的，常見的封蓋缺陷有無蓋、高蓋和歪蓋。傳統的人工目測的封蓋缺陷檢測方法效率低下，且穩定性差?；跈C器視覺的自動化無損檢測技術在飲料行業得到了廣泛的應用。國外的KRONES、HEUFT、MIHO等公司，國內的大恒、浩克、明佳等公司已經研制出相應的視覺檢測設備[1]。

對于基于機器視覺的封蓋缺陷檢測理論的研究，已經有不少學者取得一定的研究成果。文獻[2]使用區域標記算法、Canny邊緣檢測算法、黑白二值化算法等，自動尋找瓶蓋區域并確定瓶蓋縫隙的像素寬度，實現了對瓶蓋縫隙寬度的檢測；文獻[3]利用多傳感器融合技術進行瓶蓋封裝檢測，多傳感器融合保證了檢測系統的準確性，但僅對硬件平臺的搭建進行闡述，未介紹具體的檢測算法；文獻[4]應用對稱匹配算法來檢測PET瓶封蓋缺陷，該算法準確性高、魯棒性強，并且能消除毛刺和水珠對封蓋檢測的影響，但算法比較復雜，對光照條件要求較高；文獻[5]針對PET瓶防盜環是否斷裂，設計了一種基于輪廓曲率計算和角點檢測的防盜環斷裂檢測算法；文獻[6]提出一種基于圖像匹配的PET飲料瓶封裝缺陷的檢測方法，利用直方圖不變矩并結合周長、面積、灰度等特征進行圖像匹配，根據匹配程度判斷瓶蓋封裝質量，該方法簡單，但匹配算法速度較慢，且無法對具體缺陷進行分類；文獻[7]利用Hough變換得到持胚環線，采用最小二乘擬合瓶蓋頂部的直線，通過持胚環直線和瓶蓋頂部直線位置關系完成瓶蓋的快速檢測，該算法準確率高，但是Hough計算量較大，且邊緣提取效果對其影響很大；文獻[8]用待檢圖像和標準圖像進行配準和差影計算，利用得到的差影圖像實現對藥瓶封蓋缺陷檢測，該算法簡單，但對光照條件要求較高，且易受背景噪聲影響。

上述文獻對檢測系統對硬件要求較高，檢測算法較為復雜、檢測效率低，且只能檢測出實際存在的瓶蓋缺陷，無法對具體的缺陷進行分類和判別顯示。

本文主要針對PET瓶在封蓋過程中存在的無蓋、高蓋和歪蓋缺陷進行檢測，實現對多種類型瓶蓋封蓋缺陷的檢測。

1 封蓋缺陷視覺檢測硬件平臺搭建

該系統主要由光電傳感器、成像系統、圖像處理部分、工業IO卡和剔除裝置等硬件組成[9-12]。待檢PET瓶放置在運動的傳送帶上，PET瓶經過光電傳感器時觸發相機拍照，圖像采集卡采集PET瓶圖像并傳輸到圖像識別系統對PET瓶圖像進行實時檢測，判斷有無缺陷并標記。如果飲料瓶存在缺陷，檢測系統對飲料瓶缺陷特征進行分析并識別缺陷類型，同時工控機通過工業IO卡發出剔除信號，剔除裝置動作，把不合格品剔除生產線。檢測系統硬件系統如圖1所示。

圖1 封蓋缺陷檢測硬件系統示意圖

三維結構示意圖如圖2所示。

圖2 封蓋缺陷檢測系統三維結構示意圖

通過實驗研究，目前PET瓶封蓋缺陷檢測存在以下難點：(1)PET瓶材質為聚苯二甲酸乙二醇酯，具有高透光率和反光率，且瓶內液體對光有折射特性，易造成采集圖像不清晰、缺陷信息丟失；(2)由于PET的反光特性，對光電傳感器的響應/釋放時間有較高要求。

為了解決上述難點，本研究首先選取分辨率為640×480的CMOS工業相機、鏡頭選擇像面尺寸為2/3''的大光圈鏡頭，選擇背光照明方式。光源選擇貼片LED，漫射面板，長寬均為120 mm的白色面光源，光源與飲料瓶平行布置。光源具體布置如圖3所示。

圖3 光源示意圖

光電傳感器選擇反射式(響應釋放時間為0.25 ms)，需要調整光電傳感器的位置，使瓶子正好處在采集到的圖像的正中央。光電傳感器位置示意圖如圖4所示。

圖4 光電傳感器位置示意圖

2 封蓋缺陷圖像處理算法

2.1 基于圖像匹配的無蓋檢測算法

當相機位置固定，光照條件不變時，相機拍出來的PET瓶瓶蓋部分效果圖中瓶蓋的灰度特征和形狀特征都非常明顯，因此可以根據圖像匹配算法來檢測瓶蓋的有無。

圖像匹配是指從一幅(或多幅)圖像中找出與給定的圖像相似的圖像或者相似的區域(子圖像)的過程。通常把給定的圖像稱為模板圖像，而將待搜索圖像稱為目標圖像[13]。因為瓶蓋檢測是對高速生產線上的PET瓶進行實時檢測，對檢測速度要求很高，本文選擇基于特征的匹配算法對瓶蓋進行檢測，匹配過程可以分為兩步：特征提取和相似性度量。

2.1.1 特征提取

根據瓶蓋特點，筆者選擇其輪廓作為特征進行圖像匹配?；谳喞男螤钇ヅ渌惴ㄖ饕谟趯δ繕溯喞奶崛?，所以輪廓的提取精度會對匹配結果產生重要的影響。常見的輪廓邊緣檢測算法有：Sobel、Prewitt、Log、Canny等。其中Canny算子邊緣檢測效果較好，它利用高斯函數對圖像進行去噪，能夠在去抗噪聲干擾和邊緣精確定位之間取得較好的平衡[14]，其基本步驟如下：

(1)高斯函數平滑圖像如下：

(1)

式中：f(x，y)—輸入圖像；G(x，y)—高斯函數。

高斯函數平滑后的圖像為fs(x，y)為：

fs(x，y)=G(x，y)*f(x，y)

(2)

(2)用一階偏導的有限差分來計算梯度的幅值和方向，圖像上沿x和y方向上的一階導數gx、gy為：

(3)

(4)

對應點的梯度和方向為：

(5)

(6)

(3)對梯度幅值進行非極大值抑制，通過當前像素點的梯度值與該點相鄰的兩個像素點的梯度值進行比較，如果滿足以下條件：該梯度幅值大于相鄰的兩個像素點的幅值；相鄰的兩個方向間的梯度方向小于45°；該點周圍的3×3區域的梯度幅值小于設定的閾值，則將該點作為圖像的邊緣點。如果該點梯度值小于相鄰的點，則將其值置為0，從而完成非極大值抑制過程。

(4)用雙閾值算法檢測和連接邊緣，雙閾值處理以減少偽邊緣點，并用連接分析來檢測并連接邊緣。

為了節省Canny算子檢測時間，本研究先提取瓶蓋區域，然后再用Canny算子進行邊緣檢測，檢測出來的邊緣為綠色。輪廓特征提取如圖5所示。

圖5 輪廓特征提取

得到輪廓線后，本研究記錄輪廓的坐標以及相應的一階導數作為輪廓的描述子，用于下一步匹配。

2.1.2 相似性度量

瓶蓋輪廓建立模板后，接下來筆者用模板在待匹配圖像中尋找匹配目標，進行相似性度量。在相似性度量上，本文設計了一種基于歸一化互相關系數(NCC)的相似性度量算法，能有效地避免光照變化對匹配精度的影響。其基本原理如下：

假設在匹配模板中輪廓線的坐標以及X、Y方向上的梯度分別為

Pi=(Xi，Yi)

(7)

Gi=(Gxi，Gyi)

(8)

式中：i—模板輪廓坐標個數，i=0，1，2，…n。

同理在待匹配圖像中X、Y方向上的梯度為

Gu，v=(Gxu，v，Gyu，v)

(9)

式中：u—待匹配圖像的行，u=0，1，2，…M；v—待匹配圖像的列，v=0，1，2，…N。

在匹配過程中，筆者將模板在待匹配圖像上移動，比較模板與待匹配圖像上與模板重合區域的圖像之間的差異，取差異最小的區域為最佳匹配區域[15]。相似性度量基本思想是計算模板圖像所有點的梯度向量與待匹配圖像中相應點處的梯度向量的歸一化點積的和[16]，相似性度量公式如下：

(10)

式中：Su，v—相似度閾值，0≤Su，v≤1，當Su，v=1時表示待匹配圖像中有與模板圖像完美匹配的圖像，當Su，v=0時表示在待搜索圖像中沒有找到與模板圖像匹配的圖像。

基于歸一化互相關系數的相似性度量算法還有一個值得利用的特性，就是可以人為設定一個相似度閾值Smin，這樣在計算圖像的匹配度時就不需要計算模板所有元素與目標圖像對應的點積。使用Sj表示累計到模板的第j個元素時點積的總和[17]：

(11)

顯然，從j到n的所有剩余項都小于或等于1。因此，當Sj

本研究用上述算法對正常瓶蓋、高蓋、歪蓋、無蓋進行測試，測得4種類型瓶蓋相似性度量得分分別為0.998 501、0.990 258、0.978 18和0.641 889，測試結果如圖6所示。

圖6 圖像匹配結果

經過大量實驗測試發現：有蓋的相似性度量得分都大于0.9，無蓋的相似性度量得分都小于0.7。所以筆者設置閾值Smin為0.7。

2.2 高蓋歪蓋檢測算法

通過上述匹配算法檢測后，若判別瓶蓋存在，則需進一步對高蓋、歪蓋進行檢測。本文以持胚環作為測量基準，用Harris角點檢測算法得到持胚環的兩個邊緣點，準確擬合出持胚環所在的直線，并用最小二乘擬合算法計算出瓶蓋的上邊緣線，通過比較基準線與瓶蓋上邊緣線之間的位置關系即可判斷是否存在高蓋、歪蓋缺陷。

2.2.1 基準線的提取

持胚環是PET瓶為了抓取方便設計的一種特殊結構。以持胚環為基準首先要提取持胚環所在的直線。為了減少運算量，本研究先對持胚環所在區域進行提取。利用匹配算法得到的輪廓位置信息進行相應計算就可以獲得持胚環所在區域。

由于持胚環周圍灰度變化不是太明顯，傳統的邊緣提取效果都不是很好。本文用Harris角點檢測算法提取持胚環最左和最右兩個角點，根據兩角點位置準確計算出持胚環所在的直線。

由Harris角點檢測算法對持胚環區域進行檢測，根據最左邊和最右邊的兩點確定的直線方程為y=k0x+b0。角點檢測及持胚環直線確定如圖7所示。

圖7 角點檢測及持胚環直線確定

2.2.2 瓶蓋上邊緣直線擬合

提取瓶蓋上邊緣所在直線也是先提取瓶蓋上邊緣所在區域。同樣利用圖像匹配算法得到的輪廓位置信息進行相應計算就可以獲得瓶蓋上邊緣所在區域。瓶蓋邊緣與背景灰度變化非常明顯，所以可以用Canny邊緣檢測算法得到瓶蓋邊緣。用Canny算法得到的邊緣線還包括瓶蓋兩側的邊緣線，所以還需進一步把上邊緣線單獨提取出來。通過選取縱坐標小于一定值的邊緣點[18]，最終得到的上邊緣線如圖8所示。

圖8 瓶蓋上邊緣線

提取了上邊緣線后，本文用最小二乘法對上邊緣所在直線進行擬合。給定n個點{(xi，yi)，i=0，1，...，n}設

y=kx+b

(12)

式中：k—直線方程斜率；b—直線方程截距。

用最小二乘法估計參數時，要求觀測值的偏差的加權平方和為最小。對直線擬合來說，就是使下式的值最小：

(13)

對上式中的k、b分別進行求偏導，得:

(14)

求解上述方程組便可求得直線參數k和b的最佳估計值:

(15)

(16)

最終瓶蓋上邊緣所在直線的擬合效果如圖9所示。

圖9 瓶蓋上邊緣擬合直線

基準線和上邊緣線都求出來之后，根據兩條直線的距離及夾角即可判斷是否存在高蓋、歪蓋缺陷。

(17)

則說明瓶蓋是歪蓋，其中μ是設定的閾值，具體數值要根據瓶蓋制造精度以及生產者要求精度來確定。

(18)

如果d>d0，則說明瓶蓋是高蓋，否則瓶蓋合格。d0為持胚環到瓶蓋上邊緣的標準距離。

3 算法流程

本文先利用圖像匹配算法對瓶蓋輪廓特征進行提取，根據模版圖像和待匹配圖像相似性度量判別瓶蓋的有無，再利用Harris角點檢測擬合瓶蓋持胚環基準直線方程，用Canny邊緣檢測算法和最小二乘擬合算法提取瓶蓋上邊緣直線方程，最后通過兩直線方程位置關系判別是否為高蓋或歪蓋缺陷。

檢測流程圖如圖10所示。

圖10 PET瓶封蓋缺陷檢測算法流程圖

4 實驗結果

筆者對檢測算法進行實驗測試。本文選擇SENTECH公司生產的STC-MB33PCL型工業相機，鏡頭選擇Tokina公司型號為TC1214-3MPG的鏡頭，選用長寬都為120 mm的白色面光源。實驗測試在處理器為Intel Core I5，主頻3.3 GHz、內存4 G、win7操作系統的電腦上進行。

測試中本文設定瓶蓋相似性度量匹配得分小于0.7即為無蓋。瓶蓋上邊緣所在直線與持胚環所在直線的斜率絕對值之差大于0.03，即兩條直線的夾角大于1.72°時，判定瓶蓋為歪蓋。瓶蓋上邊緣所在直線與持胚環所在直線的距離大于128個像素即為高蓋。測試結果如圖11所示。

圖11 圖像匹配結果

具體測試數據如表1所示。

表1 封蓋檢測試驗測試結果

本文還對其他幾種不同類型的PET瓶進行了封蓋檢測實驗，對不同的PET瓶需根據瓶蓋的幾何特征對相應的檢測參數進行修改，檢測效果如圖12所示。

圖12 3種不同類型的瓶子檢測效果

筆者對其他3種類型的PET瓶的封蓋進行測試，具體的檢測結果如表2所示。

表2 不同類型PET瓶測試結果

由實驗測試結果可知：該封蓋檢測算法通用性較強，能適應不同類型的PET瓶瓶蓋的檢測。實驗測試中，封蓋檢測的平均時間小于100 ms。

5 結束語

本文介紹了一種基于機器視覺技術的PET瓶封蓋缺陷的檢測算法，通過圖像匹配算法能很好地實現瓶蓋有無的判斷；提出了基于持胚環線及瓶蓋上邊緣線的高蓋、歪蓋的檢測方法，利用Harris角點檢測算法，可精確確定出持胚環線所在直線方程，利用Canny邊緣檢測算法和最小二乘擬合算法得到上邊緣線直線方程，使得高蓋和歪蓋的檢測變得更加準確。

實驗結果表明:該算法有較高的準確性和魯棒性，檢測時間短、通用性強，能對不同類型的缺陷進行實時分類和判別顯示。

參考文獻(References):

[1] 童季剛，廖 菲，羅良傳.一種機器視覺的瓶罐缺陷檢測系統設計[J].機電工程技術，2016，45(8)：28-31.

[2] 王海棟，趙巨峰，高秀敏,等.藥品生產線瓶蓋縫隙的視覺檢測技術研究[J].光學儀器，2016,38(4):283-287.

[3] 張 哲，朱錚濤，李 淵,等.瓶蓋缺陷在線自動檢測技術研究[J].計算機技術與發展，2016，26(6):151-154.

[4] 王貴錦,劉 博,何 貝,等.應用對稱匹配的PET瓶瓶蓋缺陷實時檢測[J].應用科學學報，2014，32(6):617-624.

[5] 彭 玉,王耀南,周顯恩,等.基于輪廓曲率的PET瓶防盜環斷裂檢測[J].電子測量與儀器學報,2017,31(3):422-429.

[6] 孫 濤.基于圖像匹配的PET飲料瓶封裝缺陷檢測研究[D].廣州：廣東工業大學自動化學院，2008.

[7] 鄭云峰,王貴錦,何 貝,等.基于直線擬合算法的PET瓶瓶蓋檢測方法[J].計算機應用研究，2011，28(11):4398-4400.

[8] 王保軍.基于機器視覺的藥瓶封裝缺陷檢測系統研究[D].沈陽：東北大學機械工程與自動化學院，2014.

[9] CAMPOS M, FERREIRA M, MARTINS T. Inspection of bottle crates in the beer industry through computer vision[C]. Conference of the IEEE Industrial Electronics Society, Glendale: IEEE,2010.

[10] MERY D, MEDINA O. Automated visual inspection of glass bottles using adapted median filtering[C]. International Conference on Image Analysis & Recognition, Porto: Springer,2004.

[11] PENG Xiang-qian, LI Xiang-hua. An online glass medicine bottle defect inspection method based on machine vision[J].GlassTechnology:EuropeanJournalofGlassScience&TechnologyPartA,2015,56(3)：88-94.

[12] WANG Bao-jun, YANG Guang-yan. Medical bottle detecting system based on machine vision[J].AppliedMechanicsandMaterials,2013(373-375)：521-524.

[13] 郭倩茜.圖像匹配的主要方法分析[J].科技創新與應用，2016(20):81.

[14] GONZALEZ R C.數字圖像處理[M].3版.北京：電子工業出版社，2011.

[15] HOFHAUSER A, STEGER C, NAVAB N. Edge-based template matching and tracking for perspective distorted planar objects[J].LectureNotesinComputerScience，2008，5358(1):35-44.

[16] HARRIS C. A combined corner and edge detector[J].ProcAlveyVisionConf，1988(3):147-151.

[17] HOFHAUSER A, STEGER C, NAVAB N. Edge-based template matching with a harmonic deformation model[J].CommunicationsinComputerandInformationScience,2009,24(1):176-187.

[18] STEGER C.機器視覺算法與應用[M].北京：清華大學出版社，2008.