基于機器視覺的包裝盒沖壓缺陷檢測方法研究

摘" 要： 針對保健品包裝盒在沖壓環節產生的邊框塑性變形缺陷，構建了一種基于機器視覺的金屬包裝盒缺陷檢測方法。針對盒體棱邊區域產生的小范圍高光現象，提出一種基于線性擬合的修正算法。針對包裝盒的沖壓缺陷，采用形狀模板匹配算法初步校驗并定位，再裁剪出邊框內外圈區域，校驗該區域灰度值的標準差均值等指標。結果表明：該方法檢測準確率在95%以上，平均檢測時間小于100ms，能滿足實際應用中在線檢測的需求。

關鍵詞： 機器視覺； 保健品包裝盒； 高光修正； 缺陷檢測

中圖分類號：TP274.5" " " " " 文獻標識碼：A" " " "文章編號：1006-8228（2023）12-184-05

Research on machine vision based detection method for stamping

defects in packaging boxes

Li Minghua1， Yuan Yanhong1， Peng Laihu1， Zhou Ke1， Xu Budu2

（1. School of Mechanical Engineering， Zhejiang Sci-Tech University， Hangzhou， Zhejiang 310018， China;

2. Research Institute of Zhejiang Sci-Tech University in Longgang）

Abstract： Aiming at the plastic deformation defects occurred during the stamping process of health product packaging boxes， a machine vision-based defect detection method for metal packaging boxes is developed. To address the issue of small-scale highlights generated in the edge regions of the box body， a correction algorithm based on linear fitting is proposed. For the stamping defects of the packaging box， a shape template matching algorithm is used for preliminary verification and localization. The inner and outer ring regions within the frame are then cropped， and indicators such as the standard deviation and mean of the grayscale values in this region are verified. The results show that the accuracy of this method reaches over 95%， with an average detection time of less than 100ms， meeting the requirements for online detection in practical applications.

Key words： machine vision; health product packaging boxes; highlight correction; defect detection

0 引言

鐵制金屬包裝盒一般采用馬口鐵板，通過印刷、剪裁、沖壓、卷邊等工序制作而成，常用于保健食品包裝。包裝盒由盒體和盒蓋兩部分組成，經過沖壓成型后流入合蓋工序，在沖壓過程中會出現邊框向內彎曲和邊框外翻缺陷，變形明顯，尤其是邊框外翻類缺陷產品會卡在合蓋工序的下滑軌道中，需要由人工清除后才能再次運行。因此，研究一種針對金屬包裝盒的在線缺陷檢測方法具有重要意義。

機器視覺和圖像處理技術日益成熟，可為生產過程中提供新的產品缺陷的檢測手段，目前機器視覺技術已經廣泛應用于工業檢測領域[1]。金屬材料具有良好的光澤度和反射性，易使相機成像出現高光區域，干擾金屬材料的缺陷檢測，因此在做缺陷檢測前要先消除高光的影響。費繼友[2]等提出了基于PSO-OTSU算法的金屬工件高光區域定位，并用直方圖規定法修正高光區域的灰度值。葉婷等[3]提出了基于OTSU算法分割高光區域和八鄰域像素平均值更新高光區域像素值。在工業現場，通常會根據被檢對象的高光特性，采用圖像處理的方法修正高光現象。

在缺陷檢測方法方面，Chen等[4]提出了一種基于拉普拉斯-高斯算子的陰影校正算法來增強工件的缺陷部分，采用Otsu算法和形態學對缺陷部位進行提取。Tian等[5]設計了一種平面照明模式與多角度照明模式相結合的照明方法，獲取多角度光源圖像的灰色異常區域邊緣線的位置和方向來判斷是否為缺陷。商業彤等[6]利用NCC模板匹配和背景差影法去檢測沖壓毛坯板料表面缺陷。李永敬等[7]針對沖壓件外形缺陷提出了一種基于形狀模板匹配的檢測方法。上述文獻都依據工件的缺陷特點，提出了具有針對性的缺陷檢測方法。

1 打光方式與高光修正

1.1 打光方式

金屬表面光滑平整，這使其具有很高的光澤度，可以良好地反射光線。當光源呈一定角度照射到包裝盒，經過金屬表面反射后，部分光線會沿著工業相機光軸方向集中進入鏡頭，產生高光，干擾邊框變形缺陷的檢測。為了照亮整個邊框且盡可能少的出現高光區域，采用暗箱避免環境光線進入，盒蓋和盒體采用左右兩側條形光源水平照明的策略。盒蓋和盒體的高度不同，根據成像效果不斷調整光源的高度，最終選定盒蓋處光源與邊框平齊，盒體處光源在邊框上方80mm處，如圖1所示。在保證邊框照亮的前提下，無論如何調整光源高度，盒體底面與側面的棱邊區域始終會出現高光現象，這部分區域會影響后續盒體缺陷檢測，因此需要通過修正算法消除高光影響。

1.2 高光區域定位與修正

修正算法分為高光區域定位和修正兩部分，相機拍攝的盒體圖像如圖2，其左右兩側非邊框區域出現高亮，寬度約為十個像素點。盒體產生的高光區域形狀基本相同，因此采用形狀模板匹配算法完成定位。首先對圖像做閾值分割和連通域面積篩選，選出高光區域，再做一次閉運算和膨脹運算，得到高光加寬區域，最后采用Canny算法提取輪廓并根據長度屬性進行篩選，提取的模板模型如圖3所示，該模板用于定位盒體圖像的高光區域。

完成高光區域定位后，需要對該區域做亮度修正，該區域正常情況下的灰度值應當與附近正常區域的值相近，因此采取數據擬合的方式重寫該區域灰度信息。考慮到高亮邊框和高光區域間隔在十個像素左右，為避免邊框的數據參與計算，取高光區域外左右兩側各5個像素點用于數據擬合和修正。算法的核心思想為：

⑴ 獲取每一行高亮區域以外左右兩側各五個像素點的灰度值；

⑵ 使用一次函數擬合上述灰度值，根據最小二乘法確定函數參數；

⑶ 根據確定的函數計算高光區域的灰度值，重寫數據。

其中一次函數表達式為：

[y=a0+a1x]" ⑴

參數[a0，a1]通過如下計算確定，預測值和真實值的誤差平方和：

[Sr=i=1nyi-a0-a1xi2]" ⑵

要讓誤差平方和取最小值，則偏導數為0：

[δSrδa0=0δSrδa1=0?i=1nyi=na0+i=1nxia1i=1nxiyi=i=1nxia0+i=1nxi2]" ⑶

求解上式可得：

[a1=ni=1nxiyi-i=1nxii=1nyini=1nxi2-i=1nxi2a0=1ni=1nyi-a1ni=1n xi]" ⑷

上述表達式中[n]代表已知點的個數，[xi]代表圖像中該點列坐標，[yi]代表灰度值。通過已知的列坐標和灰度信息求得該行的一次函數表達式，再將高光區域的列坐標分別代入，求得修正后的灰度值。圖4（a）為原圖，圖4（b）為線性擬合修復后的圖像。

2 缺陷檢測算法設計

該產品的尺寸為99.2×69.2×8.8mm，在生產過程中沖壓設備因工藝參數失控、模具缺陷、材料過軟或力學條件顯著變化[8]等原因會導致包裝盒出現過大的塑性變形，形狀和尺寸超出生產誤差范圍，成為缺陷產品，如圖5。包裝盒的缺陷產品主要表現為邊框向內彎曲和邊框外翻，變形明顯。由于盒蓋和盒體的檢測方法相同，后續缺陷檢測算法介紹均以包裝盒的盒蓋為檢測對象說明。

2.1 邊框搜索與定位

包裝盒盡管擁有各式各樣的色彩，但其形狀輪廓是固定的，故而考慮采用基于形狀的模板匹配算法，該方法適用于目標輪廓比較清晰的場景。

模板匹配首先需要提取模板輪廓，待提取圖像如圖6（a）所示，高亮的邊框是需要提取的部分，直接通過閾值分割圖像會產生大量噪點，邊緣部分信息會有所丟失，動態閾值分割可以根據不同應用需求選擇不同的閾值計算方法和參數設置，從而靈活地適應不同的圖像處理任務，因此，采取動態閾值分割圖像。動態分割的閾值參照圖由原圖均值化生成，以[fox，y]表示原圖，[fMx，y]表示均值化處理后的參照圖，[ gx，y]表示分割后圖像，則動態分割過程可以表示為：

[fMx，y=1si=-nnj=-mmfox-i，y-j]" ⑸

[gx，y=1，fox，y≥fMx，y+offset0，fox，ylt;fMx，y+offset]" ⑹

其中，[s=（2n+1）（2m+1）]表示均值模板核的尺寸，本例中取核的大小為[101×101]，[offset]表示灰度值的偏移量，本例中取20，經過動態閾值分割的二值化圖像如圖6（b）所示，圖像中仍存在一些噪聲和盒蓋圖案的干擾，但可以發現整個邊框輪廓提取完整。將二值化圖像分割為連通域，根據面積信息篩選即可過濾掉干擾信息，提取到的邊框由gen_contour_region_xld（）算子將其轉化為XLD輪廓，再經過光滑處理即可得到XLD輪廓模板，該輪廓模板雖然是從白色邊框中提取的，但其具有通用性，只要是尺寸相同的盒蓋均可使用該模板。

2.2 圖像預處理

包裝盒的邊框色彩有白、藍、綠和混合色，因此在轉化為灰度圖時，需要讓邊框的灰度值與背景有較大差異，從而有效保留各種色彩的邊框信息，為后續的缺陷檢測提供便利。默認的灰度轉化方式會使部分藍色和紅色邊框的信息丟失，因此選擇采用最大值法轉換為灰度圖，其轉換公式為：

[gray=maxred，green，blue]" ⑺

圖像經過灰度化處理后，還存在一些不可避免的高頻噪聲，需要對圖像濾波，高斯濾波對高頻噪聲的抑制效果較好。

2.3 基于灰度值信息的邊框缺陷檢測

針對邊框形變缺陷，主要檢測邊框、邊框外圈和邊框內圈三個位置。首先采用模板匹配方法搜索到圖像中邊框的位置，并根據匹配得分進行初步判斷，若匹配得分低于設定閾值Score，則判定為邊框缺陷，若大于Score，進入后續檢測。

2.3.1 邊框外圈和內圈檢測

針對邊框內外圈區域的檢測，需要提取的ROI區域如圖7所示，以外框提取為例：利用halcon算子get_generic_shape_model_result_object（）獲取被檢圖像的邊框輪廓，將XLD輪廓轉化為區域并填充，做兩次不同掩膜的膨脹操作，對膨脹后的區域做差分得到邊框外圈區域，最后利用reduce_domain（）對原圖裁剪，即可得到邊框外圈圖像。

對獲取的外圈圖像計算均值和標準差：

[μ=1NMr=1Nc=1Mfr，c]" ⑻

[σ=1NMr=1Nc=1Mfr，c-μ2]" ⑼

其中，[NM]表示外圈圖像的高和寬，[fr，c]代表圖像[r，c]位置的灰度值，[μ]為均值，[σ]為標準差。當[σ]大于閾值[σth]，則該區域為可疑狀態，需要對其進行閾值分割操作，采用靜態的分割方式容易受到光照強度，工件角度等因素的干擾，因此選擇最大類間方差法計算最佳分割閾值[k]。

以閾值[k]對圖像做二值化處理，將得到的前景分割成連通域，校驗其面積大小，若存在面積超過100個像素點的對象，表明該區域出現了邊框圖像，工件產生了形變缺陷，反之，則代表[σ]值偏大是由干擾信息引起的，工件正常，部分檢測結果如圖8所示。

考慮到邊框出現嚴重變形的特殊情況，此時外圈區域背景被形變邊框完全填充，標準差結果變化小，該判定條件失效。此時大量黑色背景被邊框填充，整個區域的灰度值會大幅上升，采用均值作為判定條件可以有效應對該情況。

邊框內圈檢測和外圈檢測邏輯一致，盒蓋與盒體的檢測方法也相同，但在檢測前需要先對盒體的高光區域做修正，完整的檢測流程如圖9所示。

2.3.2 參數確定

算法的模板匹配得分，外圈標準差、均值，內圈標準差、均值，這五個閾值參數決定了算法判斷的準確性，因此選擇一個合適的閾值十分重要。

針對邊框白色、藍色、綠色和混合色的包裝盒，每種顏色選取40張合格產品圖像和各40張邊框缺失、向外變形和向內變形缺陷圖像，分別計算兩組圖像五個參數結果，可以發現檢測區域合格的參數值總是穩定在一個區間內，而缺陷區域的參數值會偏離于區間外，故選擇合格區間的邊界值作為閾值，最終選取的參數見表1。

3 實驗與結果

測試平臺采用自主研發的合蓋機，如圖10所示。在工件傳輸帶上增加了暗箱，將海康工業相機MV-CA013-A0GC、條形光源、光電傳感器等置于暗箱內，相機采用硬件觸發。配套軟件基于Windows平臺、VisualStudio2019軟件、Halcon軟件，結合相機SDK編程實現。相機拍攝的圖像由PC處理后將結果通過RS485發送至下位機，由下位機控制噴嘴完成工件剔除。

為驗證該算法檢測的準確率、漏檢率、誤檢率和檢測速度，取A包裝盒白色、綠色、藍色和混色的缺陷樣品各100個，分別與100個合格樣品混合測試，評價指標如下：

[漏檢率=A-CA+B×100%]" ⑽

[誤檢率=DA+B×100%]" ⑾

[準確率=B+C-DA+B×100%]" ⑿

其中，[A]為缺陷樣品數；[B]為合格樣品數；[C]為缺陷樣品剔除數；[D]為合格樣品剔除數。測試結果如表2所示，從表中可知，漏檢率和誤檢率均控制在2%以內，檢測準確率在95%以上，平均檢測時間lt;100ms，能夠滿足實際應用中在線檢測的需求。

4 結束語

針對金屬包裝盒沖壓過程產生的邊框變形缺陷，本文設計了一種基于形狀模板匹配的缺陷檢測方法，并針對盒體棱邊區域產生的高光現象提出了一種修正算法。經過實驗測試，該方法能有效地識別缺陷產品，降低產品的次品率；該方法具有高準確率、低漏檢率和誤檢率、識別快等優點，十分適用于工業生產環境中的在線檢測任務。通過使用該檢測方法，可以有效避免缺陷產品進入合蓋工序而導致設備運行故障的情況發生，進而提升設備的運行穩定性和生產效率。

參考文獻（References）：

[1] CHEN G， GUAN G， WEI X. Online Stamping Parts

Surface Defects Detection Based on Machine Vision [J]. Laser amp; Optoelectronics Progress，2018，55（1）.

[2] 費繼友，汪政，李花，等.基于PSO-OTSU算法的金屬工件高

光處理[J].大連交通大學學報，2020，41（3）：28-33.

[3] 葉婷，趙立宏，李明，等.光器件金線圖像高光區域的檢測與

去除[J].電子測量與儀器學報，2022，36（2）：146-152.

[4] CHEN Y， DING Y， ZHAO F， et al. Surface Defect

Detection Methods for Industrial Products：A Review[J]. Applied Sciences-Basel，2021，11（16）.

[5] TIAN H， WANG D， LIN J， et al. Surface Defects Detection

of Stamping and Grinding Flat Parts Based on Machine Vision[J]. Sensors，2020，20（16）.

[6] 商業彤，劉乘昊，王晶，等.基于圖像背景差影的沖壓板料表面

缺陷檢測[J].組合機床與自動化加工技術，2022（12）：85-88.

[7] 李永敬，朱萍玉，孫孝鵬，等.基于形狀模板匹配的沖壓件外形

缺陷檢測算法研究[J]. 廣州大學學報（自然科學版），2017，16（5）：62-66.

[8] 李靖.汽車沖壓件缺陷分析及質量改進[J].科技創新與應用，

2019（25）：114-115.