高清整皮表面缺陷自動檢測與定位

范大煌 丁磊 鄧杰航

摘要：針對傳統CCD皮革檢測系統成像視場小，以及傳統皮革缺陷檢測方法主要對皮革局部區域進行檢測，應用在整張皮革缺陷檢測上還需進行圖像拼接等問題，提出一種高清整張皮革表面缺陷自動檢測方法。首先根據高清整皮一次成像系統獲取的整張皮革（整皮）圖像特點，提出基于飽和度的整張皮革有效區域提取方法提取皮革區域（Region of Interest，ROI）;然后，為了在整皮圖像ROI區域內一次對多種不同類型缺陷進行檢測與定位，提出基于增強缺陷邊緣的算法對皮革表面缺陷進行自動檢測與定位。與傳統皮革局部區域缺陷檢測方法相比，該方法直接對整皮圖像進行檢測，無須再應用圖像拼接算法得到最終結果，且能在一定程度上克服光照不均的影響，因此可以快速、準確地自動檢測與定位整張皮革缺陷。

關鍵詞：整皮;皮革缺陷;數學形態學;多尺度積;缺陷檢測

DOI：10.11907/rjdk.191210

中圖分類號：TP319 文獻標識碼：A 文章編號：1672-7800（2019）012-0146-05

0引言

皮革行業在生產制造過程中，排樣與切割是優質皮革原料生產過程中的一道重要工序。但半成品皮革表面不可避免地會留下少量缺陷，因此在排樣前必須對缺陷進行檢測與定位，從而使生產樣本的排放與切割能夠避開缺陷。我國皮革制品行業長期以來主要依靠人工實現對整張皮革的缺陷檢測與定位工序，但由于受到光照條件、工人經驗以及情緒、體力、工作時長等因素變化影響，容易造成檢測與排樣切割效率低下等問題。因此，對整皮表面缺陷自動檢測方法的研究對提高皮革行業生產效率有著重要意義。

賀福強等采用CCD掃描整皮表面得到多幅局部區域圖像，然后采用模糊聚類與基于小波重構的皮革表面缺陷檢測方法對圖像進行檢測。由于CCD相機的成像特點，在采用皮革表面缺陷檢測方法進行檢測前，需要對多幅局部皮革圖像進行拼接，形成一幅完整圖像。但該過程會增加算法計算時間，影響實際應用中的生產效率;王琪使用雙攝像機對皮革進行拍攝，然后對拍攝的圖像進行融合處理;王毅采用迭代閾值法與大津法對整張皮革灰度圖像作背景分割處理，利用背景與皮革區域的灰度差異計算出相應閾值得到分割結果，但該方法易受到光照不均等因素影響;TSAI等采用基于小波重構的方法對皮革表面進行缺陷檢測;KWAK等提出基于神經網絡的分類器方法對皮革缺陷進行分類;劉根等提出基于光度立體與圖像顯著性的皮革缺陷檢測方法;Jawahar等應用紋理特征提取與多閾值分割方法提取皮革缺陷。但以上方法都基于皮革部分表面缺陷進行分類識別，未能對整張皮革缺陷進行檢測與定位。

本文根據整皮圖像的特殊性，提出一種高清整皮表面缺陷自動檢測與定位方法。為了克服傳統CCD掃描成像皮革缺陷檢測裝置成像視場小、成像復雜等問題，本文采用高清高效整皮一次成像系統，如圖1所示。該系統由皮革固定平臺、超高清攝像頭、光源與圖像處理工作站組成。為了將皮革與背景區分開，經過對皮革顏色的統計，本文將皮革固定平臺的顏色固定為藍色。系統通過超高清攝像頭對皮革進行一次成像后，將圖片傳給圖像處理工作站進行檢測處理。相比傳統CCD皮革破損檢測系統，該系統構造簡單，對整皮可以一次成像而不需再對圖像進行拼接處理，具有成像快、成像過程簡單、成像效果好的特點。

本文針對高清的整張皮革圖像提出整皮圖像破損檢測模型。首先，提出基于飽和度的整張皮革有效區域提取方法，提取皮革圖像的ROI區域;然后，為了在整皮圖像ROI區域內一次對多種不同類型的缺陷進行檢測與定位，提出基于增強缺陷邊緣的算法檢測與定位皮革缺陷。由于皮革圖像是進行一次成像與全局處理的，所以縮短了模型檢測時間。實驗結果表明，本文方法能夠克服光照不均的影響，并快速、有效地提取整張皮革有效區域內的缺陷進行檢測與定位。

1高清整皮表面缺陷自動檢測與定位方法

目前皮革表面缺陷實時檢測主要以CCD掃描成像檢測裝置為主。傳統的CCD相機成像視場小，需要通過復雜的控制系統移動CCD相機掃描整張皮革有效區域，且傳統CCD掃描成像檢測裝置針對皮革的局部成像圖片缺陷進行缺陷檢測，成像后需要應用圖片拼接技術才能得到整張皮革圖像，需要進行大量運算。針對上述問題，本文提出一種直接對高清整張皮革表面缺陷進行自動檢測與定位的方法。該方法主要分為提取整張皮革圖像的ROI區域與對ROI區域進行缺陷檢測與定位兩部分，具體流程如圖2所示。

具體步驟為：①通過高清整皮一次成像系統采集整張皮革圖像;②應用基于飽和度的整張皮革有效區域提取方法獲取皮革ROI區域;③通過灰度形態學增強方法增強皮革圖像對比度與缺陷邊緣信息，再應用基于小波多尺度積的方法提取皮革表面缺陷邊緣信息;④對結果進行閾值分割，對分割得到的二值圖像采用形態學方法進行去噪，并填充孔洞區域;⑤用以上操作得到的二值圖像對缺陷進行定位與標記。

1.1基于飽和度的整張皮革有效區域提取方法

由于本文提出的超高清高效整皮一次成像系統采用點光源照明，且成像范圍大，導致在成像平面上與光源距離不同地方亮度不同，從而出現光照不均的問題。另一方面，由于在獲得的超高清皮革圖像亮度通道中，皮革邊緣與背景混疊，邊界參差不齊，如圖3（b）所示，導致常規基于亮度通道的圖像分割方法不能有效分割皮革有效區域。通過觀察與分析大量皮革圖像，在飽和度通道不存在邊沿與背景混疊現象，如圖3（c）所示。因此，為了克服以上問題，本文提出基于飽和度的整張皮革有效區域（Region ofInterest，ROI）提取方法，具體過程如圖4所示。

如圖4所示，利用大津法對飽和度進行分割后，圖像中由于存在光照不均、皮革破損等問題，可能會出現大小不一的干擾區域。針對該問題，本文利用二值形態學運算，選取較小的結構元素消除面積較小的干擾點。又因為整張皮革的有效區域占據了圖像大部分面積，所以通過貼標簽算法保留最大分割區域，得到整個皮革的ROI區域。對ROI區域與原圖進行布爾運算，得到背景單一的皮革圖像。

1.2基于增強缺陷邊緣的整皮缺陷檢測定位方法

部分整皮圖像的ROI區域會同時出現不同類型、不同程度破損，提取到整皮圖像ROI區域后，為了解決傳統皮革表面缺陷檢測方法只針對局部圖像單一缺陷有效的問題，本文提出基于增強缺陷邊緣的整皮缺陷檢測定位方法。首先通過形態學方法增強缺陷邊緣信息，再使用小波多尺度積檢測與定位缺陷邊緣，最后通過基于形態學的后處理方法定位全局缺陷位置。該方法可有效對整皮圖像中的明顯缺陷進行自動檢測與定位。

為了突出皮革圖像上感興趣的細節信息，將整張皮革ROI區域的像素值線性拉伸到[O，L]范圍，其中L是像素最大灰度值。對于8位圖而言，L=255。然后使用基于數學形態學的方法增強皮革圖像對比度，并對缺陷部分邊緣信息進行處理，原理如下：對灰度圖像I進行形態學增強，將結構元素定義為se。首先定義形態學高帽運算Ha，見式（1）。高帽運算是原圖像與開運算結果之差，可增強圖像對比度;低帽運算Hb，見式（2），低帽運算是原圖與閉運算結果之差，低帽運算可以獲取圖像邊緣。

為了減少皮革正常紋理及噪聲對檢測結果的影響，本文采用基于小波多尺度積的缺陷檢測方法，對增強后的圖像進行正交小波變換，將相鄰尺度上的小波系數相乘。為了精確定位缺陷信息，通過相鄰尺度積的模值與幅角得到局部極大值以定位缺陷邊緣。該方法不僅可以在一定程度上降低皮革圖像重復紋理與噪聲的影響，還可以準確檢測與定位缺陷區域信息。具體原理如下：

圖像經小波變換后的不同尺度系數隱含缺陷信息，本文方法通過相鄰尺度積的模值和幅角得到該梯度方向的局部極大值，從而獲得皮革缺陷邊緣信息，然后對結果進行閾值化處理。由于檢測得到的缺陷區域尺度積系數遠大于無缺陷區域的尺度積系數，且尺度越大，結果越明顯，而本文方法只需進行3層小波變換。之后用大津法對檢測結果進行二值化處理。由于一部分皮革圖像中存在一些面積較大的缺陷區域，如破洞、褶皺等，導致二值化后的檢測圖像存在一些孔洞區域，因此本文采用二值形態學方法進行去噪并填充孔洞區域，從而使二值圖像的白色區域可以完整表示為檢測的缺陷區域，通過該二值圖像得到皮革缺陷大小及位置，并在原圖中標定對應缺陷。

2實驗與討論

本文實驗使用的皮革圖像由深圳來擇科技有限公司提供，圖像大小為8688×5792像素。本文實驗環境為：Intel Core 15-2450M CPU，8GB（DDR3）內存，Win10，64位操作系統，MATLAB R2016a環境。為了驗證本文提出的背景去除方法的有效性，實驗選取100幅分辨率為8K的皮革圖像，分別應用傳統的迭代閾值分割法、K-mean聚類算法與本文提出的整皮有效區域提取方法進行比較，如圖5所示。由圖5可知，采用迭代閾值分割法、K-mean聚類算法對整張皮革圖像進行背景去除效果不佳，容易受到光照與色彩影響，從而可能產生過分割現象，不能對強光反射下的背景進行有效分割。應用本文提出的基于視覺顯著性的整張皮革有效區域提取方法，沒有造成分割不完全或過分割現象，有效解決了光照不均以及皮革邊緣陰影與背景混疊的問題，能完整分割出包括破洞在內的整張皮革有效區域。

成功提取整皮有效區域后，為了檢驗本文方法對超高清整皮圖像缺陷區域檢測的效果，將常見的皮革缺陷識別方法，即模糊c均值聚類算法和基于小波重構方法與本文方法作比較，如圖6所示。

在圖6中，將本文方法檢測結果與人工標記的二值圖像進行對比，可以看出本文方法對常見的劃痕、破洞、褶皺檢測效果良好，未出現明顯的漏檢、誤檢現象，在對整張皮革表面缺陷的檢測中，其相對于模糊c均值聚類算法、基于小波重構方法準確性更高。模糊c均值聚類算法、基于小波重構方法對整張皮革圖像的皮革區域進行二值化檢測，可以在一定程度上檢測出缺陷區域，但會出現大面積誤檢測現象。模糊c均值聚類方法在整皮檢測情況下易受光照等因素影響，無法對皮革缺陷進行有效檢測與定位;基于小波重構方法選取適合的小波頻帶重構圖像，但由于缺陷復雜多樣，使用小波重構并不能得到較好效果，二值化后的平滑區域與皮革圖像缺陷區域容易出現誤檢測與多檢測現象。本文提出方法可以精準地檢測與定位明顯缺陷區域，且未出現大面積誤檢測現象。

為了驗證本文算法的實時性，將本文方法與模糊c均值聚類算法、基于小波重構方法的檢測時間進行對比。50幅整張皮革圖像檢測平均時間（包括提取ROI區域時間）如表1所示，可以看出本文方法在高清整皮圖像缺陷檢測上更具有時效性。

為了客觀驗證本文提出方法的有效性，本文應用Pre-cision—RecaⅡ與F，評價指標對皮革表面缺陷進行像素級的定量評價，將3種方法檢測出的50幅缺陷檢測結果圖像與人工標記圖像的定量評價指標進行計算，得到平均值，如圖7所示。

3種柱狀條分別表示本文方法與模糊c均值聚類算法、基于小波重構方法計算結果。由圖7可以看出，本文方法的查準率、查全率以及F，值在不同皮革的缺陷檢測中均比其它兩種方法效果更好，其中查準率與F。值遠高于其它兩種方法的結果。由于模糊c均值聚類算法、基于小波重構方法的誤檢測面積較大，導致其查全率較高，但仍低于本文方法。通過實驗可知，本文方法更適用于整張皮革缺陷檢測，所得的查準率、查全率以及F。值在對不同皮革的缺陷檢測中都可達到85%以上。

3結語

本文通過研究傳統皮革表面缺陷檢測方法，發現傳統檢測方法難以簡單、高效地對整張皮革圖像上多種不同類型缺陷進行檢測的問題，因此提出高清整皮表面缺陷檢測與定位方法。首先該方法去除了傳統CCD皮革缺陷檢測方法中的復雜相機控制系統，無需再進行圖像拼接與融合處理，對整張皮革在藍色背景下進行一次性超高清成像;然后根據整張皮革圖像特點，提出基于飽和度的整皮有效區域提取方法提取皮革圖像的ROI區域，克服了傳統方法中難以處理的光照不均，以及皮革邊緣陰影與背景混疊問題;最后提出基于增強缺陷邊緣的檢測算法對皮革缺陷進行檢測與定位。定性與定量評價結果表明，相比傳統皮革局部缺陷檢測方法與手工皮革缺陷檢測方法，本文方法能有效提取簡單背景下整皮圖像的皮革區域，且可一次性對整張皮革的常見缺陷作出準確檢測與定位，而無需依賴復雜的掃描檢測系統，對皮革行業的自動化生產具有一定指導意義。