基于改進(jìn)閾值分割與形態(tài)學(xué)的螺釘目標(biāo)檢測(cè)算法*

馮 娟，萬(wàn) 星

(四川師范大學(xué) 工學(xué)院，成都 610101)

?

基于改進(jìn)閾值分割與形態(tài)學(xué)的螺釘目標(biāo)檢測(cè)算法*

馮 娟，萬(wàn) 星

(四川師范大學(xué) 工學(xué)院，成都 610101)

為了在外部環(huán)境干擾嚴(yán)重的條件下提高螺釘智能裝配質(zhì)量，文章提出了基于改進(jìn)閾值分割與形態(tài)學(xué)的螺釘裝配質(zhì)量檢查算法。首先，設(shè)計(jì)了融合最大方差與自適應(yīng)閾值的分割算法，完成目標(biāo)分割，防止欠分割與過(guò)度分割。其次，考慮去棱角與突出目標(biāo)中心，改進(jìn)了形態(tài)學(xué)結(jié)構(gòu)分子，聯(lián)合高帽運(yùn)算，去除噪聲干擾，進(jìn)一步精確分割目標(biāo)。然后提取目標(biāo)紋理特征，通過(guò)標(biāo)準(zhǔn)特征值，完成螺釘目標(biāo)檢測(cè)。最后編程實(shí)現(xiàn)整個(gè)系統(tǒng)，并且在實(shí)際工程環(huán)境中使用。實(shí)驗(yàn)結(jié)果表明：與當(dāng)前螺釘檢測(cè)技術(shù)相比，文中算法擁有更高的檢查正確率與穩(wěn)定性。

螺釘裝配質(zhì)量檢測(cè)；閾值分割；形態(tài)學(xué)；高帽運(yùn)算；最大方差

0 引言

近年來(lái)，在制造業(yè)中以智能設(shè)備代替人力，從而提高生產(chǎn)效率與制造質(zhì)量，已成行業(yè)的全球革新趨勢(shì)。智能設(shè)備作為工業(yè)4.0架構(gòu)中的基礎(chǔ)設(shè)施，需具有超越人眼與人腦的功能，來(lái)完成原來(lái)人力對(duì)應(yīng)的工作[1-2]。在很多制造業(yè)大型機(jī)械零部件中，都需要用到大量螺絲來(lái)固定機(jī)構(gòu)，以往工廠都依靠安排大量工人來(lái)完成打螺絲和檢查工作，不僅效率低下、成本高，而且螺絲漏打不良高發(fā)，嚴(yán)重影響產(chǎn)品質(zhì)量[3-4]。在這樣的背景下，有些自動(dòng)化設(shè)備公司開發(fā)出了自動(dòng)打螺絲與檢查設(shè)備，設(shè)備先自動(dòng)將螺絲打入螺絲孔，然后用工業(yè)相機(jī)拍照處理，視覺軟件判斷是否存在漏打不良。國(guó)內(nèi)也有專家學(xué)者對(duì)螺釘檢查的算法進(jìn)行研究，并取得了一些成果，但也仍存在一些不足。如陳永清[5]提出的內(nèi)螺紋圖像識(shí)別系統(tǒng)中螺釘檢測(cè)部分，基于自適應(yīng)閾值分割與形態(tài)學(xué)開運(yùn)算，達(dá)到螺絲識(shí)別檢查的目的，但是當(dāng)圖像干擾大時(shí)，存在嚴(yán)重欠分割，使其檢測(cè)精度不佳。如嚴(yán)榮杰[6]提出了基于CCD數(shù)字圖像校正技術(shù)的螺紋檢測(cè)系統(tǒng)中螺釘檢測(cè)部分，采用最大方差分割與相對(duì)樣本標(biāo)準(zhǔn)，達(dá)到螺絲識(shí)別檢查的目的，但是當(dāng)圖像干擾大時(shí)，存在嚴(yán)重過(guò)分割，從而檢查失敗。

對(duì)此，本文以改善算法分割與識(shí)別的精度與穩(wěn)定性為目的，提出了一種基于改進(jìn)閾值分割與形態(tài)學(xué)的螺絲檢查算法。通過(guò)改進(jìn)閾值分割技術(shù)，避免欠分割與過(guò)度分割，提高分割目標(biāo)質(zhì)量；然后改進(jìn)形態(tài)學(xué)中的結(jié)構(gòu)分子，進(jìn)一步得到精確分割結(jié)果，并提取紋理特征，完成螺釘目標(biāo)檢查。最后測(cè)試驗(yàn)證本文算法對(duì)螺釘裝配質(zhì)量的檢測(cè)效果。

1 本文螺釘裝配質(zhì)量檢測(cè)算法

本文算法對(duì)一枚材料中的三處螺絲進(jìn)行裝配質(zhì)量檢查，從而判斷前端自動(dòng)打螺絲設(shè)備是否有漏打。如采用三個(gè)相機(jī)分別對(duì)三處螺絲進(jìn)行拍照檢查，雖然硬軟件結(jié)構(gòu)開發(fā)簡(jiǎn)單，無(wú)過(guò)多交互控制，但是三個(gè)相機(jī)成本高，且占用系統(tǒng)資源。為控制成本，提高系統(tǒng)效率，本系統(tǒng)采用單個(gè)相機(jī)基于云臺(tái)與PLC交互控制在三個(gè)螺絲上方來(lái)回移動(dòng)檢查。本文算法流程如圖1所示，首先，材料由傳送帶移動(dòng)到系統(tǒng)感應(yīng)位置，PLC觸發(fā)傳送帶停止運(yùn)動(dòng)，固定材料。隨后，PLC觸發(fā)讀碼器移動(dòng)到材料標(biāo)簽上方，讀取ID，并傳送給PC端視覺軟件。然后，視覺軟件接收到ID后，發(fā)送信號(hào)至PLC，PLC移回讀碼器，讓出空間，觸發(fā)相機(jī)移動(dòng)到一號(hào)螺絲位置，并發(fā)送到位信號(hào)至視覺軟件。視覺軟件完成對(duì)一號(hào)螺絲檢查，并發(fā)送信號(hào)至PLC，PLC移動(dòng)相機(jī)至二號(hào)螺絲位置，發(fā)送到位信號(hào)給視覺軟件。視覺軟件完成對(duì)二號(hào)螺絲檢查，并發(fā)送信號(hào)至PLC，PLC移動(dòng)相機(jī)至三號(hào)螺絲位置，發(fā)送到位信號(hào)給視覺軟件。最后，視覺軟件完成對(duì)三號(hào)螺絲檢查，并發(fā)送信號(hào)至PLC，PLC移回相機(jī)并啟動(dòng)傳送帶，完成一枚材料檢查。其PLC與PC端視覺軟件交互圖如圖2所示，總共3個(gè)來(lái)回，先后由PLC觸發(fā)相機(jī)到對(duì)應(yīng)的螺絲位置，完成檢查后，視覺軟件再反饋給PLC進(jìn)行下一個(gè)動(dòng)作，直到完成3個(gè)位置的檢查。

每次圖像采集后，由于產(chǎn)線環(huán)境復(fù)雜，本文耦合自適應(yīng)閾值與最大方差，對(duì)螺絲目標(biāo)粗分割。然后根據(jù)螺絲成像形狀特點(diǎn)與亮度特征，用改進(jìn)的形態(tài)學(xué)結(jié)構(gòu)分子與高帽運(yùn)算處理，進(jìn)一步細(xì)分割螺絲。最后提取出螺絲目標(biāo)紋理特征，并經(jīng)過(guò)標(biāo)準(zhǔn)特征值判別，得到魯棒性強(qiáng)的檢查結(jié)果，見圖3。

圖1 系統(tǒng)架構(gòu)圖

圖2 交互邏輯圖

圖3 算法流程圖

1.1 耦合最大方差與自適應(yīng)的分割算子

檢查螺絲釘裝配大都是在生產(chǎn)車間完成，往往無(wú)法避免各種外界光源干擾，而使圖像成像雜質(zhì)干擾，存在局部過(guò)亮或過(guò)暗的情況。在當(dāng)前圖像分割中，應(yīng)用最廣的兩種技術(shù)分別是最大方差閾值分割[7]與自適應(yīng)閾值算法[8]。但最大方差閾值分割[7]在整個(gè)圖像所有像素都采用相同閾值，當(dāng)照明不均，有突發(fā)噪聲或背景灰度變化較大時(shí)，整副圖像分割時(shí)，將沒有合適的單一閾值，會(huì)將目標(biāo)區(qū)域與背景區(qū)域錯(cuò)分。自適應(yīng)閾值算法雖然是采用每個(gè)像素的單位領(lǐng)域內(nèi)最大與最小值得平均值作為閾值，克服了最大方差分割的缺點(diǎn)；但是該技術(shù)的計(jì)算量過(guò)大，每個(gè)像素的閾值都要計(jì)算。

對(duì)此，本文設(shè)計(jì)了耦合最大方差與自適應(yīng)值的分割算子：(1)先采用自適應(yīng)值思想，將圖像分為16個(gè)區(qū)域，每個(gè)區(qū)域按照自適應(yīng)算法計(jì)算子區(qū)域自適應(yīng)值：

(1)

T為子區(qū)域自適應(yīng)值，max_value與min_value位子區(qū)域最大、最小灰度值。

(2)然后再對(duì)整個(gè)圖像計(jì)算最大方差閾值。

首先，計(jì)算每個(gè)灰度級(jí)的像素出現(xiàn)概率：

(2)

i代表0到255這256個(gè)灰度級(jí)中某個(gè)灰度級(jí)；N為圖像像素總數(shù)；ni為i這個(gè)灰度級(jí)的像素?cái)?shù)；pi為灰度級(jí)i像素概率。

假設(shè)C0代表灰度值在[0，T1-1]內(nèi)的像素；C1代表灰度水平處于區(qū)間[T1，255]內(nèi)的像素。并以此求解C0、C1的區(qū)域概率。其中T1為最佳閾值。再依據(jù)T1將目標(biāo)中的像素按灰度水平分為C0、C1。以w0,w1代表C0、C1概率：

(3)

(4)

C0、C1的均值u0,u1計(jì)算模型為：

(5)

(6)

依據(jù)式(3)～式(6)，得到整副圖像的均值u為：

u=w0u0+w1u1

(7)

C0與C1的類間方差F為：

F=w0w1(u0-u1)2

(8)

令T1在[0,255]，以步長(zhǎng)1依次遞增取值，當(dāng)F最大時(shí)，對(duì)應(yīng)的T1即為最佳閾值，為最大方差閾值。然后結(jié)合子區(qū)域自適應(yīng)值與全局最大方差閾值，形成本文算子閾值t：

t=(T+T1)/2

(9)

并依據(jù)模型(9)得到的閾值，對(duì)螺釘目標(biāo)進(jìn)行準(zhǔn)確分割。

1.2 基于改進(jìn)結(jié)構(gòu)分子的形態(tài)學(xué)處理

完成對(duì)螺絲目標(biāo)分割后，得到含螺絲二值圖，但仍含有一定量雜質(zhì)，對(duì)后續(xù)檢查仍有干擾。對(duì)此，本文采用形態(tài)學(xué)[9]過(guò)濾雜質(zhì)干擾。由于普通形態(tài)學(xué)處理是通過(guò)腐蝕膨脹排列組合處理圖像，其中傳統(tǒng)結(jié)構(gòu)分子為3×3單位矩陣，其過(guò)濾效果往往不理想，會(huì)導(dǎo)致圖像的邊緣發(fā)生一定的變化，不能充分過(guò)濾雜質(zhì)。對(duì)此，本文先改其進(jìn)結(jié)構(gòu)分子，再基于高帽運(yùn)算處理過(guò)濾雜質(zhì)。高帽運(yùn)算[10]適合在亮背景中分割暗背景，在不影響目標(biāo)邊緣的前提下，去除雜質(zhì)。具體步驟如下：

首先定義腐蝕與膨脹運(yùn)算：

X·B={x|(B),?X}

(10)

X°B={x|(BV),∩X≠0}

(11)

式中X為圖像；B為結(jié)構(gòu)分子；BV為對(duì)B取反。

再定義開運(yùn)算與閉運(yùn)算：

X?B=(x·B)°B

(12)

X⊕B=(x°B)·B

(13)

最后定義高帽運(yùn)算：

h=f-(f?B)

(14)

其中，h為高帽處理完圖像；f為原圖像。

高帽運(yùn)算即原圖像與原圖像開運(yùn)算結(jié)果之差。考慮到螺絲為圓目標(biāo)，如果采用單位矩陣過(guò)濾，并不能很好的與目標(biāo)匹配，故改進(jìn)結(jié)構(gòu)分子，對(duì)角取-1，可以去菱角，中間取4，突出圓心，故將傳統(tǒng)結(jié)構(gòu)分子B0改進(jìn)為結(jié)構(gòu)分子B，參加以上運(yùn)算：

(15)

(16)

并提取目標(biāo)紋理特征：歸一化標(biāo)準(zhǔn)差、熵。由于螺絲表面有螺紋，故紋理特征明顯，若漏打螺釘，則螺絲孔紋理特征微弱，故以此來(lái)區(qū)分是否漏打螺絲。歸一化標(biāo)準(zhǔn)差R、熵e分別為：

R=1-1/(1+δ2(i))

(16)

(17)

最后以標(biāo)準(zhǔn)螺釘紋理特征值作為評(píng)判準(zhǔn)則，對(duì)檢測(cè)目標(biāo)紋理特征進(jìn)行判斷，完成對(duì)螺釘漏打檢查。

2 實(shí)驗(yàn)與討論

為了直觀體現(xiàn)本文算法的分割、檢查效果，在VS2010平臺(tái)上基于C++語(yǔ)言編程實(shí)現(xiàn)。部分關(guān)鍵實(shí)驗(yàn)參數(shù)，如歸一化標(biāo)準(zhǔn)差為11.36、熵為41.94。同時(shí)，為了體現(xiàn)所提技術(shù)的先進(jìn)性，將兩個(gè)當(dāng)前檢查性能較好地算法視為對(duì)照組：文獻(xiàn)[5]-基于自適應(yīng)閾值分割的目標(biāo)檢測(cè)技術(shù)、文獻(xiàn)[6]-基于最大方差分割的目標(biāo)檢測(cè)技術(shù)。

取一張受光照影響較大的螺絲圖像，見圖4，后續(xù)以圓圈識(shí)別符代表識(shí)別到螺絲位置，“綠色”代表正常，“紅色”代表漏打不良。利用所提算法與對(duì)照組技術(shù)對(duì)其處理，結(jié)果見圖5～圖10。依圖可知，文獻(xiàn)[5]單純采用自適應(yīng)閾值分割與形態(tài)學(xué)開運(yùn)算，在存在圖像干擾時(shí)，存在嚴(yán)重欠分割，如圖5所示，大量雜質(zhì)沒有被過(guò)濾，從而影響檢查，見圖8，雖然識(shí)別到螺絲位置，但是未檢查出右邊漏打不良。文獻(xiàn)[6]采用最大方差分割與相對(duì)樣本標(biāo)準(zhǔn)，由于最大方差閾值以單一值處理整副圖像，存在過(guò)分割，如圖6所示，最后影響檢查效果，如圖9所示，左邊正常螺絲未檢測(cè)到，右邊漏打不良未檢查出。而本文設(shè)計(jì)的分割算子充分耦合最大方差與自適應(yīng)值，同時(shí)還改進(jìn)結(jié)構(gòu)分子再進(jìn)行高帽處理，進(jìn)一步精確分割目標(biāo)，克服普通形態(tài)學(xué)方法干擾目標(biāo)邊緣的缺點(diǎn)，得到精確分割效果，如圖7所示，最終得到正確螺釘檢查結(jié)果，見圖10，左邊螺絲正常，右邊螺絲漏打。

圖4 待處理圖像

圖5 文獻(xiàn)[5]分割結(jié)果(欠分割)

圖6 文獻(xiàn)[6]分割結(jié)果(過(guò)分割)

圖7 本文分割結(jié)果(精確分割)

圖8 文獻(xiàn)[5]檢查結(jié)果(右邊螺釘漏裝配被誤檢)

圖9 文獻(xiàn)[6]檢查結(jié)果(螺釘裝配檢測(cè)失敗)

圖10 本文算法的檢查結(jié)果

為了比較三種算法的穩(wěn)定性，先隨機(jī)采集500張圖像，根據(jù)干擾程度(噪聲水平與光照不均程度)由低到高分為6個(gè)等級(jí)，各取100張完成實(shí)驗(yàn)測(cè)試，分別用本文算法與對(duì)照組算法進(jìn)行處理，然后統(tǒng)計(jì)檢查正確率。由于本文有機(jī)融合分割算子，并改進(jìn)了結(jié)構(gòu)分子，且以紋理特征區(qū)分目標(biāo)，改善了分割質(zhì)量與識(shí)別正確率；而兩個(gè)對(duì)照組單純采用自適應(yīng)分割、最大方差分割技術(shù)，受干擾程度影響較大，故檢查正確率遠(yuǎn)遠(yuǎn)不如本文算法，結(jié)果見圖11。

圖11 干擾程度對(duì)檢查率的影響對(duì)比結(jié)果

3 結(jié)論

為了解決螺絲背景復(fù)雜干擾大，分割不準(zhǔn)確，識(shí)別檢查穩(wěn)定性差等問題，本文算法設(shè)計(jì)了分割算子，并改進(jìn)結(jié)構(gòu)分子，得到精確分割結(jié)果。提取紋理特征，植入標(biāo)準(zhǔn)特征值，完成對(duì)螺絲是否存在漏打不良的檢查判斷。最后整個(gè)在單相機(jī)運(yùn)動(dòng)平臺(tái)上實(shí)現(xiàn)。實(shí)驗(yàn)驗(yàn)證：與其他目標(biāo)檢測(cè)算法相比，在圖像目標(biāo)特征微弱且背景復(fù)雜的情況下，本文算法具有更高的檢查正確率與穩(wěn)定性，能夠精確檢測(cè)螺釘裝配質(zhì)量。

[1] 張亞榮, 裴志利. OpenCV耦合三目視覺的標(biāo)準(zhǔn)件目標(biāo)定位研究與應(yīng)用[J]. 組合機(jī)床與自動(dòng)化加工技術(shù), 2015(1)：67-70.

[2] Bao-Xun WANG, Bing-Quan LIU, Cheng-Jie SUN. Thread Segmentation Based Answer Detection in Chinese Online Forums[J]. Acta Automatica Sinica, 2013, 39 (1): 11-20.

[3] 孫珂琪. 圖像檢測(cè)螺紋的系統(tǒng)設(shè)計(jì)[J]. 計(jì)算機(jī)測(cè)量與控制, 2015, 31(12)：67-70.

[4] 王曉東. 基于圖像處理技術(shù)的YSQ-3型液化石油氣瓶閥外螺紋加工質(zhì)量檢測(cè)方法的研究[J]. 制造業(yè)自動(dòng)化, 2015, 13(3)：27-31.

[5] 陳永清. 內(nèi)螺紋圖像識(shí)別技術(shù)研究[J] 工具技術(shù)，2014, 13(7)：142-149.

[6] 嚴(yán)榮杰. 基于CCD數(shù)字圖像校正技術(shù)的螺紋檢測(cè)[J]. 煤氣與熱力，2013,32(21)：412-419.

[7] Rui Wang, Chao Li, Jie Wang, Threshold segmentation algorithm for automatic extraction of cerebral vessels from brain magnetic resonance angiography images[J]. Threshold segmentation algorithm for automatic extraction of cerebral vessels from brain magnetic resonance angiography images, 2014, 241(15): 30-36.

[8] Wang Chunli, Zhang Chunlei, Zhang pengtu. Denoising algorithm based on wavelet adaptive threshold [J]. Physics Procedia, 2012, 24(8): 678-685.

[9] Wang Mingang,Tian Yonggang. Target Recognition of Infrared Bridge Image Based on Morphological Operator[J]. Procedia Engineering, 2011, 24(10): 490-494.

[10] Y Ireaneus Anna Rejani,S Thamarai Selvi. Early Detection of Breast Cancer using SVM Classifier Technique[J]. International Journal on Computer Science and Engineering, 2009, 1(3):121-127.

(編輯 李秀敏)

Screws Image Assembly Quality Detection Algorithm Based on Improved Threshold Segmentation and Morphology

FENG Juan, WAN Xing

(College of Engineering, Sichuan Normal University, Chengdu 610101,China)

In order to solve the multi-objective camera mechanism, low efficiency, more complex background threshold segmentation is not accurate, is proposed in this paper, based on improved threshold segmentation and morphology of the screw examination algorithm, and by a single camera haeundae movement control platform implementation. First design the fusion of maximum variance and adaptive threshold segmentation algorithm, target segmentation. Secondly improve the morphological structure of molecules, top hat operation, remove noise, further precise target segmentation. And extract the target texture characteristics, through the bayesian classifier, have complete screw without judgment. Finally, through the PC and PLC communication, establish the camera haeundae movement photo platform, and add visual algorithm integration, complete the whole screw inspection system.

screw assembly quality detection; threshold segmentation; morphology; top hat operation; maximum variance

1001-2265(2016)10-0000-00

10.13462/j.cnki.mmtamt.2016.10.000

2015-12-09

四川省科技廳支撐項(xiàng)目(2015JY003)；四川師范大學(xué)校級(jí)科研項(xiàng)目

馮娟(1982—)，女，四川崇州人，四川師范大學(xué)講師，碩士，研究方向?yàn)橛?jì)算機(jī)應(yīng)用與電氣傳動(dòng)，(E-mail)

TH161;TG506

A