基于機(jī)器視覺的輪胎胎面檢測系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

祝 磊，韓自營，阮宇靜，何小宇

(杭州電子科技大學(xué) 生命信息與儀器工程學(xué)院，浙江 杭州 310018)

0 引 言

輪胎胎面定長裁斷是輪胎生產(chǎn)過程中的重要環(huán)節(jié)，其裁斷精度直接影響到輪胎成型半成品和輪胎成品的質(zhì)量[1]。實(shí)際生產(chǎn)環(huán)境中通過在系統(tǒng)傳動輥輪合適位置上布置編碼器，通過對輪胎胎面?zhèn)鬏斶^程中所生成的有效脈沖信號進(jìn)行分析，以此檢測輪胎胎面的長度，并且當(dāng)檢測到的胎面長度與實(shí)際所需胎面長度一致時，啟動系統(tǒng)中的裁斷機(jī)構(gòu)，從而完成輪胎里面的有效裁斷[2]。上面這種方式裁斷的輪胎胎面往往需要二次測量以保證裁斷精度，這是因?yàn)閷?shí)際傳送系統(tǒng)往往在運(yùn)行的時候存在打滑等很多不可控因素。工人在生產(chǎn)現(xiàn)場對裁斷后的輪胎胎面往往采用卷尺抽取檢測的方式，然而這種方法存在很多缺陷，例如：人工執(zhí)行效率低下、檢測容易出現(xiàn)偏差、抽查導(dǎo)致檢測不完全等等。基于此本文利用機(jī)器視覺的方法，應(yīng)用在輪胎胎面檢測領(lǐng)域，設(shè)計(jì)并實(shí)現(xiàn)了一種有效的在線檢測系統(tǒng)。該系統(tǒng)可以精確地檢測到輪胎的幾何量(長度和傾斜角)和胎面字符信息，幾何量的檢測用于輪胎的裁斷定長，而胎面字符的檢測是為了實(shí)現(xiàn)不同輪胎規(guī)格的自動切換，其中胎面字符的檢測識別采用的是多層感知器(MLP)方法，通過實(shí)驗(yàn)獲得最佳的網(wǎng)絡(luò)結(jié)構(gòu)并應(yīng)用到該系統(tǒng)中。該檢測系統(tǒng)經(jīng)現(xiàn)場測試結(jié)果表明，輪胎長度裁斷精確度和字符檢測識別準(zhǔn)確率符合工業(yè)要求，從而可以實(shí)現(xiàn)輪胎生產(chǎn)的自動化、智能化，具有很好地實(shí)際應(yīng)用價值。

1 系統(tǒng)總體設(shè)計(jì)

實(shí)際生產(chǎn)環(huán)境中的輪胎胎面的長度是最終產(chǎn)品要求的重要指標(biāo)，為了有效減小輪胎胎面的傾斜對最終檢測長度的干擾需要進(jìn)行傾斜角的測定；字符檢測的目的在于提高生產(chǎn)效率即完成輪胎生產(chǎn)過程中不同規(guī)格的自動切換；檢測完成，根據(jù)幾何量和字符檢測結(jié)果進(jìn)行自動存儲和查詢。輪胎胎面測長系統(tǒng)主要完成對圖像中胎面的長度、傾斜角和字符的檢測、保存，系統(tǒng)框架如圖1所示。圖像采集裝置在工控機(jī)接收到下位機(jī)發(fā)送的拍照指令之后啟動并開始采集輥道上的圖像；采集裝置收集到的圖像經(jīng)過上位機(jī)軟件完成輪胎胎面長度的檢測以及胎面字符的識別并保存最終結(jié)果到數(shù)據(jù)庫中。

圖1 輪胎胎面檢測系統(tǒng)框架

1.1 工控機(jī)和下位機(jī)

經(jīng)過對橡膠輪胎實(shí)際生產(chǎn)操作流程、環(huán)境以及輪胎胎面在線檢測系統(tǒng)需求的綜合考察、研究與分析，該系統(tǒng)最終選取研華UNO-2174A工控機(jī)，下位機(jī)采用三菱FX系列的PLC。工控機(jī)與下位機(jī)之間通過RS232串口連接進(jìn)行數(shù)據(jù)傳輸。

1.2 圖像采集單元

在本系統(tǒng)中，采用規(guī)格為1300×80×100的LED作為測光光源、1300×200×100的LED作為背光光源[3]，系統(tǒng)的光源布局如圖2(a)所示。同時選擇500萬像素的千兆網(wǎng)CMOS工業(yè)相機(jī)，最高分辨率為2592×1944，6 mm鏡頭。胎面測長系統(tǒng)的相機(jī)和鏡頭如圖2(b)所示。

圖2 圖像采集單元的組成部分

1.3 上位機(jī)軟件

本系統(tǒng)基于VS2010C#和Halcon平臺進(jìn)行上位機(jī)軟件設(shè)計(jì)，基于Halcon平臺[4]，對圖像采集單元在工控機(jī)中輸出的胎面圖像，根據(jù)機(jī)器視覺和圖像處理方法，檢測圖像中胎面的像素長度、傾斜角和字符信息。

2 檢測系統(tǒng)軟件設(shè)計(jì)

在檢測系統(tǒng)軟件方面，首先需要正確采集到輪胎胎面的圖像；再根據(jù)幾何量和字符檢測的基本原理設(shè)計(jì)具體檢測方法，實(shí)現(xiàn)像素長度、傾斜角和字符的檢測，最后存儲檢測結(jié)果。

2.1 檢測幾何量

幾何量檢測的流程如圖3所示。

圖3 幾何量檢測的流程

2.1.1 圖像預(yù)處理和胎面輪廓提取

對采集的胎面圖像進(jìn)行圖像預(yù)處理，主要包括圖像增強(qiáng)、圖像去噪等[5]。胎面輪廓提取的具體步驟如下：①在Halcon中，根據(jù)圖像特征和Halcon軟件的特征檢測功能確定了區(qū)域右下角坐標(biāo)column2、區(qū)域中心的縱坐標(biāo)row、區(qū)域面積area、最小周邊矩形的方向性rect2_phi等4個特征參數(shù)；②利用select_shape算子提取出滿足上述4個特征參數(shù)的區(qū)域；③用尺寸3×3的結(jié)構(gòu)元素對經(jīng)過步驟②處理的圖像進(jìn)行形態(tài)學(xué)上的腐蝕和膨脹處理；④對③中得到的結(jié)果二值化；⑤對④中的得到的二值化之后的圖采取邊緣檢測的方法，具體采用的是sobel算子(5×5大小)；⑥采用閾值法對邊緣檢測后的圖像進(jìn)行閾值分割[6]，以提取出胎面輪廓。

2.1.2 長度檢測

經(jīng)過2.1.1小結(jié)的處理可以得到胎面輪廓，對該輪廓里的區(qū)域首先選擇smallest_retanglel算子得到最小外界矩陣，此時輪胎胎面長度所表示的像素大小即是該最小外接矩陣的相應(yīng)的最右側(cè)的坐標(biāo)值。實(shí)際輪胎胎面的長度可以根據(jù)圖像像素大小與實(shí)際長度的映射關(guān)系進(jìn)行標(biāo)定，具體標(biāo)定方法：①在靜止的傳送輥道上放置一段胎面橡膠；②用本系統(tǒng)流程多次檢測采集圖像中的胎面像素長度并記錄；③用卷尺測量傳送輥道上胎面的實(shí)際長度并記錄；④計(jì)算圖像中胎面像素長度與實(shí)際長度之間的映射關(guān)系。最終得到的映射關(guān)系為：實(shí)際長度(mm)=0.168×胎面像素長度(pixel)。如圖4所示，1497為胎面圖像中胎面的像素長度，其實(shí)際長度為251.496 mm。

2.1.3 傾斜角檢測

傾斜角即胎面下端輪廓線與水平線之間的夾角。首先用sobel_dir算子對提出的胎面輪廓進(jìn)行邊緣方向檢測以提取胎面下端輪廓線。根據(jù)目標(biāo)線段的特征，采用select_shape算子得到目標(biāo)線段，再用angle_ll算子計(jì)算目標(biāo)線段與水平線段之間的角度。如圖4所示，0.76748為胎面圖像中胎面的傾斜角。

圖4 幾何量測量結(jié)果

2.2 字符檢測

字符的檢測能夠提高生產(chǎn)效率實(shí)現(xiàn)輪胎生產(chǎn)規(guī)格的自動切換。

2.1節(jié)完成了輪胎胎面的長度以及傾斜角的檢測，本節(jié)主要介紹胎面字符的檢測，檢測流程如圖5所示。

圖5 字符檢測實(shí)現(xiàn)流程

2.2.1 圖像預(yù)處理與字符分割

(1)方向校正、ROI提取

首先對輪胎胎面圖像選取合適的校正算子進(jìn)行處理得到校正后的胎面圖，如圖6(a)、圖6(b)所示：其中圖6(c)所示為對字符區(qū)域特征提取ROI[7]。

圖6 圖像經(jīng)過方向校正、ROI提取處理

(2)像素反轉(zhuǎn)、閾值分割、形態(tài)學(xué)處理

因?yàn)樘ッ姹旧硎呛谏ッ娴淖址前咨模钥梢酝ㄟ^圖像像素灰度值翻轉(zhuǎn)的操作提高識別率。255-Gray_ROI是指翻轉(zhuǎn)后的像素值；閾值分割結(jié)果，如圖7(a)所示；圖7(b)、圖7(c)分別是經(jīng)過膨脹的方法和特征選擇之后的得到的結(jié)果。

圖7 處理結(jié)果

(3)字符分割

對(2)中得到的圖像進(jìn)行字符分割，分割流程如下：①獲取胎面圖像的最小外接矩陣通過選擇shape_tran算子；②選取partition_rectangle算子分割最小外接矩陣得到C1大小為111.7×95；③選取intersection算子計(jì)算C1里的區(qū)域塊和閾值分割處理后的區(qū)域塊的交集得到圖像C。如圖8(b)所示。字符訓(xùn)練前，為保證原始圖像中字符的位置與訓(xùn)練中的維持次序一樣，選擇sort_region算子根據(jù)行的次序?qū)Ψ指畹玫降膱D排序。

圖8 字符分割結(jié)果

2.2.2 字符訓(xùn)練

如圖9所示字符訓(xùn)練的流程。

圖9 字符訓(xùn)練的流程

2.2.3 MLP字符分類器

如圖10所示的包含一個隱層的多層感知器(MLP)網(wǎng)絡(luò)，從圖中可知MLP能夠?qū)崿F(xiàn)輸入d維x到輸出o的一個變換，其中y的維數(shù)根據(jù)實(shí)際問題而變化[8]。

圖10 含有一個隱藏層的MLP網(wǎng)絡(luò)

多層感知器(MLP)由輸入層、隱藏層、輸出層組成，若已知MLP的輸入層的特征向量(x1,x2,…xn)，則根據(jù)式(1)計(jì)算隱藏層中的一個神經(jīng)元的輸出

(1)

2.3 字符檢測性能分析

本文實(shí)驗(yàn)是基于Halcon平臺的，其中MLP參數(shù)選擇是一個需要在字符訓(xùn)練文件上不斷驗(yàn)證的過程。胎面圖像來源于實(shí)際生產(chǎn)車間中使用同一相機(jī)參數(shù)拍攝制作的胎面圖像庫，其中訓(xùn)練樣本都來自于每張圖片上至少存在10個字符的胎面圖，總共選取100張?zhí)ッ鎴D；測試樣本來源于訓(xùn)練集之外的80張?zhí)ッ鎴D。圖片數(shù)量和字符個數(shù)的分布情況見表1。

表1 圖片數(shù)量分布

2.3.1 MLP參數(shù)對字符檢測的影響

MLP網(wǎng)絡(luò)中隱藏層的數(shù)目對網(wǎng)絡(luò)的識別率有著巨大影響，實(shí)驗(yàn)中探究合適的MLP網(wǎng)絡(luò)隱層數(shù)目[9]確定最終的網(wǎng)絡(luò)結(jié)構(gòu)。在訓(xùn)練過程中，10、20、30、40、60、80分別作為實(shí)驗(yàn)隱層數(shù)目，考慮到實(shí)際生產(chǎn)要求，在字符檢測的準(zhǔn)確率以及執(zhí)行效率上這兩個方面進(jìn)行性能上的分析。

(1)檢測準(zhǔn)確率

由表2可得，當(dāng)隱層數(shù)目為80、20時，訓(xùn)練錯誤率分別為0.000 12、0.000 52，檢測1403個字符達(dá)到99.6%、98.7%的準(zhǔn)確率。

表2 字符檢測準(zhǔn)確率

(2)檢測時間

表3可得當(dāng)隱層數(shù)目為20時總檢測時間最短為12.974 s，當(dāng)隱層數(shù)目為80時總檢測時間為16.674 s。

2.3.2 確定合適的MLP參數(shù)

由2.3.1中在檢測準(zhǔn)確率和檢測時間這兩個方面上的性能比較分析可以得到，準(zhǔn)確率最高可以得到99.6%，此時的MLP網(wǎng)絡(luò)隱層數(shù)為80且檢測時間是16.674 s；12.974 s是所有檢測時間中最少，此時隱層數(shù)是20，準(zhǔn)確率同樣高達(dá)98.7%。因?yàn)樽罱K需要應(yīng)用在實(shí)際生產(chǎn)環(huán)境下，所以考慮檢測率和執(zhí)行效率這兩者要求后決定采取包含20隱層數(shù)的MLP分類器。

表3 不同隱層數(shù)目的字符平均檢測時間/s

2.4 MLP分類器性能分析

分別選擇由2.3.1里確定的隱層數(shù)目為20的MLP分類器、q為2的多項(xiàng)式核函數(shù)的支持向量機(jī)(SVM)[10]分類器對測試樣本進(jìn)行分析，主要是檢測率以及檢測時間這兩個性能。其中測試樣本含80張圖片共1125個字符。

(1)檢測準(zhǔn)確率

字符檢測準(zhǔn)確率見表4。MLP分類器檢測準(zhǔn)確率更高，MLP和SVM分類器的準(zhǔn)確率分別為98.5%,96.7%，相差1.8%。

表4 分類器檢測率

(2)檢測時間

字符檢測時間見表5，MLP分類器檢測效率更高，其中MLP和SVM分類器的檢測時間分別為8.865 s、9.848 s，平均每張圖片相差12.288 ms。

表5 字符檢測時間

對測試樣本進(jìn)行檢測分析發(fā)現(xiàn)，在檢測準(zhǔn)確率和檢測時間的對比上MLP分類器效果明顯好于SVM分類器。

2.5 存儲數(shù)據(jù)

在VS2010C#中，通過C#與MySQL數(shù)據(jù)庫之間建立連接、創(chuàng)建表格、插入信息、讀取信息，提供保存數(shù)據(jù)和查詢數(shù)據(jù)。這樣當(dāng)輪胎生產(chǎn)規(guī)格改變時可以通過字符在線檢測和數(shù)據(jù)庫查詢功能來決定當(dāng)前輪胎定長裁斷的規(guī)格，從而實(shí)現(xiàn)輪胎定長裁斷環(huán)節(jié)的自動化。

3 檢測結(jié)果及分析

通過部署在實(shí)際生產(chǎn)車間并對該檢測系統(tǒng)進(jìn)行現(xiàn)場測試，測試性能包括輪胎胎面幾何量和胎面字符檢測，最后對整個現(xiàn)場測試結(jié)果做進(jìn)一步的分析。其中現(xiàn)場測試數(shù)據(jù)來源于實(shí)時采集到的胎面圖像總共包含400張圖片。

3.1 系統(tǒng)幾何量檢測準(zhǔn)確率分析

在測試樣本中，幾何量測試得到檢測準(zhǔn)確率，見表6。從表6中可知，現(xiàn)場的實(shí)時長度檢測率高達(dá)96.8%，同時角度上的檢測率同樣可以達(dá)到98.0%。

表6 長度、角度檢測準(zhǔn)確率

3.2 字符檢測準(zhǔn)確率分析

表7所示代表的是實(shí)際生產(chǎn)車間實(shí)時字符檢測的結(jié)果，表中可知即使在最復(fù)雜其中每張圖片包含19字符輪胎胎面圖像上的檢測率依然能夠高達(dá)96.8%。

表7 字符檢測的準(zhǔn)確率

3.3 系統(tǒng)檢測精度分析

進(jìn)行系統(tǒng)檢測精度分析時，在現(xiàn)場人工手動采用卷尺對傳送輥道上的輪胎胎面進(jìn)行長度測量并記錄；作為對比，查詢數(shù)據(jù)庫中的這400張輪胎胎面圖像的在線系統(tǒng)檢測結(jié)果并導(dǎo)出，進(jìn)行精度分析，從396組正確檢測數(shù)據(jù)中挑出6組整理見表8。由表8數(shù)據(jù)可知，卷尺測量和系統(tǒng)標(biāo)定的結(jié)果精度可以達(dá)到0.1 mm、0.001 mm，基于機(jī)器視覺的測長方式可滿足更高的要求；兩個測量結(jié)果之間的偏差在可接受范圍內(nèi)，且實(shí)際生產(chǎn)線上可容許偏差較小的檢測結(jié)果。

本系統(tǒng)基于機(jī)器視覺的非接觸式測量得到實(shí)際胎面長度，檢測速度、精度較人工卷尺接觸式測量都有較大提高，減少了人為因素、環(huán)境因素對測量結(jié)果造成的影響，同時提高了檢測效率，體現(xiàn)了機(jī)器視覺檢測技術(shù)在生產(chǎn)線上的優(yōu)勢。

表8 系統(tǒng)檢測結(jié)果及卷尺測量結(jié)果

4 結(jié)束語

本文針對胎面長度人工二次抽檢存在的效率較低、檢測不全面等不足，設(shè)計(jì)了基于機(jī)器視覺的輪胎胎面檢測系統(tǒng)。根據(jù)胎面生產(chǎn)線和生產(chǎn)現(xiàn)場的環(huán)境，選擇了由光源、相機(jī)和鏡頭組成的圖像采集單元。針對胎面長度、傾斜角以及字符這3個方面分別設(shè)計(jì)了基于3種有效且效率高的檢測方法。最終在實(shí)際生產(chǎn)環(huán)境下進(jìn)行系統(tǒng)測試，測試結(jié)果表明本文設(shè)計(jì)的基于機(jī)器視覺的輪胎胎面檢測系統(tǒng)能夠提高檢測效率、精度并有助于提高輪胎胎面檢測的自動化程度。該系統(tǒng)完全符合設(shè)計(jì)要求，具有很高的實(shí)際應(yīng)用價值。

參考文獻(xiàn)：

[1]LU Yonggao,WANG Xihua,WANG Lianyun,et al.Deve-lopment of cushion rubber automatic fixed-length cutting machine for TBR[J].Plastics Technology and Equipment,2016,42(17):40-43(in Chinese).[陸永高,王錫花,王聯(lián)韻,等.全鋼載重子午胎墊膠自動定長裁切機(jī)的研制[J].橡塑技術(shù)與裝備,2016,42(17):40-43.]

[2]SUN Yumei,WANG Pengyao,SUN Qiaoyan,et al.Research and application of on-line automatic measurement system for tire tread parameters[J].Chinese Journal of Scientific Instrument,2016,37(12):2859-2865(in Chinese).[孫玉梅,王鵬遙,孫巧妍,等.輪胎胎面參數(shù)在線檢測系統(tǒng)研究及應(yīng)用[J].儀器儀表學(xué)報,2016,37(12):2859-2865.]

[3]ZHU Baowei.Lighting design in machine vision[J].Electronic Science and Technology,2013,26(3):80-82(in Chinese).[朱寶偉.機(jī)器視覺中的光源照明設(shè)計(jì)[J].電子科技,2013,26(3):80-82.]

[4]ZHANG Zhu,ZHANG Ying,YAN Fan,et al.Application study of omnidirectional camera calibration based on HALCON[J].Computer Engineering and Applications,2016,52(10):241-246(in Chinese).[張柱,張瑩,閆璠,等.基于HALCON的全景攝像機(jī)標(biāo)定及應(yīng)用研究[J].計(jì)算機(jī)工程與應(yīng)用,2016,52(10):241-246.]

[5]LI Hua.Precision measurement based on computer vision image analysis of the key technologies[J].Computer Knowledge and Technology,2013,9(5):1211-1212(in Chinese).[李華.基于計(jì)算機(jī)視覺圖像精密測量的關(guān)鍵技術(shù)分析[J].電腦知識與技術(shù),2013,9(5):1211-1212.]

[6]SHA Sha,PENG Li,LUO Sanding.A threshold image segmentation algorithm directed by edge information[J].Journal of Image and Graphics,2016,15(3):490-494(in Chinese).[沙莎,彭麗,羅三定.邊緣信息引導(dǎo)的閾值圖像分割算法[J].中國圖象圖形學(xué)報,2016,15(3):490-494.]

[7]YUAN Yuan,FAN Wanmei.A method for ROI extraction based on background statistics[J].Journal of Chongqing University of Technology,2012,26(3):89-92(in Chinese).[袁源,樊萬梅.基于背景統(tǒng)計(jì)的ROI提取方法[J].重慶理工大學(xué)學(xué)報,2012,26(3):89-92.]

[8]HE Liqun,ZHAN Yongping.The research of perception mo-del of neural network[J].Journal of Jiujiang University,2014(4):37-39(in Chinese).[何立群,占永平.感知器神經(jīng)網(wǎng)絡(luò)模型研究[J].九江學(xué)院學(xué)報,2014(4):37-39.]

[9]ZENG Xiaoqing.Study on the parameter optimization problem of BP neural network in the modeling[J].Meteorological Monthly,2013,39(3):333-339(in Chinese).[曾曉青.BP神經(jīng)網(wǎng)絡(luò)在建模中的參數(shù)優(yōu)化問題研究[J].氣象,2013,39(3):333-339.]

[10]GUO Keyou,GUO Xiaoli,WANG Yiwei.Analysis and strategy for parameter optimization methods of SVM[J].Computer Measurement & Control,2016,24(6):255-259(in Chinese).[郭克友,郭曉麗,王藝偉.SVM參數(shù)優(yōu)化方法分析與決策[J].計(jì)算機(jī)測量與控制,2016,24(6):255-259.]