基于增強(qiáng)模板的鞋體涂膠特征點(diǎn)快速匹配提取

申啟訪 楊煜俊, 肖 旺 李杰誠

(廣東工業(yè)大學(xué)機(jī)電工程學(xué)院CIMS實(shí)驗(yàn)室 廣東 廣州 510006) 2(廣州巨輪機(jī)器人與智能制造研究院 廣東 廣州 510530)

0 引 言

隨著科技的發(fā)展,制造工廠不斷地改造升級,勞動(dòng)密集型的企業(yè)不斷引進(jìn)機(jī)器人來改進(jìn)升級,提高競爭力[1]。在“中國制造2025”戰(zhàn)略推出之后,越來越多企業(yè)向智能制造的方向改進(jìn)升級[2]。鞋業(yè)制造是典型的勞動(dòng)密集型產(chǎn)業(yè),近年來勞動(dòng)力成本不斷提高,制造裝配業(yè)向東南亞轉(zhuǎn)移,訂單流失[3],競爭壓力越來越大。由于技術(shù)和貿(mào)易商的壁壘,我國鞋類產(chǎn)品對歐美等地區(qū)出口出現(xiàn)明顯的下降趨勢[4]。為應(yīng)對社會(huì)和行業(yè)環(huán)境變化,鞋業(yè)制造有必要向自動(dòng)化智能化轉(zhuǎn)變,提高生產(chǎn)效率,減少人工,提高質(zhì)量,降低成本。

機(jī)器人結(jié)合機(jī)器視覺,“手+眼”的加工技術(shù)是現(xiàn)代工廠中自動(dòng)化和智能化的關(guān)鍵技術(shù)[5]。近年來有不少將機(jī)器視覺應(yīng)用于運(yùn)動(dòng)鞋的噴膠貼合的案例,如武傳宇等[6]利用線結(jié)構(gòu)光掃描獲得鞋底曲面輪廓信息并自動(dòng)生成噴膠路徑,丁度坤等[7]利用遺傳算法對2D鞋底圖像進(jìn)行閾值分割并提取邊緣信息開發(fā)涂膠系統(tǒng)。而拖鞋噴膠裝配案例甚少,由于拖鞋鞋體為特定局部區(qū)域側(cè)面噴涂,且顏色不一、擠壓形變和環(huán)境光變等因素,對涂膠區(qū)域的圖像特征提取也變得尤為困難。針對實(shí)際拖鞋自動(dòng)化裝配生產(chǎn)場景,利用鞋體整體變形大而局部特征變形小的特性,應(yīng)用3D激光線掃進(jìn)行圖像穩(wěn)定采集,獲取外形輪廓的尺寸、形狀等成型信息,并通過點(diǎn)云數(shù)據(jù)處理生成相應(yīng)的信息文件[8];基于深度信息進(jìn)行背景閾值分割,通過增強(qiáng)模板庫的基于邊緣特征模板匹配的方法,對涂膠特征區(qū)域進(jìn)行匹配定位,然后結(jié)合曲率尺度空間的角點(diǎn)定向提取方式,實(shí)現(xiàn)精準(zhǔn)快速的涂膠特征點(diǎn)提取,對不同鞋碼不同顏色鞋體都具有良好的適用性與穩(wěn)定性,滿足實(shí)際生產(chǎn)需求。

1 鞋體圖像采集

圖像采集是圖像處理的前提,要從原始圖像中得到想要的特征信息,圖像采集的方式和成像環(huán)境的營造(燈光等)起著重要作用。如圖1中標(biāo)注,拖鞋裝配自動(dòng)裝配需要得到鞋底兩側(cè)的貼合凹面和鞋面兩側(cè)的貼合區(qū)域的位置信息。根據(jù)生產(chǎn)中膠水噴涂要求,鞋底側(cè)面涂膠點(diǎn)誤差范圍不超過1 mm,使膠水貼合面更加均勻,避免漏膠現(xiàn)象出現(xiàn)。鞋面根據(jù)噴涂面積要求以及噴膠槍嘴線寬,給定點(diǎn)位使噴膠機(jī)器人噴涂效果達(dá)到貼合要求并避免膠水噴出鞋面。若用2D相機(jī),如圖2所示,光源環(huán)境會(huì)直接影響圖像質(zhì)量,因拖鞋擺放位置與光源或成像中心的相對偏離關(guān)系,會(huì)造成反光或者側(cè)影出現(xiàn),導(dǎo)致后期圖像處理出現(xiàn)困難或者直接丟失局部特征信息,導(dǎo)致后期坐標(biāo)位置提取失敗或者坐標(biāo)漂移噴涂波動(dòng)過大,遠(yuǎn)達(dá)不到生產(chǎn)要求。而且因?yàn)榄h(huán)境因素的難以控制和擺放位置的隨機(jī)偏差,所以2D相機(jī)采集圖像不是理想的方式。

圖1 主要步驟

圖2 涂膠區(qū)域特征及反光、側(cè)影、側(cè)面信息丟失等

因而采用3D圖像采集的方式,高頻的激光具有極強(qiáng)的抗干擾能力,利用激光線掃獲取圖像平面以及深度信息,而后通過點(diǎn)云數(shù)據(jù)處理生成相應(yīng)的深度圖像。激光位移傳感器原理利用激光三角測量法原理[9]。

如圖3所示,激光器發(fā)射激光通過鏡片投射到物體(a或b),反射光被鏡片收集投射到CCD陣列,因?yàn)榫嚯x不同,CCD陣列檢測到光點(diǎn)的(角度)位置也不同,根據(jù)CCD中物象的位置和已知激光器到CCD相機(jī)之間的距離和角度,通過數(shù)字信號處理器計(jì)算便可以得到傳感器和物體之間的距離。

圖3 激光三角測量法原理

采取3D激光線掃圖像采集方式,可適應(yīng)惡劣環(huán)境。但是3D激光在圖像采集過程中也會(huì)存在邊緣像素跳動(dòng)的問題,如圖4所示,在鞋體輪廓邊緣位置同一位置,前后連續(xù)采集的照片會(huì)造成個(gè)別像素信息的差異或者缺失,會(huì)對后續(xù)圖像處理有一定的干擾。主要是因?yàn)榧す庠O(shè)備投射出去的光得不到很好的反射或者超出接受范圍,反復(fù)實(shí)驗(yàn)得出,這與被測鞋體表面粗糙程度、顏色、材料等都有一定的關(guān)系。文獻(xiàn)[10]做出了更詳細(xì)的研究,在鞋體圖像采集中可通過調(diào)節(jié)采集為高曝光、采集頻率低于相機(jī)極限5%、采集高度250 mm等,使像素波動(dòng)降到最小。

圖4 邊緣像素差異或缺失

本文的3D視覺采用Eye-to-Hand方式,3D相機(jī)安裝在機(jī)械手附近的龍門架上,激光采集采用直線電機(jī)編碼器觸發(fā),合成單列照片。如圖5所示,為產(chǎn)線傳輸效率的提高,可采用整板傳送方式,由于線掃描范圍限制,需要對整板圖像進(jìn)行4次掃描,將線掃描獲得的數(shù)據(jù)圖像,再根據(jù)深度信息通過點(diǎn)云庫轉(zhuǎn)換成深度圖像,而后對圖像進(jìn)行處理和分析。

圖5 整板傳送與分列掃描采像

圖6 預(yù)處理得到目標(biāo)圖像

2 基于增強(qiáng)模板的特征區(qū)域快速匹配提取

2.1 參數(shù)自適應(yīng)圖像預(yù)處理

對采集的圖像進(jìn)行預(yù)處理,主要對轉(zhuǎn)換后的灰度圖像進(jìn)行圖像濾波降噪,閾值分割,基于Canny[11]算子對二者圖像輪廓提取,分離前景和背景,ROI截取,得到鞋體目標(biāo)圖像。激光線掃得到的3D點(diǎn)云圖,轉(zhuǎn)換成深度圖像,圖像的像素值對應(yīng)的是相機(jī)到采集點(diǎn)的距離,可直接反映被測物的表面形狀。因?yàn)樾w具有厚度,在深度圖中可通過閾值明顯分割背景。但是由于加工誤差或者壓迫變形,每只鞋底高度或形狀不可能一致,存在一定的差異。為了能自動(dòng)穩(wěn)定得到目標(biāo)圖像區(qū)域,預(yù)設(shè)合適低閾值u進(jìn)行背景分割,去除背景區(qū)域,每次預(yù)處理得到鞋體區(qū)域圖像后與最小標(biāo)準(zhǔn)模板的像素面積進(jìn)行對比。若連通區(qū)域存在滿足像素面積與標(biāo)準(zhǔn)面積差距在±5%,則保存目標(biāo)區(qū)域。否則分割閾值遞增t,直到分割到滿意的目標(biāo)圖像。

2.2 基于邊緣特征增強(qiáng)模板庫創(chuàng)建

主流的模板匹配框架中有基于灰度的模板匹配和基于特征的模板匹配兩大類。基于灰度匹配又稱作相關(guān)匹配算法,主要利用子圖與模板圖的灰度,通過歸一化互相關(guān)系數(shù)法(NCC)來計(jì)算二者之間的匹配程度便可實(shí)現(xiàn)目標(biāo)查找,模板圖像T∈Rm×n在與查找圖像中子圖像Si,j∈Rm×n匹配,相關(guān)度可表示為:

(1)

鞋體涂膠特征檢測中,只需對鞋體外輪廓邊緣涂膠特征區(qū)域進(jìn)行快速匹配定位,圖像特征點(diǎn)要比像素點(diǎn)少得多,故使用基于特征的模板匹配方法,極大程度上減少了搜索匹配過程的計(jì)算量,提升檢測速率,基本實(shí)現(xiàn)實(shí)時(shí)檢測。Steger等[12]基于邊緣特征模板匹配做了大量研究,在剛性物體圖像模板匹配外,在可變性物體如諧波形變[13]和平面形變[14]場景中實(shí)現(xiàn)很好的匹配查找效果。基于邊緣特征的模板匹配過程主要包括創(chuàng)建模板和匹配查找模板。

(1) 原始輪廓模板組(Original Edge Template Group)

對每個(gè)特征模板增強(qiáng)主要方法過程如程序1所示。

程序1特征模板增強(qiáng)過程

FT:原始特征 ST:縮放特征 AT:旋轉(zhuǎn)特征

1 For i=0;i< FeatureNum;i++ do

//對每個(gè)特征

2 For j=0;j

//縮放特征

3 S=scalestart+j*scalestep;

//縮放比例

4 FT[i].ST[j]=FT[i].DownImg(S)

5 For k=0;k

//旋轉(zhuǎn)特征

6 A=anglestart+k*scalestep;

//旋轉(zhuǎn)角度

7 FT[i].ST[j].AT[k]=ST[j].RotateImg(A);

8 //生成每個(gè)特征的縮放旋轉(zhuǎn)邊緣模板ATPtr

9 Gen_T(AngelT[k],out FT[i].ST[j].ATPtr[k])

10 End for

11 End for

12 End for

2.3 鞋體特征區(qū)域快速匹配定位

(2)

相似度計(jì)算函數(shù)返回值0≤R≤1,若存在完全匹配則返回值1,若完全不存在匹配則為0。通常,模板與搜索圖像相似度達(dá)到一定程度我們便認(rèn)為二者匹配。為加快搜索過程,查找過程中設(shè)置最低匹配度Rmin,則無須計(jì)算模板中所有點(diǎn),只需檢索部分點(diǎn),可用部分匹配度和Rm:

(3)

(4)

式中:g為貪婪系數(shù),如果g=1,則使用硬標(biāo)準(zhǔn)檢查模板模型中的所有點(diǎn),如果g=0,則僅使用安全標(biāo)準(zhǔn)檢查所有點(diǎn)。

由于對同款鞋體而言,不同碼數(shù)的鞋體涂膠處特征幾乎只存在形態(tài)縮放差異,因此利用增強(qiáng)模板庫可對不同碼數(shù)鞋體圖像進(jìn)行特征區(qū)域輪廓提取。模板匹配時(shí),對相機(jī)系統(tǒng)采集的圖像進(jìn)行實(shí)時(shí)邊緣提取后作為搜索圖像S,單列圖像有四個(gè)鞋體,切分為四個(gè)子圖像Sn(n=1,2,…,4)進(jìn)行搜索,匹配完成后轉(zhuǎn)換回原圖像素坐標(biāo)系。設(shè)定最小匹配度Rmin=92,遍歷模板數(shù)據(jù)集M中的模板Mi,對子圖像子窗口Sn(u,v)(50×100)進(jìn)行計(jì)算匹配,當(dāng)匹配度Rm≥92時(shí),得到符合匹配的特征區(qū)域,得到定位像素點(diǎn)(u,v),此時(shí)便完成了特征區(qū)域快速粗定位。以(u,v)為中心、半徑為50像素的圓對鞋體輪廓進(jìn)行截取,得到鞋體輪廓上的準(zhǔn)確特征區(qū)域。

3 基于曲率尺度空間的定向特征點(diǎn)提取

如圖8所示,匹配定位截取出來的圖像由于鞋底本身形狀、隨機(jī)的擺放、圖像采集干擾等因素,特征區(qū)域的輪廓出現(xiàn)各樣的曲線,每段曲線出現(xiàn)1～3個(gè)明顯特征角點(diǎn),如何提取出目標(biāo)點(diǎn)是我們下一步工作。

圖8 輪廓匹配截取區(qū)域圖像

對于角點(diǎn)的提取有基于曲率尺度空間檢測和基于選點(diǎn)累加近距離檢測兩種方式[16]。本文采用基于曲率尺度空間的拐角檢測方法,主要使用不同尺度的高斯函數(shù)對輪廓曲線進(jìn)行平滑處理,并計(jì)算曲線上每個(gè)點(diǎn)的曲率,將曲率絕對值大的點(diǎn)視為角點(diǎn)候選,并根據(jù)特定條件將其刪除。在不合適的點(diǎn)刪除之后,剩下的就是目標(biāo)角點(diǎn)[17]。對于截取的平面輪廓曲線,可得到輪廓曲線有序的像素點(diǎn)坐標(biāo)集,通過計(jì)算相鄰像素點(diǎn)的曲率變化,便可得到角點(diǎn)候選點(diǎn)。為了提高效率,采用以下公式進(jìn)行曲率變化迭代計(jì)算:

(5)

式中:n表示兩個(gè)像素點(diǎn)的序號差;X和Y表示像素點(diǎn)的坐標(biāo);k表示點(diǎn)pi和pi+n兩點(diǎn)的斜率。當(dāng)k滿足我們對角點(diǎn)的斜率變化設(shè)定時(shí),取中間序號(i+n/2)像素坐標(biāo)值為目標(biāo)角點(diǎn)坐標(biāo)值,在滿足精度要求下可以加大n的值提高效率。

由于四個(gè)角點(diǎn)曲率值不同,且不同鞋底圖像角點(diǎn)成像也會(huì)變化,所以不能設(shè)定角點(diǎn)曲率變化k去篩選角點(diǎn)。為此,我們限定了曲率的計(jì)算方向,如圖9所示,曲線上的計(jì)算迭代都由凹面內(nèi)側(cè)往上下兩側(cè)方向進(jìn)行,計(jì)算出曲率變化最大的地方,我們就以此為目標(biāo)角點(diǎn)。

圖9 鞋底特征提取效果

鞋面特征提取主要根據(jù)鞋面輪廓進(jìn)行偏移,以圓角曲率作為參考,可根據(jù)噴膠工藝獲得設(shè)定圖像坐標(biāo)點(diǎn)。如圖10所示,預(yù)處理后得到鞋面外輪廓曲線,做上下邊緣線的平行線,往內(nèi)部偏移一定的距離,平行線會(huì)與鞋面?zhèn)容喞袃蓚€(gè)交點(diǎn),以交點(diǎn)為參考,沿平行線往內(nèi)移動(dòng)合適的距離便可得到點(diǎn)1和點(diǎn)2,點(diǎn)3和點(diǎn)4由同樣的方式得到。線段1、2和線段3、4的間距根據(jù)噴膠需求進(jìn)行調(diào)整。

圖10 鞋面特征提取與效果

4 實(shí)驗(yàn)結(jié)果及分析

為方便測試操作檢驗(yàn)圖像檢測效果,對上文算法設(shè)計(jì)在Windows 7系統(tǒng)使用VS2015 C#進(jìn)行人機(jī)交互界面編程,實(shí)驗(yàn)中使用SmartRay ECCO75系列激光線掃傳感器進(jìn)行圖像采集,掃描環(huán)境為普通自然光場環(huán)境,無打光,單列照片分辨率1 015×5 200的.png格式深度圖,圖像像素值區(qū)間為[0,65 535];鞋體區(qū)域提取閾值由33 690開始自適應(yīng)以+10遞增,鞋面區(qū)域提取閾值由33 600開始自適應(yīng)以+10遞增;邊緣特征模板大小框選為50×100像素區(qū)域,區(qū)域過大則匹配計(jì)算時(shí)間長,過小則特征信息不足;模板特征點(diǎn)提取曲率間距參數(shù)設(shè)為20,避免間距過大或過小而特征點(diǎn)定位不準(zhǔn)甚至錯(cuò)誤。如圖11所示,軟件系統(tǒng)對調(diào)試車間現(xiàn)場隨機(jī)擺放的鞋體或者鞋面的相機(jī)實(shí)時(shí)采集圖像進(jìn)行特征點(diǎn)的正確提取,但由于界面圖像只能驗(yàn)證整體算法正確性,具體檢測精度還得進(jìn)行涂膠驗(yàn)證。

圖11 鞋體特征檢測人機(jī)交互界面

根據(jù)現(xiàn)場生產(chǎn)要求對于鞋底圖像特征的提取,四個(gè)角點(diǎn)位置實(shí)際誤差不能大于1 mm,否則對噴膠工藝會(huì)造成很大的影響,造成因膠水外噴不美觀且浪費(fèi),或膠水不全影響與鞋面的粘合質(zhì)量等。為此進(jìn)行了特征提取后的針尖對點(diǎn)檢驗(yàn),即讓機(jī)械臂裝上尖錐運(yùn)動(dòng)至圖像處理轉(zhuǎn)換得到的在實(shí)物鞋體上的坐標(biāo),測量針錐與標(biāo)準(zhǔn)噴涂定位點(diǎn)的偏差。表1是對39至42碼型號藍(lán)色鞋以及各碼數(shù)混合進(jìn)行測試的數(shù)據(jù),相機(jī)曝光強(qiáng)度為300。

表1 藍(lán)鞋針尖對點(diǎn)檢驗(yàn)數(shù)據(jù)結(jié)果

黑色鞋體對激光吸收較強(qiáng),圖像采集時(shí)將相機(jī)曝光強(qiáng)度設(shè)為高曝光480,否則激光采集存在數(shù)據(jù)丟失。同樣對39至42碼型號黑色鞋以及各碼數(shù)混合進(jìn)行測試,結(jié)果如表2所示。

表2 黑鞋針尖對點(diǎn)檢驗(yàn)數(shù)據(jù)結(jié)果

涂膠對點(diǎn)實(shí)驗(yàn)得出,圖像特征提取得到的結(jié)果,轉(zhuǎn)換到實(shí)際機(jī)械臂針尖對點(diǎn),除有個(gè)別因?yàn)閳D像像素跳動(dòng)等干擾因素存在較大的誤差,對藍(lán)色單一碼數(shù)以及混合碼數(shù)均可達(dá)95%以上的達(dá)標(biāo)率。由于黑色鞋體圖像采集較藍(lán)色不穩(wěn)定,達(dá)標(biāo)率相對較低,像素邊關(guān)跳動(dòng)較大(誤差2 mm以上)。總的來看,對兩色鞋體達(dá)標(biāo)率平均在94%以上。如圖6采集方式,軟件系統(tǒng)單列圖像檢測提取時(shí)間為1.51 s,線激光單列掃描時(shí)間約3 s,特征提取方法完全適應(yīng)且遠(yuǎn)快于產(chǎn)線節(jié)拍。

5 結(jié) 語

基于增強(qiáng)模板匹配定位匹配的3D視覺檢測系統(tǒng)針對不同鞋碼不同顏色拖鞋鞋體都具有良好的適用性與穩(wěn)定性,精準(zhǔn)快速地實(shí)現(xiàn)涂膠特征點(diǎn)提取,實(shí)現(xiàn)實(shí)時(shí)檢測,滿足生產(chǎn)需求。算法系統(tǒng)在實(shí)際拖鞋裝配產(chǎn)線中實(shí)現(xiàn)拖鞋涂膠定位點(diǎn)智能提取,引導(dǎo)機(jī)器人操作實(shí)現(xiàn)自動(dòng)化裝配制造,總體效率為人工的3倍以上,合格率達(dá)到94%以上,實(shí)現(xiàn)引導(dǎo)機(jī)器人自動(dòng)霧狀噴膠,膠量比人工刷涂節(jié)約1/2。

制鞋業(yè)引入自動(dòng)化技術(shù)是必然趨勢,通過對拖鞋裝配生產(chǎn)線中機(jī)器視覺圖像的采集以及圖像特征檢測處理方法進(jìn)行研究,為機(jī)器視覺與機(jī)器人技術(shù)應(yīng)用到拖鞋等多色易變形鞋體的自動(dòng)化涂膠裝配中提供了思路和方法,提高生產(chǎn)效率,節(jié)約人工以及材料成本。