工業(yè)智能坡口加工AI視覺識別系統(tǒng)研究

王 嘉，張 碩，劉世鵬，張華龍，張薈萱，楊鎧睿，曾文獻(xiàn)（通訊作者）

（河北經(jīng)貿(mào)大學(xué) 河北 石家莊 050000）

0 引言

為了實(shí)現(xiàn)工業(yè)坡口加工自主完成坡口切割與工件識別，解決目前坡口加工領(lǐng)域的難點(diǎn)，本文基于在機(jī)器視覺領(lǐng)域的技術(shù)和經(jīng)驗積累，將機(jī)器視覺系統(tǒng)應(yīng)用于坡口切割，進(jìn)行AI視覺系統(tǒng)圖像識別研究，研發(fā)一套工業(yè)智能坡口加工AI視覺識別系統(tǒng)。該系統(tǒng)可以在坡口加工中對待加工工件進(jìn)行自動識別，引導(dǎo)坡口機(jī)完成切割作業(yè)。目前國內(nèi)市場，智能制造飛速發(fā)展，但坡口加工作為工業(yè)制造的一道重要工序，產(chǎn)品質(zhì)量不高，因此，本項目對理論進(jìn)行了分析，同時進(jìn)行相關(guān)技術(shù)實(shí)驗，研究工業(yè)智能坡口加工AI視覺識別系統(tǒng)。

1 國內(nèi)外發(fā)展現(xiàn)狀

當(dāng)今時代，圖像識別技術(shù)與切割行業(yè)已經(jīng)相互融合，智能化切割技術(shù)逐漸成為未來發(fā)展的核心領(lǐng)域。國內(nèi)市場一些機(jī)械企業(yè)進(jìn)行工業(yè)智能制造生產(chǎn)，與國外相比，國內(nèi)技術(shù)實(shí)力還有待提高。在行業(yè)發(fā)展過程中，大中型企業(yè)一般都運(yùn)用半自動系統(tǒng)的數(shù)控坡口機(jī)結(jié)合手動編程的方式進(jìn)行坡口切割，由于需要人工將加工參數(shù)輸入坡口機(jī)，導(dǎo)致工件加工的精度不高、質(zhì)量較差。而本項目的計算機(jī)識別系統(tǒng)能在提高工作效率和產(chǎn)品質(zhì)量的同時，排除零件本身和環(huán)境因素帶來的干擾，具有很大的發(fā)展前景。若將此機(jī)器視覺處理系統(tǒng)應(yīng)用于坡口切割領(lǐng)域，立足技術(shù)研發(fā)，可打破傳統(tǒng)應(yīng)用領(lǐng)域的局限，不斷深化技術(shù)研究，解決環(huán)境因素、人為因素和零件本身因素等問題，實(shí)現(xiàn)計算機(jī)視覺與坡口切割相結(jié)合，推進(jìn)我國智能化坡口切割技術(shù)的發(fā)展。

在未來，智能化是社會的一個重要發(fā)展趨勢，隨著人們對于智能化、自動化的認(rèn)知不斷提升和研發(fā)技術(shù)的實(shí)用化提高，人們的生產(chǎn)、生活和工作都將與智能化相結(jié)合。同時，越來越多的企業(yè)也開始重視通過掌握智能化技術(shù)來提高生產(chǎn)效率，未來智能化社會的發(fā)展也會更加多元化。智能化發(fā)展是我國科技進(jìn)步的動力源，中國越來越多的學(xué)者和研究員將對機(jī)器視覺處理技術(shù)予以高度關(guān)注，國家也將推進(jìn)計算機(jī)視覺、圖像處理和圖像識別等方面的學(xué)科建設(shè)，加強(qiáng)智能化方面的人才培養(yǎng)，并且將越來越重視智能化在切割領(lǐng)域的發(fā)展。因此，智能化的發(fā)展進(jìn)程將成為我國科技水平的衡量標(biāo)準(zhǔn)。

2 技術(shù)優(yōu)勢

工業(yè)坡口加工AI視覺識別系統(tǒng)的技術(shù)優(yōu)勢主要體現(xiàn)在以下兩個方面。

2.1 三維工件識別技術(shù)

傳統(tǒng)二維圖像識別系統(tǒng)，只能處理平面型材料，無法識別形狀復(fù)雜的三維工件。本項目基于雙攝像機(jī)立體視覺系統(tǒng)，采用自主研發(fā)的三維圖像算法，可實(shí)現(xiàn)對任意形狀工件的三維識別和建模，見圖1。

2.2 光照自適應(yīng)立體視覺技術(shù)

坡口加工作業(yè)所處的光照環(huán)境，與一般的工業(yè)檢測環(huán)境有巨大區(qū)別：工業(yè)檢測可以通過設(shè)置黑箱和光源控制檢測環(huán)境，使拍照效果達(dá)到最佳；但是坡口切割作業(yè)空間大，無法完全屏蔽環(huán)境光線的影響，因此光照條件惡劣，成像質(zhì)量差，在極端情況下甚至?xí)?dǎo)致設(shè)備無法工作。本系統(tǒng)采用的光照自適應(yīng)立體視覺技術(shù)可以應(yīng)對加工現(xiàn)場的光照變化問題，保證設(shè)備在任何光照條件下都能正常運(yùn)作，見圖2。

3 工件自動識別

通過深度相機(jī)獲取工件的圖像后，無法精準(zhǔn)采集圖像上的工件，因此需要將采集到的圖像與數(shù)模數(shù)據(jù)庫中的模型進(jìn)行匹配。模板匹配算法中的模板大小一般是固定不變的。所以我們先將模板進(jìn)行點(diǎn)云處理保存到數(shù)據(jù)庫中，通過雙目攝像頭采集圖像，生成三維圖像數(shù)據(jù)并以點(diǎn)云的形式存在。由于點(diǎn)云的數(shù)據(jù)量可能很大，通過過濾算法進(jìn)行點(diǎn)云篩選，先使點(diǎn)云集與數(shù)模集進(jìn)行初始匹配，從而得到不同高低匹配度的點(diǎn)云，再選出匹配度較高的對其進(jìn)行精匹配，從而可以得到該工件的目標(biāo)工件模型。

4 點(diǎn)云粗匹配

點(diǎn)云粗匹配可以為后續(xù)點(diǎn)云精匹配節(jié)省時間，提高算法識別效率，避免進(jìn)行精匹配時出現(xiàn)算法時間或者空間復(fù)雜度過高等情況[1]。

首先將工件的三維坐標(biāo)信息提取到將要匹配的數(shù)據(jù)庫中，通過運(yùn)用提取特征法減少點(diǎn)云之間的旋轉(zhuǎn)、錯位和扭曲等誤差，提高匹配過程的效率。然后運(yùn)用ICP算法進(jìn)行點(diǎn)云精匹配，實(shí)現(xiàn)工件的自動匹配識別過程。在進(jìn)行初始匹配之后，利用最近點(diǎn)迭代算法對點(diǎn)云進(jìn)行更高精度匹配，可以得到兩點(diǎn)云的位置。

點(diǎn)云精匹配主要是通過經(jīng)典的最近點(diǎn)迭代法，以最小二乘法為基礎(chǔ)，找到距離最小的兩點(diǎn)云，然后再進(jìn)行多次迭代得到最終的變換矩陣，從而完成點(diǎn)云匹配的算法。需要注意的是兩點(diǎn)云的距離要在規(guī)定的范圍內(nèi)。對匹配算法進(jìn)行改進(jìn)，通過結(jié)合粗匹配的計算量少的優(yōu)勢和精匹配的準(zhǔn)確率高的優(yōu)勢采用了先粗匹配后精匹配的算法[1]。

通過圖3發(fā)現(xiàn)，如果只是運(yùn)用粗匹配的方法對其進(jìn)行處理，并不能達(dá)到良好的匹配效果。圖4為先進(jìn)行初始粗匹配再進(jìn)行精匹配后的結(jié)果，可以發(fā)現(xiàn)初始匹配后進(jìn)行的精匹配可以得到更好的匹配效果。

5 改進(jìn)點(diǎn)云匹配算法

點(diǎn)云匹配在坡口工件匹配部分占有重要地位，點(diǎn)云匹配對坡口工件匹配點(diǎn)集有著很高的要求，因此尋找坡口工件匹配點(diǎn)將成為我們研究的關(guān)鍵之一。本項目可以根據(jù)曲率和曲率變化量來改進(jìn)尋找匹配點(diǎn)的方法，或者直接引入點(diǎn)云初始匹配對點(diǎn)云進(jìn)行粗略匹配，降低點(diǎn)云平移與旋轉(zhuǎn)錯位，再進(jìn)行點(diǎn)云匹配算法，這樣可以有效地提高匹配的準(zhǔn)確度，得到更加理想的匹配效果。常見的初始配準(zhǔn)方法有中心重合法、主方向貼合法和基于哈希表的特征匹配方法等[2]。沿著這一思路進(jìn)一步研究，對點(diǎn)云匹配算法進(jìn)行優(yōu)化，可提高坡口工件匹配算法效率。

6 工件圖像目標(biāo)區(qū)域提取

一般首先利用工業(yè)相機(jī)在不同角度上采集工件圖片，因為工業(yè)相機(jī)一般比普通相機(jī)像素較高，傳輸數(shù)據(jù)更加穩(wěn)定，其次通過收集到的圖片采集不同工件的三維信息，建立三維模型數(shù)據(jù)庫，當(dāng)系統(tǒng)識別成功得到目標(biāo)工件后，將三維工件模型投影到二維平面上，最后對其提取灰度圖的邊緣信息，完成工件圖像目標(biāo)區(qū)域的提取。

6.1 灰度圖預(yù)處理

在嘈雜的作業(yè)環(huán)境里，空氣中彌漫的灰塵、加工的碎屑以及環(huán)境光線等影響，通過工業(yè)相機(jī)收集到的圖片會有部分噪點(diǎn)，系統(tǒng)需要選擇合適的去噪方式對工件圖片進(jìn)行降噪處理。

6.2 圖像平滑濾波

高斯濾波是平滑圖像的一種處理方式。高斯濾波的優(yōu)點(diǎn)是能夠使在圖像各個方向上的平滑程度相同，不會改變邊緣的走向，更加適合工件圖片的平滑處理。

6.3 工件圖像增強(qiáng)處理

對灰度圖進(jìn)行去噪和平滑處理后，可能會出現(xiàn)工件灰度圖明暗差別較小的情況，因此，我們采用直方圖均衡化技術(shù)，使亮度能在直方圖上更好地分布。最后進(jìn)行灰度圖歸一化處理，保證所有灰度值處于規(guī)定的范圍內(nèi)。

6.4 深度圖灰度化與提取目標(biāo)輪廓

深度相機(jī)采集到的深度圖包含工件圖像的三維信息，通過像素值對工件的深度圖像進(jìn)行灰度化處理，壓縮變換圖像像素值，避免出現(xiàn)黑色成像。計算步驟如下。

（1）輸入深度圖像f(x，y)。

（2）尋找整幅深度圖像的最大值和最小值。

（3）重新計算深度圖像的灰度g(x，y)，使其處于0～255之間。

（4）輸出變換后的灰度圖像。

輸出得到深度圖和灰度圖，選擇合適的閾值對工件的基本輪廓進(jìn)行二值分割處理，以提取出工件圖像的輪廓區(qū)域[3]。

對于工件深度圖進(jìn)行單次的目標(biāo)區(qū)域提取測試，在深度圖像灰度化之后，去除二值圖中的孔洞，可以得到相對較好的輪廓區(qū)域。最優(yōu)輪廓提取流程見圖5。

7 三維重建

三維重建算法由7個步驟組成：（1）使用相機(jī)標(biāo)定參數(shù)；（2）使用工業(yè)相機(jī)從不同角度拍攝工件圖片，并建立數(shù)據(jù)庫；（3）計算相鄰工件圖片的匹配點(diǎn)；（4）在（3）的基礎(chǔ)上計算基礎(chǔ)矩陣；（5）通過基礎(chǔ)矩陣計算本征矩陣；（6）通過本征矩陣計算RT矩陣；（7）對所有的特征點(diǎn)進(jìn)行重建。其中，主要步驟是相機(jī)標(biāo)定，建立數(shù)據(jù)庫，計算匹配點(diǎn)和矩陣，重建。

依據(jù)上述步驟進(jìn)行程序設(shè)計達(dá)到界面圖像，見圖6。

8 研究成果

（1）本項目已經(jīng)入駐河北經(jīng)貿(mào)大學(xué)創(chuàng)業(yè)孵化園，代表河北經(jīng)貿(mào)大學(xué)參加2022第三屆京津冀創(chuàng)客峰會暨河北省首屆高校創(chuàng)客文化節(jié)活動。團(tuán)隊利用在機(jī)器視覺領(lǐng)域的經(jīng)驗，研發(fā)的坡口加工AI視覺系統(tǒng)已經(jīng)基本完成，可以基本實(shí)現(xiàn)對坡口工件圖像的識別。其中，坡口加工界面見圖7，參數(shù)控制界面見圖8。

（2）本項目已經(jīng)申請《工業(yè)智能坡口加工AI視覺識別系統(tǒng)》軟件著作權(quán)，申請實(shí)用新型專利《一種高精度的目標(biāo)定位裝置》一項。

（3）以本項目為研究基礎(chǔ)，團(tuán)隊參加第七屆中國國際“互聯(lián)網(wǎng)+”大學(xué)生創(chuàng)新創(chuàng)業(yè)大賽獲得全國銅獎，同時本項目在第十七屆挑戰(zhàn)杯黑科技專項賽中被評為國家“衛(wèi)星級”作品。

未來，我們將基于立體視覺圖像識別技術(shù)，優(yōu)化坡口工件圖像識別處理技術(shù)所涉及的算法，提高其識別精度和效率。對本項目進(jìn)行完善，不斷優(yōu)化我們的視覺算法，加深產(chǎn)學(xué)研合作，促進(jìn)跨領(lǐng)域共同創(chuàng)新創(chuàng)業(yè)，開創(chuàng)屬于自己的工業(yè)品牌。

9 研究意義

工業(yè)坡口加工AI視覺識別系統(tǒng)，是在原有的傳統(tǒng)坡口加工技術(shù)的基礎(chǔ)上實(shí)現(xiàn)對坡口加工的自動化和智能化，是將工業(yè)制造與智能化相結(jié)合的產(chǎn)物，該系統(tǒng)解決了傳統(tǒng)坡口加工材料浪費(fèi)、質(zhì)量不高等問題，提高了工件的精度。在現(xiàn)實(shí)的工業(yè)環(huán)境中，利用工業(yè)相機(jī)采集到的深度圖和灰度圖會受到光線、灰塵等因素的影響，從而導(dǎo)致收集到的圖像中存在部分噪聲，因此系統(tǒng)將選用合適的去噪方法對其進(jìn)行去噪處理，增強(qiáng)工件圖像的邊緣特征信息，最后再進(jìn)行灰度化處理，提取圖像的目標(biāo)范圍，通過運(yùn)用圖像識別算法進(jìn)行識別，可以避免環(huán)境光線變化的影響，對坡口進(jìn)行加工處理。

10 結(jié)語

2018年以來，國家陸續(xù)出臺相關(guān)政策，推動“工業(yè)互聯(lián)網(wǎng)+”的發(fā)展。國家大力推動制造業(yè)升級，強(qiáng)調(diào)以精工細(xì)作提升中國制造品質(zhì)。同時倡導(dǎo)節(jié)能減排，優(yōu)化產(chǎn)業(yè)結(jié)構(gòu)和能源結(jié)構(gòu)。坡口加工作為工業(yè)產(chǎn)品制造中的重要環(huán)節(jié)，對工業(yè)先進(jìn)智能制造有著很大影響。傳統(tǒng)坡口加工方式自動化水平過低，限制了整個制造業(yè)的智能化水平提升，成為許多工業(yè)產(chǎn)品從傳統(tǒng)加工向智能制造轉(zhuǎn)型的瓶頸。半自動坡口加工機(jī)器，加工需要進(jìn)行人工操作，造成切割工件的質(zhì)量精度差、鋼材浪費(fèi)嚴(yán)重等問題，因此提高坡口加工產(chǎn)品的質(zhì)量對工業(yè)制造領(lǐng)域十分重要。本文主要對工業(yè)坡口加工AI視覺識別系統(tǒng)進(jìn)行研究，包括技術(shù)優(yōu)勢、工件自動識別、點(diǎn)云粗匹配、點(diǎn)云精匹配、工件圖像目標(biāo)區(qū)域提取、三維重建等，通過實(shí)驗與理論分析等方法驗證了本項目的可行性。隨著工業(yè)制造領(lǐng)域的發(fā)展，坡口加工在工業(yè)智能制造領(lǐng)域?qū)a(chǎn)生更加重要的作用。