基于機(jī)器視覺的軌道車輛零部件形位尺寸檢測方法研究

張春偉,彭善飛,劉曉峰

(中車青島四方機(jī)車車輛股份有限公司，青島 266111)

0 引言

軌道車輛的零部件，涉及到安裝的形位尺寸較多，較容易出現(xiàn)尺寸形狀錯(cuò)誤，傳統(tǒng)的檢驗(yàn)用時(shí)較長且容易出錯(cuò)，檢驗(yàn)效率較低。出錯(cuò)的零部件會(huì)造成不同程度的返工，大大地降低了生產(chǎn)效率。出于動(dòng)車組零部件現(xiàn)有入庫檢驗(yàn)面臨各種困難，所以本文引入視覺的方式，通過圖像采集設(shè)備獲取的零部件圖像，應(yīng)用圖像處理相關(guān)算法，獲取目標(biāo)的輪廓等信息，自動(dòng)識(shí)別零部件邊緣輪廓，最終實(shí)現(xiàn)軌道車輛零部件的形狀尺寸參數(shù)測量。

本文采用基于機(jī)器視覺的非接觸式檢測方式，研究以車間應(yīng)用為出發(fā)點(diǎn)，采用便攜式的檢測設(shè)備，對(duì)放置在生產(chǎn)現(xiàn)場的零部件進(jìn)行拍照采集特征，然后運(yùn)用基于Snake的區(qū)域分割算法獲取圖像中的零部件關(guān)鍵部位感興趣區(qū)域；之后運(yùn)用透視變換對(duì)圖像進(jìn)行校正，以解決檢測過程中的拍攝角度及便攜設(shè)備部署過程中的相對(duì)位置誤差；對(duì)校正后的圖像采用Sauvola算法對(duì)特征進(jìn)行精確定位；之后對(duì)輪廓進(jìn)行提取，并通過部署在檢測區(qū)域四角的標(biāo)定靶進(jìn)行設(shè)備定標(biāo)，獲取圖像各像素與實(shí)際尺寸的對(duì)應(yīng)關(guān)系，進(jìn)行形狀分析和尺寸測量，進(jìn)而與零部件的標(biāo)準(zhǔn)信息進(jìn)行比對(duì)，判定零部件形位尺寸是否滿足要求，本研究的設(shè)計(jì)流程如圖1所示。

圖1 零部件形位尺寸視覺檢測設(shè)計(jì)流程圖

1 圖像獲取

本研究以圖像采集設(shè)備為基礎(chǔ)，在位姿調(diào)節(jié)模塊的驅(qū)動(dòng)下，圖像采集設(shè)備對(duì)放置在檢測區(qū)域的零部件進(jìn)行檢測，由于設(shè)備采用便攜式的檢測方式，因此在檢測區(qū)域的四周放置標(biāo)定靶，用于對(duì)設(shè)備定標(biāo)，之后拍攝零部件的圖像，本設(shè)備為了克服生產(chǎn)現(xiàn)場復(fù)雜的環(huán)境干擾，配備補(bǔ)充照明燈，采用工業(yè)相機(jī)對(duì)零部件進(jìn)行拍照，基于便攜設(shè)備的螺釘狀態(tài)檢測，選用典型小批量大規(guī)模設(shè)備中的柜門控制盤的螺釘作為檢測對(duì)象，檢測空間狹小，現(xiàn)場環(huán)境有光照及LED燈照明，采用工業(yè)彩色相機(jī)對(duì)設(shè)備進(jìn)行拍照，由于圖像采集設(shè)備的部署由工人完成，因此采集圖像的位置存在20 cm的偏差，采集角度存在10°的偏差，如圖2所示，被檢測對(duì)象背景復(fù)雜，不利于螺釘定位。

圖2 零部圖像獲取效果圖

2 基于Snake的零部件特征分割方法

對(duì)于獲取的零部件圖像，首先需要對(duì)關(guān)鍵形位尺寸和特征進(jìn)行提取，即從復(fù)雜的背景中提取感興趣區(qū)域。本文采用基于Snake的感興趣區(qū)域分割算法。

Snake[1]動(dòng)態(tài)輪廓模型對(duì)于噪聲和對(duì)比度不敏感，擅長將目標(biāo)從復(fù)雜背景中提取出來，因而選擇Snake模型用于本文的圖像感興趣區(qū)域ROI分割。

Snake需要先提供待分割圖像的初始輪廓，然后輪廓?jiǎng)討B(tài)地沿能量降低的方向運(yùn)動(dòng)，直到收斂于目標(biāo)對(duì)象的真實(shí)輪廓。

設(shè)C(p)為一條曲線，p是其參數(shù)，K為曲率，T為切線，N為法線，其關(guān)系如下：

如圖3所示，二維平面上的曲線都可以用互相垂直的法線N和切線T的線性組合來表示。

圖3 Snake 曲線示意圖

Snake是基于能量的方法，以輪廓為參數(shù)構(gòu)造能量方程，使動(dòng)態(tài)輪廓線與目標(biāo)輪廓重合的時(shí)候模型能量最小，最小化能量方程，即可求出目標(biāo)輪廓。如圖4，橢圓為初始輪廓，箭頭為動(dòng)態(tài)輪廓的法向量，待分割的目標(biāo)為三角形。

圖4 snake主動(dòng)輪廓原理

對(duì)曲線(輪廓)上每個(gè)點(diǎn)構(gòu)造能量方程如下：

Cp為曲線的一階導(dǎo)數(shù)(斜率)，Cpp為曲線的二階導(dǎo)數(shù)，I為輪廓點(diǎn)處的的圖像梯度。

Snake模型的能量為內(nèi)部能量與外部能量之差，內(nèi)部能量即為曲線的一階導(dǎo)數(shù)與二階導(dǎo)數(shù)的平方，表示輪廓的平滑度。曲線不平滑，導(dǎo)數(shù)越大，從而內(nèi)部能量越大。最小化能量就要求內(nèi)部能量盡可能小，即曲線盡可能平滑。

用戶在感興趣目標(biāo)的附近放置初始輪廓，Snake模型得到的輪廓線是封閉連續(xù)的，目標(biāo)表面的陰暗變化不會(huì)生成獨(dú)立的輪廓線，可以提取出零部件感興趣區(qū)域(ROI)的外輪廓。另一種常見的輪廓提取方法是Canny[2]邊緣檢測，邊緣檢測也是輪廓提取。因?yàn)镃anny算子沒有強(qiáng)調(diào)目標(biāo)的輪廓必須是封閉的，目標(biāo)表面紋理的顏色、陰暗變化也被誤當(dāng)作邊緣檢測出來，就會(huì)有大量的偽邊緣。

圖5中，虛線為初始輪廓線，實(shí)線為主動(dòng)輪廓線，實(shí)線外接矩形為感興趣區(qū)域ROI保存為圖6所示。

圖5 snake與canny輪廓提取對(duì)比

圖6 感興趣區(qū)域ROI

3 透視變換

由于設(shè)備的部署工作均由操作工人完成，因此不可避免的存在拍攝角度和相對(duì)位置的差異，因此本方法在感興趣區(qū)域獲取后采用透視變換，對(duì)零部件的形位尺寸進(jìn)行糾正，為后續(xù)的形位尺寸測量做準(zhǔn)備。

由于攝像機(jī)拍攝物體時(shí)，大多時(shí)候并不是正投影垂直朝下拍攝物體，斜看物體時(shí)不能有效地正確地看出測量出物體的尺寸，這時(shí)就要用到透視變換，將圖像校正為正投影的角度。所以，透視變換是視覺測量物體目標(biāo)形位尺寸的前提。

透視變換[3](perspective transformation)是將圖片投影到一個(gè)新的視平面(viewing plane)上，也稱作投影映射(projective mapping)。透視變換后直線仍為直線，但平行關(guān)系喪失。如圖7所示。

圖7 透視變換原理

透視變換用矩陣形式表示如下：

透視變換同樣是一種改變對(duì)象尺寸和形狀的操作，一個(gè)平面圖形經(jīng)透視變換后可產(chǎn)生立體效果，同樣，立體效果通過透視變換反向變換也可以變?yōu)槠矫鎴D形。攝像機(jī)拍攝的圖像一般帶有一些立體效果，我們需要通過透視變換將帶有立體效果的圖像轉(zhuǎn)換為平面圖形，才利于后續(xù)的物體尺寸測量。因?yàn)樾挝怀叽鐪y量為了確保準(zhǔn)確性，必須在平面的基礎(chǔ)上進(jìn)行測量。

相機(jī)拍攝得到的圖像是靜止的平面圖像，就是利用的透視投影變換。投影即透視。透視變換的透視縮小效應(yīng)與人的視覺系統(tǒng)類似，即物體透視投影的大小與物體到視點(diǎn)的距離成反比。

對(duì)上一章節(jié)得到的ROI圖像進(jìn)行透視變換的效果如圖8所示。

圖8 透視變換效果

驗(yàn)證上述透視變換的效果，可以提升后續(xù)目標(biāo)測量的準(zhǔn)確性。霍夫變換對(duì)正圓的檢測具有非常好的效果，且速度比較快，下面用霍夫圓變換[4]檢測透視變換效果。

在笛卡爾直角坐標(biāo)系中，圓的方程表示為：

(x-x0)2+(y-y0)2=r2

而用極坐標(biāo)表示為：

其中:(x0,y0)為圓心坐標(biāo)，r為圓的半徑，如此，圖像上的點(diǎn)(x,y)對(duì)應(yīng)參數(shù)空間的(x0,y0,r)，在參數(shù)空間尋找聚集點(diǎn)，就是圖像上檢測出來的圓。

基于現(xiàn)實(shí)考量，在實(shí)際項(xiàng)目操作時(shí)，由于霍夫Hough圓檢測對(duì)噪聲比較敏感，所以要先對(duì)圖像做中值濾波，因?yàn)橹兄禐V波能夠有效的平滑椒鹽噪聲，且不像均值濾波模糊化過于嚴(yán)重[5]。

然后利用Canny算法找到邊緣，并利用Sobel算子求梯度，得到x軸方向和y軸方向的梯度后就能夠求邊緣點(diǎn)梯度的方向，即是半徑的方向，再通過邊緣點(diǎn)到已找到的圓心的距離來求得半徑值，只要有足夠多的邊緣點(diǎn)投某圓心一票，那該圓心和半徑就能準(zhǔn)確找到。下面列出Hough圓變換分別檢測ROI圖和透視變換后圖的效果圖。

圖9 Hough圓檢測

從上面結(jié)果可以看到，透視變換起到了良好的效果，比原圖ROI更圓了，這有利于后續(xù)的目標(biāo)形狀和尺寸測量。

對(duì)透視效果進(jìn)行統(tǒng)計(jì)，運(yùn)用千分尺測量了20個(gè)尺寸在150～200 mm范圍的零部件，圓度誤差在0.5 mm以下，滿足現(xiàn)場檢測要求。

4 Sauvola二值化輪廓提取算法

視覺形位尺寸測量需要基于目標(biāo)的輪廓。所以首先是目標(biāo)的輪廓提取，而輪廓提取同時(shí)也能定位目標(biāo)的位置，為后續(xù)的形狀、尺寸測量提供先決條件。

尋找輪廓前需要二值化圖像。由于在工業(yè)環(huán)境下拍攝零部件的照片有局部曝光不均的問題，全局閾值二值化不能顧及局部細(xì)節(jié)，所以本文先采用Sauvola[6]局部二值化算法解決圖像局部曝光不均問題。

圖像二值化算法分為全局閾值方法與局部閾值方法兩種，閾值又分為動(dòng)態(tài)閾值和固定閾值兩種。其中Sauvola是局部動(dòng)態(tài)閾值方法的標(biāo)桿算法。Sauvola要求輸入灰度圖像，以當(dāng)前像素點(diǎn)為鄰域中心，計(jì)算其鄰域內(nèi)的灰度的均值與標(biāo)準(zhǔn)差來動(dòng)態(tài)計(jì)算該像素點(diǎn)二值化判決的閾值，最后二值化。

設(shè)當(dāng)前像素點(diǎn)為(x,y)，該點(diǎn)鄰域?yàn)閞*r，g(x,y)表示(x,y)處的灰度值，Sauvola算法的步驟如下。

1)計(jì)算r*r領(lǐng)域內(nèi)的灰度平均值m(x,y)與標(biāo)準(zhǔn)差x(x,y)：

2)計(jì)算像素點(diǎn)(x,y)的閾值T(x,y):

其中:R是標(biāo)準(zhǔn)差的動(dòng)態(tài)范圍，當(dāng)輸入圖像為8 bit灰度圖像時(shí)，則R為128；k是用戶自定義的一個(gè)用于修正的參數(shù)，k的取值對(duì)算法的結(jié)果影響不顯著，k的取值范圍為0～1之間。

Sauvola對(duì)透視變換后圖像進(jìn)行局部二值化后的效果如圖10(a)所示。

因?yàn)楸疚膶⒘悴考系膱A孔作為測量對(duì)象，所以對(duì)sauvola二值化后的圖像進(jìn)行反轉(zhuǎn)如圖10(b)所示。

圖10 Sauvola局部二值化及其反轉(zhuǎn)效果圖

從二值化的效果來看，Sauvola算法把零件上的幾個(gè)圓孔都比較準(zhǔn)確地分割出來，更重要的是沒有遺漏某個(gè)圓孔。

5 形位尺寸測量

因?yàn)閳D像的分辨率不具有實(shí)際意義，若想對(duì)圖像中的目標(biāo)進(jìn)行實(shí)際長度測量，必須借助測量尺寸定標(biāo)[7]。定標(biāo)就是確定圖像中的一定數(shù)量像素與實(shí)際尺寸的比例。或者在拍攝圖像時(shí)，拍攝進(jìn)目標(biāo)旁邊的已知實(shí)際尺寸且規(guī)則物件，比如一枚硬幣。經(jīng)過透視變換等圖像處理后的零部件，統(tǒng)計(jì)出測量目標(biāo)在圖像中的像素?cái)?shù)，乘以定標(biāo)比例，即得出零部件圖像測量目標(biāo)的實(shí)際尺寸。本研究采用在檢測區(qū)域四角布置標(biāo)定靶點(diǎn)的方式對(duì)設(shè)備進(jìn)行定標(biāo)。

尺寸測量[8]相對(duì)形狀測量比較簡單。邊長、周長、面積等都是基于像素點(diǎn)累計(jì)的統(tǒng)計(jì)。任意方向斜線的像素點(diǎn)數(shù)由目標(biāo)在水平方向上的像素?cái)?shù)和豎直方向上的像素?cái)?shù)運(yùn)用勾股定理求出，故而邊緣之間的距離定標(biāo)后即為所求元器件的尺寸。類似，周長、面積等都是以像素點(diǎn)為單位統(tǒng)計(jì)或計(jì)算像素點(diǎn)數(shù)，周長就是輪廓點(diǎn)集合的個(gè)數(shù)(單位為1像素)，面積就是輪廓所圍的所有的像素點(diǎn)數(shù)。統(tǒng)計(jì)像素得出的周長、面積等還不是物體真實(shí)的周長、面積等，乘以定標(biāo)比例，就是物體的真實(shí)周長、面積。

圖11 零部件上圓孔尺寸測量

形狀測量參數(shù)的計(jì)算，簡單的有圓形度和周徑比。圓形度計(jì)算公式采用的是：e=(4π*面積)/(周長*周長)，周徑比的周即周長，徑是指上面找到的輪廓最小外接矩形的長的一條邊。

還可以用圖像的幾何矩來計(jì)算圖像中目標(biāo)的形狀參數(shù)，圖像矩是描述圖像特征的算子，其中零階矩和一階矩計(jì)算形狀的質(zhì)心，二階矩計(jì)算形狀的方向。

若二維圖像的灰度用V(i,j)表示，零階矩代表圖像中像素點(diǎn)灰度的總和，表示為：

一階矩代表圖像的灰度中心，x軸和y軸分別表示為：

然后形狀的質(zhì)心坐標(biāo)為：

這種基于輪廓計(jì)算物體一個(gè)連通域的質(zhì)心的方法，即使有外部噪聲干擾的情況下，計(jì)算出的質(zhì)心也不會(huì)有大的偏離，具有對(duì)噪聲不敏感的優(yōu)點(diǎn)。

6 實(shí)驗(yàn)及分析

為了驗(yàn)證本研究的算法，進(jìn)行了軌道車輛零部件的實(shí)驗(yàn)工作，實(shí)驗(yàn)選取軌道車輛上常用的零部件進(jìn)行測試，選取3種各10個(gè)零部件，總計(jì)30幅圖像，共910個(gè)形位特征作為檢測對(duì)象。檢測環(huán)境為自然光照的車間現(xiàn)場，無陽光直射。如圖12所示。

圖12 實(shí)驗(yàn)驗(yàn)證對(duì)象圖

檢測系統(tǒng)選用18M像素高清工業(yè)相機(jī)，采用LED冷光源補(bǔ)充照明燈，每組零部件(3種零部件的各一個(gè)為一組)采用重新部署的方式。實(shí)驗(yàn)結(jié)果如表1所示。

表1 實(shí)驗(yàn)結(jié)果統(tǒng)計(jì)

對(duì)檢測結(jié)果進(jìn)行分析，本方法的檢測率大于99.4%，檢測精度小于等于0.8 mm，該精度雖然不能用于對(duì)零部件進(jìn)行加工質(zhì)量檢測，但可滿足入庫檢驗(yàn)檢測、零部件篩選、零部件數(shù)字化存儲(chǔ)等多種應(yīng)用模式。

7 結(jié)束語

軌道車輛的零部件，涉及到安裝的形位尺寸較多，較容易出現(xiàn)尺寸形狀錯(cuò)誤，傳統(tǒng)的檢驗(yàn)用時(shí)較長且容易出錯(cuò)，檢驗(yàn)效率較低。本文采用基于機(jī)器視覺的非接觸式檢測方式，采用便攜式的部署方式，對(duì)軌道車輛的幾種典型零部件進(jìn)行了深入研究，給出軌道車輛零部件形位尺寸視覺檢測完整的技術(shù)解決方案和實(shí)現(xiàn)，并對(duì)其中關(guān)鍵的算法步驟給予重點(diǎn)闡述、對(duì)比與驗(yàn)證，尤其具有一定的實(shí)用性，通過感興趣區(qū)域分割、透視變換、二值化、形位測量等步驟，對(duì)零部件形位尺寸檢測具有較高的檢測率和檢測精度，在零部件形位尺寸入庫檢驗(yàn)檢測的應(yīng)用場景下達(dá)到了較好的效果。

由于軌道車輛零部件種類繁多，情況多樣，因此本文的研究只是針對(duì)其中較為普遍的特征進(jìn)行檢測，后續(xù)研究應(yīng)該集中在典型的矩形、三角形、線特征等特征上，以增加本方法的拓展性。