基于機器視覺技術的鐵路貨車零部件尺寸的快速檢測算法研究

張 洋，付繼連，蔡宏偉，張凌韜

(1.中車齊齊哈爾車輛有限公司，黑龍江 齊齊哈爾 161002；2.北京精勤諧創科技發展有限公司，北京 100102)

隨著國民經濟的持續快速增長，運輸業越來越走向信息化。鐵路貨車關鍵件檢測工作是鐵路運輸信息化的重要組成部分,做好鐵路貨車關鍵件動態檢測管理工作是保證行車安全、提高運行速度、加快車輛周轉的重要基礎。車軸、軸承、滑閥、中間體、承載鞍以及彈簧等是鐵路貨車的關鍵件，現階段對這些貨車關鍵件的結構尺寸與表面缺陷主要依賴于人工檢測，多采用游標卡尺及量規檢測法，二次元測量儀檢測法和三坐標檢測法等[1-2]。人工檢測效率低、準確性差、受環境影響大，不能及時發現關鍵件的缺陷，有安全隱患。因此，本文對基于機器視覺技術的鐵路貨車零部件尺寸的快速檢測算法進行了研究。

機器視覺技術是一門涉及人工智能、神經生物學、心理物理學、計算機科學、圖像處理、模式識別等諸多領域的交叉學科[3]。該技術主要用計算機來模擬人的視覺功能，對從客觀事物圖像中提取的信息進行處理并加以理解，最終用于實際檢測、測量和控制。機器視覺檢測系統最基本的特點是：靈活性和自動化程度高；可以用于一些不適于人工作業的危險工作環境或者人工視覺難以達到要求的場合；對于大批量重復性工業生產，用機器視覺檢測方法可以大大提高生產效率和自動化程度。對于機器視覺檢測算法，文獻[4]提出了透視變換法等形狀分割算法，具有一定的實用價值，但只針對較為普通的特征；文獻[5]通過預處理解決了部分圖像噪聲干擾問題，利用亞像素的輪廓分析進行細化，提取有效邊界，去除虛假邊界。上述算法并不能解決工業實際的檢測問題，并且未經過穩定性驗證，屬于理論研究課題。

基于機器視覺的智能化檢測技術核心算法是以圖像算法為主，并結合了三維計算和深度學習等技術。本文以鐵路貨車中間體為例，基于視覺識別、圖像分析、深度學習等人工智能技術和現代信息技術對其結構尺寸進行自動檢測，同時提出一種基于機器視覺技術的鐵路貨車關鍵零部件幾何尺寸的高精度、高效率的快速檢測算法。

1 結構組成及工作流程

圖1為基于機器視覺技術的鐵路貨車關鍵件幾何尺寸檢測系統結構示意圖，該裝置主要包括主控裝置、工業相機及鏡頭、視覺專用光源、精密導向頂升裝置和顯示器，其他還有傳送機構和聯動機構等。

圖1 鐵路貨車關鍵件機器視覺檢測系統結構示意圖

機器視覺檢測系統工作流程如圖2所示。進行機器視覺檢測時，人工提前把需要檢測關鍵件的尺寸信息輸入視覺檢測系統中。如圖2所示將關鍵件放置到傳送裝置上，完成上料操作；傳送裝置將關鍵件輸送到視覺檢測工位，通過導向頂升裝置將關鍵件送至拍照位置；3組工業相機同時對關鍵件的3個檢測面拍照并進行識別定位；檢測系統自動檢測并通過對比分析來判別關鍵件尺寸數據是否滿足生產要求；將判別結果輸入主控系統中，同時聯動操作將不合格產品通過傳送裝置送達不合格品區，合格產品通過傳動裝置送達合格品區，再由人工將其放置在成品料箱。

圖2 機器視覺檢測系統工作流程圖

2 工作原理及設計方案

機器視覺檢測系統通過相機(CCD/COMS)采集檢測目標的圖像信號，并傳送給專用的圖像處理系統；圖像處理系統將像素分布、亮度和顏色等信息轉變成數字信號，并對這些信號通過各種運算來抽取其特征信息，如面積、數量、位置等，再根據預設的條件輸出結果進行自動識別。

鐵路貨車關鍵件機器視覺檢測系統涉及二維檢測、三維檢測以及深度學習等技術，其中涉及2D相機的二維檢測項目較多。2D相機檢測系統用2D相機在固定位置采集關鍵件圖像，利用去噪算法、形態學算法、邊緣提取算法以及目標匹配算法等數字圖像處理算法進行相應處理，將目標位置提取出來；利用標準件對相機進行標定，通過標定參數與處理后的圖像數據計算出關鍵件形狀和尺寸等信息。

關鍵件定位的準確性直接影響二維檢測的結果。傳送裝置中的定位銷等可進行關鍵件的準確定位，但是如果關鍵件在機械加工時存在較大誤差，可能出現二維計算不準確的情況。對于此問題，利用3D相機或者輔助傳感器識別關鍵件姿態，通過三維算法進行校正可保證最終檢測結果準確。3D相機檢測系統與2D相機檢測系統不同，是利用3D相機獲取關鍵件外觀相應的三維坐標，根據三維坐標對關鍵件上的點、線、面等特征進行尺寸計算。3D相機檢測系統對工件擺放位置要求不高，且可一次檢測多個關鍵件。

按照上述設計方案，鐵路貨車關鍵件機器視覺檢測系統使用不同種類的相機(2D/3D)，利用機械定位裝置、自動升降裝置以及傳送裝置實現自動化檢測及分類等工作，利用配套智能筆以及標識識別裝置等完成檢測數據的標記、采集和記錄功能。經實際驗證，該方案魯棒性相對較高，且對于不同工件的工裝依賴性比較低，具有極強的實用價值。

3 算法設計

用機器視覺檢測系統進行檢測時，相機拍攝關鍵件圖像，并綜合運用多種圖像處理技術將關鍵件的尺寸信息從原始圖像中提取出來。鐵路貨車的零部件大多數由鑄造加工而成，待檢測面為加工面。同時這些零部件有貫穿性和非貫穿性的，表面有比較多的微小瑕疵，孔腳點有磨損。因此本文提出一種基于機器視覺檢測的比較全面的檢測算法，增加了一些圖像處理過程和對應的系統功能實現該算法。檢測算法流程設計主要有相機標定、圖像采集及濾波、膨脹和腐蝕處理、ROI提取、二次圖像采集及濾波、特征提取與測量等，如圖3所示。

圖3 檢測算法流程圖

3.1 相機標定

相機標定結果的精度直接影響檢測結果的準確性，本文選擇精度為0.001 mm的標定板(圖4)進行視覺標定及矯正，標定板的參數為：陣列個數7×7，中心距12.5 mm，原點直徑6.25 mm，標定板厚1.1 mm。通過標定板得到的相機內參數為：[0.016 346 7，3.75e-0.006，1.750 09e-0.006，2 685.461，2 430.691，5 360，4 850]，相機外參數為：[0.000 858 001，-0.001 381 58，0.216 512，0.287 6，359.517，180.1，0]。通過設置坐標原點建立檢測平面與標定平面的轉換關系，將像素坐標點轉換為物理坐標點之后，可通過數據計算得到實際物理尺寸。

圖4 標定板

3.2 最小均方誤差算法(LMS)

相機采集檢測目標的圖像信號，再根據像素分布、亮度、顏色等信息轉變成數字信號，此過程會引入一部分噪聲，因此首先要對圖像進行預處理以消除噪聲?？紤]到檢測尺寸大多屬于圖像的邊緣部分，選擇保留邊緣更有效的雙邊濾波算法。雙邊濾波算法采用了2個高斯濾波結合的方法，同時考慮空間鄰近度和像素相似度的權值，從而達到保留邊緣、去除噪聲的效果[6]。

雙邊濾波算法主要包括線性自適應算法和非線性自適應算法。非線性自適應算法具有更強的信號處理能力，但計算比較復雜，因此實際應用最多的仍然是線性自適應算法。自適應算法一般包括最小均方誤差算法(LMS，以下簡稱“LMS算法”)、遞推最小二乘算法(RLS)、變換域自適應濾波算法和仿射投影算法。表1為各種自適應算法的優缺點。

表1 各種自適應算法優缺點

LMS算法是在維納濾波理論上運用速下降法后的優化延伸，最早是由Widrow-Hoff提出來的，也被稱為Widrow-Hoff LMS算法，該算法不需要已知輸入信號和期望信號的統計特征，“當前時刻”的權系數通過“上一時刻”權系數再加上一個負均方誤差梯度的比例項求得。該算法原理簡單、參數少、易于實現，在自適應濾波器中得到廣泛應用，因此本研究采用LMS算法。

3.2.1 基本原理

LMS算法是一種特殊的梯度估計，不必重復使用數據，也不必對相關矩陣和互相關矩陣進行運算，只需要在每次迭代時利用輸入向量和期望響應，原理簡單，易于實現。

根據小均方誤差準則以及均方誤差曲面特點，沿每一時刻均方誤差的陡下降在權向量面上的投影方向更新，也就是通過目標函數的反梯度向量反復迭代更新。由于均方誤差性能曲面只有唯一一個極小值，只要收斂步長選擇恰當，不管初始權向量在哪，后期都可以收斂到誤差曲面的小點，或者收斂在極小值的一個鄰域內。這種沿目標函數梯度反方向來解決小化問題的方法就是前文提到的速下降法，其表達式為：

(1)

式中：w——濾波器權向量；

k——時刻；

μ——收斂因子；

基于隨機梯度算法的小均方自適應濾波算法的完整表達式如下：

y(k)=wT(k)x(k)

(2)

e(k)=d(k)-y(k)

(3)

w(k+1)=w(k)+μe(k)x(k)

(4)

式中：y——實際輸出；

x——訓練樣本；

e——期望輸出與實際輸出誤差；

d——期望輸出。

3.2.2 性能分析

文獻[7-9]對隨機梯度LMS算法的性能進行了大量研究。按照自適應濾波性能指標，假設輸入信號和期望信號具有聯合平穩性，基于橫向FIR結構的濾波器標準LMS算法的4個性能為收斂性、收斂速度、穩態誤差和計算復雜度。只有在輸入信號具有嚴格穩定的統計特性時權向量的優解是不變的，否則將會隨著統計特性的變化而變化，而自適應算法則能夠通過不斷調整濾波器權向量，使其接近優解。因此，自適應算法在平穩條件下的性能表現可以認為是非平穩條件下的一種特殊情況。如果在平穩條件下自適應算法能夠快速、平穩地逼近權向量的優解，那么在非平穩條件下該算法也能很好地逼近時變的權向量優解。

LMS算法包括均值濾波(blur)算法、中值濾波(madianblur)算法和雙邊濾波(bilateralter)算法。均值濾波算法結構簡單，計算速度較快，在去噪聲的同時去除了很多細節，但由于邊緣損失部分細節，圖像會變得模糊；中值濾波算法在邊界保存方面好于均值濾波算法，但在模板變大的時候一些邊界會出現模糊的情況，因此該算法對于處理椒鹽噪聲和斑塊噪聲非常有效；雙邊濾波屬于非線性濾波，可保留較多的高頻信息，但不能干凈地過濾高頻噪聲，對于低頻濾波能達到保邊去噪的目的。圖5為各濾波算法得到的實際效果。從圖5的對比可以看出，雙邊濾波可以達到最佳的噪聲去除效果，并能最大程度地保留邊緣細節，且計算速度相對較快，從效率和效果上都是最佳的選擇。

圖5 3種濾波算法實際效果對比

3.3 腐蝕和膨脹處理

采用自動閾值法[10]對圖像進行二值化操作和連通域處理后，得到的邊界通常都很不光滑，背景區域散布著一些小的噪聲，物體區域則會具有一些噪聲孔，這種情況可利用腐蝕和膨脹處理得到有效改善。腐蝕和膨脹運算應用于二值圖像，通過一個探針(是一個集合，稱為結構元素)對二值圖像(是一個集合)進行變換，以突出所需要的信息。

(1) 膨脹運算。定義：A⊕B={z|(B)z∩a≠?}，若集合A與B滿足膨脹運算定義，則稱A被B膨脹，也就是對B的反射平移z后，使之與A的交集是不為空的點集合。膨脹運算就是將與物體接觸的所有背景合并到該物體中、使邊界向外擴張的過程。因此，膨脹運算常用來填補物體中的空洞及消除目標物體中的小顆粒噪聲。例如，在處理一張字跡不清的圖片時，可以用膨脹運算填補字跡的空洞，從而使字跡更加清晰。

(2) 腐蝕運算。定義：A?B={z|(B)z?a}，若集合A與B滿足腐蝕運算定義，則稱A被B腐蝕。也就是將B的反射平移z后，集合被包含在A的點的集合。腐蝕運算是一種消除邊界點、使邊界點向內部收縮的過程，具有消除細小物體、在纖細處分離物體和平滑較大物體邊界的作用，能消除圖像的背景部分，因此可以起到濾波器的作用。

腐蝕運算用來收縮或者細化對象，結構元素的大小和形狀決定了收縮的程度和范圍。腐蝕運算時，用某個結構元素對二值圖像進行探測，找出圖像內部可以容納該結構元素的區域，是一種消除邊界點、使邊界向內部收縮的過程，對于二值圖像的每個點，如果在結構元素范圍內的所有點都為1，則該點為1，否則為0；而膨脹運算是使二值圖像加長或變粗的過程，對于二值圖像的每個點，如果在結構元素范圍內的所有點都為0，則該點為0，否則為1。腐蝕運算后圖像中的亮點范圍縮減，相反，膨脹運算后亮點的范圍增大，膨脹運算為二值圖像的邏輯運算中的或運算，而腐蝕運算則為與運算，如圖6所示。

圖6 腐蝕膨脹運算的二值圖像的邏輯運算

把腐蝕和膨脹運算推廣到任意的灰度圖，對于任意灰度圖，腐蝕運算求結構元素范圍內(領域)最小值，即腐蝕運算使領域中心值變為結構元素內的最小像素值。比如，結構元素為矩形領域，則腐蝕運算對每個像素求取以該像素為中心的矩形領域內的最小像素值，膨脹運算就是求矩形領域內的最大值。通過Blob分析得到大概邊界輪廓后，先對輪廓進行腐蝕運算，再進行膨脹運算，然后通過剪切區域分割出待提取的準確邊界。圖7為Blob分析得到的圖像。

3.4 ROI提取

ROI提取是利用Mask(掩膜)技術提取純色背景圖像ROI區域中的人或物，并將提取出來的人或物添加在其他圖像上。ROI提取流程是：先通過cv.cvtColor( )函數將原RGB彩色圖像轉換為hsv色彩空間的圖像，然后通過cv.inRange( )函數獲得ROI區域的mask，最后利用cv.bitwise( )函數提取得到ROI，具體ROI提取流程如圖8所示。

圖8 ROI提取流程

對于拍攝的整幅圖像，只針對關鍵尺寸所在的區域進行計算即可[11]，避免對整幅圖像進行過度處理，還能提高系統響應速度。因此，先根據目標的特征信息(如面積、數量、位置等)將大致的目標邊緣提取出來，然后利用形態學處理中的腐蝕和膨脹算法進行ROI提取，圖9為ROI提取圖像。

圖9 ROI提取圖像

3.5 特征提取與測量

以鐵路貨車關鍵部件中間體為例，利用標定參數與處理后的圖像計算中間體的形狀和尺寸等信息。圖10是相機拍攝的鐵路貨車中間體，其中彩色圓標出的圓孔1～4是提取到的目標孔位置，可根據這些目標孔位置計算其直徑、擬合圓心、孔距以及孔圓心到毛坯中心線距離等，通過與技術指標的對比結果判斷相應測量參數是否合格，同時得到具體偏差，實現自動測量和識別功能。圖10中的綠色數據為自動生成的檢測結果，其中226.011 682 mm、226.078 342 mm分別為圓孔1與圓孔3、圓孔2與圓孔4的距離，76.090 617 mm、76.083 460 mm為圓孔1與圓孔2、圓孔3與圓孔4的距離，21.999 596 mm、21.990 868 mm、22.021 915 mm和22.014 180 mm為擬合圓孔的直徑。

圖10 中間體檢測示意圖

由于邊界干擾，提取到的邊緣輪廓會有很多虛假邊緣，因此，轉入亞像素輪廓分析以后，通過Blob分析算法提取圓弧邊緣輪廓，然后根據輪廓的直徑、輪廓長度等輪廓特征篩選得到最終提取的邊緣輪廓。這樣得到的曲線輪廓有閉合輪廓和非閉合輪廓，根據輪廓軸端距離、忽略點數、迭代次數等參數將輪廓擬合為圓心，圓擬合效果如圖11所示。

圖11 圓擬合效果圖

4 檢測驗證

為驗證基于機器識別檢測算法的可行性與正確性，就貨車關鍵部件中間體進行檢測研究，具體檢測位置如圖12所示。圖12中毛坯中心線是上下2個精加工面的中心點連線上的一個點與方孔的連線，綠色數據為自動生成的檢測結果，對應檢測指標見表2。

圖12 實際檢測位置

表2 中間體檢測指標 mm

檢測時，采用2 600萬像素全局快門相機，16 mm鏡頭、白色面光源對部件進行正面采集，對應每個位置分別采集、檢測10次，中間體各檢測項的標準值與檢測值見表3。

表3 中間體各檢測項的標準值與檢測值 mm

對檢測結果進行對比分析，可以看出：檢測值與實際值的平均相對誤差基本低于0.50%，檢測精度較高；檢測效率基本上達到32件/h，檢測速度快；單個檢測項目10次檢測的平均相對誤差(10次檢測數據的加權平均值與標準數據做差獲得的差值與標準數據的比值)低于0.50%，滿足檢測需求。

5 結束語

本研究針對傳統人工檢測方法效率低和準確性差等現狀，以鐵路貨車關鍵件中間體為例，提出一種基于機器視覺技術對鐵路貨車零部件幾何尺寸的檢測算法，該算法可對關鍵件幾何尺寸進行實時檢測并做出相應處理。相較人工質檢，該算法檢測精度高，檢測速度快，穩定可靠，對提高貨車關鍵件檢修效率、降低勞動強度具有重要意義，而且為基于計算機視覺的關鍵部件檢測算法研究提供了新的思路和方法。