基于雙目視覺的鋼軌磨耗測量技術研究

王玉柱，劉婷婷

(1.華北計算技術研究所 北京 100083；2.工業和信息化部電信研究院 北京 100191)

基于雙目視覺的鋼軌磨耗測量技術研究

王玉柱1，劉婷婷2

(1.華北計算技術研究所 北京 100083；2.工業和信息化部電信研究院 北京 100191)

近年來隨著高速鐵路和重載運輸的大力發展，客貨運量和行車密度大幅度增長，鋼軌磨耗日益嚴重。而我國鋼軌磨耗大部分采用接觸式卡距或其它接觸式測量方法，存在勞動強度較大、精度較低、效率較低等缺點。研制新的非接觸式的鋼軌磨耗自動測量系統具有重大的意義。目前國內已有基于單目視覺的非接觸式鋼軌磨耗測量系統的研究。本文針對單目視覺的局限性將雙目視覺技術應用到鋼軌磨耗測量研究中，對系統關鍵技術進行了深入的研究，實現了鋼軌磨耗的測量。

鋼軌磨耗測量；雙目視覺；相機標定；立體匹配；三維重建

0 引言

隨著全國鐵路提速、重載運輸的大力發展、客貨運量和行車密度大幅增長，對鐵軌磨耗參數測量精度要求也越來越高。鋼軌磨耗是否超限直接決定鋼軌是否需要更換或打磨，否則將造成重大損失。因此精確地測量出磨耗值對于鋼軌的維護及行車安全是非常重要的。

目前，國內外現行的鋼軌磨耗測量方法主要有三種：機械設備測量、電子設備測量和非接觸光學系統測量。其中機械設備測量需要人工進行檢測，存在工作量大、工作環境惡劣、和效率低等缺陷，并且由于機械裝置與鋼軌進行接觸式檢測使得結果中的鋼軌外形和軌距的準確度及完整性不夠高，同時長期的接觸式測量使鋼軌造成不必要的磨損。電子設備測量雖然比機械設備測量有較大進步，但是還尚未實現在線自動檢測，增加了鐵路維修周期。非接觸光學系統測量性能比以上兩種好，該測量方法快速、結構小巧、上下道方便、顯示直觀，并能反映鋼軌剖面磨耗的軌跡。

但是現有非接觸光學檢測系統幾乎都采用二維重建取得鋼軌斷面輪廓，即將光結構平面理想化為與鋼軌垂直。本文設計了一種考慮光結構平面扭曲的基于雙目視覺的鋼軌磨耗自動檢測系統，采用三維重建取得鋼軌斷面輪廓的三維坐標。

1 系統測量原理與硬件組成

基于雙目視覺的鋼軌磨耗自動檢測系統基于激光三角測量原理，采用光取斷面技術實現對鋼軌磨耗的非接觸測量。利用高強度的窄激光光束，以一定的角度投射到軌道上(軌面至內側軌腰)，在軌道表面和內側軌腰上形成一條光帶，此光帶為結構光與軌道的交線。面陣CCD安裝在與光束成一定角度的位置上，對光帶進行攝像，影像的信息經處理后形成具有影像邊界的鋼軌輪廓。本系統將鋼軌輪廓數字化，經過三維重建，再將它與標準軌形比較，即可得出磨耗值。系統結構如圖1所示。

圖1 系統結構示意圖Fig.1 Schematic diagram of system structure

以往鋼軌測量系統多采用單相機結構，拍得鋼軌輪廓的單幅圖像，以單幅圖像來計算鋼軌輪廓的三維坐標，這樣只能是將結構光理想化為與鋼軌垂直，即將鋼軌輪廓的z軸坐標理想化為零，只計算x，y軸坐標，并沒有考慮結構光和鋼軌扭曲的情況，給計算帶來很大誤差。圖2為結構光面與鋼軌發生扭曲的示意圖。

圖2 結構光發生扭曲的兩種情況Fig.2 Two cases of structural light distortion

本系統鋼軌每側采用了兩個攝像機，根據立體雙目視覺三維測量方法，通過兩幅或兩幅以上圖像就可以很輕松的計算出鋼軌輪廓的三維坐標，這樣就避免結構光扭曲給計算帶來的誤差。

假定空間任意點P的世界坐標為：(xw,yw,zw)，點P在兩個相機的成像平面上的像點分別為1P與 P2， P1和P2的像素坐標分別為：(u1,v1)和(u2,v2)， C1和C2相機的投影矩陣分別為：

根據相機的成像模型有：

其中Zc1和Zc2分別為空間點P在兩個相機的光心坐標系中沿光軸方向的坐標值。消去（10）中的Zc1和Zc2整理并合并得如下方程組：

其中:

求解方程組（3），得到的解(xw,yw,zw)就是空間點P的世界坐標。這里我們采用最小二乘法來求解(xw,yw,zw)的值，則有：

從以上的分析可知，知道了兩個相機的投影矩陣和空間點在兩個不同位置的相機所拍攝圖像中的像素坐標，由式（3）就可以確定點P在世界坐標系中的位置坐標。

2 系統的軟件實現

經具有平行光軸布局的兩個圖像采集卡得到的真實彩色圖像進行快速匹配得到初始匹配點對，然后分別對兩幅圖像進行去噪聲和邊緣檢測，以及細化處理，得到鋼軌的單像素目標圖像。在初始匹配點中搜索和細化后的輪廓圖相吻合的匹配點對，并對其進行三維重建，得到鋼軌輪廓的真實三維世界坐標點，對這些點進行曲線擬合，得到鋼軌的目標輪廓圖，與標準的鋼軌輪廓圖進行匹配測量，計算出磨耗值。系統的軟件實現框架圖見圖3。

圖3 系統流程圖Fig.3 System flow-process diagram

2.1 相機標定

相機標定是計算機立體視覺中的第一步，也是關鍵一步，相機標定精確與否，直接影響了立體視覺系統測量的精度，因而實現立體攝像機對的標定工作是必不可少的。

本文對三種模板做了比較，如圖4所示。

圖4 三種模板標定示意圖Fig.4 Sketch map of the three kinds of templates

前兩種模板采用Harris算法提取角點，目測其最大誤差在一個像素之內，圓形模板采用Hough圓檢測算法提取圓心，精度可達亞像素級。

本文對線性標定算法和經典的T-sai兩步標定算法做了比較，線性標定對靠近圖像邊緣的角點進行坐標反算誤差達7個像素左右。T-sai兩步法標定對三種模板提取的25個特征點進行標定，另外選取11個特征點驗證標定的精度。結果如表1所示。

表1 三種模板的標定精度對比Tab.1 Comparison of calibration accuracy of the three templates

從標定結果中可以發現采用圓形模板標定精度最高，且越是偏離圖像中心的特征點誤差越大。所以本系統針對鋼軌外形特點對一般的標定模板做了改進，使得鋼軌更接近于圖像中心，改進結果見圖5。

圖5 實驗標定組圖Fig.5 Experimental calibration photos

2.2 立體匹配算法

本系統構造了一種具有平行光軸布局的立體視覺系統，利用極線約束改進了SIFT立體匹配算法，大大提高了算法速度和穩定性，從而可以獲得鋼軌輪廓線上的較為稠密的初始匹配點。圖5為實驗采集的圖像對。

對圖5采用改進的sift立體匹配算法，得到圖像初始匹配點，結果如圖6所示。

圖6 基于sift特征點匹配兩幅圖像的結果Fig.6 Results of sift matching two images based on feature points

2.3 邊緣提取

基于計算機視覺的測量的關鍵在于確定出代表對象特征的圖像邊緣。然后系統才能根據檢測要求計算邊緣坐標或邊緣所代表的含義，如面積、形狀等。邊緣提取的結果直接影響圖像細化的效果。邊緣特征提取目前有 Laplacian算子、Canny算子、Roberts算子、Sobel算子和Kirsch算子等提取方法。本系統對幾種邊緣提取算法應用于鋼軌輪廓邊緣提取做了一些嘗試與實驗。結果如圖7所示。

圖7 邊緣提取效果圖Fig.7 Edge extraction effect chart

通過將上面 5種算子提取的各自圖像進行比較，顯然Kirsch提取的效果最好。所以本系統采用Kirsch算子邊緣提取方法提取圖像中鋼軌的輪廓。

2.4 輪廓細化

理想情況下所獲得的鋼軌斷面圖應是一個單像素的鋼軌輪廓軌跡，而實際測量中預處理后的斷面圖像是一條光帶。光帶寬度遠遠大于一個像素，它無法準確地反映出鋼軌的輪廓形狀，必須經過細化處理提取出一條能反映外形的曲線，即鋼軌斷面曲線中心線。細化算法的原理是根據刪除條件來重復地剝掉二值圖像的邊界像素。細化操作之后的鋼軌輪廓圖像易出現短枝和斷點，如何消除短枝并連接斷點是遇到的實際困難。為了解決這一問題，可以對細化后的圖像進行擴展， 然后再對其進行多次細化操作，從而達到盡量消除斷點和短枝個數的目的。

這里采取了Zhang快速并行細化算法，它包含兩層子循環，第一個子循環中，目標像素刪除條件是：

（8）2≤B(P)≤6；（9）A(P)=1；（10）P0× U2×P6=0；（11）P0×P4×P6=0。

其中 A(P)是有序集{P0,…P7}中的 0l模式數，B(P)是{P0,…P7}中的非0像素數，而{PO…P7}是像素P的八鄰域，如圖8所示。

圖8 八鄰域示意圖Fig.8 Schematic diagram of the eight neighborhood

在第二層子循環中，把上述條件中的(10)、(11)改寫成為：

若條件成立，則目標像素P被標記為可刪除像素。最終的細化結果見圖9。

圖9 細化效果圖Fig.9 Thinning effect diagram

2.5 輪廓圖重建

在初始匹配點中搜索和細化后的輪廓圖相吻合的匹配點對，并對其進行三維重建，得到 130-150個鋼軌的真實三維世界坐標點。如表2所示。

表2 鋼軌輪廓三維世界坐標點Table 2 3D coordinate points of rail profile

應用最小二乘法對這些點進行曲線擬合，得到鋼軌的真實輪廓圖，如圖10所示。

圖10 鋼軌真實輪廓圖Fig.10 Real map of rail

3 磨耗計算與誤差分析

將所得鋼軌圖像分割成軌頭，軌腰兩部分。由于軌腰部分幾乎未被磨損，所以很容易與標準鋼軌圖像的軌腰部分匹配成功。根據軌腰匹配結果得到軌頭圖像之間的對應關系，對比可得到磨耗值，實驗測得鋼軌的45度部分磨耗值為0.56 mm，如圖11所示。

圖11 鋼軌頭部真實圖像與標準圖像的重合效果圖Fig.11 The coincidence of the real image of the rail head and the standard image

根據系統的測量方案可知，影響本系統最終的測量結果的精度總體上可分為兩方面因素。其中一是系統的硬件因素，包括硬件的性能參數，還有系統的整體物理結構誤差。另一個是系統軟件部分采用各種算法存在著誤差。其中包括：

（1）相機標定模塊的特征點提取算法和標定算法直接影響系統標定參數的準確性。

（2）圖像匹配算法是立體視覺的關鍵步驟，但是由于拍攝環境復雜多變，匹配的不確定性，現有算法在某些方面都有不盡人意的缺陷，都相應的存在誤差。

（3）在圖像預處理模塊中的細化、去噪和還原等算法更是直接對被測圖像進行一些圖像處理過程。所以也影響著最后系統的測量結果的精度。

對于系統的硬件誤差可以通過提升硬件性能，精密設計系統框架來減小。對于軟件因素的誤差，可以通過優化算法，或者改用更精確標定方案均能對系統的測量精度有一定的提高。

4 結論

采用雙目視覺技術對鋼軌磨耗進行自動檢測對鋼軌的維護具有很重要的意義，相比單目視覺測量方法具有以下優點：一是實際測量時很難保證結構光和鋼軌理想化的垂直，且很難保證攝像機的支架有足夠的剛度和穩定性，雙目視覺測量避免了結構光和鋼軌發生扭曲給計算帶來的誤差；二是單目視覺中環境的振動對測量結果產生很大的影響，實際車載式鋼軌磨耗測量時，鋼軌和攝像機又不可避免的產生抖動。雙目視覺可以有效的緩解了抖動給測量系統帶來的誤差。不過，此系統還需要進行以下的后期研究：結合各種惡劣環境來確定出良好自適應的系統攝像機標定以及圖像的校正方案；使系統具有智能型，能測量多種型號的鋼軌，轉換要方便，利用簡單的鍵盤操作來實現此目的；優化算法，進一步提高測量的速度和精度，有益于系統實際應用。

[1]Wang J.Wang X.Liu F.et al.Modeling of binocular stereo vision for remote coordinate measurement and fast calibration[J].Optics and Lasers in Engineering.2014.54: 269-274.

[2]LIU H.Li Z.Wang B.et al.Table tennis robot with stereo vision and humanoid manipulator II: Visual measurement of motion-blurred ball[C].Robotics and Biomimetics (ROBIO).2013 IEEE International Conference on.IEEE.2013: 2430-2435.

[3]Goulermas J Y, Liatsis P, Fernando T.A constrained nonlinear energy minimization framework for the regularization of the stereo correspondence problem[J].IEEE Trans on Circuits and Systems for Video Technology, 2006, 15(4): 550-565.

[4]吳若鴻.基于特征匹配的雙目立體視覺技術研究[D].武漢: 武漢科技大學.2010.

[5]王曉華.基于雙目視覺的三維重建技術研究[D].濟南: 山東科技大學.2004.

[6]申茂盛.基于雙目視覺的質心定位算法的研究[J].軟件, 2014, 35(12): 69-74.

[7]馬頌德, 張正友.計算機視覺——計算機理論與算法基礎[M].北京科學出版社, 1998.

[8]曹妍, 陳偉, 徐森.圖像去噪方法研究與仿真[J].軟件, 2015, 36(4): 33-36.

[9]白明, 莊嚴, 王偉.雙目立體匹配算法的研究與進展[C].控制與決策, 2008.23-7.

[10]陳志波, 李聲.基于雙目視覺的邊緣檢測算法[C].光學與光電技術, 2008, 6-4.

[11]熊琰.三維數據建模與處理技術研究.[D].南京航空航天大學.2007.3.

[12]趙聰, 元學鵬, 柯晶.基于控制點約束及區域相關的立體匹配算法[J].機器視覺.2008-0090-03.

[13]邱會貴.陳新.雙目立體視覺定位的三維坐標提取與分析[J].閩江學院學報.2013.34(2): 98-101.

[14]張文明.劉彬.李海濱.基于雙目視覺的三維重建中特征點提取及匹配算法的研究[J].光學技術.2008.34(2): 181-185.

[15]劉碧霞.李紹滋.郭鋒.等.一種簡單快速的相機標定新方法[J].計算機工程與科學.2011.33(001): 88-93.

[16]李蘇祺.張廣軍.魏振忠.基于區域鄰接圖的立體視覺邊緣匹配算法[J].光電工程.2008.35(10): 92-97.

[17]邢向華.顧國華.基于模板匹配和特征點匹配相結合的快速車牌識別方法[J].光電子技術.2004.23(4): 268-270.

[18]黃風山.劉恩福.方憶湘.等.基于智能三坐標測量機的零件位姿單目立體視覺識別[J].光學精密工程.2013.21(5): 1326-1332.

Research on Measurement Technology of Steel Rail Abrasion Based on Binocular Vision

WANG Yu-zhu1, Liu Ting-ting2
(1.North China Institute of computing technology, 100083; 2.China Academy of Telecommunication Research of MIIT, 100191)

In recent years, with the rapid development of high-speed railway and the grate increase in the capacity of trains for passengers and goods, the rail abrasion becomes a serious problem.However, the rail wear is currently measured by contact measurement in most cases, it is necessary to develop an automatic system for measuring the rail wear.Now there are some researches on steel rail abrasion measurement based on monocular vision in domestic.The steel rail abrasion measurement based on binocular vision was put forward in this thesis to against the shortcomings of monocular vision.After the deep analysis of the key technology, the measurement of steel rail abrasion was implemented.

Steel rail abrasion measurement; Binocular vision; Camera calibration; Stereo mMatching; 3-D reconstruction

TPl8

A

10.3969/j.issn.1003-6970.2017.03.023

王玉柱，男，1983-，華北計算技術研究所工程師；劉婷婷，女，1986-，工業和信息化部電信研究院工程師。

本文著錄格式：王玉柱，劉婷婷.基于雙目視覺的鋼軌磨耗測量技術研究[J].軟件，2017，38（3）：113-117