基于背景建模的鋼軌表面缺陷像素級檢測方法

陶丹丹

基于背景建模的鋼軌表面缺陷像素級檢測方法

陶丹丹

(遼寧鐵道職業技術學院 鐵道車輛學院，遼寧 錦州 121000)

鋼軌表面缺陷具有獨特性和稀疏性，利用機器視覺技術自動地檢測鋼軌表面缺陷仍存在很大挑戰。提出一種基于背景建模的鋼軌表面缺陷像素級檢測方法，利用鋼軌圖像固有特性構建圖像背景分布模型，找到背景分布簇中心，以定位到可疑像素點；提出一種鋼軌表面缺陷像素級識別方法，根據可疑像素點的上下文特征和空間位置先驗概率識別該像素點是否屬于真實缺陷，并在鋼軌缺陷數據集和實際線路上進行試驗驗證。研究結果表明：該方法在重載鐵路和客運鐵路2種鋼軌缺陷數據集上均取得良好的識別性能，并在實際線路上達到100%的檢測率。

鋼軌表面缺陷；像素級檢測；背景模型；機器視覺

鐵路運輸是支撐我國經濟社會發展的中堅力量，鋼軌病害嚴重影響列車運行安全，容易導致重大鐵路事故[1]。隨著列車運行頻次和重載化程度的提升，大量鐵路線路中鋼軌病害問題頻繁出現，其中，鋼軌表面缺陷最為常見，例如，鋼軌波紋磨損、軌頭剝落、軌頭塌陷和鋼軌表面裂紋。因此，必須定期地檢測線路中的鋼軌狀態。近年來，許多國內外學者提出了各種基于傳感器的無損檢測方法，例如，超聲波[2]，渦流[3]，陀螺儀[4]，布拉格光纖光 柵[5]和視覺相機[6]。在鐵路基礎設施病害檢測領域，基于視覺相機的機器視覺技術憑借其成本低、速度快、客觀性強等優點，已成功應用于軌道輪廓測 量[7]、軌距測量[8]、鋼軌扣件檢測[9?10]、鋼軌塞釘檢測[11]、接觸網組件及異物檢測[12]和鋼軌表面缺陷檢測[13]等任務。現有的基于機器視覺的鋼軌表面缺陷檢測方法可分為區域級方法和像素級方法。基于有監督學習的區域級檢測方法先利用最大穩定極值區域(Maximally Stable Extremal Regions, MSER)[14]或光譜特征(Spectral Features)[15]來表示鋼軌圖像，然后訓練K近鄰(K-Nearest Neighbor)或支撐向量機(Support Vector Machine, SVM)等分類器來識別鋼軌表面缺陷。基于無監督學習的區域級檢測方法先利用局部歸一化(Local Normalization, LN)[16]或逆Perona-Malik擴散模型[17]對圖像進行去噪，然后利用輪廓投影(Projection Profile, PP)或自適應閾值二值化(Adaptive Threshold Binarization)來定位缺陷區域的像素。然而，上述方法依賴全局或局部的圖像紋理特征，容易受到光照條件、圖像背景、圖像噪聲等外界因素的干擾，并且檢測結果只能表示存在缺陷，無法準確地識別缺陷嚴重程度。像素級檢測方法先利用邁克爾遜對比度(Michelson-like Contrast, MLC)[6]調整鋼軌圖像的對比度，然后利用受限最大熵(Proportion Emphasized Maximum Entropy, PEME)方法來定位缺陷區域的像素。然而，此類方法的檢測性能高度依賴圖像增強方法的性能，在實際檢測時會受到圖像噪聲的影響，產生較多的虛警。綜上所述，利用機器視覺技術進行鋼軌表面缺陷檢測任務仍然存在以下3個挑戰：鋼軌表面缺陷具有獨特性。不同的鋼軌表面缺陷，其紋理、形狀、大小均不同，難以利用現有的紋理或形狀特征算子進行統一表示；鋼軌表面缺陷具有稀疏性。首先，缺陷區域的面積占整個鋼軌圖像面積的比例非常小；其次，相對于正常鋼軌區域的數量，缺陷區域的數量也非常少。小目標檢測在計算機視覺領域屬于極具挑戰性的任務，并且缺陷區域數量少的特性也會造成樣本集不平衡問題，難以有效地訓練大型有監督機器學習模型(如，深度卷積神經網絡)；鋼軌表面區域存在動態性。由于鐵路沿線自然環境非常復雜，在不同區段、不同光照條件下采集的鋼軌表面圖像中存在不同程度的噪聲點，鋼軌表面由于銹跡、污漬也會存在不同程度的反射不均現象。為解決以上問題，提出一種基于背景建模的鋼軌表面缺陷像素級檢測方法。首先，提出一種鋼軌圖像背景分布模型構建方法，利用鋼軌圖像特有的視覺特性構建圖像背景分布模型,并使用均值漂移(Mean Shift)算法[18]尋找背景分布簇的中心，以定位到所有的可疑像素點；然后，提出一種鋼軌表面缺陷像素級識別方法，利用可疑像素點與分布簇中心之間的加權馬氏距離作為上下文特征，并結合像素點的空間位置先驗概率來識別該像素點是否屬于真實缺陷；最后，在重載鐵路和客運專線鐵路2種鋼軌缺陷數據集上與現有方法進行對比試驗。結果表明，該方法的檢測性能優于現有方法，能夠滿足檢測任務的需求。此外，該方法在實際線路試驗中取得100%的檢測率，進一步證明了方法的有效性。

(a) 原始圖像；(b) 預處理圖像；(c) 可疑像素點

1 鋼軌圖像背景分布模型構建方法

軌道狀態巡檢系統[1]配備多臺高清線掃描相機，以固定角度拍攝軌道高清圖像，其中包含鋼軌、軌枕、鋼軌扣件等基礎設施。此外，軌道病害檢測任務大多在夜間天窗時間執行，巡檢系統還配備高功率LED燈作為光源，為軌道提供光照均勻的視場。為減少不相關目標對象的干擾，先利用輪廓投影方法從原始軌道圖像中提取鋼軌區域圖像，然后進行預處理操作，降低外界因素的影響，最后，構建鋼軌圖像背景分布模型，定位出可疑像素點，處理流程如圖1所示。

1.1 圖像預處理

鋼軌表面由5個曲面構成，這種特性造成鋼軌表面存在光線反射不均現象，導致圖像背景存在動態性。如圖1(a)所示，鋼軌中間區域與列車車輪接觸最頻繁，表面較為光滑，對光線形成鏡面反射，在圖像中灰度值較高，鋼軌邊緣區域存在銹跡和污物，缺陷區域存在凹陷，表面不平整，對光線形成漫反射，在圖像中灰度值較低。為進一步增加缺陷區域與圖像背景的差異，需要對圖像進行預處理。

首先，將原始圖像中每個像素的灰度值都進行對數變換，計算公式如下：

然后，對圖像執行Z-Score標準化，計算公式如下：

式中：表示整幅圖像的灰度平均值；表示整幅圖像的灰度標準差。通過Z-Score標準化，像素灰度值高于平均值時為正數，低于平均值時為負數，從而進一步加大缺陷區域與圖像背景的差異。最后，將每個像素的值歸一化到[0,255]。鋼軌圖像預處理結果如圖1(b)所示。

1.2 鋼軌圖像背景分布模型

鋼軌圖像經過預處理后，正常區域與缺陷區域的對比度更強，可以將正常區域視為圖像背景，缺陷區域視為圖像前景。像素點在特征空間中分布為多個簇，每個簇的中心可以表示與其相關的局部區域模式。因此，只要找到這些簇的中心，再設置條件約束，即可得到鋼軌圖像背景分布模型，屬于背景分布簇的像素點為正常區域，反之，則為可疑像素點(包括缺陷區域和噪聲)。均值漂移算法能夠迭代地尋找特征空間中零梯度局部密度最大處，可用來尋找分布簇中心。

通過統計分析鋼軌缺陷數據集中的鋼軌圖像，屬于真實缺陷區域的像素點數量占該列像素點總數的比例最多為8%。因此，可以設置約束條件=0.1對分布簇中心進行篩選，得到背景分布簇中心：

最后，鋼軌圖像中不屬于背景分布簇的像素點即為可疑像素點，如圖1(c)所示。可以看出，結果圖中既包含缺陷區域像素點，也包含圖像噪聲點，因此，需要進一步識別可疑像素點是否屬于真實缺陷區域。

2 鋼軌表面缺陷像素級識別方法

通過鋼軌圖像背景分布模型定位出的可疑像素點中既包含真實缺陷區域像素點，也包含圖像噪聲點。因此，進一步提出鋼軌表面缺陷像素級識別方法，以提升檢測結果的準確性。為實現這一目標，本節基于背景分布模型計算可疑像素點的上下文特征，并結合像素點的空間位置先驗概率，計算可疑像素點的顯著性得分，最后，設置閾值，以識別可疑像素點是否屬于真實缺陷區域。

2.1 基于背景模型的像素點上下文特征

通過上下文特征，一方面可以提升屬于真實缺陷區域的像素點的顯著程度，另一方面也可以抑制圖像噪聲對檢測結果的干擾，增強魯棒性，從而得到穩健的檢測結果。

2.2 空間位置先驗概率

如圖2所示，鋼軌表面是由多個曲面組成，車輪踏面與鋼軌中間部位頻繁接觸，產生摩擦力推動列車行駛。車輪輪緣用于保持車輪運動方向，較少與鋼軌接觸。因此，如果可疑像素點位于鋼軌表面中間部位，則其屬于真實缺陷區域的概率較高，反之，其屬于真實缺陷區域的概率較低。基于此種特性，可以使用拋物線模型描述鋼軌表面像素的空間位置先驗概率，如圖3所示，兩側位置概率低，中間位置概率高。

圖2 60 kg/m鋼軌截面圖

式中：表示該像素的列編號，需要歸一化到[0,1]區間，，，分別為拋物線的系數，選擇圖3中拋物線上任意3個點代入式(8)，即可解得=?2，=2，=0。

圖3 拋物線模型示例圖

2.3 真實缺陷像素點識別

得到可疑像素點的上下文特征和空間位置先驗概率后，即可計算該像素點的顯著性得分，計算公式定義如下：

閾值會對檢測結果造成一定的影響，閾值設置較小時，檢測結果的召回率會上升，精確率會下降，閾值設置較大時，檢測結果的精確率會提升，但召回率會下降。因此，實際應用時，需要根據具體應用情況來選取閾值，選取方式既可以設置固定閾值，也可以通過自適應閾值策略來計算。

3 試驗驗證

本節首先介紹試驗數據集的構成，然后介紹試驗結果評價指標，接著，匯報本文方法在鋼軌缺陷數據集上的檢測結果，并與現有方法進行對比分析，最后，匯報本文方法在實際鐵路線路上的檢測結果。

3.1 試驗數據集

為了評估本文方法在不同鋼軌上的檢測性能，本文試驗數據集分為2個部分：重載鐵路鋼軌缺陷數據集和客運專線鋼軌缺陷數據集，其中重載鐵路鋼軌缺陷數據集包含80張鋼軌表面圖像，客運專線鋼軌缺陷數據集包含140張鋼軌表面圖像，每張圖像至少包含1處缺陷區域，并人工進行像素級和區域級的標注。鋼軌表面圖像如圖4所示。

3.2 試驗結果評價指標

試驗結果采用像素級和區域級2種評價標準。像素級采用精確率(Precision)、召回率(Recall)和F1- Score 3種評價指標，其計算公式如下：

式中：表示檢測正確的缺陷像素點數量；表示檢測錯誤的像素點數量；表示未檢測到的缺陷像素點數量。

(a) 重載鐵路鋼軌表面圖像；(b) 客運專線鋼軌表面圖像

區域級同樣采用精確率、召回率和F1-Score 3種評價指標，表示檢測正確的缺陷區域數量，表示檢測錯誤的缺陷區域數量，表示未檢測到的缺陷區域數量。對任意缺陷區域，像素級檢測方法如果檢測的缺陷像素點數量占該缺陷區域像素點總數的80%以上，則認為正確檢測到該缺陷區域，反之，則視為未檢測到該缺陷區域。

3.3 鋼軌缺陷數據集檢測結果

本節試驗使用鋼軌缺陷數據集評估本文方法的檢測性能，并與2種區域級和一種像素級的鋼軌表面缺陷檢測方法進行對比分析。對比方法中，MSER+SVM[14]是一種基于有監督學習的區域級檢測方法，LN+PP[16]是一種基于無監督學習的區域級檢測方法，MLC+PEME[6]是一種像素級檢測方法。本節試驗使用交叉驗證策略來固定閾值，即，先分別從2種鋼軌缺陷數據集中抽取10%的鋼軌表面圖像作為驗證集，然后在一定范圍內變動的值，并觀察驗證集上的性能趨勢，重復以上步驟5次，選擇取得最高性能的值。本節試驗中，重載鐵路鋼軌缺陷數據集選擇=57，客運專線鋼軌缺陷數據集選擇=69。2種數據集的對比試驗結果如表1和表2所示，可視化檢測結果如圖5所示。

表1 區域級檢測方法對比試驗結果

表2 像素級檢測方法對比試驗結果

(a) 原始圖像；(b) Ground truth；(c) MESR +SVM；(d) LN+PP；(e) MLC+PEME；(f) 本文方法

通過檢測結果可以看出，本文方法在2種鋼軌數據集上取得了最優的檢測性能，并顯著地優于現有方法。對比方法中，MSER+SVM[14]是基于有監督學習訓練的模型，其檢測性能相較于LN+PP[16]方法更高，但是，該方法需要人工標注缺陷樣本，在實際工程中，需要耗費一定的人力進行樣本標注。LN+PP[16]方法容易受到圖像光照條件和噪聲點的影響，因此，檢測性能也較低。MLC+PEME[6]方法針在缺陷區域與圖像背景的對比度較強的鋼軌圖像上檢測性能較好，但是，鋼軌邊緣部位的低灰度特性會影響檢測結果。本文方法得益于利用基于背景模型的上下文特征和像素點空間位置先驗概率，特征的魯棒性更強，能夠降低光照條件和圖像噪聲的影響。

表3 實際客運專線上各方法對比試驗結果

3.4 實際線路檢測結果

為了進一步驗證本文方法的有效性，本節試驗從實際客運專線采集50 km連續的鋼軌表面圖像共計51 465張，并使用本文方法與現有方法進行對比試驗。由于鋼軌表面圖像采集自客運專線，試驗中，本文方法的閾值仍然設置為69。檢測結果的正確性使用人工復核的方式，實際客運專線對比試驗結果如表3所示。

通過試驗結果可以看出，本文方法能夠檢測出所有鋼軌表面缺陷區域，檢測率達到100%，充分地證明了本文方法的有效性。LN+PP[16]方法的錯誤檢測數量最低，但該方法漏檢了11處缺陷區域，影響鐵路運輸的安全性。MSER+SVM[14]和MLC+ PEME[6]方法的檢測率雖然也能達到了90%以上，但是，這2種方法會產生大量的錯誤檢測，導致人工復核的工作量大幅度增加，影響檢測效率。本文方法不僅能夠檢測到所有的缺陷區域，而且產生的錯誤檢測數量不多，更能滿足鐵路鋼軌表面缺陷檢測任務的需求。

4 結論

1) 提出一種基于背景建模的鋼軌表面缺陷像素級檢測方法，通過構建鋼軌圖像背景分布模型，得到初步的檢測結果，利用背景模型計算可疑像素點的上下文特征，并結合像素點空間位置先驗概率得到顯著性得分，以提升圖像噪聲對檢測結果的影響。該方法有效地解決了鋼軌表面缺陷的獨特性、稀疏性和圖像背景的動態性問題，可以無監督的執行鋼軌表面缺陷像素級檢測任務，并為類似的檢測問題提供了新思路。

2) 構建了2種類型的鋼軌表面缺陷數據集，通過對比試驗的方式，與現有方法進行比較，本文所述方法在2種數據集上均取得了最優性能，證明了本文所述方法具有較強的準確性和適用性。

3) 在實際客運專線上進行對比試驗，證明了本文所述方法能夠有效地檢測實際鐵路線路中的鋼軌表面缺陷區域，檢測性能優于現有方法，對鐵路鋼軌表面缺陷檢測任務具有較強的理論意義和實用價值。

[1] 許貴陽, 史天運, 任盛偉, 等. 基于計算機視覺的車載軌道巡檢系統研制[J]. 中國鐵道科學, 2013, 34(1): 139?144. XU Guiyang, SHI Tianyun, REN Shengwei, et al. Development of the on-board track inspection system based on computer vision[J]. China Railway Science, 2013, 34(1): 139?144.

[2] LI Ying, Trinh H, Haas N, et al. Rail component detection, optimization, and assessment for automatic rail track inspection[J]. IEEE Transactions on Intelligent Transportation Systems, 2014, 15(2): 760?770.

[3] LI Xiaoqing, GAO Bin, Woo W L, et al. Quantitative surface crack evaluation based on eddy current pulsed thermography[J]. IEEE Sensors Journal, 2017, 17(2): 412?421.

[4] Broquetas A, Comerón A, Gelonch A, et al. Track detection in railway sidings based on MEMS gyroscope sensors[J]. Sensors (Basel, Switzerland), 2012, 12(12): 16228?16249.

[5] Filograno M L, Rodriguez-Barrios A, Corredera P, et al. Real-time monitoring of railway traffic using fiber Bragg gratings[C]// Proc SPIE 7653, Fourth European Workshop on Optical Fibre Sensors, 2010, 7653: 76533M.

[6] LI Qingyong, REN Shengwei. A visual detection system for rail surface defects[J]. IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews), 2012, 42(6): 1531?1542.

[7] Alippi C, Casagrande E, Scotti F, et al. Composite real-time image processing for railways track profile measurement[J]. IEEE Transactions on Instrumentation and Measurement, 2000, 49(3): 559?564.

[8] ZHANG Zhifeng, FENG Qibo, GAO Zhan, et al. A new laser displacement sensor based on triangulation for gauge real-time measurement[J]. Optics & Laser Technology, 2008, 40(2): 252?255.

[9] 劉俊博, 黃雅平, 王勝春, 等. 基于機器視覺的多線路鋼軌扣件缺損檢測方法[J]. 中國鐵道科學, 2019, 40(4): 27?35. LIU Junbo, HUANG Yaping, WANG Shengchun, et al. Rail fastener defect detection method for multi railways based on machine vision[J]. China Railway Science, 2019, 40(4): 27?35.

[10] LIU Junbo, HUANG Yaping, ZOU Qi, et al. Learning visual similarity for inspecting defective railway fasteners[J]. IEEE Sensors Journal, 2019, 19(16): 6844? 6857.

[11] 杜馨瑜, 戴鵬, 李穎, 等. 基于深度學習的鐵道塞釘自動檢測算法[J]. 中國鐵道科學, 2017, 38(3): 89?96. DU Xinyu, DAI Peng, LI Ying, et al. Automatic detection algorithm for rail plug based on deep learning[J]. China Railway Science, 2017, 38(3): 89?96.

[12] 周威, 孫忠國, 任盛偉, 等. 基于多目立體視覺的接觸網幾何參數測量方法[J]. 中國鐵道科學, 2015, 36(5): 104?109. ZHOU Wei, SUN Zhongguo, REN Shengwei, et al. Measurement method for geometric parameters of overhead contact line based on multi-view stereovision[J]. China Railway Science, 2015, 36(5): 104?109.

[13] 李清勇, 章華燕, 任盛偉, 等. 基于鋼軌圖像頻域特征的鋼軌波磨檢測方法[J]. 中國鐵道科學, 2016, 37(1): 24?30. LI Qingyong, ZHANG Huayan, REN Shengwei, et al. Detection method for rail corrugation based on rail image feature in frequency domain[J]. China Railway Science, 2016, 37(1): 24?30.

[14] Dubey A K, Jaffery Z A. Maximally stable extremal region marking-based railway track surface defect sensing[J]. IEEE Sensors Journal, 2016, 16(24): 9047? 9052.

[15] Molodova M, LI Zili, Nú?ez A, et al. Monitoring the railway infrastructure: Detection of surface defects using wavelets[C]// 16th International IEEE Conference on Intelligent Transportation Systems (ITSC 2013). October 6-9, 2013, The Hague, Netherlands. IEEE, 2013: 1316? 1321.

[16] LI Qingyong, REN Shengwei. A real-time visual inspection system for discrete surface defects of rail heads[J]. IEEE Transactions on Instrumentation and Measurement, 2012, 61(8): 2189?2199.

[17] HE Zhendong, WANG Yaonan, YIN Feng, et al. Surface defect detection for high-speed rails using an inverse P-M diffusion model[J]. Sensor Review, 2016, 36(1): 86?97.

[18] Comaniciu D, Meer P. Mean shift: A robust approach toward feature space analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(5): 603?619.

Pixel-level detection method of rail surface defects based on background modeling

TAO Dandan

(Railway Vehicles College, Liaoning Railway Vocational and Technical College, Jinzhou 121000, China)

Rail surface defects are unique and sparse. It is still a great challenge to detect rail surface defects automatically by machine vision technology. A pixel-level detection method of rail surface defects based on background modeling was proposed, which uses the inherent characteristics of rail surface image to construct the image background distribution model, and finds the center points of background distribution cluster to locate abnormal pixel points. A pixel level recognition method of rail surface defects was proposed, which can identify whether the abnormal pixel point is a real defect region according to its context feature and spatial position prior probability. The rail defect datasets and the actual railway line are used to test the detection performance of the proposed method. The experimental results show that the proposed method has achieved good detection performance on two kinds of rail defect datasets and 100% detection rate on the actual railway line.

rail surface defects; pixel-level detection; background model;machine vision

U213.53

A

1672 ? 7029(2021)02 ? 0343 ? 08

10.19713/j.cnki.43?1423/u.T 20200339

2020?04?21

遼寧省教育廳科學研究經費項目(LJKY2020113)

陶丹丹(1987?)，女，遼寧錦州人，講師，從事鐵道機車車輛、鐵道設施檢測研究；E?mail：dandantao2020@163.com

(編輯 涂鵬)