基于流行排序的軌道扣件定位方法研究

孫睿，陳興杰，李立明，鄭樹彬

基于流行排序的軌道扣件定位方法研究

孫睿，陳興杰，李立明，鄭樹彬

(上海工程技術大學 城市軌道學院，上海 201620)

針對利用圖像處理技術在進行軌道扣件定位的過程中易受到拍攝條件及復雜背景干擾的難題，提出一種基于流行排序的軌道扣件定位方法。對軌道扣件圖像進行超像素分割和基于圖論的特征圖構建；根據特征圖節點基于背景尺度和前景尺度的相關性進行排序，得到前景突出且背景抑制的軌道扣件顯著圖，完成軌道扣件區域在圖像中的的準確定位。引入準確率?召回率曲線、度量值和平均絕對誤差作為評價扣件定位準確程度的指標。研究結果表明：本文方法對不同類型的軌道扣件圖像均能進行精確的扣件定位，且與其它算法相比具有更好的定位效果、較高的效率和魯棒性。

扣件定位；流行排序；圖論；圖像處理

軌道扣件定位是利用圖像處理和機器視覺技術完成定位并分割出扣件區域子圖像的過程。同時，為后續對扣件圖像進行進一步的扣件特征描述、目標提取及狀態檢測做準備。因此，扣件定位算法的魯棒性和準確性在軌道扣件檢測領域中對扣件識別與定位的效率與精度有直接的影響。扣件定位方法的定位效果與其采用的圖像分割和處理算法密不可分，通過扣件定位方法對相對復雜的軌道扣件圖片進行處理：弱化包括鋼軌、軌枕及地面等在內的“背景區域”，并將鋼軌兩邊的扣件區域作為顯著區域進行定位、突出和分離，最終得到軌道扣件的精確位置。常用的扣件定位方法有：邊緣檢測法[1?3]、十字交叉法[4?5]、像素統計法[6]、模板匹配法[7?8]等。上述的幾種扣件定位方法雖然可以取得不錯的定位效果，但在實際的工程應用中容易受到光照和復雜場景對軌道扣件圖片處理的干擾。為了獲得更好的圖像處理效果和提高扣件定位的精確度，LIU等[9]利用灰度投影與十字交叉法相結合的方法確定扣件的粗略位置，并結合圖像的灰度特征和梯度特征對扣線圖像進行特征提取。代先星等[10]通過利用三維激光檢驗技術抑制了不均勻光照因素對扣件圖像的干擾，同時結合圖像處理技術對三維的扣件區域進行定位。還有學者提出基于圖論的圖像處理算法對扣件區域進行定位；戴鵬等[11]通過將圖論與快速定位技術相結合對軌道扣件區域進行定位。為避免扣件定位對檢測算法的影響，部分學者還選擇了人工提取扣件區域的方法開展研究[12]。除此之外，還有一些算法也在軌道扣件定位領域也取得了不錯的效果，例如：從頻域和信號的角度對圖像進行處理、和基于深度學習的圖像處理算法等。隨著扣件定位問題越來越受到研究人員的廣泛關注，相關定位方法得到不斷的優化和完善的同時，還具有一定的局限性；此外，在實際的軌道扣件定位領域，對于扣件定位效果的精確程度也缺乏統一的定量描述和評價標準。本文針對在實際工程項目中對軌道扣件進行精確定位方法的局限性，提出一種基于將軌道扣件圖像轉換為無向圖結構，并分別從圖結構中的邊界和中心節點的角度對圖像節點進行流行排序，最終得到扣件準確位置的軌道扣件定位方法，使得該算法可以減小光照和復雜場景對待處理圖像的干擾，進一步提升了軌道扣件定位的精度和魯棒性。另外，本文通過引入準確率?召回率曲線、度量值和平均絕對誤差作為評價扣件定位準確程度的指標，對扣件定位的效果進行定性描述和評價。本文提出的基于流行排序的軌道扣件定位方法如圖(1)所示：

圖1 基于流行排序的軌道扣件定位方法流程圖

1 基于圖論的流行排序算法

基于圖論的排序問題的描述如下：首先將圖像中的一個像素點標記為問詢點，其余像素點按照其與問詢點的相關性進行排序[13]。排序算法的目標是為了通過定義一個排序函數，能夠較好的體現已定義問詢點和其他未標記像素點之間的相關關系。

ZHOU等[14]提出一種基于圖像像素點之間的相關性進行流行排序的算法，對圖像的數據結構進行標記排序：

其中參數的作用為控制式(1)中平滑和擬合約束條件的相關關系和平衡，使得排序參數在相鄰像素節點間取值的變化平緩，并與初始問詢節點的參數賦值相近(滿足擬合約束條件)。排序結果函數可寫為：

其中：參數=1/(1+)，經試驗驗證該流行排序算法有較好的試驗效果。

基于圖論的流行排序算法將輸入圖像中的像素點標記為一些特定的問詢節點，并將每個節點的排序參數值經由式(2)計算得出；然后在給定問詢節點的前提下，利用標準化的排序參數值對圖像的前景和背景節點顯著性進行度量和區分，從而可以將目標區域從背景區域中分割、提取出來，最終實現較好的實驗結果。

2 構造軌道扣件無向圖

本文提出的基于流行排序的軌道扣件定位方法：首先通過將采集到的軌道扣件圖片利用SISC(Simple Linear Iterative Clustering)算法進行超像素分割。然后，將超像素節點作為所構建無向圖的節點；將連接相鄰超像素節點的線段作為無向圖的邊。最后，對構建的結構圖節點進行進一步的流行排序，得到最終的軌道扣件顯著圖，從而提取到軌道扣件所在位置的顯著區域，完成軌道扣件的定位。

2.1 超像素分割

其中式(5)中，和分別為像素點在顏色和空間尺度的最大值。

如圖2所示，圖2(a)為待處理的原始軌道扣件圖像；圖2(b)為圖2(a)經超像素聚類后的分類情況；圖2(c)為軌道扣件圖像經超像素分割后的聚類結果。分割結果表明：在本文介紹方法中，SISC算法可以將軌道扣件圖像像素點分類；同時能抑制或忽略一些圖像在拍攝和采集過程中產生的噪聲干擾：如復雜背景，不均勻光照等等。

2.2 構造無向圖結構

本文使用的軌道扣件定位方法是在上述超像素特征圖的基礎上構建一個單層無向圖=(,)，再通過流行排序算法計算得出超像素之間的相關關系并重新排序。其中圖結構中的節點由SISC算法對原圖像進行聚類劃分得到超像素構成；邊為連接相鄰2個超像素節點的無向邊；其權重為：

其中：c和c分別表示超像素節點r和r在CIELAB顏色空間中的平均值；為定值，用于調節無向圖中邊的權重。

(a) 扣件圖像；(b) 分類情況；(c) 聚類結果

圖2 基于SISC算法的軌道扣件超像素特征圖

Fig. 2 Super-pixel characteristic map of track fasteners based on SISC algorithms

圖3 軌道扣件無向圖模型示意圖

如圖3所示，所構建的圖形結構中的中心問詢點不僅和與其相鄰的節點相連，并且還與相鄰節點共用同一邊界的節點相連。此外，對于構建的圖結構中4條邊上的邊界節點均兩兩相連，共同構成一個閉合環形圖。通過這種方式可以對感興趣的前景扣件區域進行更好的突出，并對背景區域進行抑制。通過對構造圖中的節點進行流行排序，可以最終得到前景突出且背景抑制的軌道扣件顯著圖，進而可以對軌道扣件圖片中的扣件區域完成準確 定位。

3 軌道扣件定位算法

本文針對軌道扣件圖像構建的單層無向圖結構，對圖結構的節點進行基于背景尺度和前景尺度的2個階段的重新排序，得到最終的軌道扣件顯著圖，確定扣件區域在圖像中的準確位置，完成扣件定位。

3.1 基于背景尺度的節點排序

本文通過將軌道扣件圖像分割成超像素，構造一個以圖像超像素為節點的單層無向圖，然后分別將圖4條邊上的邊界節點標記為問詢點，并計算其他節點與邊界問詢點的相關系數，根據其之間的相關性進行流行排序，得到4個方向上的背景特征圖，將4個特征圖進行融合得到背景顯著圖。

如圖3所示，基于圖的左邊界進行處理：首先，將圖左邊界上的各邊界節點標記為問詢點，圖中的其他節點為未標記節點，定義一個標記向量。然后，根據式(2)計算得到圖中的所有節點相關排序系數*并進行排序，將計算結果儲存在一個維的向量中(為圖結構中的節點數量)，則基于圖像背景的左邊界的流行排序結果為：

式中：為圖中的超像素節點；*為歸一化后的排序向量。

同樣，分別將圖的右側、上側和下側上的邊界節點標記為問詢點，然后計算其各自基于其圖像背景邊界的流行排序結果：right()，top()和down()。最后，將計算得到的4個方向尺度上的背景特征圖融合，得到可以對感興趣區域進行有效突出的背景顯著圖，特征圖融合的數學表示為：

如圖4所示：圖4(a)為輸入的軌道扣件圖像，將輸入圖像進行超像素分割并構造圖結構后，對構造圖的邊界節點進行基于背景尺度的流行排序，分別得到圖4中所示的左4(b)，右4(c)，上4(d)和下4(e) 4個方向尺度的排序圖。將上述排序圖進行融合，得到扣件背景特征圖，如圖4(f)所示。由圖4所示可以看出：圖結構節點通過基于背景尺度的節點排序后，軌道扣件中的扣件區域得到顯著的突出，雖然有一些背景節點沒能受到較好的抑制，但是已經可以對圖像中的扣件部位進行較為精確的定位，可以得到較為不錯的扣件定位效果。

(a) 扣件圖像；(b) 左排序；(c) 右排序；(d) 上排序；(e) 下排序；(f) 扣件背景特征圖

圖4 基于背景尺度的邊界節點排序特征圖

Fig. 4 Ranking characteristic map of boundary nodes based on background scale

3.2 基于前景尺度的節點排序

為了獲得更好的扣件定位效果，對軌道扣件圖像的背景區域有更好的抑制作用。本文方法進一步對得到的扣件背景顯著圖通過二值化和自適應閾值分割將圖像中的扣件區域與背景分離，得到扣件前景特征圖。

對上述得到的扣件前景顯著圖，進行基于前景尺度的節點排序：將顯著圖的中心圖節點設為問詢點，定義標記向量并根據式(2)計算節點的相關系數*，對其進行歸一化處理后，得到基于圖像前景的流行排序結果為

其中：為圖中的超像素節點；*為歸一化后的排序向量。

如圖5所示：圖5(a)為基于背景尺度的扣件節點排序特征圖；圖5(b)對圖5(a)進行閾值分割后的二值化扣件前景顯著圖；圖5(c)為基于前景尺度的扣件節點排序特征圖，即為最后的軌道扣件定位顯著圖。從圖5(c)中可以看出：最終的定位顯著圖相比于圖5(a)來說，對圖像中的扣件區域有了更加明顯的突出，并對圖像背景有了更加有效的抑制。在實際的軌道扣件定位領域中，本算法除了能對軌道扣件區域進行準確的定位之外，還能對扣件上的六角螺栓和快速彈條的位置進行定位和進一步檢測。

(a) 背景扣件節點排序；(b) 前景顯著圖；(c) 前景扣件節點排序

此外，如圖5(c)所示，本算法還能對所采集圖像中的鋼軌位置進行定位，進一步地，能根據圖像中鋼軌邊界和鋼軌兩側扣件的相對位置，對軌道扣件的狀態進行檢測，判斷扣件是否處于扣緊狀態。綜上，本文在實際工程應用過程中，能對軌道扣件區域進行準確的定位，并能在其他的軌道圖像檢測領域取得很好的效果。

4 實驗結果

本文提出的基于流行排序的軌道扣件定位算法，應用于實際的工程應用領域，對在軌道沿線的實際現場所采集的軌道扣件圖像進行扣件的準確定位。本文算法分別對通過工業線陣相機采集的不同場景下的不同型號的軌道扣件圖像(共500幅)進行處理和軌道扣件定位。

4.1 實驗參數設置

經實驗驗證，為取得最優的實驗結果，本文算法在進行軌道扣件定位的過程中，相關計算公式及算法所設置的參數如下：設置對輸入圖像進行SLIC算法分割得到的超像素的數量為200個；在流行算法排序計算過程中，將式(6)中用來控制節點之間邊的權重的參數的值設為0.15；將式(2)中的參數設為0.99。

4.2 實驗定性評價

圖6示出了在不同場景下不同類型的軌道扣件圖像通過本算法所取得的最終圖像定位結果。其中圖6(a)為輸入的3種類型的軌道扣件原始圖像；圖6(b)為基于背景尺度的扣件節點排序特征圖；圖6(c)為圖6(b)進行歸一化和閾值分割后得到的扣件前景顯著圖；圖6(d)為基于前景尺度節點排序的扣件特征圖，即最后的軌道扣件定位顯著圖。

(a) 原始圖像；(b) 背景扣件排序；(c) 前景顯著圖；(d) 前景扣件特征

如圖6(d)所示，本算法可以對輸入的原始圖像中的軌道扣件區域進行準確的突出和定位，同時可以對圖像中復雜的背景區域進行有效的抑制。此外，本算法在對扣件定位的同時，還可以有效的檢測到扣件所在鋼軌的位置，根據鋼軌邊界和軌道扣件的相對位置，可以進一步判斷軌道扣件是否處于扣緊鋼軌狀態，可以對扣件的狀態進行檢測。綜上，本文方法可以在實際的軌道扣件定位過程中，可以準確的對軌道扣件區域進行標定與提取，完成軌道扣件的精準定位，并且可以進行深入研究和廣泛應用于其他檢測領域。

4.3 實驗定量評價

在實際的軌道扣件定位領域中，對通過各種扣件定位方法所獲得的軌道區域定位結果還沒有一種統一的評價標準，往往很難從定量角度對定位方法進行評價與對比。所以本文通過引入視覺注意機制中的評價參數：準確率(Precision)-召回率(Recall)曲線、度量值(F-measure)、平均絕對誤差(MAE)作為評價扣件定位準確程度的指標，用于定性評價定位結果的精確程度。

本文提出首先對輸入的軌道扣件圖像中的準確扣件區域進行人工標定，從而得到原圖像的真值圖像；然后，將通過軌道定位方法獲得的扣件顯著圖進行閾值選取為0到255的二值化處理，通過計算每一閾值條件下扣件顯著圖與真值圖的樣本數據；最后，計算得出定位結果的準確率?召回率曲線、度量值和平均絕對誤差。其中，準確率(Precision)表示扣件顯著圖中扣件定位正確的區域對顯著圖中全部的扣件區域比值，召回率(Recall)表示扣件顯著圖中扣件定位正確的區域對人工標定的真值圖中正確的軌道扣件區域的比值；度量值(-measure)是對最終得到的定位結果進行評價的綜合指標；平均絕對誤差(MAE)用來度量定位結果相對于真值圖像的定位誤差。

其具體計算式如下：

其中：在式(10)和式(11)中，T表示人工標定真值圖像中的被正確定位到的軌道扣件區域樣本；F表示扣件顯著圖定位到的扣件區域樣本；F表示人工標定真值圖像中未被定位到的軌道扣件區域樣本；式(12)中，2的值為0.3；式(13)中的和用來表示輸入待處理軌道扣件圖像的長度和寬度。

本文將300幅3種不同型號的原始軌道扣件圖像構建為3個軌道扣件數據集，其中每個數據集包含100幅原始軌道扣件圖像；對數據集圖像中的軌道扣件準確位置進行人工標定，得到對應的軌道扣件真值圖。然后，對3個數據集通過本文方法進行扣件定位，其結果與真值圖進行比較計算，對本文方法基于3種不同類型扣件的定位效果進行評價。

圖7示出了3種不同類型的軌道扣件圖像數據集通過本文算法后得到的定位精確度的對比結果。實驗結果表明：本文方法對不同類型的軌道扣件圖像均能進行對扣件區域的準確定位，且定位結果的誤差較小，可以完成對多種類型軌道扣件區域的定位。

(a) Precision recall curves; (b) F-measure; (c) MAE

另外，針對本文構建的軌道扣件數據集，將采用本文方法得到的扣件定位結果與其他幾種經典目標顯著性檢測算法對軌道扣件的定位效果比較。其中包括：CA[16]，COV[17]，SS[18]，GR[19]，SR[20]，SeR[21]和SIM[22]算法；在圖8中的代表序號依次記為2-8。如圖8所示，通過本文方法得到的軌道扣件定位區域比其他幾種算法的定位效果的更精確，且定位結果的平均絕對誤差均比其他方法小，說明本文方法能對軌道扣件進行更加精確地定定位。

(a) Precision recall curves; (b) F-measure; (c) MAE

5 結論

1) 提出一種基于流行排序的軌道扣件定位方法，通過將采集到的原始圖像構造為無向圖結構，在構造圖基礎上對圖節點進行基于背景和前景尺度流行排序算法，最終得到定位到扣件準確局域的扣件顯著圖，完成扣件的精確定位。

2) 以3種不同型號的軌道扣件圖像建立一個標準的軌道扣件圖像數據集，通過本文所述方法對軌道扣件區域進行定位均可取得較好的定位效果，說明本文所述方法具有較強的適用性。

3) 通過引入視覺注意機制中的評價參數：準確率?召回率曲線、度量值等作為軌道扣件領域中對扣件區域定位效果統一的定量評價標準；同時將本文方法的定位效果與其他方法進行比較，證明了本文方法能夠獲得準確的定位效果的同時、還具有較高的效率和魯棒性。

[1] WANG Mingyu, ZHANG Xinfeng. A detection algorithm of ballast track fastener loss based on shooting direction[C]// 2016 9th International Congress on Image and Signal Processing, BioMedical Engineering and Informatics (CISP-BMEI), October 15-17, 2016. Datong, China. New York, USA: IEEE, 2016.

[2] FENG Hao, JIANG Zhiguo, XIE Fengying, et al. Automatic fastener classification and defect detection in vision-based railway inspection systems[J]. IEEE Transactions on Instrumentation and Measurement, 2014, 63(4): 877?888.

[3] XIA Y, XIE F, JIANG Z. Broken railway fastener detection based on adaboost algorithm[C]// International Conference on Optoelectronics & Image Processing. IEEE, 2010: 313?316.

[4] 吳祿慎, 萬超, 陳華偉, 等. 一種改進的十字交叉軌道扣件定位方法[J]. 鐵道標準設計, 2016(12): 49?53. WU Lushen, WAN Chao, CHEN Huawei, et al. An improved cross rail fastener positioning method[J]. Railway Standard Design, 2016(12): 49?53.

[5] 楊樊, 陳建政, 吳夢. 一種基于計算機視覺的鐵軌扣件缺失檢測方法[J]. 電腦知識與技術, 2014, 10(10): 2367?2370. YANG Fan, CHEN Jianzheng, WU Meng. A fastening missing detecting technique based on computer vision[J]. Computer Knowledge and Technology, 2014, 10(10): 2367?2370.

[6] Aytekin C, Rezaeitabar Y, Dogru S, et al. Railway fastener inspection by real-time machine vision[J]. IEEE Transactions on Systems Man & Cybernetics Systems, 2015, 45(7): 1101?1107.

[7] Mo Y H, Lim J W, Park J M, et al. Robust detection system of a bolt hole using template matching and feature based matching[C]// 2011 11th International Conference on Control, Automation and Systems. IEEE, 2011: 1718?1719.

[8] YUAN Xiaocui, LIU Baolin, CHEN Huawei. Algorithm and program design for fastener locating and detection using wavelet transformation and template matching[C]// 2017 IEEE 17th International Conference on Communication Technology (ICCT), October 27?30, 2017. Chengdu. New York, USA: IEEE, 2017.

[9] LIU X, WANG H, ZHOU B. Research on detection algorithm for rail fastener based on computer vision[C]// 2018 International Conference on Mechanical, Electronic, Control and Automation Engineering (MECAE 2018). Atlantis Press, 2018: 647?652.

[10] 代先星, 陽恩慧, 丁世海, 等. 基于三維圖像的鐵路扣件缺陷自動識別算法[J]. 鐵道學報, 2017, 39(10): 89? 96. DAI Xianxing, YANG Enhui, DING Shihai, et al. Automatic defect inspection algorithm of railway fasteners based on 3D images[J]. Journal of the China Railway Society, 2017, 39(10): 89?96.

[11] 戴鵬, 王勝春, 杜馨瑜, 等. 基于半監督深度學習的無砟軌道扣件缺陷圖像識別方法[J]. 中國鐵道科學, 2018, 39(4): 43?49. DAI Peng, WANG Shengchun, DU Xinyu, et al. Image recognition method for the fastener defect of ballastless track based on semi-supervised deep learning[J]. China Railway Science, 2018, 39(4): 43?49.

[12] Malar R, Jayalakshmy S. Detection of cracks and missing fasteners in railway lines using structure topic model[J]. International Journal of Innovative Science, Engineering & Technology, 2015, 2(10): 369?375.

[13] YANG C, ZHANG L, LU H, et al. Saliency detection via graph-based manifold ranking[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2013: 3166?3173.

[14] ZHOU D, Weston J, Gretton A, et al. Learning to traverse image manifolds[C]// Advances in Neural Information Processing Systems 19. Massachusetts, USA: The MIT Press, 2007.

[15] Achanta R, Shaji A, Smith K, et al. SLIC superpixels compared to state-of-the-art superpixel methods[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(11): 2274?2282.

[16] Goferman S, Zelnik-Manor L, Tal A. Context-aware saliency detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(10): 1915? 1926.

[17] Erdem E, Erdem A. Visual saliency estimation by nonlinearly integrating features using region covariances[J]. Journal of Vision, 2013, 13(4): 11.

[18] HOU Xiaodi, Jonathan Harel, Christof Koch. Image signature: Highlighting sparse salient regions[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(1): 194?201.DOI:10.1109/TPAMI. 2011.146.

[19] YANG C, ZHANG L, LU H. Graph-regularized saliency detection with convex-hull-based center prior[J]. IEEE Signal Processing Letters, 2013, 20(7): 637?640.

[20] HOU Xiaodi, ZHANG Liqing. Saliency detection: A spectral residual approach[C]// 2007 IEEE Conference on Computer Vision and Pattern Recognition, June 17?22, 2007. Minneapolis, MN, USA. New York, USA: IEEE, 2007.

[21] Seo H J, Milanfar P. Nonparametric bottom-up saliency detection by self-resemblance[C]// 2009 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops, June 20?25, 2009. Miami, FL. New York, USA: IEEE, 2009.

[22] Saliency estimation using a non-parametric low-level vision model[C]// CVPR 2011, IEEE, 2011: 433?440.

Research on location method of track fasteners based on manifold sorting

SUN Rui, CHEN Xingjie, LI Liming, ZHENG Shubin

(Shanghai University of Engineering Science College of Urban Rail Transit, Shanghai 201620, China)

The problem was studied that image processing technology is easy to be disturbed by photographic conditions and complex background conditions in the process of track fastener positioning. In this paper, a method of track fastener location based on popular sorting was proposed. First, the image of track fastener was segmented by super-pixels and the feature map based on graph theory was constructed. Then, according to the correlation between background scale and foreground scale, the feature map nodes were sorted. Finally, the salient map of track fastener with prominent foreground and restrained background was obtained, and the accurate location of track fastener area in the image was completed; In addition, the Precision-Recall curve,-measure and Mean Absolute Error (MAE) were introduced as indices to evaluate the accuracy of fastener positioning. The experimental results show that the proposed method can accurately locate the track fastener images collected in different scenarios, resulting in better positioning effect, higher efficiency and robustness than other algorithms.

fastener positioning; manifold ranking; graph theory; image processing

TP391

A

1672 ? 7029(2020)02 ? 0288 ? 09

10.19713/j.cnki.43?1423/u.T20190429

2019?05?17

國家自然科學基金資助項目(51975347)；上海市地方院校能力建設資助項目(18030501300)

陳興杰(1975?)，男，江蘇南通人，副教授，從事信號檢測與圖像處理方向的研究；E?mail：zcycchen@sina.cn

(編輯 蔣學東)