基于機器視覺的多線路鋼軌扣件缺損檢測方法

劉俊博，黃雅平，王勝春，趙鑫欣，鄒 琪，張興園

(1.北京交通大學 交通數據分析與挖掘北京市重點實驗室，北京 100044；2.中國鐵道科學研究院集團有限公司 基礎設施檢測研究所，北京 100081)

通訊作者：黃雅平(1974—)，女，內蒙古赤峰人，教授，博士研究生導師。E-mail: yphuang@bjtu.edu.cn

隨著我國鐵路運營里程的飛速增長，如何有效地保障鐵路運營安全已成為鐵路養護工作中的關鍵問題?？奂沁B接鋼軌和道床的重要軌道組件，鋼軌的振動和環境溫差等因素會使扣件損壞，導致鋼軌移位，甚至造成列車脫軌等嚴重安全事故。近年來，基于機器視覺技術的檢測方法憑借其高效、可靠、成本低等特點，受到學術界和工業界的廣泛關注。國內外學者提出了許多基于機器視覺的檢測方法，用于鋼軌磨損狀態檢測[1-4]、接觸網缺陷狀態檢測[5]、鋼軌塞釘狀態檢測[6]和鋼軌扣件缺損檢測[7]等任務。

基于機器視覺的鋼軌扣件缺損檢測系統是通過安裝在檢測列車底部的高速線陣相機獲取軌道圖像；然后，利用扣件區域定位模塊精確地定位扣件區域；最后，通過扣件缺損識別模塊來識別扣件缺損狀態。對于扣件區域定位，現有的方法是先檢測鋼軌、枕木和扣件的邊緣、角點等幾何特征[8]，再利用軌道組件的位置分布定位扣件區域。然而，這些初級圖像特征的抗干擾性較差，而且此類方法大多是針對特定的道床類型設計，無法應用到多線路鋼軌扣件檢測任務中，存在推廣性較差的問題。

對于扣件的缺損識別，現有方法可分為有監督和無監督2類。有監督的扣件識別方法采用小波變換(Wavelet Transform，WT)[9]、獨立成分分析(Independent Component Analysis，ICA)[10]等手工設計的特征表示扣件區域，再利用多層感知機(Multi-Layer Perceptron，MLP)[11]、隱含狄利克雷分布(Latent Dirichlet Allocation，LDA)[12]、AdaBoosting[13]、Viola-Jones[14]、貝葉斯壓縮感知(Bayesian Compression Sensing，BCS)[15]等分類方法識別扣件缺損。無監督的扣件識別方法使用梯度方向直方圖(Histogram of Oriented Gradient，HOG)[16]或局部二值模式(Local Binary Pattern，LBP)[17]特征表示扣件區域，再利用模板匹配的方法識別扣件缺損。然而，在進行多線路檢測時，有監督的扣件識別方法需要在每條鐵路線路上重新采集和標注大量的扣件樣本用于訓練，訓練過程非常耗時、費力；無監督的扣件識別方法雖然不需要訓練，但性能略低。

本文首先提出了一種基于在線學習策略的扣件區域定位算法，用于定位扣件區域，并自動地采集和標注大量扣件樣本，然后利用自動標注的扣件樣本預訓練扣件缺損識別算法學習扣件圖像的深度特征，最后利用遷移學習的思想將預訓練模型遷移到多條線路中使用。試驗表明，該方法可以滿足多線路鋼軌扣件的檢測需求，具有較大的理論意義和實用價值。

1 基于在線學習策略的扣件區域定位算法

扣件區域定位是指從原始的軌道圖像中精確地定位并提取扣件區域。現有的扣件區域定位方法多基于邊緣特征和互信息相關性，即先檢測鋼軌和枕木的邊緣特征，再利用它們的位置關系確定扣件區域。然而，進行多線路檢測時，道床類型和扣件類型不是固定的1種類型，這將導致定位性能下降。圖1展示了不同線路的道床類型和扣件類型。

圖1 不同線路的道床類型和扣件類型

針對當前的扣件定位方法無法進行多線路檢測的問題，提出了一種基于在線學習策略的扣件區域定位算法。

1)扣件區域定位

原始的軌道圖像中包含5條先驗信息：①每幀軌道圖像只包含1條鋼軌；②鋼軌垂直于圖像的x軸；③鋼軌寬度是固定的像素值；④扣件區域在鋼軌兩側固定寬度的范圍內；⑤每幀軌道圖像至少包含6個扣件區域。

基于以上信息，首先利用基于直線線段檢測器(Line Segment Detector，LSD)的鋼軌邊界定位方法[18]，快速地定位鋼軌位置，減少扣件候選區域的范圍；然后，采用滑動窗口法在扣件候選區域內提取子窗口，并計算子窗口HOG特征與扣件模板HOG特征的相似度；最后，選擇相似度最高的子窗口作為最優扣件區域，根據軌道組件的位置分布和扣件區域的對稱性推斷其他扣件區域。

采用軌道狀態巡檢系統[19]獲取軌道圖像，每幀軌道圖像的尺寸為(800×1 230)像素，每個扣件區域的尺寸為(90×100)像素，鋼軌寬度為60像素，扣件區域的橫向間隔為55～65像素，縱向間隔為275～315像素?？奂^域定位算法的示意圖如圖2所示。圖中：紅色虛線表示檢測到的鋼軌邊界，綠色虛線的區域為扣件候選區域，綠色矩形框為選擇的最優扣件區域，藍色虛線框包圍的黃色矩形框為推斷出的扣件區域。

圖2 扣件區域定位算法示意圖

2)在線學習策略

在線學習策略用于動態地更新扣件模板庫。具體而言，扣件模板庫被分為在線庫和離線庫，離線庫包含人工復檢的扣件模板，該庫不會在檢測過程中更新，而在線庫在檢測過程中將先利用K近鄰(K-Nearest Neighbor，K-NN)算法對檢測到的扣件區域進行相似度計算，再根據更新規則進行動態更新。

由于在線學習策略基于1個先驗知識，即相鄰幀的軌道圖像，其光照條件、軌旁環境和扣件類型不會發生太劇烈的變化。所以，規定在線模板庫的更新規則如下：① 將鋼軌兩側相似度最高的扣件區域添加到在線模板庫中的正?？奂^域隊列的尾部；②在鋼軌兩側的非扣件區域隨機抓取2個背景區域，添加到在線模板庫中的背景區域隊列尾部；③如果在線模板庫中某一隊列的長度大于預設閾值N，則刪除該隊列頭部的模板。

根據更新規則，隊列頭部的模板來源于間隔較遠的軌道圖像，隊列尾部新插入的模板則來源于較近時間段獲取的軌道圖像。因此，隊列頭部模板的光照條件、軌旁環境和扣件類型可能與當前幀軌道圖像相差較大。當模板隊列的長度超過預設閾值N時，優先刪除隊列頭部的模板。該策略可保證在線模板庫自適應當前幀軌道圖像的光照條件、軌旁環境和扣件類型，提升扣件區域定位算法的精確性。

3)自動樣本標注

當前有監督扣件缺損識別方法在訓練過程中需要大量的訓練樣本，然而在實際應用中手動地收集和標注扣件訓練樣本非常的耗時和費力。因此，提出自動樣本標注方法，利用在線模板庫對定位得到的扣件區域進行預分類，構建大型扣件訓練數據集，用于預訓練扣件缺損識別算法。

自動樣本標注的詳細流程如圖3所示。在扣件區域定位階段，為了提高定位效率，只使用模板庫中的正常模板和背景模板，但在自動樣本標注階段，需要使用正常、損壞和丟失3種扣件模板計算扣件區域的分類得分，最后將分類得分高于閾值λ的扣件區域作為訓練樣本。

圖3 自動樣本標注流程

K-NN算法常用的分類依據是投票法。然而在鋼軌扣件缺損檢測任務中，有缺損的扣件數量很少，導致正常的扣件模板數量與有缺損的扣件模板數量是不平衡的，并且還會有錯誤標記的噪聲模板，影響了K-NN算法的分類性能。因此，設計了1個權重函數，為

(1)

其中,

此權重函數計算輸入扣件區域圖像x與每個類別扣件模板的平均巴氏系數來度量相似性，既可以處理不同類別的扣件模板數量的不平衡問題，也降低了K-NN算法對噪聲扣件模板的敏感性，可在一定程度上提升分類精度。

與以往的有監督扣件缺損識別方法相比，自動樣本標注方法避免了人工操作，提升了扣件缺損檢測系統的自動化程度，更具有實用性。需要注意的是，使用此方法自動標注的扣件樣本可能會出現少量錯誤標注。

2 基于深度卷積神經網絡的扣件缺損識別算法

深度卷積神經網絡已經廣泛應用于圖像識別、目標跟蹤等任務，并取得了巨大的突破。相較于傳統的圖像分類方法，深度卷積神經網絡從仿生學的角度出發，使用多個層次的卷積層模擬人腦神經系統中的層次結構，經過多次迭代學習后，能夠學習提取到更有判別力的特征，有效地提升圖像識別的性能。

使用深度卷積神經網絡進行圖像分類任務時，需要輸入大量的訓練樣本。然而，在多線路扣件檢測任務中，手動地為每條線路標注大量的扣件樣本非常耗費人力和物力，不具有可實踐性。本文方法可自動地標注大量扣件樣本，用于預訓練深度卷積神經網絡。然后，針對每條待檢測線路，只需用少量的待檢測線路的扣件樣本對預訓練模型進行微調，即可達到較好的分類性能。在實際的檢測任務中，也可自動地收集線路中的扣件樣本對扣件缺損識別模型定期地進行微調，以抵御由于天氣、季節的變化造成的環境差異(例如，雨、雪天氣)導致的模型分類性能退化，使得扣件缺損識別模型可以在此線路上達到更好的分類性能。

1)網絡結構設計

以AlexNet[20]模型為基礎，針對扣件區域圖像的特點設計扣件缺損識別算法的網絡結構。由于扣件區域圖像的尺寸較小，圖像內容相對單一，刪除AlexNet模型的前2個卷積層，并降低全連接層的神經元個數，以提升網絡的計算速度。同時，為保持圖像特征的感受野尺寸不變，增加卷積層中卷積核的尺寸?？奂睋p識別算法的網絡結構如圖4所示。圖中：每個卷積層的卷積核尺寸為(7×7)像素，步長為1，3個卷積層的卷積核個數分別為128，256和512個；池化操作的方式選擇取最大值，窗口尺寸為(2×2)像素，步長為2；第1和第2個全連接層有1 024個神經節點，用于將卷積層提取的圖像特征在高維空間進行表達；最后1個全連接層有3個神經節點，分別表示扣件區域圖像分類的類別，即正常、損壞和丟失。

圖4 扣件缺損識別算法網絡結構(單位：像素)

此外，每個卷積層和全連接層后都使用修正線性單元(Rectified Linear Unit，ReLU)作為激活函數，有助于加速網絡的收斂。在第1和第2個全連接層后使用了隨機失活(DropOut)策略，可有效地防止網絡過擬合。在設計的扣件缺損識別算法網絡結構中沒有使用局部響應歸一化(Local Response Normalization，LRN)層，因為LRN層對網絡性能的提升很小，但是增加了額外的內存開銷和計算成本[21]。

2)數據增強方法

深度卷積神經網絡需要大量的訓練樣本，且每類訓練樣本的數量應大致平衡。然而，在扣件缺損檢測任務中，有缺損的扣件數量遠遠低于正?？奂臄盗?，不利于深度卷積神經網絡的訓練。因此，提出樣本隨機排序策略來減小樣本數量失衡對識別性能的影響。樣本隨機排序策略分為5個步驟，具體如下。

步驟1 根據樣本標簽對訓練數據集排序；

步驟2 找到樣本數量最多的類別，記錄其樣本數量為M；

步驟3 為每個類別都創建1個長度為M的編號列表，并進行隨機排序；

步驟4 遍歷讀取每個類別編號列表中的編號m，并與此類別的總數取余，得到1個索引值，根據此索引值找到對應的圖像，添加到圖像列表L中；

步驟5 合并所有類別的圖像列表L，并進行隨機排序，將此圖像列表作為網絡的輸入。

為了防止大量重復樣本造成網絡模型過擬合，在網絡的數據輸入層對每個有缺損扣件樣本添加高斯噪聲，并隨機選擇高斯參數，從而減少訓練數據的重復。此方法計算開銷小，增加噪聲后的圖像不需要存儲到硬盤。在試驗中，均值的取值范圍是[-2,2]，標準差的取值范圍是[0,1]，高斯系數的取值范圍是[16,64]。

3 試驗驗證

扣件缺損檢測系統采用C++開發，使用Opencv3.0，CUDA8.0，Caffe[22]等工具庫，計算服務器采用2個Intel E5-2630v4型CPU和1個NVIDIA Tesla k40c型GPU計算卡。

1)多線路鋼軌扣件數據集

由于在鐵路檢測任務中沒有公開的鋼軌扣件數據集，試驗所用的鋼軌扣件數據全部采集自真實鐵路線路，并進行了人工標注。數據集包含2個部分：①扣件區域定位試驗數據。此部分試驗數據只標注了扣件區域的位置，用于測試扣件區域定位算法的性能和自動收集扣件樣本。②扣件缺損識別試驗數據。此部分試驗數據標注了扣件的分類標簽，用于微調和測試扣件缺損識別算法的性能。鋼軌扣件數據集包含多種常見的扣件類型，可根據扣件形狀分為鉤型、螺母型和α型。此外，在有砟鐵路線路的扣件數據中，主體部分被道砟覆蓋的扣件區域被標注為損壞扣件。各鐵路線路中鋼軌扣件試驗數據的詳細信息見表1和表2。

表1 扣件區域定位試驗數據詳細信息

表2 扣件缺損識別試驗數據詳細信息

2)扣件區域定位

扣件區域定位試驗采用檢測率作為評價指標，并設置交并比(Intersection over Union，IoU)閾值為0.9，以保證扣件區域定位的有效性。

試驗采用了2種試驗方案：方案1是使用模板庫的離線部分；方案2是使用本文方法，即添加在線模板庫。在線模板庫的最大隊列長度設置為300個，2種試驗方案的離線模板庫相同，即包含20張扣件區域模板圖像和20張非扣件區域模板圖像，近鄰模板數量K設置為19張。

表3 采用不同方案得到的扣件區域定位試驗檢測率/%

各線路的測試結果見表3。從表3可以看出：方案1的平均檢測率低于方案2；方案1對各個線路的檢測率有較大的幅度的變動，而方案2對各個線路的檢測率基本都達到了99%以上，表明本文的扣件區域定位算法具有較高的可靠性和良好的多線路適應能力。

為了測試在線模板庫的最大隊列長度對扣件區域定位結果的影響，將近鄰模板數量K固定為19張，并使用檢測率和檢測速度作為評價指標，檢測速度以每秒幀數為單位。試驗采用1#鐵路線路的數據，試驗結果見表4。

表4 不同隊列長度下檢測結果

從表4可以看出：隨著在線模板庫最大隊列長度的增加，檢測率也隨之增加，但是變化幅度并不大，同時，也導致了檢測速度不斷下降，影響系統的運行效率；總體來說，在本文方法中，增加在線模板庫的最大隊列長度有助于提升檢測率，但也會降低檢測速度，進而影響系統效率。在實際應用時，可根據需求靈活調整。

為了測試近鄰模板數量對扣件區域定位結果的影響，將在線模板庫的最大隊列長度設置為300個，然后取不同的K值進行試驗。試驗采用1#鐵路線路的數據，試驗結果見表5。

表5 不同K值下的檢測結果

從表5可以看出：使用更大的K值會對扣件區域定位算法的檢測率有一定的幫助，但是并沒有大幅度的改善，而且會帶來系統效率上的損失。

3)扣件缺損識別

扣件缺損識別試驗采用精確率、召回率和F1分數3個指標評價算法的可靠性。

首先，使用自動樣本標注方法在1#，2#，3#和4#線路數據上自動地采集訓練樣本，最終采集到正?？奂?5 686個、損壞扣件1 596個、丟失扣件1 080個。然后，結合本文的樣本隨機排序策略對采集的扣件樣本集進行數據增強，用于預訓練扣件缺損識別算法。最后，再分別使用5#，6#和7#線路的扣件數據微調預訓練的網絡模型。為了試驗的公平性，在對每條鐵路線路微調時均使用相同數量的樣本，即正常、損壞和丟失的扣件樣本圖像各2 000張，剩余扣件樣本圖像用于測試算法性能。

網絡模型采用隨機梯度下降(Stochastic Gradieot Descent，SGD)算法進行訓練，輸入樣本批量大小為128個，動量設置為0.9，權重衰減值為0.000 5，DropOut比例設置為0.5。訓練周期為20個時期(epochs)，初始學習率設置為10-4，每訓練5個epochs后，學習率下降10倍。試驗結果見表6。

表6 扣件缺損識別多線路試驗結果

從表6可以看出：7#線路的測試結果稍優于5#和6#線路的測試結果，這是由于7#線路中只存在1種類型的扣件，而5#和6#線路中存在2種類型的扣件；扣件缺損識別算法只使用了少量的訓練樣本就達到了較為可靠的性能，表明本文的扣件缺損識別算法具有良好的多線路適應能力。

為了證明扣件缺損識別算法的優勢，使用了5種試驗方案進行對比試驗，測試數據均采用7#線路數據。方案1是利用模板庫的離線部分結合K-NN算法識別扣件缺損。方案2是增加了在線模板庫，再使用K-NN算法識別扣件缺損。方案3是本文提出的自動樣本標注方法，即在方案2的基礎上，增加了分類權重函數。這3種方案的優勢在于不需要訓練分類模型。方案4是直接使用預訓練的網絡模型進行扣件缺損識別，不使用7#線路數據進行微調。方案5是使用7#線路數據微調預訓練的網絡模型。試驗結果見表7。

表7 扣件缺損識別對比試驗結果

從表7可以看出：方案4和方案5的綜合性能遠遠高于其他方案，顯著地提高了扣件缺損檢測系統的可靠性，并且,使用待檢測線路的扣件樣本進行微調可以有效地提升扣件缺損識別算法在此線路上的識別性能。此外，本文提出的自動樣本標注方法在識別性能上優于僅使用離線模板庫的方法。方案2沒有使用本文提出的權重函數，在線模板庫中的正?？奂０鍞盗窟h遠大于有缺損扣件模板數量，導致識別性能較差，這符合本文的預期。本文的自動樣本標注方法雖然不適合作為最終的分類器，但其識別精確率較高，并且無需經過訓練，非常適合用于自動地標注扣件樣本。

4)圖像特征對比

對于圖像識別問題，提取具有判別力的圖像特征是非常重要的。試驗選取以往方法中常用的HOG和LBP特征與基于深度卷積神經網絡的扣件缺損識別算法提取的圖像特征進行比較，結果見表8。

從表8可以看出：傳統的HOG和LBP方法雖然可以用作描述鋼軌扣件，但所提取的圖像特征較為粗糙，包含了大量的背景元素；而基于深度卷積神經網絡的扣件缺損識別算法提取的圖像特征則集中于描述鋼軌扣件，忽略了圖像背景元素的特征。顯然，本文基于深度卷積神經網絡的扣件缺損識別算法提取的圖像特征更具有判別力，且對圖像光照條件的變化不敏感。

表8 不同方法提取的圖像特征對比

4 結 語

本文提出了1種基于機器視覺的多線路鋼軌扣件缺損檢測方法，可用于多線路檢測任務。基于在線學習策略的扣件區域定位算法，不僅增強了扣件區域定位模塊的可靠性和多線路適應能力，而且可以自動地采集和標注扣件樣本?；谏疃染矸e神經網絡的扣件缺損識別算法，提升了扣件缺損識別模塊的可靠性，并利用微調技術提升了網絡模型的多線路適應能力。試驗結果表明，本文方法具有較高的可靠性和良好的多線路適應能力，其表現優于之前的扣件缺損檢測方法，對于多線路鋼軌扣件缺損檢測任務具有很強的實用價值和理論意義。