基于機器視覺的列車部件故障診斷方法綜述

劉子儀 李兆新 陳建強 李書盼* 陸其波 宋威宏

1(西南交通大學電氣工程學院 四川 成都 611756) 2(華南理工大學電子與信息學院 廣東 廣州 510500) 3(廣州地鐵集團有限公司 廣東 廣州 510310)

0 引 言

目前，列車故障檢測和預防大都是人工模式，需要列車在連續運行一天或者幾天后入庫進行整體檢修，整個檢修過程效率低，無法保證檢修質量。隨著列車數量的不斷增加，傳統的列檢方式已經不能滿足當今高鐵運營發展的急迫需要。因此，有必要將計算機視覺技術應用到列車部件故障檢測中來，通過在列車檢修處安裝一系列的攝像頭，對攝像頭采集的圖像進行畸變校正、配準和檢測，從而判斷列車關鍵部件是否發生故障以及故障種類和故障位置，進而提高列車檢修效率和準確率。

基于計算機視覺的列車部件故障診斷技術常規流程如下：首先用攝像頭等圖像采集設備采集入庫列車相關圖像，并利用明顯標志進行圖像分割；接著利用圖像配準技術對攝像頭采集到的列車圖像進行拉伸和壓縮的恢復；然后在已恢復的列車圖像上定位關鍵部件位置；最后對已定位的關鍵部件進行故障檢測和維修。其中關鍵技術包括圖像配準和列車關鍵部件故障快速精準檢測等。

1 圖像配準

圖像配準是指在不同時間、不同視角、不同傳感器情形下，對同一場景采集得到的兩幅圖像進行幾何對齊。不同的配準問題有對應的最合適配準方法，需要具體分析應用場景的圖像噪聲干擾、傳感器成像特點、幾何形變規律、算法實時性等問題。

圖像配準是計算機視覺領域中一個重要的研究方向，也是很多圖像處理方法的重要前提，在物體識別、目標跟蹤、圖像拼接、圖像合成等諸多問題上有重要運用。圖像預先配準的精度通常關乎到后續處理流程的性能。國外從20世紀60年代開始研究圖像配準問題[1]，并在20世紀末基本解決了單模圖像配準問題。國內研究起步相對較晚，從20世紀90年代初才開始涉足圖像配準領域。圖像配準可以應用于衛星遙感、醫療圖像、機器視覺等多個領域，在實際應用時針對不同問題，使用的方法可能有所不同，但是關鍵處理步驟大體相同。大多數圖像配準會有特征提取、特征匹配、圖像變換這三個環節，文獻[2]詳細地介紹了一些通用的圖像配準方法。

1.1 特征提取

圖像特征大致分為區域特征、線特征、點特征[3]。圖像中某些區域、線段或點在旋轉、縮放和傾斜中是保持不變的，且能在環境噪聲、灰度拉伸等條件下保持穩定。這些特征通常是圖中一些具有高對比度的部分[4]。

(1)區域特征提取。文獻[5]對圖像進行分割，提取圖像中的閉邊界區域，以封閉邊界區域的重心為控制點，建立控制點之間的對應關系，實現了圖像亞像素級精度的配準。文獻[6]使用一個不包含邊緣點的虛擬圓背景區域來尋找平移或縮放關系，并使用平滑準則來消除噪聲對虛擬圓的影響。文獻[7]在角點檢測中提出了放射不變鄰域的概念，并解釋了Harris的角點檢測算法估計圖像曲率的方式。上述提出的檢測器只適用于“L”節點，并且文章僅在圖形幾何上實驗，未表明適用于現實情況下的實際數據。文獻[8]通過檢測最大穩定極值區域下的仿射不變結構獲取仿射幀，并根據仿射幀中光度計正態化的顏色測量值建立映射關系。

(2)線特征提取。文獻[9]針對光學圖像與SAR圖像的配準問題，提出了一種基于主動輪廓模型的彈性輪廓匹配方案，能有效克服大量相干斑噪聲，具有更高的魯棒性和更低的控制點均方根誤差。該算法的局限性在于要求從光學圖像中檢測出定義良好的強輪廓作為初始輪廓。文獻[10]提出根據多模態醫學圖像模糊邊緣和脊形圖像實現精確配準。該算法局限性在于不需要交互，因此缺乏人的主體性。

(3)點特征提取。文獻[11]提出了幾種無須預先分割的灰度圖像角值測量技術，利用圖像函數的二階偏導數進行角檢測。文獻[12]開發了一種強大的角點檢測器，解決了圖像函數二階導數的角點檢測器對噪聲敏感的問題。文獻[13]以中心像素相同顏色的區域作為標準，提出了基于最小化局部圖像區域的特征檢測器，提出了基于平滑鄰域的降噪方法。文獻[14]設計了新的角點檢測算法，采用了多重網格方法，大大加快檢測速度。但是該算法的穩定性和一致性均稍低于Harris角點檢測算法。文獻[15]提出了一種新的旋轉不變量方法，并設計了一種參數化角點檢測器，用于處理模糊和噪聲圖像。雖然該方法適用于任何圖像，但由于具有較高的一致性，是模糊圖像的局部檢測方法。文獻[16]設計了一種基于正則化理論并支持三維數據的角探測器。Harris檢測器[17]是與Forstner檢測器相似的又一種角點檢測器，其角點檢測效果如圖1所示。但是算法本身對尺度很敏感而且不具備幾何尺度不變性，算法提取到的角點是像素級的，在很多情況下不夠精確。

(a) (b)圖1 Harris角點檢測

1.2 特征匹配

特征匹配是指建立兩幅圖像中共有特征之間對應關系的過程。從待配準圖像中提取出特征后，依據圖像中灰度的鄰域信息、特征的空間分布或特征的符號描述進行特征匹配，尋找參考圖像和待配準圖像的特征對應關系。特征匹配的方式主要分為基于空間關系和基于不變描述符兩類。

(1)基于空間關系的特征匹配。文獻[18]描述了基于圖形匹配算法的配準，為了減小搜索域，提出了一種子集選擇方法以加快匹配速度。文獻[19]使用聚類的方法形成所有可能的圖像特征對和模型特征對，對圖像方向和內容的變化具有更強的魯棒性。文獻[20]引入了斜面匹配的新技術，比較兩組形狀碎片的尺寸，允許在形狀的基礎上匹配廣泛的空間特征。在此文獻基礎上，文獻[21]提出了一個改進的版本。

(2)基于不變描述符的特征匹配。部分文獻使用星型、矩形、多邊形等封閉邊界區域作為特征[22]；有的文獻使用基于矩不變量來描述封閉邊界區域特征[23-24]；還有一部分文獻使用基于特征對幾何不變性的描述符[25-27]。

1.3 圖像變換技術

圖像變換是圖像配準成功的關鍵之一，選擇不同的圖像變換技術將直接影響圖像配準的最終效果。因此在選擇圖像變換的模型時，必須對圖像的性質進行綜合分析，選擇最為合適的變換方法。下面簡要介紹圖像變換的基本原理及其在圖像配準中的應用。

在圖像變換中，兩幅圖像的映射關系大體分為線性變換和非線性變換。其中線性變換包含有剛體變換和非剛體變換。剛體變換在圖像變換中最為簡單，兩幅圖片之間只需要三個自由度的映射關系，變換后點與點的距離不發生改變，這意味著圖像只能實現旋轉和平移。剛體變換適用于具有同一個視角、來自同一個傳感器不同拍攝位置的圖像配準，在醫學圖像中剛體變換運用較多[28-29]。然而，在實際問題中非剛體形變居多，因此剛體變換在實際應用中具有很大的局限性。非剛體變換包括相似變換、仿射變換、透視變換，其兩幅圖像之間映射自由度依次增加。

非線性變換不以自由度為劃分依據，其映射函數形式多種多樣。在進行非線性變換時，圖像中各像素點之間的相對位置關系根據映射函數連續變化。最常見的非線性映射變換是彈性變換，其在醫學圖像配準問題上應用最為廣泛[30-32]。圖2展示了不同圖像變換的效果。

a)原圖像 (b)圖像剛體變換后的效果 (c)圖像相似變換后的效果

1.4 圖像配準在列車關鍵部件檢測的應用

由于列車在高速運動中會因為連接部件的形變和減震器而導致車廂間相對運動，對于像素級圖像配準問題來說需要較高的精度，因此不能將列車運動視為剛體運動。而CCD線陣相機采集到的列車圖片也會由此產生較大的畸變，在整幅列車圖像中會存在部分圖像段壓縮、部分圖像段拉伸的現象。針對上述問題，在列車關鍵部件故障檢測之前需要對整幅列車圖像進行精確配準，確保整幅列車圖像各個位置都不會存在偏移和畸變，之后從整幅圖中以固定坐標提取的部件圖像就會非常精確，為后續的各個項點單獨檢測提供了基礎。

文獻[33]提出了一種改進的模板匹配算法對兩幅圖像進行粗略對齊，并采用增強相關系數算法(ECC)進行精確對齊。文獻[34]提出了采用兩個線結構光傳感器完成列車輪對車輪輪緣檢測的技術方案，研究了在頻域內進行列車輪對三維點云的準確配準方法。此方法的缺陷在于其檢測精度和算法本身適應性較低，尚不滿足實際要求。文獻[35]利用模板進行比對檢測護欄缺失、異物入侵等運行環境異常情況，提出D-SIFT特征描述子，成功地將深度信息運用于前向運動圖像的圖像配準中。此方法的局限性在于其不能精確復原圖像不同子塊內部的細節紋理，也無法完全精確地反映實際的光照變化情況。文獻[36]在動態測量鋼軌磨耗參數時，提出了一種基于動態窗口曲率熵的軌腰圓弧自動分割方法，實現了實測輪廓與標準設計輪廓的空間配準，但是其算法實時性較差，僅能適用于160 km/h速度以下的列車。文獻[37]在列車運行故障圖像的動態檢測中，結合SIFT特征，提出了一種基于分塊方式的圖像配準方法。文獻[38]在使用結構光傳感器測量車輪踏面輪廓數據時，提出了一種利用傅里葉變換和還原矩陣配準點云的方法。該方法可靠性較高，但是輪對車軸定位中心孔的加工質量、有無磕碰的情況會影響結果，需要在一致性上進一步研究。文獻[39]提出了一種基于激光掃描結合點云處理的車頂異物檢測方法，使用了基于相關熵度量的魯棒ICP算法進行點云配準，實現較高的配準精度和較快的收斂速度。但是以上方法在實際的實施過程中還存在一些問題，文獻實驗僅限于在實驗室環境中，無法模擬實際列車運行中的列車晃動問題。文獻[40]針對車底光照變化影響較大、整體灰度值較暗、結構復雜的問題，提出了一種基于軌邊圖像SURF特征的車底部件異常檢測算法，在匹配過程中加入了闊值調節模塊。文獻[41]對車廂圖像與標準圖像進行配準時，以互信息MI為相似度量函數，采用了基于灰度信息的配準方法。文獻[42]在列車故障部位配準時，考慮到非線性的不均勻光照以及列車車型的不同，采用了基于區域圖像灰度的幾何、物理等方面特征進行配準。

2 列車關鍵部件故障檢測

基于機器視覺的列車關鍵部件故障檢測包括了圖像處理的大部分內容，如圖像預處理、特征提取、分類識別等。除了傳統的圖像檢測方法外，目前機器學習和深度學習也廣泛應用于目標檢測中，并且取得了很好的效果。目前，基于機器視覺的故障診斷技術在國內外的研究還比較少，特別是針對包含多種類型的復合故障，還找不到一種通用的算法來實現檢測。

在圖像配準的前提下，列車關鍵部件故障檢測需要運用多種圖像處理技術，主要涉及圖像預處理、特征提取和模式識別三個過程，相關技術有圖像分割、邊緣提取、Hough變換、圖像匹配等[43-44]。同時，對列車關鍵部件進行分類和故障診斷需要綜合運用諸如SVM、神經網絡等多種模型[45-46]。

2.1 基于模板匹配的關鍵部件故障檢測

模板匹配是模式識別的一種基本方法，其通過將圖像中特定位置的目標對象與模板進行匹配，從而識別出圖像中的特定物體。目前，模板匹配主要是通過圖像灰度值相關性匹配實現。針對列車項點故障檢測問題，可以運用模版匹配的方法來實現。具體地，通過將獲得的圖像與模版進行匹配，根據設置的閾值對模板匹配的結果進行判斷，從而識別出物體故障[47-48]。

模板匹配算法有多種，需要針對不同的情形采用不同的算法。特別地，當識別對象具有較好的輪廓或邊緣時，采用基于輪廓的模板匹配算法識別效果較好。文獻[49]在列車零部件故障診斷中，運用了基于輪廓的模板匹配算法，實現了螺栓松動和丟失等故障檢測。該算法對傳統的基于灰度的匹配方法進行了改進，提高了識別精度和速度。一次模板匹配如圖3所示。將圖像預處理后的模版與原圖匹配，得到匹配后的灰度圖，將其進行圖像處理后再與經圖像處理的模板匹配，再設置閾值來判讀故障。實驗表明該算法在實際應用中匹配率高，同時還提高識別速度和精度，有效減少了光照的影響及像素失真問題。

(a)預處理后的模板

文獻[50]針對列車中的截斷塞門故障識別問題，提出了基于幾何特征匹配和基于形狀特征描述子匹配兩種識別方法。基于幾何特征的匹配方法只需找出對象的外接矩陣特征進行對比即可實現故障識別。而基于形狀描述子的匹配方法較為復雜，但是在截斷塞門故障識別上具有更高的精度和更快的速度，實用性相較前者來說更強。

通過模板匹配的方法實現列車關鍵部件故障診斷，需要檢測部件具有清晰的輪廓或邊緣，如螺栓、扭桿等部件，這種方法對于與模板圖有較高相似率的樣本圖有較高的識別率，但在實際應用中局限性較大、魯棒性較差，不能有效解決圖像中識別對象變形等問題。

2.2 基于支持向量機的關鍵部件故障檢測

支持向量機(SVM)是基于Vapnik的統計學習理論和結構風險最小化原理的一系列學習算法，已成功應用于各種分類識別任務中，如3D圖像識別、人臉識別、語音識別等。在解決小樣本識別、非線性分類及高維模式識別等問題中具有獨特優勢。在項點檢測中，運用SVM作為分類器，結合特征提取方法，對特征進行分類，從而實現故障檢測。

文獻[51]提出利用梯度編碼直方圖和SVM來分析列車角度旋塞圖像，實現了列車角斗上手柄缺失故障的診斷，準確率達到了99.8%。文獻[52]在源圖像中提取感興趣區域，利用梯度編碼直方圖和SVM來進行列車中制動蹄鍵的定位，最后再通過訓練SVM分類器實現制動蹄鍵的故障識別。實驗表明該系統具有良好的識別精度和實時性。文獻[53]針對火車的擋鍵、枕簧和側立柱部位的故障圖像，將PCA與SVM結合實現火車部件故障診斷，展現了SVM分類器在貨車故障圖像識別領域的優秀性能。文獻[54]針對貨車螺栓故障檢測，將HOG特征與SVM進行結合，通過HOG方法進行特征提取，利用SVM進行分類，實現螺栓丟失故障的檢測。圖4為利用HOG特征和SVM對轉向架部位的螺栓進行定位和故障檢測結果。可以看出，HOG特征與SVM相結合的方法在故障檢測中具有很好的效果。

(a) (b)圖4 基于支持向量機的螺栓檢測

基于支持向量機的方法多用于列車側立柱、擋鍵、螺栓、閘片等部件的故障檢測。該方法適合小樣本的故障檢測，尤其是對于列車難以獲取圖片的情況[55-56]，但需要根據不同的場景選取不同的特征提取方法，如HOG特征、LBP特征，很難設計一種統一的方法來同時檢測和識別各種故障。

2.3 基于深度學習的關鍵部件故障檢測

人工神經網絡(ANN)在基于圖像的故障檢測方面表現出明顯的優越性[57-58]。然而人工神經網絡進行故障診斷需要人工選取特征，將會影響神經網絡最終的識別精度。

現如今，深度學習是圖像識別的熱門方向，其獨有的圖像特征自主挖掘特點使其更受研究者青睞。2012年AlexNet模型的提出更是掀起了深度學習在圖像識別領域的熱潮。一個典型的基于卷積神經圖像識別模型如圖5所示。其基本原理是首先對圖像進行區域劃分，然后對圖像進行特征提取，經過一系列的處理后，根據輸出的圖像特征對每個區域進行分類，最終達到圖像識別的目的。

圖5 基于卷積神經網絡的圖像識別模型

近年來，研究者提出了一系列基于CNN模型的目標檢測算法，如R-CNN、Fast R-CNN、Faster R-CNN算法，以及SSD、YOLO算法，不斷提高對目標的檢測精度和速度。同時也有一系列基于深度學習圖像分割算法被提出，如FCN、Mask R-CNN算法等。基于深度學習的項點檢測方面，在擁有大量圖像數據的基礎上，可以通過目標檢測算法和圖像分割算法進行網絡訓練，實現項點故障的識別、定位、分割。傳統的基于圖像處理技術的故障識別需要通過對圖像特征進行提取，這需要依賴大量可觀察的顯著圖像信息，因此對于一些信息不足的微小部件，識別精度會較低。而基于深度學習故障檢測方法則較好地解決了此類問題，因此在故障檢測方面具有巨大潛力。文獻[59]以檢測列車中心板螺栓為例，提出了一種將傳統視覺檢查與深度學習相結合的檢測方法，即首先采用傳統的特征提取方法近似定位目標，然后利用一種復合積神經網絡進行訓練，其結構如圖6所示。實驗結果表明該方法具有很強的數據挖掘和分類能力，取得了較高的準確率，且具有良好的光照穩健性。文獻[60]利用卷積神經網絡實現對列車四種典型故障即列車側架鍵丟失、軸螺栓丟失、軸螺栓松動和螺栓丟失的識別。與基于HOG、Adaboost和SVM結合的模型相比，基于CNN的模型準確率更高，魯棒性更強。

圖6 基于卷積神經網絡的螺栓故障檢測模型

在支撐列車運行的其他相關設備故障診斷中，文獻[61]針對接觸網支撐裝置上緊固件的缺失和松動等缺陷，提出了一種基于深度卷積神經網絡(DCNN)的缺陷檢測方法。文中提出了一個三階段的DCNN結構，結構如圖7所示。具體地，首先通過SSD算法實現緊固件部位的定位，然后通過YOLO算法實現緊固件的定位，最后利用一個DCNN結構來實現緊固件的狀態識別，以此實現了緊固件的缺陷檢測，表明了該算法對緊固件的缺陷檢測具有良好魯棒性和較高的檢測率，針對復雜的環境具有較好的適應性。

圖7 三級級聯DCNN結構

基于深度學習的列車關鍵部件故障診斷方法能夠有效地解決由于惡劣天氣、拍攝角度變化、光照變化等原因造成的一些低質量圖像的問題[60,62]。與傳統的機器學習方法不同，該方法采用端到端的方式學習原始圖像，故可以處理更多不同形式的故障。然而，限于樣本數量的問題，基于深度學習的列車關鍵部件故障診斷方法多用于螺栓、閘片、受電弓、鎖扣等部件的故障檢測。

為比較不同模型對列車關鍵部件故障診斷的有效性，選取模板匹配、HOG結合一分類SVM、SSD512，以及Fatser R-CNN模型實現列車電氣箱蓋鎖扣的故障檢測。如圖8所示，共包含4種電氣箱蓋，其正常鎖扣形式以及故障鎖扣形式如圖9所示。

(a) (b)

(a)鎖扣正常 (b)鎖扣正常 (c)鎖扣斷裂 (d)鎖扣丟失圖9 鎖扣狀態

實際獲取的電氣箱蓋鎖扣樣本存在不均衡的問題，故結合一分類的思想只利用正樣本訓練模型。最后，利用訓練好的模型對157個正樣本和6個負樣本進行測試，四種模型的測試結果如表1所示。其中準確率、誤檢率和漏檢率的定義如下：

表1 四種模型測試結果(%)

(1)

(2)

(3)

式中：NTP表示正樣本被正確分類的數量；NTN表示負樣本被正確分類的數量；NFP表示負樣本被分為正樣本的數量；NFN表示正樣本被分為負樣本的數量。從測試結果可以看出，傳統的模板匹配算法由于魯棒性低，易受環境干擾等原因使得檢測精度較低，并且其誤檢率較高，不適用于實際項目。基于機器學習的HOG+SVM，能夠提取樣本的有效故障特征，從而提高檢測精度。基于深度學習的SSD512和FasterR-CNN模型在提取樣本故障特征時能避免光照、拍攝角度的變化，從而使得模型魯棒性很強且檢測精度也很高。

目前，隨著采集的列車部件樣本數量的不斷增多，更多學者致力于研究基于深度學習的故障檢測方法，從而避免環境復雜造成的影響，且模型泛化能力更強。

3 3D檢測

隨著3D技術的不斷發展，實現列車部件故障診斷不再局限于2D圖像。利用3D檢測技術獲得的三維點云數據不僅準確地記錄了物體的空間坐標，還能記錄物體的三維形貌，相對于二維數據增加了深度信息，從而提高故障檢測的精度。

近些年來，三維立體測量技術在國際上已形成研究浪潮，美國、德國等在國際上具有領導地位，且先后研制出多種立體測量產品。目前3D目標檢測主要依賴單目相機、雙目相機、多線激光雷達獲取輸入數據。隨著產業的優化升級，成本在不斷降低，激光雷達搭配單目相機也變得越來越普遍。三維立體測量技術開始在諸多領域得到了實際的應用，比如通用汽車公司的車身快速檢測系統[63]。

2019年西南交通大學的李金龍副教授使用激光線結構光掃描儀得到機車走行部三維點云數據，實現了在三維數據中對螺栓進行自動識別和定位[64-65]。在CVPR2019中香港中文大學和商湯科技王曉剛教授團隊提出GS3D，采用單目攝像頭獲取數據作為算法輸入，GS3D獲取粗糙的目標的位置、尺寸、方向能夠指導下一步物體屬性的精細化工作。同時，提出使用物體表面提取的特征解決特征模糊問題，與現在SOT的RGB單幅圖像3D目標檢測方法進行了橫向對比，包括Mono3D、Deep3DBox、DeepManta、MF3D和3DOP等，發現GS3D在各方面的指標均表現出了一定的優越性[66]。利用單目攝像頭獲取數據的方法往往在傳感器方面會極大程度地節省成本，但是算法上要求會更高，甚至大多數情況下無法實現實時檢測，比較適合線下檢測。

隨著3D檢測技術的發展，將3D檢測技術應用于軌道交通領域成為機器視覺的研究熱點之一。文獻[67]將3D激光掃描技術運用在城軌車輛組裝檢測中，通過該技術可以直接得到實物的三維模型，并將其與預先的三維數據進行對比分析，實現了產品的尺寸需求檢測。3D檢測技術已經基本趨向成熟，但對于大尺度物體，無法實現一次性完整掃描。因此手持激光掃描儀在軌道交通故障診斷領域的使用范圍十分局限，比較適合工人巡檢時對特定物體進行掃描，或巡檢機器人上裝配掃描儀進行診斷。文獻[68]介紹了一種基于CCD圖像處理的線結構光三維檢測技術，實現了對火車輪對外徑的三維檢測。文獻[69]在鋼軌檢測中利用相位測量輪廓，實現了對鋼軌表面缺陷和形狀的三維重建，再通過模板匹配的方式最終實現故障檢測。基于CCD的三維檢測技術在列車外形故障檢測中具有抗光照干擾最好的效果，并且能夠直接測量出車體零部件形變程度、磨損量等。然而由于CCD利用照射在物體表面的結構光反射回來的光進行深度值的測量，在深度值變化劇烈的區域，會存在數據缺失的可能。除了數據缺失問題，相機的安裝環境也存在極大的困難，如檢測列車車底，則需要在軌道上進行安裝，列車行駛時產生的振動也會影響到采集精度。文獻[70]利用3D掃描技術獲取列車側面和底部可見部件的外觀圖像，通過對圖像中的特征點進行檢測并使用標準模板進行圖像配準，最后通過比較灰度值和評估特征匹配程度等方式實現列車部件故障識別。文獻[71]使用高速3D攝像機獲取鐵路緊固件的實時圖像，采用基于像素相似性或直方圖相似性的方法對采集到的3D圖像進行分析，最終實現對鐵路緊固件的故障識別。利用模板匹配和相似度分析實現列車部件故障診斷，需要較高的計算時間，并且隨著時間的推移需要更新模板庫。除此之外其應用范圍窄，某些故障并不能通過模板匹配或者相似度判斷進行判斷。隨著獲取數據量的增多，更多學者研究基于深度學習的故障診斷方法。文獻[72]針對鐵路表面的斷裂、沖刷和磨損等橫向缺陷，提出使用3D激光相機獲取鐵軌圖像，并結合深度學習的方法來實現鐵路表面缺陷檢測。基于深度學習的方法進行缺陷檢測的優勢在于高速的識別速度、準確的識別結構。但是仍然存在致命缺陷，負樣本數目過少，很容易出現過擬合的問題。文獻[73]針對列車螺栓松動故障，提出了一種基于雙目視覺的螺栓松動檢測方法。首先，利用基于卷積神經網絡模型對包括螺栓在內的關鍵部件區域行定位。然后再進行立體匹配和三維重建以檢測螺栓松動故障。實驗結果表明，該方法可以同時表征多個螺栓的松動，并且獲得較高準確率，其相對誤差控制在1.09%以內。雙目視覺的立體匹配算法雖然在理論上已經基本成熟，但是在工程運用中仍然無法消除各種各樣的干擾，因此純粹的視覺雙目相機工程使用很少，通常是輔助其他的相機(如紅外相機)。

4 列車關鍵部件故障診斷發展趨勢

實現列車關鍵部件故障診斷技術可以降低人工成本以及工人的勞動強度，同時提高列車關鍵部件的故障檢測精度，防止列車在運行過程中發生重大事故。由上文可知，在整個列車關鍵部件故障診斷的流程中，很多方法仍然存在局限性。目前基于機器視覺的列車部件故障診斷方法還在不斷完善和向前發展。其主要發展方向有以下3個：

1)在大數據背景下，列車關鍵部件的檢測和故障診斷將不再局限于傳統的圖像處理方法。特別是基于模板匹配的關鍵部件檢測和故障診斷具有弱魯棒性，會造成很高的漏檢率和誤檢率。考慮到深度學習在目標檢測、圖像分割等方面的成功應用，可以將相應的深度學習方法移植到列車關鍵部件故障診斷的應用中。當然，由于列車檢修環境的復雜性和不確定性，如何提高深度學習在列車關鍵部件故障診斷上的泛化能力將是未來需要深入研究的問題。

2)基于三維立體圖像的列車關鍵部件故障診斷研究。到目前為止，大多數利用圖像進行故障診斷的技術都是基于二維圖像，其所有的角度和視點都是固定的。相對于二維圖像，利用3D相機獲得的三維立體圖像可以實現多視角的可視化，有利于對圖像的全面分析和理解。因此利用3D檢測技術實現列車圖像的配準以及關鍵部件的故障檢測也將是一個主要的發展趨勢。

3)基于機器視覺的關鍵部件故障診斷方法只需要通過圖像即可判斷列車關鍵部件表面是否存在故障或是列車關鍵部件是否丟失。然而，對于列車關鍵部件內部是否存在故障，僅僅依靠圖像無法完成判斷，如轉向架空氣彈簧失效問題。因此，多種方法融合的故障診斷方式，如基于機器視覺和信號處理的列車關鍵部件故障診斷方式，將是未來的一個研究熱點。

5 結 語

作為機器視覺領域中的應用研究熱點之一，列車關鍵部件故障診斷主要包含兩部分的內容，即圖像配準和故障診斷。本文通過對這兩部分技術研究成果以及3D檢測技術研究成果的綜述，分析比較了以往研究算法的特點、適用場景、國內外發展現狀及優缺點，最后展望了列車關鍵部件故障診斷的發展趨勢。目前，基于機器視覺的列車關鍵部件故障診斷的應用研究還處于初期階段，還需要進一步地對相關問題進行深入挖掘、分析，并探究其解決方案，為我國各類型軌道交通安全運營保駕護航。