基于深度學習的TFDS貨車故障圖像智能識別算法研究

金 鑫,王 通,程園龍

(1.北京華為云計算技術有限公司 EI創新孵化Lab,北京 100080;2.華為技術有限公司 中國政企數字政府交通系統部,北京 100077;3.中國鐵路鄭州局集團有限公司 鄭州北車輛段,河南 鄭州 450052)

近年來中國鐵路得到快速發展,截至2021年底,全國鐵路營業里程已經達15萬km[1]。為了保障鐵路的運營安全,提高安全管控水平,中國鐵路建立了安全運營技術體系和保障措施[2]。其中,車輛運行狀況對安全運營十分重要,側架、制動梁、鉤緩、互鉤差、中間部、中間部側部等工位結構復雜,關鍵部件的脫落、折斷、丟失、竄出、破損等故障將會嚴重影響行車安全。

“5T系統”以紅外、力學、聲學、圖像等車輛運行安全監測設備為基礎,通過數據自動采集、數據集成、聯網評判和綜合應用,為鐵路車輛管理提供安全監控與管理服務。其中,TFDS即貨車故障軌邊圖像檢測系統,是通過高速攝像技術對運行中的貨車車輛工位進行抓拍,將獲取的圖像提供給動態檢車員進行分析,將影響行車安全的故障進行上報[3]。TFDS貨車故障圖像分析當前基本上仍依賴人工進行,工作強度大、分析效率低、運用成本高、且容易出現對于關鍵故障的漏報,也給車輛運行安全帶來隱患。圖1為TFDS系統的組成。

圖1 TFDS系統組成

開展TFDS貨車故障圖像智能識別算法研究的意義重大,通過該算法可大幅降低動態檢車員的工作負荷,在提升車輛故障的分析效率與故障檢出準確率的同時,確保行車安全;全面消除不良貨車存量,為實現貨運增量穩收、運輸暢通有序提供強有力的裝備保障;通過科技創新,大力挖潛節流,加大生產領域節支降耗力度,在提高勞動生產率的同時實現節支降耗。

1 研究現狀

目前,基于圖像的故障檢測方法可分為基于特征值提取的傳統圖像處理方法和基于深度學習的智能識別算法。李靜等[4]提出了一種基于方向梯度直方圖特征和支持向量機的方法,實現了對關鍵螺栓的定位和識別。針對高速列車車輪踏面剝離、擦傷等損傷的動態檢測,侯濤等[5]提出了使用改進Canny算子對車輪踏面損傷進行邊緣檢測,劉祖勝等[6]提出了一種自適應融合局部和全局匹配的圖像故障識別算法。針對貨車運行故障動態圖像中車輛擋鍵、集塵器和安全鏈鎖緊螺栓的故障檢測,孫國棟等[7-8]提出了一種基于多特征融合和BP-AdaBoost的故障自動識別算法,實現針對集塵器和安全鏈鎖緊螺栓的故障檢測以及基于稀疏編碼空間金字塔匹配和遺傳算法優化的支持向量機相結合的通用故障自動識別算法。

傳統圖像處理算法大多基于淺層結構,在解決結構簡單或者約束較多的問題上效果明顯,但難以應對貨車車輛圖像的復雜場景,受縛于建模和表示能力,在實際應用中針對一些復雜應用進行處理時效果會大打折扣[9]。近年來隨著硬件算力的提升、故障樣本數據的累積和深度學習算法的發展,深層卷積神經網絡在圖像處理等領域的研究得到快速發展。

宋丫等[10]將傳統圖像算法與深度學習相結合,開展了貨車心盤螺栓丟失故障檢測的研究。曲志剛等[11]提出了一種基于深度信念網絡的車輛故障診斷音頻分析方法,通過小波包將車輛音頻信號分解,將信號的特征向量作為網絡的輸入實現對車輛狀態的監測。趙冰等[12]提出了基于Faster R-CNN模型的車輛缺陷雙通道監測框架MCDDF(Multi-Channel Defect Detection Framework),采用兩通道方式分別實現鐵路車輛關鍵部件監測與缺陷分類任務。在文獻[13-14]相關研究中,深度卷積神經網絡已被用于貨車車輛的故障自動檢測,基于深度殘差網絡提取故障特征,實現故障的定位與識別。

當前,全國鐵路貨車保有量為96.6萬輛,車型達到351種,貨車車輛運行環境多樣,工況復雜多變,并且,TFDS涉及到對行車安全的保障,不允許出現影響行車安全的故障漏報。雖然現有多個算法的研究已取得階段性進展,但是,在故障誤報率、漏報率等指標仍無法完全滿足貨車車輛的運用工作要求,無法在現有業務場景中規模性推廣使用,TFDS貨車故障圖像智能識別的需求并沒有得到很好的滿足,各路局車輛段大多還是采用人工分析的作業方式。

本文針對上述問題提出了改進,提出了一種包含目標檢測和圖像分類的兩階段故障識別算法,鎖緊板故障識別算法實現流程如圖2所示。該算法經過在鄭州局集團鄭州北車輛段的長期測試,已經達到可以滿足實際作業需求的性能與效果指標。

圖2 鎖緊板故障識別算法實現流程

2 部件檢測模型

對車輛運行安全影響大的故障通常集中出現在特定的關鍵部件上,鎖緊板變形如圖3所示,圖中紅色方框區域中的鎖緊板發生變形。從圖中可以發現,部件尺寸相比于原圖的尺寸較小,故障的尺寸相比于部件的尺寸也較小。因此,為了更準確地定位故障區域、識別部件狀態,首先需要實現對圖像中鎖緊板的定位。

圖3 鎖緊板變形

具體來說,本方法首先標注大量圖像中待檢測部件的位置,并通過標注的圖像和標注信息訓練Faster RCNN[14]目標檢測模型。由于訓練時為模型提供過大量的正常部件和故障部件的圖像,所以,在訓練完成后,得到的目標檢測模型可較為準確地定位到TFDS圖像中正常部件和故障部件的位置,以供后續處理流程繼續使用。實驗中也對比了Faster RCNN算法、YOLO算法,Faster RCNN算法精度稍高,速度稍低于YOLO算法,但目前給系統運行速度已經達到業務要求,目前還是采用Faster RCNN算法。

3 故障智能識別模型

3.1 模型概述

考慮到TFDS圖像中的故障區域通常在全圖中的占比極小,但是在部件區域的占比稍大,因此,將部件檢測模型定位到的部件區域裁剪出來可以凸顯故障區域,有助于判斷部件區域是否存在故障。因此,本方法提出在裁剪出來的部件區域,通過訓練深度學習分類器的方式,識別部件區域是否正常。具體來說,深度學習分類器可以看作一個映射函數:

p=fW(I)

(1)

式中:I為裁剪后的部件區域;fW(·)為一個由深度學習模型構成的映射函數,其中W為深度學習模型的參數;p為深度學習模型的輸出,表示部件存在故障的概率。

模型訓練過程中,對于正常的部件區域,要求深度學習模型輸出的概率p盡量接近0;對于故障的部件區域,要求深度學習輸出的概率p盡量接近1。通過不斷地輸入大量數據,對深度學習模型的參數W進行調整,使fW(·)逐漸滿足約束條件。

TFDS探測站采集到的絕大多數車輛圖像為正常情況,部件存在故障的圖像相對較少。因此,正常部件的圖像數量遠遠超過故障部件的圖像數量。另一方面,由于部件的物理特性、幾何結構、內外部環境等多種綜合因素,在《鐵路貨車運用維修規程》中所規定的多種故障類型在實際環境中從未發生過。為了確保本系統可以準確地識別從未發生過的故障,避免影響行車安全的故障漏報,同時在正常部件和異常部件數量極不均衡的條件下得到預測結果無偏的模型,本方法提出:

(1) 通過進行少量人工參與的弱監督故障數據合成來增加故障樣本數量;

(2) 通過對正常樣本和故障樣本施加自適應計算的權重,減少模型訓練過程中的偏差。

3.2 弱監督故障數據合成

對于車輛運行中未發生過的故障,本方法提出從其他類似故障數據遷移的方式合成更多故障數據。

具體來說,在車輛實際運行中,曾經出現過大量各類故障,但是某些特定類型的故障和特定部件的組合并沒有出現過,因此可以從其他部件的同類故障遷移到特定部件,從而合成未出現過的故障。

以車輪裂損為例,該故障出現頻率極低,但由于其嚴重性極高,一旦出現必須要求準確識別。另一方面,橫梁裂損等其他部件上的裂損故障則相對較為常見。因此,可以將其他部件上的裂損區域遷移到車輪上,得到合成的車輪裂損數據,用來訓練故障智能識別模型。

本方法中,在合成故障圖像時,采用以下流程:

(1) 收集大量的正常圖像作為待修改的底圖;

(2) 收集待合成的故障類型的圖像,如部件裂損圖像等;

(3) 通過labelme標注工具[16],由人工在圖中勾畫出故障圖像中故障區域的位置,同時勾畫出正常圖像中可能出現該故障的位置,以多邊形掩膜的形式表示圖中勾畫出的區域;

(4) 程序將故障圖像中的故障區域裁剪出來,經過旋轉、扭曲、拉伸、亮度對比度調整等操作,與待修改底圖中的待修改區域形狀、亮度、對比度進行匹配后,拼接到正常圖像中可能發生故障的區域,得到逼真的合成故障圖像。圖4為TFDS故障檢測任務中裂損類圖像的自動擴充展示。

圖4 TFDS故障檢測任務中裂損類圖像的自動擴充

3.3 數據自適應故障識別模型訓練

即使通過人工生成故障數據的方式,仍然不能解決故障樣本數量遠少于正常樣本數量的問題。在訓練分類模型時,通常采用交叉熵損失:

L=-y·log(p) - (1-y) log(1-p)

(2)

式中:L為損失函數;y為輸入樣本的標簽,正常樣本的標簽為0,故障樣本的標簽為1。

在使用上述損失函數訓練深度學習模型時,如果正常樣本數量遠多于故障樣本數量,公式(2)中的第二項會起到支配性的作用,導致深度學習模型將所有樣本預測為正常。為了解決這個問題,本文提出對正常樣本和故障樣本施加不同的權重,以此平衡公式(2)中的兩項。圖5為權重計算流程示意圖。

圖5 權重計算流程示意

具體來說,如圖5所示,本文提出根據正常樣本和故障樣本的數量、變化模式的豐富程度,對每個樣本分別進行加權。具體實現流程如下:

(1) 使用公開的深度學習模型分別提取正常樣本和故障樣本的特征;

(2) 通過K-means[17]聚類的方法,對正常樣本的特征和故障樣本的特征分別進行聚類,得到每個樣本所屬的聚類編號;

(3) 通過下列公式計算樣本的權重:

茶園地：1974年左右在原坡度為10°的坡地上進行水平整地并起壟，開始種植茶樹(Camellia sinensis(L.)O.Kuntze)，行距150 cm，叢距30 cm，每年施用復合肥和餅肥各1次。

wp=Cn/nc/(Cp+Cn)

(3)

wn=Cp/nc/(Cp+Cn)

(4)

式中:wp為正常樣本的權重;wn為故障樣本的權重;Cp為正常樣本的聚類數量;Cn為故障樣本的聚類數量;nc為樣本所在的聚類中,樣本的數量。

相應地,定義加權的交叉熵損失函數:

L=-wn·y·log(p) -wp(1-y)log(1-p)

(5)

通過公式(5)中的損失函數對深度學習分類器進行訓練,可以平衡損失函數中正常樣本的項和故障樣本的項,從而緩解模型偏差。

4 實驗結果與分析

4.1 部署架構

實驗測試方案實現流程如圖6所示。TFDS探測站完成數據采集后,經過本方法識別,將算法判斷為正常和故障的數據分別提交給工作人員復核,統計算法的識別效果和性能。

圖6 測試方案實現流程

所部署測試服務器采用Intel Xeon E7 CPU,nVidia Tesla T4 GPU。

4.2 數據輸入

實驗階段,將兩條線路上的實時過車數據接入實驗系統進行測試,每條線路每周測試圖像約9萬張。

4.3 評價標準

在實驗過程中,通過故障召回率、誤報率、推理時間作為指標,評價算法的運行效果和處理性能。

(1) 故障召回率:假設檢測的圖像中故障總數為T,算法預測為故障且經過人工確認屬實的故障數量為t,則故障召回率=t/T;

(3) 推理時間:算法分析一張圖所用的時間,單位為秒(s)。

4.4 訓練實驗分析

訓練過程采用收集到的全路100萬張圖像,經過部件標注,故障分類模型標注后,進行訓練。標注過程采用人工、以及半自動標注的方法。為了驗證所提出方法的有效性,對提出的各種方法進行了對比測試。訓練過程中測試集構造如下,通過在1萬張圖像中,混入100張故障圖像,模擬真實使用過程中正常數據遠大于故障數據的情況。測試結果如表1所示。

表1 訓練過程故障發現測試結果

4.5 部署測試實驗分析

在實驗周期中,前期先在線路1完成系統的部署并開始測試,后期為進一步驗證效果,在線路2完成系統的部署和測試。因此,線路1的測試結果時間跨度為10周,線路2的測試結果時間跨度為3周。測試結果參見表2、表3、表4。

表2 線路1現場測試結果

表3 線路2現場測試結果

表4 算法在不同設備上的推理時間測試結果

(1) 誤報率:從表2中可以看到,在測試前期,系統誤報率較高,前四周平均誤報率7.61%。之后經過進一步優化,誤報率有所降低,在線路1上,后六周平均誤報率4.20%;表3中,在線路2上,平均誤報率4.42%。上述結果表明,本文提出的系統,可以過濾掉95%以上的正常圖片,因此,可以明顯降低人工審圖的工作量,提升TFDS故障檢測的效率。

(2) 故障召回率:表2和表3中,在現場實際測試階段,本文提出的系統各漏檢1個故障,經人工確認為不影響行車安全的輕微故障。該實驗結果表明,本系統具有精準的故障發現能力,在實際使用中能夠發現絕大多數的故障,已具備實用價值。

(3) 推理時間:實際部署系統中使用nVidia Tesla T4 GPU,該設備性能較高,但成本也較高,因此在實際部署中,出于成本考慮,可能需要部署其他型號的GPU設備。為了驗證其他型號設備的推理時間是否可以滿足實際使用的需求,在此實驗中,補充測試算法在nVidia Tesla P4 GPU上的推理時間,實驗結果見表4。從實驗結果中可以看出:第一,T4型號的GPU速度遠快于P4型號的GPU,推理時間可以節省約40%;第二,現場測試中,要求每列車的推理時間不超過10 min,兩種型號的GPU都可以滿足實際應用對速度的要求。

上述結果表明,不論是在故障識別效果還是在故障分析速度方面,本算法可以達到TFDS圖像故障智能檢測的需要,已經具備實際應用的能力。

5 結論

(1) 通過自動識別算法進行TFDS圖像的故障檢測有助于提升故障召回率,對于提升TFDS故障圖像的分析效率,保障行車安全,降低人工工作負荷,具有重要的實用價值;

(2) 算法部署初期,可作為動態檢車員作業質量檢查的輔助措施予以應用,避免人工分析可能存在的漏報,隨著后續算法可用性的不斷完善,可與現有作業流程完全結合,實現以智能分析為主,人工確認為輔的作業模式轉變;

(3) 通過人工故障數據合成可以有效增加故障樣本的數量和多樣性,使本方法具備準確識別罕見故障、未出現過故障的能力;

(4) 本文提出的加權故障識別損失,極大程度上緩解了正常樣本和故障樣本數量不均衡的問題,使算法既能夠達到極高的故障召回率,也能將誤報率控制在可以接受的范圍內,實現具有實用價值的故障圖像智能識別功能;

(5) 當前系統的故障召回率和誤報率已經初步達到可以實用的程度,為了更好地減輕檢車員的工作負荷,算法誤報率仍有進一步優化的必要和空間。