一種將深度學習運用在地鐵列車外觀異常檢測領(lǐng)域的方法

吳耿才

（東莞市諾麗電子科技有限公司，廣東東莞 523000）

0.前言

現(xiàn)今快節(jié)奏的生活模式，使城市的交通系統(tǒng)越來越發(fā)達，軌道交通是城市交通系統(tǒng)中必不可少的一部分，它可以有效地緩解城市交通擁堵的現(xiàn)象。城市軌道交通應該保證它的流暢性和便捷性，加強它的服務質(zhì)量，盡量降低它的事故率，從而推動整個交通系統(tǒng)的發(fā)展，間接性地推動社會的進步，并且提高人們的生活質(zhì)量，城市軌道交通是推動社會發(fā)展和經(jīng)濟增長的重要因素之一，先進快捷的軌道交通環(huán)境會改善人們的生活，緩解一個城市的交通壓力，改善城市的交通結(jié)構(gòu)，讓城市的交通方式更加多樣化。地鐵車輛的運維是保證地鐵正常運行的重要一環(huán)，每天地鐵公司都需要花費大量的人力物力在地鐵的日常檢修過程中，地鐵車輛外觀是評估車輛是否有故障的重要一環(huán)，大部分的車輛異常都可以通過外觀直接觀測到，如果外觀出現(xiàn)問題長期不解決，可能導致更加嚴重的故障，所以地鐵外觀檢測對地鐵運行維護至關(guān)重要。地鐵外觀檢測包括對車頂、車側(cè)、車底、走行部等位置進行檢測，包括部件缺失、部件移位、部件干涉、異物、撞擊等，地鐵日常巡檢中同樣主要是對車輛外觀進行檢查，一次日常檢測中大約要檢測3000多個項點，耗費2個多小時，這對地鐵人員造成了很大的檢修壓力，且大部分時候都在夜間進行，人工檢測容易發(fā)生疲勞，造成漏檢。國內(nèi)外已經(jīng)提出了多種檢測地鐵車輛外觀的算法。例如，通過前后兩次過車圖像差分對比檢測異常；通過待檢測圖像與正常圖像相似度對比檢測異常；通過目標檢測模型直接檢測異常等。這些方法都存在誤報多，易受自然條件影響，無法具體確定異常類別等問題，地鐵檢修人員無法通過這些代替日常檢修工作，甚至會增加檢修人員的工作量。因此，本文提出了一種多階段的深度學習方法，旨在協(xié)助地鐵檢修人員對一部分地鐵外觀檢測項點進行檢測，減少地鐵檢修人員工作量，降低檢測過程中的誤報率，同時降低檢測過程中的漏報率。

1.總體介紹

我們提出了一種地鐵列車外觀異常檢測的算法，該算法充分將地鐵外觀異常檢測的難點通過深度學習從側(cè)面進行突破，解決了異常樣本過少，異常類型難以判斷，異常特征隨機無法預估等難點，利用現(xiàn)有的深度學習方法實現(xiàn)了比以往方法更高的檢測精度和更低的誤報率。

我們提出的算法總體可以分為3個檢測階段，在第一階段對區(qū)域進行定位分割，通過一個深度學習語義分割網(wǎng)絡將地鐵列車按照部件進行區(qū)域劃分，如輪對區(qū)域、空壓機區(qū)域、輔助逆變箱區(qū)域等；第二階段使用一個編解碼結(jié)構(gòu)的網(wǎng)絡模型，通過自定義的一個相似度損失函數(shù)對待檢測區(qū)域進行相似度異常分析；第三階段運用一種細粒度分類方法對異常結(jié)果進行進一步篩除，一方面獲取異常結(jié)果的具體類別，另一方面排除一些誤報，主要原理是通過神經(jīng)網(wǎng)絡訓練使同類別的距離變小，同時使不同類別的距離變大。其中，第一階段和第二階段借鑒了FCN結(jié)構(gòu)，第二階段中還加入了Transformer結(jié)構(gòu)，增強了模型的泛化能力，大大提高了算法魯棒性，第三階段則通過豐富有效的數(shù)據(jù)增強方式，提高了模型的分類性能。在第二部分中我們將主要對這3個階段展開介紹。

2.具體過程

2.1 第一階段

算法第一階段主要是進行檢測區(qū)域定位，需要將車輛不同的部分劃分出來，使用一種編解碼結(jié)構(gòu)的神經(jīng)網(wǎng)絡對圖像進行全景分割。由于地鐵列車情況較為復雜，某些部位需要單獨處理，如車軸、車輪、聯(lián)軸節(jié)等部位在列車行進中會轉(zhuǎn)動，由于轉(zhuǎn)動會導致此類區(qū)域在相似度判斷時發(fā)生較大的影響，需要將其單獨分出來進行特殊分析，而以往的全景分割神經(jīng)網(wǎng)絡模型中各類別之間是互斥的，無法賦予同一個區(qū)域兩種類別屬性，所以在神經(jīng)網(wǎng)絡模型最后的類別輸出部分使用了多通道的判別方式，將一個多分類問題轉(zhuǎn)化為多個二分類問題，可以使全景分割結(jié)果各類別間并不互斥。如車軸部分既屬于輪對類別區(qū)域，又屬于活動類別區(qū)域，原本只能將車軸區(qū)域劃分至輪對區(qū)域類別或活動區(qū)域類別，現(xiàn)在則可以同時賦予車軸區(qū)域兩個類別屬性。

在損失函數(shù)部分，由于將多分類轉(zhuǎn)化為二分類后，每個類別的兩個分類之間所占比例會出現(xiàn)不均衡的情況，我們采用根據(jù)類別面積比例加權(quán)的方式對損失進行均衡化，即根據(jù)當前類別在圖像中所占的面積比，對當前類別距離進行加權(quán)，擴大當前類別的影響因子，損失函數(shù)公式如下：

其中da、db分別為兩個類別輸出與標簽的平方差，sa、sb分別為兩個類別所占的面積大小，s為輸入圖像的總面積，即sa與sb之和。

2.2 第二階段

在第一階段中，我們已經(jīng)獲取到了需要分析的區(qū)域，并對區(qū)域做了類別劃分，算法第二階段則是對第一階段識別到的結(jié)果進行初步的異常判斷，判斷基礎(chǔ)是利用第一階段劃分出的區(qū)域進行相似度判斷，我們的做法是首先將一份正常圖像作為對比參考，其次將異常圖像與正常圖像結(jié)合作為一組對比數(shù)據(jù)，最后利用相似度損失函數(shù)進行距離分析，通過對正常圖像和異常圖像逐像素區(qū)域?qū)Ρ龋瑢⒋嬖诋惓５膮^(qū)域從整個分析區(qū)域中與正常區(qū)域分離開。整體結(jié)構(gòu)同樣是使用編解碼結(jié)構(gòu)，與第一階段不同的是輸入部分使用一組圖像對，標簽不單純作為計算損失，而是作為權(quán)重參與到損失函數(shù)計算中，即在相似度計算中為標簽中的異常區(qū)域部分給予一個較大的權(quán)重，在計算相似度距離時使用了兩個均方差距離共同表示，即輸出圖異常部分區(qū)域與輸入圖異常部分區(qū)域距離最小，輸出圖正常部分區(qū)域與輸入圖對應區(qū)域距離最小，相應的損失函數(shù)如下：

其中，lossn為異常區(qū)域的損失，losso為正常區(qū)域的損失，λn為異常區(qū)域的標簽權(quán)重，λo為正常區(qū)域的標簽權(quán)重，In為輸出中異常區(qū)域的圖像灰度值，IN為輸入中異常區(qū)域的圖像灰度值，Io為輸出中正常區(qū)域的圖像灰度值，IO為輸入中正常區(qū)域的圖像灰度值，SN為標簽中異常區(qū)域的面積，SO為標簽中正常區(qū)域的面積。在訓練過程中，設置λn為SN/S，λo為sO/S，IN為 1，IO為 -1。

此外，在編解碼結(jié)構(gòu)中，還加入了Transformer模塊，Transformer模塊中加入了上下文的影響因子，可以為神經(jīng)網(wǎng)絡訓練時增加更多的先驗條件，卷積是一種局部操作，一個卷積層通常只會建模鄰域像素之間的關(guān)系。Transformer則是全局操作，一個Transformer層能建模所有像素之間的關(guān)系，雙方可以很好地進行互補。最早將這種互補性聯(lián)系起來的是非局部網(wǎng)絡，在這個工作中，少量Transformer自注意單元被插入原始網(wǎng)絡的幾個地方，作為卷積網(wǎng)絡的補充，并被證明其在物體檢測、語義分割和視頻動作識別等問題中廣泛有效。我們使用Transformer結(jié)構(gòu)旨在強調(diào)異常區(qū)域周圍圖像對相似度判斷的影響，使相似度損失不僅僅受當前卷積區(qū)域的影響，同時當前卷積區(qū)域周圍的特征圖也會對相似度損失產(chǎn)生一部分影響，我們這樣做的原因是，在通過第一階段后提取到的圖像中邊緣部分可能會存在一定程度的偏移，而且本身圖像在彩圖過程中會因為車速變化的影響存在一定程度的畸變，所以異常圖像與正常圖像無法做到完全對齊，所以在以圖像灰度值距離作為相似度判斷依據(jù)時容易發(fā)生較大的偏差，因此在做相似度比較時需要結(jié)合待檢測區(qū)域周圍的圖像增強相似度距離判斷的穩(wěn)定性。

2.3 第三階段

在第二階段完成后，雖然可以將待測圖像中與正常圖像相似度較低的部分劃分出來，但其中仍然會混合一些并不是異常的部分，比如列車的活動區(qū)域和灰塵、雨水等容易變化的部分，且并沒有對異常情況進行分類區(qū)分，為了達到更好的檢測效果，在算法的最后加入了第三階段，算法的第三階段是使用一個深度學習細粒度分類網(wǎng)絡對算法第二階段的結(jié)果進行分類，由于地鐵列車在行駛過程中車體外觀會發(fā)生各種各樣的變化，但并不是所有變化都是異常，而變化的出現(xiàn)會使區(qū)域與正常圖像的相似度變低，為減少因某些變化導致的誤報，使用了一個細粒度分類網(wǎng)絡對異常檢測結(jié)果進行二次判斷，去除那些在地鐵列車行駛過程中發(fā)生的正常的外觀變化，如灰塵、雨水等。

在第三階段的分類網(wǎng)絡部分我們的數(shù)據(jù)是由第二階段得來的，我們經(jīng)過分類劃分后主要可以分為以下幾個類別：缺失異常、異物異常、移位異常、其他異常、列車活動部分、表面臟污、表面水漬4類，這4類數(shù)據(jù)中差異最大的部分在于表面紋理，所以我們在前期數(shù)據(jù)預處理時加入了亮度增強、對比度增強、圖像灰度值反轉(zhuǎn)、翻轉(zhuǎn)、旋轉(zhuǎn)等一系列方法，可以更加突出圖像紋理部分的特征，同時，由于第二階段的結(jié)果圖像尺寸大小差別較大，我們對較大的圖像進行了裁剪，將尺寸較大的圖像裁剪為幾個尺寸較小的圖像，最后經(jīng)過等比例縮放變換為64×64的圖像作為第三階段的輸入。

為了最大程度上保留和提取到圖像的紋理信息，我們在特征提取網(wǎng)絡resnet-18的基礎(chǔ)上對其做出修改，使用一個下采樣和上采樣模塊替換了原網(wǎng)絡模型的基礎(chǔ)卷積模塊，可以更好地提取圖像的紋理信息，在損失函數(shù)部分采用Triplet Loss，Triplet Loss顯式的在Loss里面要求：不同類別之間的距離至少要超過同類別之間距離的某個閾值。如果能夠做到這一點，那么類內(nèi)距和類間距之間差就有一個明顯的鴻溝，那么也可以達到上面提到的目標。同時，由于在地鐵列車異常檢測過程中，檢出異常的任務要比減少誤報的任務重要性大得多，所以在幾個分類中，異常類別分類的檢測準確度顯得更加重要，所以我們在損失函數(shù)中為異常類別加入了一個較大的權(quán)重，使模型更傾向于檢出異常，而不是減少誤報。

3.試驗過程

在試驗過程中，我們將算法的3個階段分開分別對其進行性能分析。

第一個階段的算法主要為一個深度學習圖像語義分割網(wǎng)絡，采用MPA（平均像素精度）對檢測結(jié)果進行評價，MPA公式如下：

模型測試數(shù)據(jù)集中我們使用1000張圖像，平均像素精度可達到92.32%。

第二階段中，使用第一階段的輸出作為第二階段的測試數(shù)據(jù)，算法第二階段在本質(zhì)上也可以作為一個深度學習分類網(wǎng)絡，只不過其分類標準是我們定義的相似度，而作為地鐵外觀異常檢測，我們關(guān)心的是異常被檢出多少，以及出現(xiàn)多少誤報，所以在第二階段的試驗過程中采用檢出率和誤報率作為評價指標，其公式如下：

檢出率=正確檢出的異常個數(shù)/真實的異常個數(shù)＊100%

誤報率=錯誤檢出的異常個數(shù)/檢測項點總數(shù)＊100%

在試驗中，我們共設置了80處異常，模型異常報警為134處，其中正確報警為80處，錯誤報警為54處，檢出率達到了100%，總檢測項點數(shù)按1000計算，誤報率為5.4%。

算法的第三階段同樣是一個深度學習分類模型，其目的主要是為了消除誤報和對異常進行分類，第三階段試驗過程中的輸入圖像為第二階段的輸出結(jié)果。在評價模型消除誤報的性能時，仍然使用和第二階段中相同的檢出率和誤報率作為評價指標，不同的是誤報率中基數(shù)為檢測的圖像數(shù)量，而不是檢測項點總數(shù)，在對異常分類作出評價時，采用的是mAP（平均精度）指標，且只考慮前4種類型的類別，即只分析異常類別的分類精度，指標公式如下：

檢出率=正確檢出的異常個數(shù)/真實的異常個數(shù)＊100%

誤報率=錯誤檢出的異常個數(shù)/檢測圖像個數(shù)＊100%

其中，k為類別個數(shù)，ni為第i個類別的樣本數(shù)，ti為第i個類別檢測正確的個數(shù)，pi為結(jié)果中檢測為第i個類別的個數(shù)。

在實驗中，輸入的圖像共有134張，經(jīng)過切割處理后共得到452張圖像。其中，異常圖像共有253張，非異常圖像共有199張，正確檢出的異常個數(shù)共有252個，錯誤檢出的異常個數(shù)共有14個，經(jīng)計算統(tǒng)計后得出，檢出率為99.6%，誤報率為3.1%，mAP為73.2%。

最后，由于在算法第三階段有對圖像進行切割，所以一些檢測結(jié)果需要進行合并處理，在對算法第三階段的結(jié)果進行合并處理之后，最終得出正確檢出的異常個數(shù)為80個，錯誤檢出的異常個數(shù)為13個，按照第二階段的評價指標計算，得出最終的檢出率為100%，誤報率為1.3%。

4.結(jié)語

本文提出的地鐵列車外觀檢測方法主要利用了現(xiàn)有的比較先進的模型結(jié)構(gòu)，同時結(jié)合地鐵列車的外觀異常特點，使用了一個三階段的異常檢測算法，避開了異常檢測中異常樣本較少帶來的影響。同時也考慮到了地鐵列車外觀異常檢測中檢出和誤報的重要關(guān)系，在模型訓練過程中做出了相應的平衡性調(diào)整。目前算法遇到的問題是異常類別判斷準確率偏低，主要原因是由于樣本數(shù)太少，且樣本特征不明顯，后續(xù)改善可以考慮從數(shù)據(jù)增強和少樣本方向進行突破。