基于YOLO 算法的高速鐵路客運(yùn)車站鋼結(jié)構(gòu)雨棚螺栓缺失檢測(cè)系統(tǒng)

王域辰，馮海龍，劉伯奇

（中國(guó)鐵道科學(xué)研究院集團(tuán)有限公司 鐵道建筑研究所，北京 100081）

我國(guó)高速鐵路客運(yùn)車站鋼結(jié)構(gòu)雨棚大部分采用高強(qiáng)螺栓連接，由于長(zhǎng)期暴露等原因，導(dǎo)致其強(qiáng)度逐漸降低，在使用過(guò)程中易產(chǎn)生斷裂、脫落等病害，存在重大安全隱患。因此，對(duì)螺栓狀態(tài)進(jìn)行定期檢查具有重要意義。目前，螺栓檢查方法以人工目測(cè)的定期巡查為主，也有部分采用安裝傳感器的方式，但由于螺栓連接節(jié)點(diǎn)較多，分布廣泛，需要耗費(fèi)大量人力資源和時(shí)間成本，且漏檢率較高，對(duì)于高度大、距離遠(yuǎn)的結(jié)構(gòu)構(gòu)件較難進(jìn)行有效檢查。傳統(tǒng)的檢測(cè)方式難以滿足需求，因此，本文提出一種基于YOLO 算法的高速鐵路客運(yùn)車站鋼結(jié)構(gòu)雨棚螺栓缺失檢測(cè)系統(tǒng)。

基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法主要分為單階段和雙階段2 類。其中，雙階段目標(biāo)檢測(cè)算法從RCNN（ Region Convolutional Neural Networks）、Fast RCNN 到Faster RCNN 已發(fā)展了多個(gè)版本，此類方法分為2 個(gè)子網(wǎng)絡(luò)，分別進(jìn)行定位回歸和分類任務(wù)；單階段算法以YOLO[1]（You Only Look Once）和SSD（Single Shot MultiBox Detector）為代表，相比雙階段算法，此類方法的定位和分類僅通過(guò)1 個(gè)網(wǎng)絡(luò)，在保持一定檢測(cè)精度的前提下，具有更好的檢測(cè)速度，可滿足某些實(shí)時(shí)性要求較高的場(chǎng)合。基于單階段目標(biāo)檢測(cè)算法的優(yōu)勢(shì)，本文采用YOLOv4作為檢測(cè)算法，對(duì)高速鐵路客運(yùn)車站雨棚螺栓進(jìn)行檢測(cè)識(shí)別[2]。

1 YOLOv4 算法概述

1.1 YOLOv4 網(wǎng)絡(luò)結(jié)構(gòu)

YOLOv4[3]屬于單階段目標(biāo)檢測(cè)算法，將目標(biāo)分類和定位回歸集成在一個(gè)網(wǎng)絡(luò)中，實(shí)現(xiàn)輸入圖像便可同時(shí)完成分類與回歸工作[4]。YOLOv4 比YOLOv3[5]網(wǎng)絡(luò)結(jié)構(gòu)更加復(fù)雜，如圖1 所示。YOLOv4 加入多種訓(xùn)練技巧來(lái)提升訓(xùn)練準(zhǔn)確性，并進(jìn)行成本控制。其中，充當(dāng)YOLOv4 Neck 結(jié)構(gòu)的SPP（Spatial Pyramid Pooling）和PANet（Path Aggregation Network）可對(duì)不同特征層的語(yǔ)義信息進(jìn)行融合補(bǔ)充，有利于檢測(cè)不同尺寸的目標(biāo)。例如，將輸入尺寸（單位：px）為416×416 的圖片經(jīng)過(guò)CSPDarknet53 特征提取和PANet 特征融合，輸出的特征層尺寸（單位：px）分別為13×13、26×26、52×52，在特征層上劃分的網(wǎng)格尺寸越小，感受野越大，適合檢測(cè)大目標(biāo)；反之，適合檢測(cè)較小目標(biāo)，在一定程度上滿足了不同尺寸目標(biāo)的檢測(cè)需求。

圖1 YOLOv4 網(wǎng)絡(luò)結(jié)構(gòu)

1.2 YOLOv4 算法適應(yīng)性改進(jìn)

相比之前的YOLO 算法，YOLOv4 算法實(shí)現(xiàn)了速度和精度的平衡，在以下4 方面進(jìn)行了改進(jìn)。

（1）采用新的backbone 特征提取網(wǎng)絡(luò)

YOLOv4 采用CSPDarknet53 作為特征提取網(wǎng)絡(luò)，解決了大型CNN 優(yōu)化中存在的梯度信息重復(fù)問(wèn)題，并將梯度變化全部集成到特征圖中，有效減少模型參數(shù)量，提高計(jì)算速度，在保證預(yù)測(cè)實(shí)時(shí)性和準(zhǔn)確性的同時(shí)，減小了模型尺寸。

（2）先進(jìn)的數(shù)據(jù)增強(qiáng)方法

YOLOv4 使用CutMix[6]和Mosaic 數(shù)據(jù)增強(qiáng)方法。CutMix 對(duì)2 張圖像進(jìn)行裁剪，并拼接成1 張新樣本，對(duì)2 張圖像中目標(biāo)的標(biāo)簽值進(jìn)行線性組合形成新樣本標(biāo)簽，采用加權(quán)求和的方式計(jì)算損失；Mosaic 將4 張圖像合并為1 張進(jìn)行訓(xùn)練，豐富了檢測(cè)目標(biāo)的背景，使得每個(gè)mini-batch 包含較大的圖像變化，從而減少估計(jì)均值和方差時(shí)需要較大mini-batch 的需求，降低了訓(xùn)練成本。

（3）backbone 改用Mish[7]激活函數(shù)。Mish 激活函數(shù)具有更好的泛化性和更高的準(zhǔn)確性，輸入為負(fù)值時(shí)不完全截?cái)啵试S較小的負(fù)梯度流入，有利于梯度的計(jì)算和更新，其公式為

其中，x和y分別表示圖像特征的輸入和輸出；ln(1+ex)為softmax 激活函數(shù)； tanh 為雙曲正切函數(shù)。

（ 4） 使 用 綜 合 交 并 比（ CIOU， Complete Intersection Over Union）作為損失計(jì)算標(biāo)準(zhǔn)。交并比（IOU，Intersection Over Union）策略沒有考慮真實(shí)框與預(yù)測(cè)框中心之間的距離信息，沒有重疊的預(yù)測(cè)框便不再計(jì)算損失。由于預(yù)測(cè)框中心點(diǎn)距真實(shí)框中心越小預(yù)測(cè)越準(zhǔn)確，運(yùn)用考慮兩個(gè)框之間重疊面積、中心點(diǎn)距離、長(zhǎng)寬比的CIOU 計(jì)算的預(yù)測(cè)框會(huì)更加符合真實(shí)框，其公式為

其中，w表示預(yù)測(cè)框?qū)挾?；h表示預(yù)測(cè)框高度；b表 示預(yù)測(cè)框中心；wgt表示真實(shí)框?qū)挾龋籬gt表示真實(shí)框高度；bgt表示真實(shí)框中心； ρ2(b,bgt) 表示預(yù)測(cè)框到真實(shí)框中心點(diǎn)的歐氏距離；c為預(yù)測(cè)框和真實(shí)框最小外接矩形對(duì)角線長(zhǎng)度； α 為權(quán)重系數(shù)；v是度量長(zhǎng)寬比相似性的參數(shù)。

2 系統(tǒng)設(shè)計(jì)

2.1 系統(tǒng)組成

基于YOLO 算法的螺栓缺失檢測(cè)系統(tǒng)包括定位導(dǎo)航模塊、數(shù)據(jù)采集模塊及數(shù)據(jù)處理模塊3 部分。其中，定位導(dǎo)航模塊由點(diǎn)云地圖構(gòu)建和路徑規(guī)劃組成，負(fù)責(zé)站臺(tái)地圖構(gòu)建與巡檢路徑規(guī)劃，可設(shè)置螺栓檢測(cè)點(diǎn)位置；數(shù)據(jù)采集模塊由Raspberry Pi 處理器、網(wǎng)絡(luò)高清攝像頭、云臺(tái)組成，負(fù)責(zé)在檢測(cè)點(diǎn)處進(jìn)行螺栓圖像采集，并通過(guò)實(shí)時(shí)流傳輸協(xié)議（RTSP，Real Time Streaming Protocol）發(fā)送至服務(wù)器端；數(shù)據(jù)處理模塊位于PC 端，主要功能包括：圖像預(yù)處理（圖像增強(qiáng)、圖像壓縮和灰度轉(zhuǎn)換）、圖像檢測(cè)與識(shí)別。

2.2 系統(tǒng)工作流程

本系統(tǒng)工作流程如下：

（1）利用定位導(dǎo)航模塊建立點(diǎn)云地圖并在地圖上規(guī)劃巡檢路徑和檢測(cè)點(diǎn)；

（2）設(shè)置自動(dòng)巡檢任務(wù)，并在檢測(cè)點(diǎn)位置記錄待檢測(cè)螺栓的云臺(tái)角度；

（3）執(zhí)行設(shè)置的自動(dòng)巡檢任務(wù)，搭載系統(tǒng)的監(jiān)測(cè)設(shè)備到達(dá)檢測(cè)點(diǎn)，且云臺(tái)轉(zhuǎn)至對(duì)應(yīng)角度后開啟識(shí)別功能；

（4）將識(shí)別出的螺栓數(shù)目與理論數(shù)目進(jìn)行對(duì)比，得出差值，若缺失則進(jìn)行記錄并報(bào)警。

3 檢測(cè)實(shí)驗(yàn)

3.1 數(shù)據(jù)獲取與標(biāo)注

3.1.1 基礎(chǔ)數(shù)據(jù)集

選取6 個(gè)高速鐵路站臺(tái)的雨棚和接觸網(wǎng)的螺栓作為采樣對(duì)象，采用4 K 網(wǎng)絡(luò)高清攝像頭、相機(jī)等可移動(dòng)設(shè)備拍攝照片和視頻。為保證數(shù)據(jù)的多樣性，在不同角度、焦距和光照條件下，對(duì)同一具體場(chǎng)景目標(biāo)區(qū)域進(jìn)行多次采集。人工篩選出有效圖像，剔除模糊、重復(fù)的無(wú)效樣本。經(jīng)篩選得到雨棚螺栓正面樣本3 022 例、背面樣本738 例、接觸網(wǎng)螺栓1 550例，共5 310 例，并分別標(biāo)注樣本類別為L(zhǎng)S_YP、LSB_YP、LS_JCW，部分樣本圖像如圖2 所示。選擇接觸網(wǎng)螺栓作為采樣對(duì)象的目的是為了驗(yàn)證該檢測(cè)系統(tǒng)對(duì)螺栓樣本類別的識(shí)別能力。

圖2 構(gòu)建的數(shù)據(jù)集部分樣本示例

3.1.2 數(shù)據(jù)增強(qiáng)

由于采集的樣本較為單一，同一樣本出現(xiàn)的次數(shù)較多，訓(xùn)練結(jié)果易出現(xiàn)過(guò)擬合，系統(tǒng)泛化性較低，導(dǎo)致識(shí)別準(zhǔn)確性下降。在數(shù)據(jù)集數(shù)量一定的情況下，為進(jìn)一步增加訓(xùn)練數(shù)據(jù)的多樣性，獲得更加平衡的數(shù)據(jù)集，本系統(tǒng)采取數(shù)據(jù)增強(qiáng)（CutMix 和Mosaic）方法對(duì)樣本進(jìn)行擴(kuò)充，來(lái)解決樣本單一帶來(lái)的過(guò)擬合問(wèn)題。

CutMix 方法是在1 張圖片上隨機(jī)裁剪1 個(gè)矩形框，在另1 張圖片相同位置上裁剪大小一致的框，將第2 張圖片裁剪的部分拼接在第1 張的相應(yīng)位置，形成1 張新的樣本，樣本的標(biāo)簽根據(jù)拼接的面積按比例調(diào)整，如圖3（a）所示。Mosaic 方法是將4 張圖片拼接為1 張圖片，如圖3（b）所示，增加了檢測(cè)物體的背景多樣性，訓(xùn)練時(shí)便可小批次輸入，降低了訓(xùn)練時(shí)間和計(jì)算量。也可再對(duì)拼接的樣本進(jìn)行隨機(jī)水平翻轉(zhuǎn)、顏色變化等操作，進(jìn)一步增加樣本的多樣性。

圖3 通過(guò)CutMix 和Mosaic 方法進(jìn)行數(shù)據(jù)增強(qiáng)示意

3.2 環(huán)境與參數(shù)配置

本文在Window10 系統(tǒng)中，采用TensorFlow 2.4.0深度學(xué)習(xí)框架搭建YOLOv4 卷積神經(jīng)網(wǎng)絡(luò)。實(shí)驗(yàn)訓(xùn)練所用模型的backbone 部分采用COCO 數(shù)據(jù)集預(yù)訓(xùn)練參數(shù)初始化，在每一輪訓(xùn)練中同時(shí)進(jìn)行CutMix 和Mosaic 數(shù)據(jù)增強(qiáng)，通過(guò)K-means 聚類算法得到的預(yù)設(shè) 邊 界 框 尺 寸（單 位：px）為：65×64，71×71，97×97， 117×115， 126×125， 171×168， 230×282，333×397，376×247。模型主要訓(xùn)練參數(shù)如表1 所示。

表1 模型訓(xùn)練參數(shù)

3.3 實(shí)驗(yàn)結(jié)果

本實(shí)驗(yàn)數(shù)據(jù)集螺栓圖片數(shù)量為5 310 張，隨機(jī)抽取圖片分配給訓(xùn)練集、驗(yàn)證集和測(cè)試集，分配比例為：7:2:1，即訓(xùn)練集3 717 張，驗(yàn)證集1 062 張，測(cè)試集531 張。訓(xùn)練過(guò)程中采用ModelCheckpoint 監(jiān)測(cè)函數(shù)，每10 輪檢查一次損失值，當(dāng)損失值有明顯減小時(shí)保存最新權(quán)重，當(dāng)損失不再減小時(shí)停止訓(xùn)練，此時(shí)，訓(xùn)練集損失值為5.698，驗(yàn)證損失為5.896。

使用訓(xùn)練好的模型對(duì)驗(yàn)證集進(jìn)行檢測(cè)分析，部分測(cè)試結(jié)果如圖4 所示，分析得出的識(shí)別結(jié)果，如表2 所示。本驗(yàn)證集中，各類別人工確認(rèn)的螺栓總數(shù)（目標(biāo)理論總數(shù)）為62 個(gè)；本實(shí)驗(yàn)采用的置信度為0.7，當(dāng)模型最后判斷目標(biāo)為某種類別的置信度超過(guò)0.7 時(shí)，便認(rèn)為其屬于該類別，進(jìn)行框選，否則忽略此目標(biāo)。

圖4 部分螺栓目標(biāo)識(shí)別圖像

表2 YOLOv4 算法識(shí)別結(jié)果

由表2 可知，利用YOLOv4 模型在驗(yàn)證集中檢測(cè)出螺栓總數(shù)52 個(gè)，類別的識(shí)別正確率為100%；漏檢10 個(gè)，漏檢率16.1%。在對(duì)531 張測(cè)試集樣本的檢測(cè)中，類別的識(shí)別正確率為87.5%，漏檢率為11.5%。出現(xiàn)漏檢問(wèn)題的主要原因是待檢目標(biāo)的部分區(qū)域被遮擋，因遮擋樣本較少，訓(xùn)練后的模型對(duì)此類目標(biāo)敏感度較低，因受環(huán)境光照影響導(dǎo)致目標(biāo)模糊不清，模型無(wú)法提取深度特征，使得漏檢率增加；存在類別識(shí)別不正確問(wèn)題的主要原因是訓(xùn)練樣本數(shù)量仍不足，對(duì)目標(biāo)特征的區(qū)分不夠細(xì)化，增加訓(xùn)練樣本數(shù)量，進(jìn)一步訓(xùn)練，類別識(shí)別正確率將會(huì)有所提高。

4 結(jié)束語(yǔ)

針對(duì)高速鐵路客運(yùn)車站雨棚鋼結(jié)構(gòu)螺栓缺失帶來(lái)的安全隱患問(wèn)題，本文研究了一種基于YOLO 算法的螺栓缺失檢測(cè)系統(tǒng)，采用YOLOv4 算法進(jìn)行螺栓識(shí)別，識(shí)別準(zhǔn)確率較高，漏檢率較低，滿足了檢測(cè)實(shí)時(shí)性要求，減少了人工檢測(cè)的工作量，具有一定的實(shí)際意義[8]。但在試驗(yàn)過(guò)程中也存在一些問(wèn)題：

（1）對(duì)于有遮擋的目標(biāo)檢測(cè)識(shí)別漏檢率較高；

（2）由于樣本來(lái)源固定，導(dǎo)致樣本種類比較單一，數(shù)量有限，訓(xùn)練過(guò)程中容易過(guò)擬合。

因此，在后續(xù)工作中將以解決上述問(wèn)題為目標(biāo)，在不同環(huán)境和地點(diǎn)條件下采集樣本，增加樣本的種類，避免過(guò)擬合現(xiàn)象。