基于點(diǎn)云處理的機(jī)車車輛車底中心鞘螺栓故障檢測(cè)方法*

盧海林，馮其波,，徐昌源

（1 北京交通大學(xué)發(fā)光與光信息教育部重點(diǎn)實(shí)驗(yàn)室，北京 100044；2 東莞市諾麗電子科技有限公司，廣東 東莞 523050）

隨著我國(guó)鐵路事業(yè)的進(jìn)步，對(duì)于列車的運(yùn)行速度和承載安全性也越來(lái)越受到重視，其關(guān)鍵部件的故障檢測(cè)也因此變得極為重要。列車在長(zhǎng)時(shí)間運(yùn)行過(guò)程中，由于碰撞、老化等問(wèn)題，列車底部中心鞘螺栓部位會(huì)出現(xiàn)表面裂紋、磨耗、松動(dòng)、缺失等故障［1］，容易引發(fā)重大交通事故。對(duì)于車底關(guān)鍵部件的檢測(cè)，車輛需要停放在檢修段，列檢工作人員現(xiàn)場(chǎng)進(jìn)行逐一檢修，工作強(qiáng)度大，同時(shí)在檢修過(guò)程中由于人為因素可能出現(xiàn)漏檢，形成安全隱患。為此，國(guó)內(nèi)外學(xué)者開(kāi)展自動(dòng)檢測(cè)故障和算法等方面的研究，張洪健［2］對(duì)貨車螺栓丟失故障圖像進(jìn)行了識(shí)別檢測(cè)算法的研究，首先應(yīng)用CDLBP算子提取故障圖像在不同尺度和方向下的Gabor響應(yīng)圖像的紋理特征，然后對(duì)每個(gè)通道分別進(jìn)行SVM分類識(shí)別獲得判別結(jié)果。路繩方［3］結(jié)合螺栓幾何結(jié)構(gòu)的特點(diǎn)，提出了一種基于圖像Sobel梯度邊緣的完備局部二進(jìn)制模型特征提取算法，結(jié)合二值分類器的訓(xùn)練與學(xué)習(xí)，完成螺栓丟失故障的自動(dòng)檢測(cè)。李萍、王剛和汪洋等［4-6］利用深度學(xué)習(xí)中的目標(biāo)檢測(cè)框架，采用大量的列車故障圖像數(shù)據(jù)訓(xùn)練模型，實(shí)現(xiàn)了列車關(guān)鍵零部件圖像故障視覺(jué)檢測(cè)。但是由于二維圖像本身的局限性，即不包含深度信息，所以以上方法只能通過(guò)螺栓數(shù)目的判定來(lái)識(shí)別螺栓缺失，不能對(duì)螺栓松動(dòng)程度進(jìn)行判斷。目前針對(duì)2D圖像的識(shí)別技術(shù)已經(jīng)趨向成熟，與2D圖像相比，3D點(diǎn)云攜帶了更多的空間信息，且受光照、尺度和空間位置等因素的影響小。因此基于點(diǎn)云處理的檢測(cè)技術(shù)，克服了2D圖像測(cè)量中存在的無(wú)法獲得深度信息的不足，可以獲得更全面的三維物體的幾何參數(shù)。

文中重點(diǎn)研究了列車中心鞘螺栓部位的結(jié)構(gòu)信息，利用三維點(diǎn)云的處理方法，提出了一種檢測(cè)螺栓松動(dòng)和缺失的算法。試驗(yàn)結(jié)果表明，算法檢測(cè)正確率高，檢測(cè)速度快，可應(yīng)用于列車底部中央牽引拉桿中心鞘螺栓部位故障檢測(cè)。

1 列車車底部件檢測(cè)系統(tǒng)

檢測(cè)系統(tǒng)如圖1所示，車底成像系統(tǒng)主要由智能巡檢機(jī)器人攜帶的2個(gè)成像組件構(gòu)成，相機(jī)采用高亮度激光補(bǔ)光，保證高質(zhì)量成像穩(wěn)定性。在實(shí)際拍攝的過(guò)程中，機(jī)器人在車底行走拍攝，對(duì)機(jī)車關(guān)鍵部進(jìn)行動(dòng)態(tài)測(cè)量。3D成像組件的相機(jī)視場(chǎng)角為33°，采集的二維圖像的分辨率為1 280×960像素，景深范圍為300～800 mm，它不僅可以采集二維圖像，還能夠有效地捕捉目標(biāo)的深度信息，可以直接得到檢測(cè)目標(biāo)相對(duì)于傳感器的三維坐標(biāo)。傳感器在不同的工作距離下有不同的精度，工作距離為500 mm時(shí)，精度可達(dá)0.06 mm。對(duì)一個(gè)關(guān)鍵部件的圖像獲取時(shí)間不超過(guò)0.2 s，可以滿足實(shí)時(shí)檢測(cè)的需求。

圖1 測(cè)量系統(tǒng)示意圖

2 基于HOG-SVM的中心鞘螺栓缺失檢測(cè)算法

支持向量機(jī)（Support Vector Machine，SVM）是一種基于監(jiān)督學(xué)習(xí)對(duì)數(shù)據(jù)分類的方法，其原理是通過(guò)映射算法將線性不可分樣本變換為高維特征空間；然后尋找一個(gè)線性最大間隔超平面進(jìn)行數(shù)據(jù)樣本分離［7］。而方向梯度直方圖（Histogram of Oriented Gradient，HOG）特征［8］是一種在計(jì)算機(jī)視覺(jué)和圖像處理中用來(lái)進(jìn)行物體檢測(cè)的特征描述子。它通過(guò)計(jì)算和統(tǒng)計(jì)圖像局部區(qū)域的梯度方向直方圖來(lái)構(gòu)成特征。利用HOG-SVM進(jìn)行中心鞘螺栓缺失檢測(cè)，第一部分是數(shù)據(jù)準(zhǔn)備階段，需要制作螺栓在不同光照，不同尺度和角度下的正樣本集和負(fù)樣本集，根據(jù)螺栓的特點(diǎn)，制作了64×64 pixel的螺栓圖像的正樣本1 000張，負(fù)樣本1 500張，部分樣本如圖2所示。第二部分是特征提取和訓(xùn)練階段，對(duì)螺栓數(shù)據(jù)進(jìn)行HOG特征提取，提取方法是首先把圖像分割為若干個(gè)像素的單元，把梯度方向平均劃分為9個(gè)區(qū)間，在每個(gè)像素單元里面對(duì)所有像素的梯度方向在各個(gè)方向區(qū)間進(jìn)行直方圖統(tǒng)計(jì)，得到一個(gè)9維的特征向量，每相鄰的4個(gè)單元構(gòu)成1個(gè)塊，把1個(gè)塊內(nèi)的特征向量合并為36維的特征向量，用塊對(duì)正負(fù)樣本圖像進(jìn)行掃描，掃描步長(zhǎng)為1個(gè)像素單元。最后將所有塊的特征連起來(lái)，就得到圖像HOG特征。將特征送入SVM分類器進(jìn)行模型訓(xùn)練，其中未識(shí)別和識(shí)別錯(cuò)誤的螺栓圖像作為負(fù)樣本輸入負(fù)樣本集，進(jìn)行再次訓(xùn)練，直到達(dá)到檢測(cè)預(yù)期效果。最后根據(jù)識(shí)別出的螺栓數(shù)量來(lái)判斷是否存在螺栓缺失，檢測(cè)流程如圖3所示。根據(jù)每張圖像上螺栓數(shù)量來(lái)判斷螺栓是否存在缺失情況，螺栓識(shí)別結(jié)果如圖4所示。

圖2 部分中心鞘螺栓正負(fù)樣本圖像

圖3 SVM模型訓(xùn)練流程圖

圖4 中心鞘螺栓圖像識(shí)別結(jié)果

3 基于點(diǎn)云處理的中心鞘螺栓松動(dòng)檢測(cè)算法

3.1 預(yù)處理

3.1.1 點(diǎn)云拓?fù)浣Y(jié)構(gòu)的建立

K維樹(shù)（KD-tree）是一種組織K維數(shù)據(jù)的結(jié)構(gòu)，可以對(duì)傳感器采集的無(wú)序空間三維坐標(biāo)進(jìn)行拓?fù)浣Y(jié)構(gòu)的建立，方便點(diǎn)云數(shù)據(jù)的區(qū)間搜索和最近鄰搜索。利用KD-tree對(duì)傳感器采集的中心鞘螺栓點(diǎn)云進(jìn)行數(shù)據(jù)結(jié)構(gòu)的建立，如圖5所示。此外點(diǎn)云密度，即點(diǎn)云最近鄰點(diǎn)之間的平均距離，是影響算法參數(shù)設(shè)置的重要點(diǎn)云屬性。對(duì)中心鞘螺栓點(diǎn)云遍歷每一個(gè)點(diǎn)，搜索其最近鄰點(diǎn)，然后計(jì)算兩點(diǎn)之間的歐式距離。求出所有點(diǎn)的最近鄰點(diǎn)距離之和除以點(diǎn)云大小即點(diǎn)云密度。

圖5 KD樹(shù)結(jié)構(gòu)

3.1.2 點(diǎn)云下采樣

由于傳感器采集的原始點(diǎn)云十分稠密，運(yùn)算過(guò)程中十分耗時(shí)，需要采取下采樣的方法對(duì)點(diǎn)云進(jìn)行精簡(jiǎn)：通過(guò)輸入的點(diǎn)云數(shù)據(jù)創(chuàng)建一個(gè)三維體素柵格，然后在每個(gè)體素內(nèi)用體素中所有點(diǎn)的重心來(lái)近似代替體素中其他點(diǎn)，對(duì)于所有體素處理得到過(guò)濾后的點(diǎn)云。體素柵格葉大小根據(jù)點(diǎn)云密度確定，設(shè)體素柵格葉大小/點(diǎn)云密度=R，下采樣前點(diǎn)云大小為395 605，不同R大小對(duì)應(yīng)的點(diǎn)云采樣情況見(jiàn)表1：R值越大，采樣的柵格葉越大，點(diǎn)云采樣越稀疏。

表1 不同R值對(duì)應(yīng)的下采樣結(jié)果

3.1.3 移除離群點(diǎn)

傳感器在采集螺栓點(diǎn)云的過(guò)程中，除了測(cè)量隨機(jī)誤差產(chǎn)生的噪聲點(diǎn)之外，由于受到外界干擾如視線遮擋，障礙物等因素的影響，點(diǎn)云數(shù)據(jù)中存在著一些離中央牽引拉桿中心鞘螺栓較遠(yuǎn)的離散點(diǎn)，即離群點(diǎn)。采用統(tǒng)計(jì)濾波的方法可以有效地移除這種離群點(diǎn)，算法步驟如下：

Step1：首先對(duì)點(diǎn)云數(shù)據(jù)構(gòu)建KD-tree，建立三維點(diǎn)之間的拓?fù)潢P(guān)系。

當(dāng)主機(jī)發(fā)送回需求道路信息的具體內(nèi)容時(shí)，本系統(tǒng)將自動(dòng)接收并更新到地圖中去，無(wú)需用戶操作。圖5為車載系統(tǒng)接收到主機(jī)發(fā)送的農(nóng)機(jī)手需求信息后，自動(dòng)顯示在地圖中。其中,黑點(diǎn)圓點(diǎn)依然表示農(nóng)機(jī)手當(dāng)前所在位置，綠色方框即為新增信息，表示農(nóng)機(jī)手需求信息的最近一處的位置。

Step2：對(duì)KD-tree中的每個(gè)三維點(diǎn)搜索離其K個(gè)最近鄰點(diǎn)組成K鄰域，計(jì)算鄰域內(nèi)的點(diǎn)到中心點(diǎn)的歐式距離d。

Step3：計(jì)算每個(gè)點(diǎn)對(duì)應(yīng)的K個(gè)最近鄰點(diǎn)的平均歐式距離dˉ，并計(jì)算所有點(diǎn)的K鄰域距離的標(biāo)準(zhǔn)差σ，為式（1）：

Step4：利用計(jì)算得到的鄰域內(nèi)每個(gè)點(diǎn)到鄰域內(nèi)其他點(diǎn)的平均距離及標(biāo)準(zhǔn)差設(shè)置閾值ε，通過(guò)每個(gè)點(diǎn)對(duì)應(yīng)k近鄰點(diǎn)的平均距離與設(shè)置閾值ε=dˉ±λσ作比較，若大于設(shè)定的閾值，即被認(rèn)定為離群點(diǎn)，需要移除；相反，則是正常螺栓點(diǎn)，需要保留。經(jīng)過(guò)移除離群點(diǎn)，點(diǎn)云去除了絕大部分的噪聲數(shù)據(jù)見(jiàn)表2。處理后的點(diǎn)云圖像如圖6所示，其中圖6（a）是傳感器采集的中心鞘螺栓圖像，圖6（b）是采集的初始稠密點(diǎn)云，圖6（c）是對(duì)點(diǎn)云進(jìn)行下采樣的結(jié)果，圖6（d）是移除離群點(diǎn)后的螺栓點(diǎn)云。

表2 不同的濾波方法的降噪情況

圖6 中心鞘螺栓點(diǎn)云預(yù)處理

3.2 螺栓松動(dòng)計(jì)算

3.2.1 螺栓點(diǎn)云聚類分割

點(diǎn)云分割是根據(jù)空間、幾何和紋理等特征進(jìn)行劃分，使得同一劃分內(nèi)的點(diǎn)云擁有相似的特征，分割后形成的點(diǎn)云目標(biāo)可用于目標(biāo)識(shí)別，語(yǔ)義理解，曲面重建，3D內(nèi)容檢索等［10］。根據(jù)螺栓點(diǎn)云特點(diǎn)，文中采用歐式聚類分割對(duì)濾波后的點(diǎn)云進(jìn)行分割，根據(jù)歐幾里得算法［11］對(duì)點(diǎn)云進(jìn)行如下操作：

（1）找到空間中某點(diǎn)p，在KD-tree中找到最近的n個(gè)點(diǎn)，判斷這n個(gè)點(diǎn)到p點(diǎn)距離。將距離小于閾值r的 點(diǎn)p12，p13，p14的 點(diǎn) 放在類Q里。

（2）在Qp里找到一點(diǎn)p12，重復(fù)（1）。

（3）在Qpp12里找到一點(diǎn)，重復(fù)（1），找p22，p23，p24…全部放進(jìn)Q里。

（4）當(dāng)Q再也不能有新點(diǎn)加入了，則完成了搜索。

3.2.2 螺栓目標(biāo)定位和松動(dòng)計(jì)算

根據(jù)點(diǎn)云特點(diǎn)，對(duì)聚類結(jié)果根據(jù)最小包圍盒［12］和空間位置進(jìn)行目標(biāo)定位。中央牽引拉桿中心鞘螺栓的基準(zhǔn)面是中心圓面，螺栓平面是最上方的4個(gè)尺寸大小相同的點(diǎn)云平面。算法流程如下：

設(shè)輸入點(diǎn)云為C，點(diǎn)云最小包圍盒為Box，基準(zhǔn)平面點(diǎn)云為Pbase，螺栓平面點(diǎn)云集合為PSet_target，基準(zhǔn)平面點(diǎn)云包圍盒體積為Pbase，螺栓點(diǎn)云包圍盒體積為Vtarget，包圍盒體積閾值為Vthreshold，包圍盒形狀閾值為Rthreshold，點(diǎn)云的聚類數(shù)為k。

（1）對(duì)于每一個(gè)聚類C（i）（i=1，2，3，…，k），計(jì)算點(diǎn)云包圍盒Box（i）的體積V（ibox）和包圍盒形狀數(shù)R=w/h（其中w是包圍盒的寬，h是包圍盒的高）。若R（i）滿足|R（i）-1|＜Rthreshold并且|V（ibox）-Vbase|＜Vthreshold；則 令Pbase=C（i），若|V（ibox）-Vtarget|＜Vthreshold，則把C（i）放入PSet_target。

（2）設(shè)目標(biāo)點(diǎn)云集合PSet_target里面含有點(diǎn)云數(shù)為m（m≥4）。對(duì)于里面第n（n≤m）個(gè)點(diǎn)云計(jì)算平均Z坐標(biāo)的值Zmean，并且得到前4個(gè)最小平均Z坐標(biāo)Zi（i=0，1，2，3），然后計(jì)算這4個(gè)最小Z坐標(biāo)的最大 值Zmin_max，若|Zmean（n）-Zmin_max|＜0。則 把 點(diǎn) 云PSet_target（n）從目標(biāo)點(diǎn)云集合PSet_target里面刪除。

（3）若PSet_target里面點(diǎn)云數(shù)小于4，則說(shuō)明存在螺栓缺失。若PSet_target里面點(diǎn)云數(shù)等于4，進(jìn)一步對(duì)基準(zhǔn)點(diǎn)云Pbase和目標(biāo)點(diǎn)云集合PSet_target里面的每一個(gè)點(diǎn)云分別進(jìn)行基于RANSAC算法的平面擬合［13］，然后計(jì)算螺栓平面到基準(zhǔn)面的距離H。根據(jù)比較H與標(biāo)準(zhǔn)Hnormal距離，可以判斷螺栓是否松動(dòng)，并且求出松動(dòng)的距離，點(diǎn)云處理流程如圖7所示。

圖7 螺栓點(diǎn)云聚類分割和平面擬合處理結(jié)果

4 試驗(yàn)結(jié)果分析

數(shù)據(jù)來(lái)自智能巡檢機(jī)器人采集的車底中心鞘螺栓的二維圖像和三維點(diǎn)云，工控機(jī)配置參數(shù)：CPU為i7，內(nèi) 存 為64 GB，硬 盤 為3 TB，顯 卡 為2×Nvidia-TITAN。采集了中央牽引拉桿中心鞘螺栓二維圖像和三維點(diǎn)云各200張，分別利用訓(xùn)練好的SVM模型和點(diǎn)云處理算法進(jìn)行螺栓故障的檢測(cè)。

（1）對(duì)采集的200張中心鞘螺栓圖像進(jìn)行識(shí)別，無(wú)缺失螺栓圖像194張，單張圖像點(diǎn)的檢測(cè)時(shí)間約為0.76 s，滿足巡檢機(jī)器人實(shí)時(shí)檢測(cè)的標(biāo)準(zhǔn)，但是漏檢6張，即6張圖像中存在螺栓但是未檢測(cè)出，識(shí)別準(zhǔn)確度受光照、尺度、螺栓表面灰塵的影響較大，需要人工把錯(cuò)誤樣本送入負(fù)樣本庫(kù)進(jìn)一步訓(xùn)練模型。檢測(cè)結(jié)果見(jiàn)表3。

表3 SVM中心稍螺栓圖像識(shí)別結(jié)果

（2）對(duì)采集的200張3D圖像進(jìn)行測(cè)試，采用3D點(diǎn)云的檢測(cè)方法，每張圖像的平均處理時(shí)間1.32 s，與二維圖像相比，不僅可以檢測(cè)出螺栓的缺失，更可以檢測(cè)出螺栓的松動(dòng)情況，不存在漏檢的情況，進(jìn)一步地排除安全隱患。部分檢測(cè)結(jié)果見(jiàn)表4：在表4中，編號(hào)為2的螺栓4，編號(hào)為4的螺栓4，編號(hào)為7的螺栓2高度值與設(shè)定的高度閾值35 mm有較大差異，可以認(rèn)為是松動(dòng)的螺栓，其他螺栓為正常螺栓。實(shí)際測(cè)量了部分螺栓高度與算法得出的計(jì)算值進(jìn)行了比較。選取了中心鞘螺栓中的4個(gè)螺栓之一與實(shí)際測(cè)量值的比較，與實(shí)際測(cè)量值誤差約0.1 mm，滿足了檢測(cè)系統(tǒng)精度的要求，如圖8所示。地鐵中心鞘螺栓采用的螺栓型號(hào)為M36×110，其螺距為4 mm，傳統(tǒng)工人檢測(cè)可通過(guò)檢測(cè)防松標(biāo)記進(jìn)行判斷，要到達(dá)0.06 mm精度要求，需要對(duì)線精度約為5°，最關(guān)鍵的是人工檢測(cè)效率極低，容易發(fā)生漏報(bào)和誤報(bào)現(xiàn)象。基于二維圖像檢測(cè)方法，由于光照不均勻、螺栓表面臟污等因素的影響，造成識(shí)別困難，無(wú)法測(cè)量得到松動(dòng)高度；即使圖像清晰，通過(guò)檢測(cè)防松標(biāo)記的轉(zhuǎn)動(dòng)角，要獲得0.1 mm的螺栓松動(dòng)也是比較困難的。采用三維點(diǎn)云的處理方法可以避免這些缺點(diǎn)，準(zhǔn)確檢測(cè)出螺栓的松動(dòng)情況，確保列車安全運(yùn)行。

圖8 中心鞘螺栓中螺栓1的實(shí)際測(cè)量高度和理論計(jì)算高度對(duì)比

表4 部分中心鞘螺栓點(diǎn)云平面與基準(zhǔn)平面的距離

5 結(jié)束語(yǔ)

針對(duì)機(jī)車車輛車底中心鞘螺栓松動(dòng)和缺失的這一常見(jiàn)故障，提出了一種基于三維點(diǎn)云處理的檢測(cè)算法。對(duì)于螺栓三維點(diǎn)云，通過(guò)聚類后的點(diǎn)云包圍盒形狀系數(shù)和縱向Z坐標(biāo)實(shí)現(xiàn)了螺栓點(diǎn)云的定位，提高了定位準(zhǔn)確率，并采用RANSAC平面擬合算法計(jì)算出了螺栓的松動(dòng)情況。螺栓檢測(cè)采用三維點(diǎn)云的處理方法，克服了傳統(tǒng)的圖像分析只能判斷螺栓缺失故障的不足。避免了中心鞘螺栓“帶傷”工作，極大地提高了列車運(yùn)行的安全性。文中算法在地鐵車輛智能巡檢機(jī)器人中進(jìn)行了應(yīng)用，現(xiàn)場(chǎng)試驗(yàn)表明：算法準(zhǔn)確度高，運(yùn)行速度快，滿足了實(shí)時(shí)檢測(cè)的要求。