TFDS中螺栓故障的自動識別算法研究

費垚東，李柏林，范 宏

（西南交通大學(xué)機械工程學(xué)院，四川 成都610031）

1 引言

鐵路系統(tǒng)作為交通運輸?shù)闹饕绞剑趪窠?jīng)濟發(fā)展和國防建設(shè)中扮演著舉足輕重的角色。近年來，我國鐵路系統(tǒng)得到快速發(fā)展，規(guī)模逐漸增大，截至2018年底，全國鐵路運營里程已達到13.1萬公里以上，其中高鐵2.9萬公里以上。高安全性和高可靠性是軌道交通永恒的話題，然而隨著我國鐵路營運里程的持續(xù)增加，傳統(tǒng)耗時、費力的人工巡檢模式已經(jīng)不能滿足現(xiàn)階段鐵路系統(tǒng)的養(yǎng)護要求，急需開發(fā)自動巡檢設(shè)備以提高鐵路巡檢質(zhì)量和效率。計算機硬件和圖像傳感器的發(fā)展，使得機器視覺技術(shù)在自動檢測方面的應(yīng)用成為可能。鐵路公司也正試圖將機器視覺技術(shù)引入鐵路檢測的許多方面，例如鋼軌表面缺陷檢測［1］、接觸網(wǎng)故障檢測［2-4］、貨車故障檢測［5、6］、扣件故障檢測［7、8］等。

近年來，基于圖像識別的零件故障檢測［9］已經(jīng)取得了一些成果，文獻［10］中采用隨機的Hough變換方法確定螺栓位置，進而通過灰度值判斷螺栓是否丟失，但該方法擴大了感興趣區(qū)域，計算量大，識別率低。文獻［11］利用基于混合注意力子網(wǎng)絡(luò)的卷積神經(jīng)網(wǎng)絡(luò)進行圖像識別，從而判斷螺栓是否缺失，但實驗的步驟偏多，增加了處理時間。文獻［12］用Sobel梯度法預(yù)處理圖像后提取特征，再利用交叉核函數(shù)支持向量機分類，判斷螺栓是否丟失，但該方法對噪聲敏感。文獻［13］基于降噪的LBP算法來提高鐵路扣件識別的準確率，但識別速度明顯降低。文獻［14］基于Hough變換原理確定感興趣區(qū)域，通過梯度直方圖特征和角度距離相似性來確定擋件是否丟失，但該方法不能有效的抗噪聲。文獻［15］考慮中心點與上下鄰域關(guān)系的局部二值模式編碼方法，有效識別全部或部分缺失的鐵路扣件，然而該方法存在對噪聲抑制不足的弊端。使用TFDS采集到的貨車圖像，基于機器視覺技術(shù)，重點研究貨車螺栓故障的自動檢測算法。該算法首先根據(jù)先驗知識確定各螺栓的ROI（Region of Interest），然后使用提出的自適應(yīng)局部三值編碼算法提取螺栓的特征，最后將特征送入訓(xùn)練好的SVM（Support Vector Machines）中實現(xiàn)故障螺栓的識別。

2 TFDS簡介

TFDS（Trouble of Moving Freight Detection System），即鐵路貨車運行故障動態(tài)圖像檢測系統(tǒng)，是5T系統(tǒng)的重要組成部分，是一套集高速數(shù)字圖像采集、大容量圖像數(shù)據(jù)實時處理和精確定位模式識別技術(shù)于一體的智能系統(tǒng)。該系統(tǒng)使用高速攝像機對運行中的貨物列車的關(guān)鍵部位進行高速攝像，將圖像實時傳輸?shù)奖O(jiān)控室，由室內(nèi)檢車員按照制動、鉤緩、側(cè)架、中間部等八個工位在電腦中對圖像進行分析，找出相關(guān)部件的故障，并將故障信息反饋給室外檢車員，進行“定向”排除，從而實現(xiàn)安全行車遠程可控。圖像采集設(shè)備由底部圖像采集裝置（如圖1（a）所示）和側(cè)面圖像采集裝置（圖1（b））組成。TFDS使用高速線陣CCD相機捕捉動態(tài)貨車圖像，最高拍攝速度為68000線/秒，分辨率為（1400×1024）像素，可以適應(yīng)的貨運列車運行速度為（1～160）km/h。部分采集到的貨車圖像，如圖2所示。

圖1 TFDS圖像采集設(shè)備Fig.1 Image Acquisition Equipment of TFDS

圖2 TFDS圖像Fig.2 Image of TFDS

TFDS有效降低了工人在貨運列車故障檢測中的勞動強度。但是，該系統(tǒng)只負責捕獲，傳輸和存儲圖像，不能實現(xiàn)計算機自動識別故障圖像。目前，室內(nèi)檢查員的人眼仍然完成了貨車故障檢測仍以室內(nèi)檢查員人眼識別為主。但是，隨著貨運列車的增加，檢查人員的工作量將大幅增多。此外，動態(tài)檢車員的經(jīng)驗不足與疲勞都容易導(dǎo)致故障的漏報與錯報。因此，通過圖像處理的手段實現(xiàn)螺栓故障的自動識別具有重大意義。

3 算法

3.1 感興趣區(qū)域（ROI）提取

由于原始圖像覆蓋的區(qū)域很大，直接在原始圖像中識別螺栓將會是一個巨大的挑戰(zhàn)，為此我們采用由粗到精的搜索策略，首先提取螺栓的ROI，然后在ROI中識別螺栓故障。ROI的提取，是至關(guān)重要的一步，精準定位螺栓的位置，可以省去許多不必要的運算，為后續(xù)的圖像識別過程節(jié)省時間。TFDS系統(tǒng)通過線陣掃描方式拍攝整列通過列車，配合智能磁鋼裝置，再利用車輪信息可以精確提取圖像，即列車的各個部件在圖像中的位置基本保持穩(wěn)定，位置誤差很小。因此，我們可以利用圖像的先驗信息，直接從原始圖像中截取包括待檢測螺栓在內(nèi)的合適區(qū)域作為ROI，部分螺栓的ROI，如圖3所示。

圖3 螺栓ROI圖Fig.3 ROI Figure of Bolts（a）Boltsat The End of Shaft；（b）Bolts at The Tail Frame Pallet；（c）Bolts at The Hook Joist.

雖然ROI包括了螺栓在內(nèi)，但是由于圖像采集設(shè)備存在一定誤差，導(dǎo)致螺栓在ROI內(nèi)的位置不是固定的，而是在列車行駛方向上存在一定的波動。因此，這里采用模板匹配方法實現(xiàn)丟失螺栓的精確定位，采用歸一化相關(guān)性（Normalized Cross Correlation，簡稱NCC）作為相似性測度［16］。假設(shè)S（x，y）是大小為m×n的搜索圖像，T（x，y）是大小為M×N的模板圖像，NCC的相似性測度公式如下：

在實現(xiàn)螺栓精確定位時，T為丟失螺栓模板圖，直接從原始圖像中截取得到，如圖4（a）所示；S（x，y）為螺栓ROI。首先根據(jù)公式（1）計算搜索子圖與模板的相似度，遍歷整個搜索圖，得到相似性矩陣R；然后找到相似性矩陣R中的最小元素的坐標，并將此坐標映射回ROI圖像中，即得到故障螺栓在ROI中的精確位置，從而得到所需的螺栓子圖。軸端螺栓定位結(jié)果的例子，如圖4（b）所示。

圖4 軸端螺栓匹配Fig.4 Bolts Matching at The End of Shaft

3.2 螺栓局部特征提取

在得到精確的螺栓子圖之后，需要對其提取特征以供分類器做出分類。一個合適的特征提取算子可以大大簡化后續(xù)的目標識別過程。TFDS圖像數(shù)量巨大且容易受到光照的影響，而局部模式描述子又具有算法簡潔、光照不變等優(yōu)點，因此這里采用局部模式描述子對螺栓子圖提取特征。首先簡述LBP（Local Binary Pattern）算子，即局部二值模式；然后介紹原始的LTP（Local Ternary Pattern）算子，即局部三值模式；最后詳細介紹這里提出的改進的LTP算法，并完成螺栓的特征提取。

3.2.1 局部二值模式（LBP）

原始LBP算子由文獻［17］提出，他們將窗口中心點的灰度值作為閾值，通過比較鄰域點灰度值與中心點灰度值的大小進行編碼。如果灰度值比中心點的大，則將對應(yīng)像素點的值設(shè)為1，否則設(shè)為0。然后根據(jù)制定的編碼方向，對應(yīng)位置的值乘以相應(yīng)的權(quán)重，將二進制轉(zhuǎn)換成一個十進制求和，并將該值作為此中心點的LBP特征值，如公式（2）所示。

其中，

式中：gc-中心點Pc的灰度值；gn-鄰域點Pn（n=0，1，...，N-1）的灰度值。

為了更直觀的表達上述內(nèi)容，以3×3窗口的LBP特征值的計算過程為例作說明，如圖5所示。以窗口中左上角的像素點為起點按順時針方向旋轉(zhuǎn)一周得到此窗口的二進制序列，將序列中等于1的點乘以對應(yīng)的權(quán)重并相加得到LBP特征值為27。

圖5 LBP算子計算過程示意圖.Fig.5 Schematic Diagram of Calculation Process of LBP Operator.

3.2.2 局部三值模式（LTP）

LBP算子的主要弱點是二進制s（x）函數(shù)的閾值是中心點像素的值，這使得該算子對噪聲敏感，特別是在近乎均勻的圖像區(qū)域。為了克服這個弱點，文獻［18］提出使用三元編碼（LTP），LTP是在LBP的基礎(chǔ)上得來的，是對LBP的擴展。LTP描述子在均勻區(qū)域中具有更強的區(qū)分性和抗噪聲的能力，通常被用于紋理分類［19］，人臉識別［20］，人體動作識別［21］等。為了實現(xiàn)三元編碼，在規(guī)范LBP的s（x）函數(shù)中引入閾值τ，該函數(shù)變?yōu)椋?/p>

那么，LTP算子三元編碼的自然展開就是這樣的：

式中：qp-鄰域像素值；qc-中心像素值；τ-手動設(shè)定的閾值。

為了降低特征直方圖的大小，根據(jù)以下二進制函數(shù)bc(x)，c∈{-1,1}，原始LTP編碼被分成正負兩部分：

最后，將這兩部分根據(jù)二進制模式計算的直方圖連接起來以形成特征向量。在一個3×3鄰域中，計算LBP和LTP的過程對比，如圖6所示。

圖6 LBP與LTP的關(guān)系（LTP編碼分為正（LTP+）和負（LTP-）兩部分）Fig.6 Relationship of LBP And LTP（LTP Coding Is Divided Into Positive（LTP+）And Negative（LTP-）Two Parts）

3.2.3 改進的LTP算子

由于TFDS系統(tǒng)的圖像采集設(shè)備安裝在室外環(huán)境中，極易受到天氣、光照、污跡等因素的影響，導(dǎo)致采集到的車體圖像噪聲嚴重，這就要求特征提取算子具有抗噪聲的特性。現(xiàn)有的LTP算子的閾值是固定的，對閾值沒有加以限制，但是由于噪聲的存在，導(dǎo)致螺栓圖像的灰度或平緩或起伏，原始的LTP算子不能有效處理這種情況。因此，這里提出一種改進的LTP算子以克服圖像中的噪聲影響。在原始LTP算子的基礎(chǔ)上，首先計算局部區(qū)域的均方差，然后利用此均方差確定此區(qū)域中心點編碼所需的閾值，實現(xiàn)閾值的自適應(yīng)性。改進的LTP算子根據(jù)不同區(qū)域的特點自動調(diào)整所用的閾值，使得該算子具有更好的描述性和對抗噪聲的能力。改進LTP算子的閾值τ通過以下公式計算：

式中：v-中心像素鄰域內(nèi)的標準方差；d-預(yù)設(shè)的參照標準差；Th-預(yù)設(shè)的閾值。

原始LTP與改進LTP的編碼圖如圖7所示，從圖中可以看出改進LTP保留的信息比原始LTP的更豐富，并突出了螺栓的關(guān)鍵特征，這有利于后續(xù)的分類識別。使用改進的LTP算子對螺栓子圖完成編碼后，還要統(tǒng)計直方圖才能形成分類器能夠識別的特征向量。LTP直方圖通過以下公式計算：

圖7 LTP編碼對比圖Fig.7 Comparison of LTP Codes

其中，

4 實驗與分析

4.1 實驗準備

為了檢驗這里算法的性能，由國內(nèi)某車輛段提供的TFDS圖像用于實驗.圖像測試集由不同光照條件下的列車圖像組成，包括正常圖像與故障圖像（真實故障與人工合成故障），圖像總數(shù)為30000幅，圖像庫明細如表1所示；圖像大小為（1400×1024）識別算法使用VS2010編碼實現(xiàn)，實驗計算機平臺配置為：2.71G Hz Core i5 CPU，8G內(nèi)存。

表1 測試圖像庫明細Tab.1 Testing Details of The Image Library

實驗所用算法的參數(shù)設(shè)置為：改進LTP算法的鄰域點個數(shù)P=8，鄰域半徑R=2，計算標準差v使用的鄰域半徑為13，標準差參照值d=30，LTP閾值Th=10。

4.2 螺栓故障檢測實驗

螺栓圖像的信息比較單一，且故障螺栓的樣本數(shù)量極少。由于SVM（支持向量機）處理小樣本、非線性和高維模式的問題表現(xiàn)良好，因此這里使用SVM進行分類更適合。圖像庫中30000幅圖像均被用于測試故障識別算法的性能。SVM的核函數(shù)使用線性核函數(shù)，實驗采用交叉驗證的方式，交叉率為0.8。使用漏檢率（未檢出的故障圖像占總故障圖像的比值）、誤檢率（錯誤檢出的故障圖像占總測試圖像的比值）和準確率（正確檢出的故障圖像占總檢出圖像的比值）作為評估實驗性能的指標。分別使用原始LBP、原始LTP和改進LTP對扣件子圖提取特征，將它們的統(tǒng)計直方圖送入同一個SVM分類器完成故障分類，對比結(jié)果如表2所示。

表2 螺栓故障識別結(jié)果Tab.2 Identification Results of Bolt Fault

由表2可知，由算法得到的誤檢率與漏檢率均低于其余兩種算法，其中漏檢率為0.36%，誤檢率為3.33%，正確率為90.88%。由于TFDS采集的圖像極易受天氣、光照不均的影響，圖像質(zhì)量不穩(wěn)定，常常伴隨有大量噪聲，提出的自適應(yīng)閾值的LTP算子具有較強的抗噪聲能力，因此取得了較好的結(jié)果。

5 結(jié)束語

目前使用的TFDS系統(tǒng)主要負責在室外抓捕圖像，列車故障識別仍然以人眼識別為主，只有個別故障實現(xiàn)了計算機自動化識別。針對TFDS圖像中的螺栓故障，提出一種基于自適應(yīng)閾值LTP的螺栓故障識別方法。實驗結(jié)果表明，這里提出的算法對不同光照下的螺栓圖像檢測效果良好，包括鉤尾框托板螺栓、鉤托梁螺栓、軸端螺栓。該檢測算法同樣可以用到TFDS系統(tǒng)中其他零件的檢測，只需要重新設(shè)計模板圖像即可。未來，我們將收集更多的圖像數(shù)據(jù)對算法進一步驗證并作改進，同時要開展其他零部件的自動檢測研究工作。