基于機器視覺和卷積神經網絡的軌道表面缺陷檢測方法

姚宗偉，楊宏飛，胡際勇，黃秋萍，王 震，畢秋實

(1.吉林大學 機械與航空航天工程學院,吉林 長春 130025；2.數控裝備可靠性教育部重點實驗室,吉林 長春 130025；3.一汽-大眾汽車有限公司，吉林 長春 130011)

高速鐵路鋼軌的質量是影響高鐵列車運行安全的關鍵因素，實時準確檢測軌道表面缺陷，對于及時排除軌道的潛在風險至關重要。軌道缺陷檢測方法主要分為以下三類：一是人工應用工具敲打和裸眼目測的方法，具有較大的主觀性；二是借助于激光[1]、超聲波[2-3]、紅外線[4]和渦流[5]等傳感器的檢測方法，此類方法對傳感器本身的可靠性和精度要求較高；三是基于傳統的圖像處理和機器視覺方法[6]，此類方法的主要關注點在于異常對象的定位，其中圖像處理過程占用了大量的計算時間[7]。

除此以外，隨著計算機和信息技術的發展，出現了利用機器視覺和基于神經網絡的檢測方法[8-10]。該方法可以較好地降低檢測人員的主觀影響，文獻[9]應用該方法對軌道表面質量進行了檢測，但查準率和召回率不夠高，距離實際應用相差較遠。

本文提出一種基于機器視覺和卷積神經網絡的軌道表面缺陷檢測方法。首先應用灰度化、分割ROI(Region of Interest)、圖像形態學變換以及概率霍夫變換等機器視覺方法對圖像中的軌道進行智能識別；然后通過中值濾波[11]和雙邊濾波[12]剔除圖像中的噪聲信息，并結合Canny算法[13]，順次應用閾值法和離散法去除偽邊緣，提取軌道的真正邊緣；最后，基于卷積神經網絡建立高效的軌道表面形態分類器[14]，完成對軌道表面特征的自動提取，從而將軌道分成完好和有缺陷兩類。軌道表面缺陷檢測方法流程見圖1。

圖1 軌道表面缺陷檢測方法流程

1 軌道識別

在此部分，需要依次對圖像進行灰度化、分割ROI、形態學變換和概率霍夫變換4個預處理步驟，具體流程見圖2。

圖2 軌道識別算法流程

1.1 圖像灰度化分割ROI

采用灰度加權法，將原始RGB圖像轉化為易于識別的灰度圖像。考慮到軌道和路基有較大色差，用矩形滑動檢測窗口遍歷，進行模板匹配，識別出ROI區域。在ROI區域，計算各像素點灰度的均值μf和方差σf，根據式(1)計算出分割閾值IT，以此為據對灰度圖進行分割，得到二值圖像。

IT=μf+3σf

(1)

將ROI區域分為左右兩個部分，分別記為LD和RD。將LD和RD區域內的有效像素點分別按列放入集合D中，再進行后續的處理。

1.2 形態學變換和概率霍夫變換

為了消除噪聲的影響以尋找圖像中明顯的極大值區域，應用形態學膨脹和腐蝕作差的方法進行處理。

(2)

(3)

(4)

為了降低運算時間，采用概率霍夫變換方法，只需要操作平面內部分點即可完成檢測。

1.3 軌道識別結果

分別采用經典霍夫變換和結合形態學濾波的改進霍夫變換的方法對軌道進行識別，軌道識別精度與用時對比如表1所示，對軌道進行識別的結果見圖3。在所有識別的8 523張軌道圖像中，識別軌道的軌跡與人工標記相同為正確識別，經典霍夫變換方法正確識別到8 152張軌道圖像，改進霍夫變換正確識別到8 431張軌道圖像。根據軌道識別結果，經典霍夫變換精度為95.65%，10次識別平均時間為131 ms；而采用改進霍夫變換相結合的方法精度為98.92%，10次識別平均時間為25 ms。

表1 兩種方法精度、用時對比

圖3 軌道識別

2 軌道的精確定位

經過前文的處理，已經識別到了圖像中的軌道，但還需要進行精確定位。

2.1 軌道圖像濾波和Canny算子邊緣提取

首先采用中值濾波，再進行雙邊濾波，消除圖像中的噪聲，經過Canny算法對邊緣進行檢測。軌道原圖及其順次處理結果見圖4，軌道原圖像見圖4(a)，邊緣檢測后的結果見圖4(b)。可以看到，檢測的結果包含了大量偽邊緣，需要進行偽邊緣處理。

圖4 軌道原圖及其順次處理結果

2.2 偽邊緣初步處理

對軌道位置進行檢測，若檢測到軌道垂直放置，則對像素值矩形進行轉置處理；若檢測到軌道水平放置，則不進行處理。

偽邊緣初步處理，將待檢測圖像第i行像素進行加和得到Si，然后將Si與閾值ST進行比較，如果Si>ST則保留為邊緣，否則跳過，進行第i+1行像素的加和、比較，直到找到滿足條件的像素行，并將其所在行數記為L1，作為軌道的一側邊緣界限。同理，可以找到軌道另外一側的邊緣界限L2。此算法關鍵在于閾值ST的選擇上，其值會直接影響算法的效果和分割的準確性。經過大量試驗，提取效果較好的閾值ST為

(5)

式中：n為圖像總列數；Imax為最大像素值；Is為像素縮小倍數，取Is=5。

偽邊緣初步去除程序流程見圖5。

圖5 偽邊緣初步去除程序流程

此時得到的邊緣并不僅有L1和L2兩條，只是初步去除了Canny算法檢測得到的一些具有較大偏差的偽邊緣。偽邊緣初步處理效果見圖4(c)。

2.3 偽邊緣二次處理

由圖4(c)可知，圖像中連續性最好的兩條邊緣為真正的邊緣，其各像素點的像素值與算術平均數的差異程度較小；其他各像素點的像素值跳躍性較大為偽邊緣。因此，應用每條邊緣的離散程度判斷其是否為偽邊緣，取其中標準差最小的兩條作為真正的邊緣保留，其他作為偽邊緣去除。根據以上分析，應用約束條件式(6)對偽邊緣進行去除。

(6)

式中：STDi為軌道圖像第i行的像素值標準差，i=0,1,2,…,m-1；n為輸入圖像的總列數；m為輸入圖像的總行數；c為可以調整的動態因子，其對結果的影響將在試驗部分給出。偽邊緣二次去除效果見圖4(d)。

2.4 軌道擬合及定位

由于除去偽邊緣的操作可能對真實邊緣造成影響，從而需要進一步恢復。將偽邊緣清理后保留下的兩組邊緣點進行線性擬合，得到兩直線的截距和斜率后可以近似恢復實際邊緣。邊緣擬合結果見圖4(e)，軌道最終定位結果見圖4(f)。

3 缺陷檢測算法

經上文處理已經得到了軌道的精確圖像，可以輸入到卷積神經網絡中進行模型訓練。

3.1 構建交叉熵函數

由于鐵路安全的特殊性對查準率和召回率的要求有別于其他案例，所以需要定義一個能用于權衡查準率和召回率的損失函數。

在機器學習中，一般根據查準率P和召回率R來評價檢測與識別效果，應用交叉熵代價函數C(r)來衡量神經網絡預測值與實際值的接近程度以促進模型的訓練，其定義分別如式(7)～式(9)所示。

(7)

(8)

(9)

式中：TP為準確檢測出的缺陷軌道數量；FP為錯誤檢測出的缺陷軌道數量(即實際為完好軌道卻錯誤檢測為缺陷軌道)；FN為實際為缺陷軌道卻檢測為完好軌道的數量；M為樣本總數；yr為樣本r的實際值；y(r)為樣本r的預測值。

由于在常規卷積神經網絡應用的交叉熵代價函數與召回率沒有直接關系，所以引入變量K(r)來平衡查準率和召回率，以滿足軌道缺陷檢測的特殊要求。K(r)的定義為

(10)

式中：ω為權重，其對結果的影響將在試驗部分進行具體分析。

由于訓練期間的當前樣本的參數對現階段的結果影響最大，所以需要關注其變化趨勢。用t和s分別表示中間迭代次數和當前迭代次數，當前樣本的查準率和召回率可表示為

(11)

(12)

為了便于后續的計算,將變量K(r)和交叉熵C(r)進行均值標準化[10]

(13)

(14)

式中：μK、σK為K(r)的平均值和方差；μC、σC為交叉熵函數C(r)的平均值和方差。進一步，提出新的代價函數為

(15)

從式(15)可以看出，變量K(r)對查準率、召回率和損失函數都有比較強的約束，可以使分類器向最優化的方向運行。

3.2 卷積神經網絡結構

建立Orbitcnn網絡進行軌道表面分類，Orbitcnn網絡[15]結構見圖6。該網絡由47層網絡構成，可將大卷積核分解為幾個小卷積核，包含11個Inception-v3原始模型[16]和96個并行卷積層，并將原Inception-v3網絡的第3個池化層后的最終層替換為2個神經元。較早層采用5個模塊A，見圖7，主要將一些較大的卷積核分解成幾個較小的卷積，比如可將5×5的卷積分解為兩個3×3的卷積，參數量減少了28%，但是兩者感受野是等價的，中間層是采用4個模塊B，圖8是將n×n的卷積分解成1×n和n×1卷積，同樣地這種分解在保證相同效果下降低了參數量。后面層采用了2個模塊C，見圖9，其特點是卷積組被擴展以產生更多不一樣的特征，為了防止直接使用max pool層進行采樣從而導致信息損失較大，該網絡采用一個池化層和一個卷積層[17]，最后將兩者的結果連接在一起，這樣可以防止特性數量的減少，從而在較小的計算量情形下避免瓶頸層。

圖6 Orbitcnn網絡結構

圖7 模塊A

圖8 模塊B

圖9 模塊C

為了防止出現過擬合現象，在網絡中增加一個dropout層，并將其值設為0.7。將軌道數據分成72批進行處理，迭代次數為6 000次。輸入的預處理軌道圖像大小720×960，與25×25×265卷積核進行特征提取后進入6×6×265池化層進一步壓縮特征數據，最后進入到1×1×2 048的全連接層進行參數訓練，學習率設置為0.000 1。

模塊A是輸入被復制為4份不同的層使用，即圖中3個1×1卷積層和1個最大池化層組成。第2層為2個3×3的卷積層，1個1×1的卷積層。第3層的1個卷積層為3×3。

模塊B是輸入被復制為4份不同的層使用，即圖中3個1×1卷積層和1個池化層組成。第2層為2個1×n的卷積層，1個1×1的卷積層。第3層的2個卷積層為n×1，第4層的一個卷積層為1×n，第5層的一個卷積層為n×1。

模塊C是輸入被復制為4份不同的層使用，即圖中3個1×1卷積層和1個池化層組成。第2層的4個卷積層為3×3、1×3、3×1、1×1。第3層的2個卷積層為3×1、1×3。

4 卷積神經網絡試驗結果與分析

4.1 試驗樣本數據

所采用的軌道圖像數據集，是從安裝于沿軌道行駛的測量車上的攝像機俯視拍攝軌道視頻中，截取了軌道圖像8 253張，其中7 123張為完好軌道圖像，1 130張含有缺陷軌道；訓練集中軌道圖像3 521張，其中完好軌道圖像3 134張，缺陷軌道圖像387張；其余圖像匯集在測試集中，對訓練的模型進行測試。

4.1.1 權重值ω對查準率和召回率的影響

由于引入了新的損失函數，從而對網絡優化方向產生了影響，需要分析ω值對網絡召回率和查準率的影響。權重值ω對召回率的影響見圖10，當ω≥3時召回率有大幅增加；權重值ω對查準率的影響見圖11，當ω≥2的時候查準率有大幅度增加；由圖10和圖11可知，隨著ω的增加，召回率和查準率有所升高，為了同時確保較高的召回率和查準率，確定ω≥3。

圖10 權重值ω對召回率的影響

圖11 權重值ω對查準率的影響

4.1.2 動態因子c對召回率和查準率的影響

為盡量避免缺陷軌道漏檢的情況出現，要求有較高的召回率，所以應用不同優化器和動態因子c進行網絡訓練，從而獲得較高的召回率和查準率。在保持ω=3不變時對c取不同值，查看Orbitcnn網絡的性能表現，不同優化器和動態因子c對召回率的影響見圖12，不同優化器和動態因子c對查準率的影響見圖13。由圖12和圖13可知，當c增加時不同優化器的響應不盡相同，但在c=8 時，均方根算法RMS(Root Mean Square)召回率和查準率均達到最高，此時其召回率分別比隨機梯度下降算法SGD(Stochastic Gradient Descent)和自適應梯度算法Adagrad(Adaptive Gradient Algorithm)高3%和5%，查準率分別比SGD優化器和Adgrad優化器高1.5%和3.5%。因此可以認為，c=8時的RMS為較高性能的優化器。

圖12 不同優化器和動態因子c對召回率的影響

圖13 不同優化器和動態因子c對查準率的影響

4.2 結果對比

將訓練好的Orbitcnn與原始Inception-v3、MLC以及Cropimagecnn[18]分類器進行比較，結果如表2所示。Orbitcnn在召回率和查準率方面比MLC模型分別高了1.02%和15%，比原始inception-v3網絡分別提高了2.38%和4.75%，比Cropimagecnn分別提高了1.02%和1.06%，在算法運行時間上Orbitcnn比Inception-v3節約63 ms，比Cropimagecnn節約16 ms，雖然相比MLC方法有7 ms的落后，但依然能滿足實時性的要求，同時其在查準率方面相對MLC方法有大幅領先。綜上可知，Orbitcnn在軌道缺陷檢測上的綜合性能表現優于其他模型。

表2 四種模型的比較

5 結論

(1)應用加權法對圖像進行灰度化，將感興趣區域從圖像中分離，采用形態學濾波與概率霍夫變換相結合的方法進行圖像形態學變換；采用閾值法去除明顯不能形成連續邊緣的噪聲，應用離散法去除存在較多斷續且離散性較大的偽邊緣，得到了軌道的真正邊緣；應用卷積神經網絡的大卷積核分解成多個小卷積核的特性來降低特征圖像的維度，提高網絡的非線性以節約計算成本；構建了改進交叉熵損失函數，并對Inception-v3神經網絡進行有針對性地調整，得到了軌道表面分類器Orbitcnn。

(2)采用對實拍軌道圖像進行分類試驗，結果表明：該方法可以在保證精度的同時，在極短的時間(平均單次識別時間為25 ms)內高效完成識別任務；在查準率、召回率和檢測效率三方面綜合表現優于MLC、Inception-v3和Cropimagecnn三種方法；為了最終實現軌道質量在線實時檢測，尚需對軌道表面缺陷和內部結構之間的關系、分類器的在線學習以及軌道缺陷的物理定位等問題進行深入研究。