基于三維激光成像技術的扣件缺損自動檢測

李明森,李 林,張 超,劉光東,羅文婷

(1.福建農林大學交通與土木工程學院,福建 福州 350100；2.福建省高速技術咨詢有限責任公司,福建 福州 350001)

1 引 言

隨著中國鐵路網規模的擴大,鐵路檢測的快速化與智能化要求越來越高。軌道扣件作為鐵路沿線設備的重要組成部分,具有固定軌道、絕緣減震、軌距與水平調整等重要作用[1],其維護的重要性逐漸顯現?，F階段鐵路檢測主要是人工檢測,不僅準確率較低、速度慢,而且存在錯檢、漏檢等問題[2]。為了提升速度,也有通過檢測車拍照再經由工作人員通過照片來確定扣件狀態的檢測方法,這種方法確實降低了工人的工作強度,提高了巡檢的安全性,但是仍然屬于人工檢測,并沒有從根本上解決問題[3],準確度方面無法保證。為了滿足鐵路巡檢的自動化與智能化的要求,國內外都做了較多的研究,大部分是通過基于數字圖像的深度學習技術,通過模型訓練得到相應的約束條件,然后判斷采集得到的圖片是否存在模型中的病害,如鄭丹陽等人基于深度學習方法搭建HED網絡提取軌道扣件的深度邊緣特征,利用得到的特征圖與分類器最終實現扣件病害檢測[4]；侯云等人引入代價敏感策略對卷積神經網絡算法進行改進,依據模型錯誤率調整樣本分配權重,最終提升扣件檢測速率[5]。針對扣件區域提取特征的檢測算法無法避免背景信息對特征穩定性的影響,只能通過融合扣件的結構特征進行改善[6],無法得到更加詳細的三維高度信息,準確度有所缺失,并且在此之前需要采集大量數據進行訓練,比較費時費力,而現在扣件使用的種類繁多,每種扣件都需要其專屬模型,適用性較弱。因環境因素等影響,基于二維圖像很難提取出形狀復雜的扣件,尤其是在扣件種類愈加繁多的情況下,但結合扣件輪廓和高度信息,三維圖像檢測算法能有效分離扣件與環境背景[7]。

本文通過自行搭建三維成像平臺,通過提升裝置高度以擴大其檢測范圍,之后使用亞像素精度中心提取法得到點云數據,再使用OpenGL渲染點云數據,以直觀顯示采集數據,然后通過扣件實際高度設置閾值,使得到三維圖像,最后用聚類法分辨扣件病害。技術路線圖所圖1所示。

圖1 技術路線圖Fig.1 Technology Roadmap

2 三維激光采集系統搭建

2.1 三維激光成像原理及傳感器集成

在構造上,采用垂直入射式構造,如圖2所示,這樣可以節省更多空間以及簡化計算,根據幾何三角關系,只要知道入射光線AB任意一點在相機成像平面上的成像位置與基準像點F位置偏差,就可以推出該點與平面B點之間的高度差[8-9]。

(1)

其中,AB為被測物體的高度；BO為參考平面與相機鏡頭的距離；OF為像距,FD為成像高度；α為相機視線與激光線夾角；β為相機與成像底面所成夾角。

在硬件采集方面,采集小車通過車輪轉動帶動光電編碼器(DMI)轉動,向相機傳遞脈沖信號,與相機采集結合,實現小車運動與相機采集同步運行,如圖3所示；而在相機采集部分,整體構造如圖4所示。通過亞像素中心線提取得到三維深度圖,再經由OpenGL三維渲染接口渲染得到三維數據,直觀顯示采集對象的高低起伏情況,可以清晰地觀察到扣件本身是否缺損以及表面是否存在異物等,對于鐵軌的檢修等具有重要意義。

圖4 三維采集箱Fig.4 3D acquisition box

2.2 激光條紋提取

激光條紋提取主要步驟為激光條紋濾波以及激光條紋中心提取法。在理想情況下,激光條紋的亮度呈高斯分布[10],但是由于外界光照因素的影響以及不同材料的反光程度的不同,對激光條紋光強存在干擾,難以獲取理論情況下的激光條紋,因此需要對圖片進行濾波處理；其次需要對激光中心條紋細化提取,將精度提升至亞像素精度。

2.2.1 激光條紋濾波

使用中值濾波或者高斯濾波都可以在一定程度上減少噪聲干擾,但是這些濾波方式都會使激光中心線失去詳細信息,在亞像素提取方法下這種影響很明顯。但是可以使用OpenCV中的雙邊濾波函數可以在消除噪聲干擾的同時保留激光中心線強度信息,而采用的核為3×3,空間域參數與像素域參數均為10的雙邊濾波器效果最好。圖5為激光線水泥塊上的顯示效果以及不同濾波方式對激光線條紋的影響。

圖5 激光條紋原圖及處理圖像Fig.5 Laser fringe pattern and image processing

2.2.2 激光條紋中心提取法

由于激光光條存在寬度,只有將激光線條紋細化并提取中心線后才可以詳細得到采集對象的更加精確的高度信息。而由于反射噪聲的存在,以及激光線中心部位飽和,激光條紋中心類似于高斯分布,故使用高斯擬合法對所提取的條紋中心的準確性有一定影響,而采用灰度提取法對于本文寬度較大的ROI區域而言,其準確性會大打折扣[11-13]。本文通過結合高斯擬合法、灰度重心法以及激光條紋中心的飽和值,通過改變其影響參數,提出改進的中心線提取法:

(2)

其中,Iy為提取的中心線坐標;I(x,y)為初始激光條紋中心灰度值;ya為初始條紋中心坐標;a為影響參數,隨著飽和值的改變而改變;i為激光條紋寬度的一半。

(3)

故除了使用R2表示各個采集精度外,還使用標準差σ來表示各個激光中心提取法的精度。由于極值法精度只到像素精度,使用R2看不出有何不同,但是使用標準差會使數據增大,進而看不出本文方法與灰度重心法的區別之處,故未展示極值法標準差。

將三種方法的條紋提取結果進行直線擬合,結果見表1與圖6。

表1 中心擬合直線Tab.1 Center fitting line

圖6 中心提取法兩組數據標準差對比圖Fig.6 Comparison of standard deviation of two groups of data by center extraction method

通過DMI(光電編碼器)將采集小車運動與相機采集同步,可以得到一張完整的三維激光掃描點云數據,再經過OpenGL進行渲染,最終點云數據的三維渲染圖,如圖7所示。

圖7 點云渲染圖Fig.7 Point cloud rendering

由于瀝青試塊表面紋理較復雜,越精準的中心提取法就可以越精確的提取瀝青試塊表面紋理,可以通過三種方法對瀝青試塊表面紋理的提取效果以直觀地顯示三種方法的優劣情況。圖8顯示的是使用極值法采集數據經渲染后的三維圖像,圖9顯示的是使用灰度重心法采集數據渲染后的三維圖像,圖10是使用本文方法采集數據后渲染得到的三維圖像。

圖8 極值法Fig.8 Extreme value method

圖9 灰度重心法Fig.9 Gray centroid method

圖10 本文改進方法Fig.10 This paper improves the method

從采集結果中可以直觀看出本文的改進方法在對瀝青紋理的采集精度上、對采集對象表面細節方面比極值法與傳統的灰度重心法兩種方法要好上很多,并且采集速度方面完全可以與小車同步。

3 軌道扣件的病害采集與處理

鐵路扣件是維系鐵路運輸安全的重要部件,扣件缺失斷裂,會使軌道松動,很有可能造成列車脫軌等重大事故。因此,鐵路設施的檢測與養護異常重要,而目前我國主要依靠人工沿線排查,而人工檢測準確度低、容易漏檢并且速度慢[18-19]；尤其在我國鐵路規模逐漸增長的情況下,扣件的自動化探測是發展鐵路事業必須要面對的問題[20]。本文通過提出一種新的結構光中心線提取法,得到鐵路扣件的深度信息,根據扣件在不同高度占有的像素數,不僅可以快速定位扣件位置,還可以準確地確定扣件缺失情況以及扣件上存在的異物情況,使用本文方法識別扣件病害效果如圖11所示。

圖11 三維點云渲染圖扣件識別Fig.11 Fastener recognition of 3D point cloud rendering

3.1 扣件病害采集算法

聚類是數據挖掘[21]的一個重要手段,K均值聚類算法是一種廣泛運用的聚類算法,該算法操作及原理簡單、快速[22],其基本原理如下:

已知一個數據集含有的數據對象數量為n,將其分為固定K個類別,并令初始聚類中心為任意選取的K個數據對象,按照相似度[23]最近原則,將其他數據分別分至與之相似度最高的聚類中,并按照當前聚類結果,采用已有聚類質心完成界定,新的聚類中心即為得到的K個質心,再重新聚類數據集,持續迭代處理直至滿足預期要求。其標準為界定的準則函數與已知數值相近或逐漸收斂。采用下列公式界定誤差平方和準則函數:

(4)

式中,全部樣本誤差平方和為Je;空間數據對象為p;簇均值為ui。

由于現在鐵路扣件種類較多,不可能一一實驗,所以在扣件選擇放慢選擇了應用最廣泛的“W”型扣件,與鐵軌一起按實際情況擺放在室內進行采集。采集系統在采集軌道扣件三維圖像的時候,首先需要對扣件進行定位,現根據采集得到的三維深度圖提出一種根據深度值定位方法。如圖10所示,軌道與扣件的高度信息經過OpenGL渲染后可以直觀的顯示出來。通過設置合適的閾值,就可以提取相應高度的扣件位置,再統計該部位扣件占據的像素數量,便可以分辨該處扣件病害。如圖12所示,扣件表面高于鋼軌底部和承軌臺。據此利用閾值分割法可將扣件深度圖像中的扣件部分提取出來,即:

圖12 實驗室軌道采集橫剖線Fig.12 Laboratory track acquisition cross section line

(5)

其中,I(x,y)表示是點(x,y)的高度值;V1表示閾值下限;V2表示閾值上限。

由橫剖線可確定扣件閾值為30～80,低于此閾值的認為是路面、枕木,高于此閾值的認為是鐵軌。為了詳細檢測某一個扣件是否存在缺失、異物等病害,將整幅深度圖按照四個扣件的分布分為左上、右上、左下以及右下部分。若是扣件出現扣件缺失,則其扣件在其閾值內所占像素數會明顯少于正常情況下所占像素數；同理,若是扣件出現扣件上異物病害,則在其閾值內所占像素數會明顯多余正常情況下所占像素數。根據以上描述,本文分別對缺失、正常、異物三種情況采集了三組圖片,以判斷本文提出方法的準確性與快速性。

3.2 扣件數據采集及處理

在實驗室條件下,通過人為拆除一些扣件或者抽開彈條,在扣件上放置異物等以模擬扣件缺失和扣件異物,分別統計正常情況下、扣件缺失情況下以及存在異物情況下的閾值內所占像素數,如圖13所示。

圖13 三維信息中不同扣件病害情況Fig.13 Diseases of different fasteners in 3D information

從數據中可以看出當扣件斷裂缺失時,占據像素數明顯少于正?？奂?扣件上存在異物時,其占據像素數明顯多于正?？奂?所以完全可以根據閾值內占據像素數來判斷扣件病害情況。

通過測試,可根據下列公式計算出實際異物或扣件缺失面積:

T=(T測-T完整)×a

(5)

其中,T指的是實際測得的異物或者缺失物體表面橫截面積,若為正,則表示存在異物；若為負,則表示存在扣件缺失；T測表示測量得到的扣件所占像素數,可能存在缺失或者異物；T完整表示測得的完整扣件所占像素數,不同扣件有不同取值；其中a為像素與實際面積之比,在本文測量系統下,比值取0.803。

之后采集100張圖片,里面包含有100個殘缺扣件,200個正常扣件,100個扣件異物,即將數據分為3個類別,且很容易得到3個簇的中心值,之后對采集數據通過聚類法進行判別,結果如表2所示。

表2 扣件病害判別結果Tab.2 Fastener disease discrimination results

由數據可以看出,通過該方法可以對本文中的殘缺扣件有100 %的識別度,對扣件異物也有98 %的識別率,能夠準確的識別扣件異物與扣件缺失病害。

由于鐵路扣件彈條與擋板座在實際鐵路上是在固定位置固定軌枕,故當測量小車沿著鐵軌線路檢測時,軌道扣件與軌枕均在圖片固定位置上,在這種情況下,可以確保檢測的扣件位置始終保持在圖片左右位置不改變,在圖片的上下不同位置出現扣件時,經檢測,仍能準確識別出扣件缺失以及異物病害,檢測結果如圖14所示。

圖14 扣件病害檢測結果Fig.14 Testing results of defective fasteners

本文中測試時使用的是現在鐵路使用最廣的彈條Ⅰ型扣件,如圖15所示,這種扣件主要是利用壓力固定軌枕,其他扣件只要是相同原理下,理論上均可以檢測出缺失以及異物等病害。

圖15 完整扣件與缺損扣件對比Fig.15 Comparison between complete fastener and defective fastener

由圖13可以看出不同病害的扣件得到的測量值是不同的,由于缺失扣件是占完整扣件的3/4;由于固定螺絲本身會遮蔽一部分的扣件影像,故檢測時會將固定扣件的螺絲一并檢測,故圖中的比例不為理論上的3/4,之后根據實際關系可測得螺絲占據的像素數為3453.9；最后,只需由測量結果減去螺絲所占像素數就可以得到單純扣件所占的像素數。

圖16分別是缺失1/2以及1/4的扣件測量圖,以及不同異物大小的測量圖像,異物選擇的是標準金屬塊,分別使用是橫截面為51 mm×51 mm以及51 mm×12.8 mm橫街面的金屬塊。測量效果如圖16所示。

圖16 不同嚴重程度下的扣件病害Fig.16 Fastener diseases under different severity

4 結 論

三維激光成像技術的關鍵就是激光條紋中心提取法。本文通過分析圖像灰度值分布,提出一種改進的灰度權重模型方法提取激光條紋中心線,使其精度達到亞像素精度。首先,通過雙邊濾波去除外界噪聲影響,獲取初始的激光條紋區域；其次,通過選取有效的圖像ROI區域,以去除采集圖片的內部影響,得到一條可用于快速提取的激光條紋區域；最后,結合灰度重心法和高斯擬合法,引入影響參數,提出改進的灰度權重模型,具有很好的穩定性與魯棒性。具體通過采集同一塊瀝青試塊,對比不同中心線提取法,本文方法不僅精度比灰度重心法等方法要高,而且處理速度與灰度重心法相比也毫不遜色；在軌道扣件采集方面,本文方法可以精確的采集到扣件,扣件是否損壞、缺失以及異物等信息均可采集。這些信息對于后期扣件檢測、維護等都具有重要意義。另外,雖然在實驗室內測試情況正確率較高,但是還有很多情況沒有考慮,如測量小車本身的顛簸會導致數據誤差、扣件潮濕時難以檢測等情況。