基于受電弓采集圖像的智能識別技術應用研究

宋國良 ,王 剛 ,任廣強

(1.中國國家鐵路集團有限公司,北京 100844;2.青島四方阿爾斯通鐵路運輸設備有限公司,山東 青島 266000)

受電弓是動車組取流受流的關鍵部件,也是整車的動力來源,其工作狀態直接影響列車運行的安全性和可靠性。目前在動車組批量運用的受電弓視頻監控系統僅具備視頻實時觀看、記錄、查看功能,無法監測受電弓工作狀態,也無故障報警機制,僅可在受電弓監控屏觀看受電弓的實時工作狀態。

近年來,基于視頻分析的智能監控已廣泛應用于鐵路部件的安全檢測,其中受電弓在運行時可能會出現弓網電弧、弓頭缺損、碳滑板變形以及懸掛異物等異常狀態,危害列車安全運行,因此受電弓狀態檢測一直是安全檢測的重點。為了保證列車運行安全,需要一種實時檢測的方法來監控受電弓狀態,并將受電弓狀態及時反饋給列車機械師,由其進行相應操作,避免受電弓異常狀態進一步劣化。

為了及時發現并降低受電弓狀態異常故障對車輛引起的次生災害,本文結合智能識別算法,利用受電弓視頻監控圖像分析了受電弓工作狀態,實現了智能識別預警功能,便于隨車機械師及時發現并處理受電弓異常狀態?？紤]既有動車組實際情況,為充分利用現有受電弓視頻監控資源,通過增加一臺智能分析主機并在監控屏中增加智能分析人機交互界面,實現了在既有動車組中增加受電弓視頻智能分析功能,提高了行車安全性,同時具有較好的改造便利性和經濟性。

1 系統結構

動車組現有受電弓視頻監控系統由受電弓視頻監控服務器、攝像機、監控屏和相應連接電纜組成,在該系統中增加一臺智能分析主機,通過以太網抓取弓網實時視頻進行智能分析,將智能分析結果經以太網推送至監控屏顯示,可以實時幫助機械師獲得受電弓異常狀態,從而進行相應操作,系統結構如圖1所示。

圖1 系統結構圖

2 圖像處理過程

智能分析技術主要通過機器視覺,利用統計識別、結構識別及人工智能處理模型對受電弓每幀圖像的顏色特征、形狀特征、紋理特征等進行處理、分析比較與異常報警,并將各類報警信息進行歸類,然后有序地在監控屏中依次呈現,其圖像處理過程主要分為以下三部分:

(1) 圖像信息獲取。從受電弓視頻畫面中識別弓形,捕捉碳滑板與接觸網的交點并分離出背景信息。

(2) 信息加工與處理。把識別、捕捉及分離出的數據材料進行加工、整理、分析、歸納以及去偽存真,抽取出反映受電弓形態的特征數據。

(3) 判決或分類?；谔卣魈崛?、統計識別從數據認知到評價的過程。

目前,針對受電弓運營故障診斷與檢測,已形成受電弓結構異常識別、懸掛異物識別、受電弓傾斜識別、弓網燃弧識別和畫面臟污識別5種具體功能。

3 智能識別模型建模和設計要素

3.1 受電弓結構異常識別

智能分析主機啟動后,將提取的受電弓每幀圖像劃分為左側弓角、碳滑板和右側弓角3個子區域(圖2)。智能識別模型對每個子區域進行邊緣檢測,分析其特征分布情況,排除各類背景干擾后對數據進行擬合,提取邊緣特征值,同時,將此特征值與閾值進行匹配并計算相似度。當相似度低于閾值時,判定此幀圖像存在受電弓弓體畸變,當異常圖像數量累計到一定程度時,智能識別模型即刻判斷為受電弓結構異常,并觸發報警,記錄故障數據,并同步推送故障照片、故障前后1 min視頻以及故障后1 min視頻至監控屏。

圖2 受電弓弓頭區分區

圖3中受電弓碳滑板被打斷,圖像智能識別時首先要精確定位受電弓在圖像中的位置,確定圖像的感興趣區域(Region Of Interest,ROI),如圖3 中的藍色矩形框。在精確定位到受電弓位置后,使用大津閾值分割方法對受電弓的ROI區域進行受電弓結構分割,分割后的結果如圖4所示。

圖3 受電弓碳滑板被打斷故障

圖4 受電弓分割結果圖像

對圖4進行二值化,并對二值化后的圖像每行的像素值進行累加,將累加后的值作為特征值形成特征曲線圖,如圖5所示,其中圖5(a)為正常的受電弓特征曲線圖,圖5(b)為被打斷后的受電弓特征曲線圖。在特征曲線圖的2個峰值之間,2個曲線圖有著明顯的區別,使用相關性計算方法計算兩者的相關性為0.73,即通過設定合適的相關性閾值即可判斷受電弓結構的異常。

圖5 每行累加后的特征曲線圖

3.2 受電弓懸掛異物識別

通過深度學習算法對受電弓可能懸掛的異物樣本模型進行學習、馴服,這些樣本包括不同顏色、不同大小,不同材質的塑料袋、氣球、繩索等,智能識別模型在每幀弓頭有效區域內提取類似異物并計算面積,綜合考慮時間周期、異物大小以及異常狀態持續時間等因素設定報警閾值,達到報警閾值時觸發報警,記錄故障數據,并同步推送故障照片、故障前后1 min視頻以及故障后1 min視頻至監控屏。

圖6為列車運行過程中受電弓弓頭區域的橫梁懸掛了塑料袋碎片,對圖6中的受電弓弓頭區域使用大津閾值進行分割,受電弓弓頭區域的分割圖如圖7所示。圖7中塑料袋碎片異物被清晰地分割出來,最好對分割圖像使用分塊檢測的方法計算每個分塊的輪廓大小,當輪廓大小在閾值范圍內時認定為正常,當超出閾值范圍時認定為異常。

圖6 受電弓懸掛異物圖像

圖7 弓頭區域分割結果

3.3 受電弓傾斜超限識別

根據每幀圖像提取受電弓碳滑板輪廓,得到邊緣特征空間并進行霍夫變換從而獲取碳滑板的擬合直線,以此計算出斜率并轉換成角度,即受電弓碳滑板傾斜角度,從而判斷是否出現受電弓傾斜故障。當某一連續周期內累計超過一定數量的畫面出現受電弓傾斜角度時,判別為受電弓傾斜故障。

圖8(a)為正常圖像,其碳滑板相對水平位置僅有2°的傾斜,圖8(b)為受電弓碳滑板相對正常圖像的受電弓碳滑板有了一定角度的傾斜,圖像中的受電弓碳滑板相對水平位置的傾斜角度為12°。

圖8 受電弓碳滑板傾斜

計算受電弓碳滑板傾斜角度的預處理方式與檢測受電弓結構異常的診斷邏輯相同,同樣先要確定受電弓的精確位置,然后使用圖像分割算法分割出受電弓弓頭的結構,再進一步定位到受電弓的碳滑板位置,然后根據圖像中碳滑板的大小確定霍夫變換所需參數,通過霍夫變換求得直線的傾斜角度。

3.4 受電弓火花識別

智能分析主機通過網絡提取受電弓碳滑板區域每幀圖像,捕捉碳滑板與接觸網的交點,在交點附近通過機器視覺檢測、邊緣檢測提取類似燃弧輪廓,利用圖像的顏色特征、形狀特征、紋理特征等對燃弧輪廓進行比對,甄別出火花并計算火花輪廓面積占比大小。根據弓頭區域內檢測到的火花特征,判斷是否存在受電弓火花頻繁故障或受電弓大火花故障。

圖9為受電弓與接觸網之間產生了離線火花的圖像,火花在圖像中最明顯的特征是其亮度很高,用圖像軟件打開后查看火花的像素值,發現在8位圖像中像素值均在250以上。

圖9 受電弓火花

檢測受電弓火花前,仍需要對受電弓進行精確定位,排除干擾因素,降低系統誤報。在定位到受電弓位置后進一步定位到受電弓弓頭區域,對弓頭區域使用固定閾值250進行圖像分割,計算分割后圖像中的輪廓位置,分割結果有如下幾種情況:

(1) 分割結果沒有輪廓,則受電弓沒有火花;

(2) 分割結果有1個輪廓,如果碳滑板和接觸網之間的交點不在輪廓范圍內,則認為該輪廓不是火花輪廓;

(3) 分割結果有多個輪廓,這種情況比較少見,處理這種情況時取最大的輪廓作為火花可能性最大的輪廓,再計算碳滑板與接觸網的交點是否在最大輪廓的范圍內,判斷方法同第(2)種情況。

3.5 畫面臟污識別

列車全天候在不確定的地域、時域、自然環境中高速運行,受電弓攝像機前擋風玻璃極易出現蒙塵、納污、殘留水漬現象,進而對攝像機拍攝弓形畫面產生干擾,引起智能分析誤判。為此研究臟污濾除算法、模糊程度分析技術,并通過圖像差分法實現靜態臟污干擾濾除,使用實時迭代動態臟污濾波算法實現準動態的臟污干擾濾除;當遇到暴雨雪、大面積臟污等情況,嚴重影響視頻正常采集、視覺分析時,則暫停結構異常、懸掛異物等其他智能識別功能,一旦系統能正常識別受電弓形狀,應立即恢復所有智能識別功能。

識別畫面臟污前,仍需要先定位受電弓在圖像中的位置。當定位到受電弓的精確位置后,進一步定位受電弓的弓頭區域,提取到受電弓的弓頭位置后使用sobel算子提取受電弓結構的邊緣。圖像越清晰,提取到的受電弓結構邊緣越多。圖10為正常圖像與臟污圖像對比,如圖11所示,正常圖像提取的邊緣特征明顯多于圖10中受雨水干擾的臟污圖像提取的邊緣特征。通過設置合適的閾值將正常圖像與受環境干擾造成的臟污圖像區分開。

圖10 正常圖像與臟污圖像對比圖

圖11 Sobel算子邊緣提取結果圖

4 降低誤報率機制

智能識別系統預設了防誤報機制,通過算法邏輯過濾或屏蔽不利于受電弓結構特征提取或分割效果較差時所產生的誤報,在實際運用中主要有如下誤報場景。

4.1 隧道場景

列車進出隧道時,由于隧道內光線原因導致拍攝到的受電弓弓形、弓角模糊,從而易引起受電弓結構異常誤報。圖12為列車進出隧道的受電弓圖像,因隧道內外光線變換大導致攝像機成像質量較差,受電弓的邊緣輪廓模糊不清,此時使用大津閾值對圖像進行分割無法準確分割出受電弓的結構,容易使系統誤報結構異常。

圖12 列車進出隧道的受電弓圖像

在車輛駛出隧道時通常存在連續十幾幀甚至幾十幀圖像過曝的情況,當圖像過曝時,整圖的像素平均值很大且方差很小,因此通過判斷連續多幀圖像的像素平均值及方差來判斷當前車輛是否處于進出隧道。

4.2 復雜背景場景

處于橋梁、進出車站、建筑物遮擋時,由于背景與受電弓形態相似,且在畫面中可能存在重疊的情況,導致系統誤報受電弓整體結構異常。圖13為列車進出車站時的受電弓圖像,受車站頂棚的干擾,受電弓圖像部分弓模糊不可見,此時使用圖像分割無法準確分割出受電弓的各個結構,容易導致系統誤報結構異常。此時大津閾值分割出的受電弓輪廓數目較少,通過計算受電弓的輪廓大小和數目就能區分此時受電弓圖像是否存在背景干擾的情況。

圖13 車輛進出車站受電弓圖像

4.3 光線干擾

在檢測火花過程中,容易受到太陽光、軌旁燈光、隧道內或站頂燈光、出隧道口時自然光線的影響,易導致燃弧檢測誤報。圖14為受太陽逆光干擾的受電弓圖像,圖中在接觸網與受電弓碳滑板交點處所形成的圖像特征與燃弧非常相似,容易導致系統誤報受電弓燃弧。

圖14 受太陽逆光干擾的受電弓圖像

太陽逆光所形成的高亮像素塊在圖像中的位置基本不變,且停留時間明顯長于燃弧持續時間,太陽逆光一般會持續幾分鐘甚至幾十分鐘,因此可以利用圖像中高亮像素塊位置連續多幀不變的特征,過濾太陽光的干擾。

5 試驗驗證

為驗證受電弓智能識別模型的識別準確性,進行了地面人工模擬試驗,模擬受電弓運行過程中出現的各類故障,主要有受電弓弓角缺失、弓頭變形等結構類異常及受電弓懸掛異物和攝像機畫面模糊等。圖15(a)為左右弓角缺失時的智能識別照片,圖15(b)為受電弓上分別懸掛塑料袋和繩子的智能識別照片,圖15(c)為攝像機存在大面積污染時的智能識別照片,圖15(d)為受電弓攝像機出現火花的智能識別照片。

圖15 智能識別結果

地面人工模擬試驗共模擬各類受電弓異常狀態103種,結果表明,結構異常和大型火花類故障識別率基本可以達到100%,懸掛異物類故障識別率可以達到90%,鏡頭污染類故障識別率可達到85%。

6 應用案例

受電弓視頻智能識別功能經過充分試驗和驗證后,于2021年6月在復興號智能動車組上陸續裝車運用,目前共93列上線運營,在過去近20個月的運用中全面檢驗了智能識別模型的各項功能,總體效果良好,運用中及時識別并報出了大型火花、臟污等故障,同時也暴露出長時間處于橋梁、隧道等復雜背景時易產生的誤報問題。針對運用中發現的問題,及時對診斷邏輯和報警策略進行了相應優化,優化后未再發生同類問題。通過批量裝車運用,不斷積累運用經驗,基于機器深度學習,持續提高智能識別性能。

7 總結

本文介紹的基于多種智能識別算法的動車組受電弓智能分析系統,實現了對動車組受電弓運行狀態的實時檢測和實時報警,經人工和實車驗證,該系統可有效地識別出各類受電弓異常狀態,為隨車機械師及時處理受電弓異常提供了輔助判斷手段。目前已在智能配置動車組中運用,對提高列車運行的安全性和可靠性具有重要意義。