弓網(wǎng)視頻監(jiān)控技術(shù)研究

薛憲堂，張翼，王燕國，周威，劉國躍，杜馨瑜，王凡

（1.中國鐵道科學(xué)研究院集團有限公司 基礎(chǔ)設(shè)施檢測研究所，北京 100081；2.北京鐵科英邁技術(shù)有限公司 產(chǎn)品研發(fā)部，北京 100081）

近年來，我國電氣化鐵路運營里程不斷增加，為確保鐵路安全穩(wěn)定運營，中國國家鐵路集團有限公司、鐵路局集團公司和站段各類接觸網(wǎng)檢測車的檢測任務(wù)越來越繁重，弓網(wǎng)視頻監(jiān)控系統(tǒng)作為接觸網(wǎng)檢測車的眼睛，需要在正面陽光、夜間、雨雪和出入隧道等多種場景下保持實時穩(wěn)定清晰的視頻采集和存儲。為達到上述目的，需要從多方面進行弓網(wǎng)視頻監(jiān)控技術(shù)研究，主要研究內(nèi)容包括車頂視覺光場方案、多線程并發(fā)處理技術(shù)和動態(tài)自動調(diào)整策略等。

1 研究現(xiàn)狀

1.1 國外

國外一些相關(guān)機構(gòu)對接觸網(wǎng)檢測系統(tǒng)進行了弓網(wǎng)視頻監(jiān)控技術(shù)研究。

（1）法國的IRIS320綜合檢測列車最高運行速度320 km/h，系統(tǒng)圖像分辨率為640×480，幀率為100fps，其側(cè)重弓網(wǎng)接觸狀態(tài)監(jiān)控，優(yōu)點為成像視野范圍較大，可以監(jiān)控支柱等接觸網(wǎng)設(shè)備和周邊環(huán)境，但由于車頂空間限制，導(dǎo)致監(jiān)控設(shè)備距離受電弓較遠，弓網(wǎng)接觸區(qū)域圖像不清晰［1］。

（2）日本的East-I綜合檢測列車最高運行速度275 km/h，其弓網(wǎng)視頻監(jiān)控功能和環(huán)境視頻監(jiān)測功能為一套設(shè)備，安裝在兩車頭位置，其優(yōu)點是監(jiān)控的視野范圍更大，可以監(jiān)控接觸線、支柱、附件懸掛等設(shè)備，但弓網(wǎng)接觸區(qū)域成像不清晰［2］。

（3）德國DB檢測系統(tǒng)的弓網(wǎng)視頻監(jiān)控系統(tǒng)分辨率為640×480、幀率為100 fps，可以采集、存儲、回放視頻文件，輔助分析弓網(wǎng)缺陷，經(jīng)過長時間的檢測運用也發(fā)現(xiàn)了一些不足：其車頂相機距離受電弓14 m左右，光路較長，能量損失較多，導(dǎo)致圖像夜間質(zhì)量較差；其采集-存儲設(shè)計架構(gòu)為單線程串行采集和存儲，導(dǎo)致圖像有丟幀的情況；系統(tǒng)圖像明暗自動調(diào)整采用硬件外接控制板的方式實現(xiàn)，控制邏輯較簡單，自動調(diào)整過于敏感，圖像明暗交替頻繁，而且其數(shù)據(jù)格式保密，不能進行數(shù)據(jù)管理和綜合分析［3］。

1.2 國內(nèi)

國內(nèi)相關(guān)單位對車頂弓網(wǎng)視頻監(jiān)控技術(shù)有過大量研究。

（1）某鐵路局集團公司安裝的車頂部弓網(wǎng)視頻監(jiān)控設(shè)備采用玻璃鋼外罩，攝像頭鏡頭采用鋼化玻璃，防護等級IP67，外形結(jié)構(gòu)整體開模加工，成流線型，無尖角。設(shè)備制作精密，體積較小，但其幀率僅為8 fps，適用于低速環(huán)境，一旦提高幀率，相關(guān)散熱、光源和軟件圖像處理流程都會暴露出問題。技術(shù)方案中的車頂光場布局過于緊湊，離受電弓較近，導(dǎo)致仰角過大，監(jiān)視效果不佳；明暗調(diào)整策略為參照全圖像素平均灰度值進行調(diào)整，光線不足的場景會導(dǎo)致過曝。

（2）某電力機車有限責(zé)任公司研制的城際動車組弓網(wǎng)視頻監(jiān)控設(shè)備，關(guān)鍵組件有受電弓攝像機集成攝像頭（云臺一體機）、補光燈和加熱玻璃等，攝像頭具有云臺控制、電動變焦、補光和強光抑制功能，滿足全天24 h觀測需求，在白天和夜間均可正常工作；補光燈采用高功率頻閃燈，兼顧功耗、亮度與壽命，補光燈根據(jù)升降弓信號自動開啟和關(guān)閉，降弓10 min后補光燈自動關(guān)閉，同時監(jiān)控屏設(shè)置攝像頭和補光燈開啟關(guān)閉按鍵，可以手動操作；加熱玻璃通過感應(yīng)溫度變化控制加熱開啟和關(guān)閉，具有除霧功能，保證視野清晰，設(shè)備功能豐富。攝像機為云臺一體機可以方便調(diào)節(jié)，但是該設(shè)備整體高度較高，多場景應(yīng)用受限，且安裝位置離受電弓較近，視角較大，成像區(qū)域不理想，而且其幀率不足100 fps，不符合高速弓網(wǎng)視頻監(jiān)控設(shè)備參數(shù)要求［4］。

2 關(guān)鍵技術(shù)研究

2.1 車頂視覺光場方案

設(shè)備在車頂安裝位置的限制、期望達到的光場效果和成像區(qū)域的要求是車頂視覺光場設(shè)計需要考慮的主要因素。由于車頂設(shè)備較多且均有一定的電氣安全距離，所以安裝位置有一定限制；補光位置過遠會導(dǎo)致亮度不夠，補光位置過近會導(dǎo)致補光能量過于集中造成補光不均衡；成像區(qū)域要求能夠覆蓋整個受電弓降弓和升弓的最高位置。綜合考慮車頂安裝位置限制、光場效果和成像區(qū)域覆蓋等情況，將成像設(shè)備和補光燈安裝在受電弓開口側(cè)水平距離6～8 m位置，補光燈和相機同斷面安裝，設(shè)置雙補光燈交叉補光，減少受電弓上零件陰影，提高圖像清晰度［5-6］。車頂視覺光場方案見圖1。

圖1 車頂視覺光場方案

2.2 多線程并發(fā)處理技術(shù)

數(shù)據(jù)采集、處理和存儲具有一定的相關(guān)性，常采用單線程構(gòu)架進行開發(fā)。單線程具有程序執(zhí)行時，程序執(zhí)行順序不變的特點，即前面的邏輯必須處理結(jié)束，后面的部分才會執(zhí)行。單線程處理的優(yōu)點是程序邏輯簡單清楚，但由于需要在上一個任務(wù)完成后才能開始新任務(wù)，所以在多核處理機上其效率通常比多線程低。在單線程中如果中間某一部分邏輯所用的時間比預(yù)計時間長，程序會出現(xiàn)不響應(yīng)的狀態(tài)甚至程序崩潰［7］。

傳統(tǒng)單線程構(gòu)架采集、處理和存儲的方法在分辨率為1 024×1 024、幀率100 fps數(shù)據(jù)量下會有丟幀現(xiàn)象，造成圖像數(shù)據(jù)缺失，不能最大限度發(fā)揮弓網(wǎng)視頻監(jiān)控系統(tǒng)的作用和價值。為達到視頻的高速采集、處理和存儲目的，采用多線程并行處理、線程同步等技術(shù)［8］。圖像采集后將數(shù)據(jù)同時分發(fā)給顯示、處理和存儲線程，使采集、顯示、處理和存儲能同步進行，相比采集-顯示-處理-存儲單線程架構(gòu)，系統(tǒng)能力得到提升，在圖像幀率100 fps的數(shù)據(jù)量下實時采集、處理和存儲不丟幀、檢測數(shù)據(jù)完整、弓網(wǎng)視頻監(jiān)控軟件運行流暢。多線程交互過程見圖2。

圖2 多線程交互過程

多線程并發(fā)處理技術(shù)可以實現(xiàn)不同的功能模塊同時進行工作，從而提高數(shù)據(jù)處理量和處理速度。多線程并發(fā)處理技術(shù)中圖像數(shù)據(jù)接收線程負(fù)責(zé)采集圖像數(shù)據(jù)，對數(shù)據(jù)采集進行了多線程包裝，從驅(qū)動中采集的數(shù)據(jù)轉(zhuǎn)存到智能內(nèi)存中并同步實時地將載有圖像數(shù)據(jù)的智能內(nèi)存分發(fā)給顯示線程、數(shù)據(jù)處理線程和存儲線程，以實現(xiàn)數(shù)據(jù)顯示、處理和存儲同步進行。

2.3 動態(tài)自動調(diào)整策略

視頻圖像畫質(zhì)清晰與否是衡量視頻實用性的重要參數(shù)。市面上的相機有些沒有自動曝光功能，這種情況下，檢測車在夜間以及行駛至隧道等環(huán)境時會影響視頻清晰度，看不清弓網(wǎng)工況，靠人工調(diào)整不但耗費人力而且難以時刻保證圖像質(zhì)量；帶有自動曝光功能的相機，由于采取使用整幅圖像像素平均灰度值調(diào)整曝光的方法，在夜間弓網(wǎng)視頻會出現(xiàn)大部分背景為黑色而受電弓以及有光線照射的接觸網(wǎng)零部件所占圖像區(qū)域較小情況，這種情況下有光照部分的受電弓和接觸網(wǎng)設(shè)備會出現(xiàn)過度曝光情況，看不清弓網(wǎng)工況。相機自動曝光效果見圖3。

圖3 相機自動曝光效果

為解決上述問題，將自動調(diào)整的區(qū)域設(shè)定為受電弓區(qū)域，通過基于深度神經(jīng)網(wǎng)絡(luò)的目標(biāo)定位算法實時在圖像中選取受電弓區(qū)域［9］。深度神經(jīng)網(wǎng)絡(luò)可通過大量的受電弓樣本訓(xùn)練，利用深層神經(jīng)網(wǎng)絡(luò)的擬合能力對受電弓模式特征進行建模，從圖像中自動定位受電弓區(qū)域［10］。利用該區(qū)域內(nèi)的圖像像素計算平均灰度值，據(jù)此調(diào)整曝光和增益，根據(jù)實際圖像分析，該方法在夜間的圖像質(zhì)量優(yōu)于相機自動曝光的圖像。軟件自動曝光效果見圖4，其中紅色限定框為計算灰度值的區(qū)域（該限定框僅供計算灰度值，不顯示和存儲）。

圖4 軟件自動曝光效果

優(yōu)化后圖像細(xì)節(jié)對比見圖5，上部分是相機自動調(diào)整效果，下部分是軟件中設(shè)置受電弓區(qū)域為自動調(diào)整區(qū)域后的效果。圖5中可以明顯看出下部分紅框區(qū)域比上部分對應(yīng)位置更清晰。

圖5 優(yōu)化前后圖像細(xì)節(jié)對比

該功能中計算灰度值較耗時，根據(jù)實際效果計算灰度值的像素點采用10選1抽樣計算灰度值，計算灰度值調(diào)整的頻率為隔幀計算。這種抽樣計算平均灰度值的方法既提高了計算速度，也不影響調(diào)整效果。

根據(jù)當(dāng)前灰度值找到合適的調(diào)整值，采用二分法快速定位合適曝光和增益值的方法。在此基礎(chǔ)上增加小幅控制邏輯用來防止某些情況下圖像的平均灰度值在控制邊界擺動時出現(xiàn)閃屏的現(xiàn)象。二分法調(diào)整邏輯見圖6。

圖6 二分法調(diào)整邏輯

3 試驗驗證

基于弓網(wǎng)視頻監(jiān)控技術(shù)的硬件設(shè)備和軟件已經(jīng)在高速綜合檢測列車上安裝部署，并進行了1個月的驗證試驗，試驗線路場景包括：夜間、直面陽光、隧道、雨雪等場景。夜間效果提升對比見圖7，存儲圖像信息見圖8。

圖7 夜間效果提升前后對比

圖8 存儲圖像信息

試驗結(jié)果表明：通過對車頂視覺光場方案和動態(tài)自動調(diào)整策略的優(yōu)化，夜間圖像質(zhì)量得到明顯提升，受電弓的細(xì)節(jié)更清晰；通過多線程并發(fā)處理技術(shù)的改進，弓網(wǎng)視頻監(jiān)控系統(tǒng)運行流暢穩(wěn)定，圖像數(shù)據(jù)不丟真。弓網(wǎng)視頻監(jiān)控系統(tǒng)滿足弓網(wǎng)1C技術(shù)條件，可以快速采集、處理、展示和存儲視頻圖像，并能夠適應(yīng)直面陽光、夜間、雨雪和出入隧道等多種場景。

4 結(jié)束語

通過對國內(nèi)外弓網(wǎng)視頻監(jiān)控技術(shù)的發(fā)展現(xiàn)狀分析并結(jié)合現(xiàn)場實際運用環(huán)境的特點，提出解決實際問題的弓網(wǎng)視頻監(jiān)控技術(shù)，包括：車頂視覺光場方案、多線程并發(fā)處理技術(shù)和動態(tài)自動調(diào)整策略。在線路試驗分析基礎(chǔ)上對系統(tǒng)不斷完善，在多種場景的線路試驗過程中，持續(xù)對弓網(wǎng)視頻監(jiān)控系統(tǒng)的圖像質(zhì)量和性能進行跟蹤測試，驗證確認(rèn)了弓網(wǎng)視頻監(jiān)控技術(shù)的正確性。