基于毫米波雷達與機器視覺融合的隧道車輛目標檢測技術研究

孫永安

（山西交通控股集團 運城北高速公路管理有限公司，山西 運城 044000）

1 研究背景

山西省通車運營高速公路隧道共計684座，累計長度達到945.222 km，隧道數量多距離長，并且隧道是交通事故的高發路段，對公路隧道的日常維護、事故處置和安全管理帶來巨大的挑戰。在傳統的隧道監控視頻模式下，隧道監控人員需要人工監控大量的視頻畫面，并要及時通過視頻監控發現事故事件信息，這要求隧道監控人員具有高度集中的注意力，但實際監控效果不夠理想。

經過多年的技術投入和發展，基于對車輛運動目標檢測的隧道事故事件監測系統已經在隧道現場投入應用較長時間，但是由于傳統圖像處理算法在技術性能上的局限性，造成系統識別精度差、誤報高和漏報頻繁，需要很多人工對事件加以確認，浪費大量的人力和物力。因此，有必要研究應用新一代的隧道車輛目標檢測技術，以實現對車輛目標的準確高效識別和異常狀態自動報警功能[1]。

隧道車輛目標檢測技術的檢測結果將直接影響隧道監控人員應對事件的指揮和決策。本文根據當前公路隧道車輛目標識別的要求，在準確感知的基礎上，運用毫米波雷達全天候、抗遮擋的感知技術特點，進一步解決視頻監控技術易受背景多變、光照環境、遮擋等影響的問題，實現隧道內車輛目標狀態的準確采集，并進行適度的調整、預警和引導，從而提高高速公路運營的安全水平和道路通行能力。

2 研究現狀

2.1 基于機器視覺的隧道車輛目標檢測

機器視覺技術已廣泛應用于人臉識別、交通監控、城市安防等各個領域。在智能交通技術的研究中，基于機器視覺的目標檢測方法可實現對交通標志檢測、車道線檢測、車輛和行人檢測等多個應用場景[2]。基于機器視覺的隧道車輛目標檢測方法大致可分為3類：基于車輛特征的目標檢測方法、以機器學習方法為基礎的目標檢測方法和以深度學習神經網絡為基礎的目標檢測方法。

基于深度學習的目標檢測方法通過從訓練樣本圖像中來提取車輛特征，在訓練中容易出現過擬合，且算法模型復雜，對模型訓練有較高的要求。但圖形處理器硬件技術的快速發展在一定程度上彌補傳統神經網絡的不足，使基于深度學習的隧道車輛目標檢測方法取得較好的應用前景。圖1展示了基于視覺的隧道車輛目標檢測技術。

圖1 基于視覺的隧道車輛檢測技術

2.2 基于交通雷達的隧道車輛目標檢測

交通雷達通過微帶陣列天線向外發射雷達波，接收目標反射信號，處理后獲取交通目標的相對距離、相對速度、方位角度等。毫米波雷達是定義在毫米波頻段（波長1～10 nm）內工作的雷達，受環境影響較小[3]。目前在毫米波雷達領域占據較大份額的四家主要制造商有博世（Bosch）、大陸（Continental）、德爾福（Delphi）和美安（Autoliv），其產品在車輛安全領域被廣泛使用。圖2顯示基于毫米波雷達的車輛目標檢測情況。

圖2 基于毫米波雷達的車輛目標檢測技術

毫米波雷達通常只能夠獲取二維數據，而目前的研究人員已開展激光雷達的研究工作來獲取交通空間三維數據，并且已經對相應的車輛目標檢測進行了大量研究。隨著技術的成熟和成本進一步下降，將在隧道車輛目標檢測應用場景迎來更廣泛的應用[4]。

2.3 基于毫米波雷達和機器視覺融合的隧道車輛目標檢測

由于傳感器工作原理的不同，單個傳感器通常只能獲得被檢測目標的部分特征，難以在復雜隧道環境下滿足對車輛目標檢測的復合要求。為更準確地描述所檢測交通目標的特征，通過對多傳感器信息進行融合從而獲得更全面的目標信息，實現對車輛目標檢測的全天候和高可靠性。圖3顯示基于毫米波雷達和機器視覺融合的車輛目標檢測情況。

圖3 基于毫米波雷達和機器視覺融合的車輛目標檢測

考慮到隧道內的實際工作環境和檢測要求，且激光雷達目前的成本較高。隧道車輛目標檢測技術可充分結合機器視覺和毫米波雷達的技術特點，采用多傳感器信息融合的方法來開展目標檢測技術研究。經過多項研究表明，該方法在實時性和準確性方面具有明顯的優勢。

3 技術路線

在車輛檢測中，將毫米波雷達和機器視覺的檢測結果進行融合可以有效提高最終檢測效果。本文技術路線主要介紹機器視覺和毫米波雷達信息融合的方法，通過對采集數據進行空間、時間和事件信息的融合，實現對各傳感器多層次、多空間的信息互補和優化組合處理[5]。

3.1 傳感器空間融合

由于視覺傳感器和毫米波雷達的安裝位置不同，需要將不同傳感器坐標系的測量值轉換到同一個坐標系中。實現多傳感器數據空間融合的關鍵是建立三維世界坐標系、毫米波雷達坐標系、攝像機坐標系、圖像顯示坐標系和傳感器像素坐標系之間的坐標轉換關系。視覺傳感器和毫米波雷達的空間融合就是將不同傳感器坐標系的采集數據轉換到同一個坐標系中。在實際融合中，可通過將毫米波雷達坐標系下的采集目標坐標通過坐標系轉換到攝像機對應的像素坐標系下實現多傳感器的空間同步。圖4顯示了各坐標系之間的轉換關系。

圖4 各坐標系之間的轉換關系

3.2 傳感器時間融合

在進行多源傳感器融合時，還需要保證每個傳感器輸出的數據是在同一時刻獲得的，即需要保障采集數據的同步性，從而保障信息融合結果的準確性。由于不同類型傳感器的采樣頻率存在差異，對采集數據進行后處理的時間也不相同，通過對毫米波雷達傳感器和視覺傳感器采集數據在同步性上進行統一，以保證多傳感器之間檢測數據在融合處理時的時間同步性。

為了方便后續進行數據的時間同步，文中使用的視覺傳感器的圖像采集頻率設置為40 Hz，毫米波雷達的采集頻率設置為20 Hz。由于視覺傳感器采集圖像的采樣頻率較高，將以毫米波雷達的采集頻率設置為基準，對視覺傳感器采集的圖像進行抽幀，將對應時刻的視覺傳感器數據與雷達傳感器數據進行融合處理。多傳感器時間同步采集時刻如圖5所示。

圖5 多傳感器時間同步采集時刻

3.3 車輛目標信息融合

通過將不同傳感器坐標系的測量值轉換到同一個坐標系中，可將毫米波雷達傳感器檢測到的車輛交通目標在圖像坐標系上進行投影轉換，在視覺傳感器檢測的相應區域進行投影。考慮到車輛目標在世界坐標系中的空間尺寸，將毫米波雷達檢測到的交通目標位置為中心，將矩形框基于距離和空間透視變換原理投影到視覺圖像上。采用視覺目標檢測算法對感興趣區域進行檢測，檢測到有效交通目標和矩形檢測框。取所有矩形包圍框的最外圍輪廓邊線，并進一步放大10%后將形成新的最大矩形[5]。

如圖6所示，圖中白色矩形為對應的視覺目標檢測框。圖中白色矩形為毫米波雷達轉換到圖像顯示坐標系的目標檢測框。白色虛線矩形區域為傳感器融合后的目標檢測框。

圖6 基于視覺和毫米波雷達傳感器的車輛目標信息融合示意圖

4 系統組成與應用

4.1 系統結構與功能

融合毫米波雷達與機器視覺技術的隧道車輛目標檢測系統的構成主要包括4部分：融合毫米波雷達和視覺傳感的前端傳感器、通信數據傳輸系統、運行服務器和事件檢測功能平臺。在隧道內安裝融合毫米波雷達和視覺傳感的前端傳感器，按照隧道內原有監控攝像機的安裝位置，間隔150 m進行安裝。前端采集單元的數據信號利用遠程光端機通過光纖傳輸至就近的網絡交換機。系統架構如圖7所示。

圖7 融合視覺和毫米波雷達信息的隧道車輛目標檢測系統結構

系統通過采集前端采集單元的視頻通道數據，以組播碼流傳輸方式將實時圖像傳送給檢測主機；檢測主機對數字化圖像進行預處理和特征提取；通過與毫米波雷達傳感器的采集事件進行融合，結合目標檢測算法進行事件檢測，再通過服務器數據庫來保存交通流數據和異常事件結果；可以在客戶端功能界面對需要查詢的交通流數據、交通事件信息進行查看和導出[6]。

4.2 隧道車輛目標檢測與預警算法

系統能根據基于信息融合的車輛目標檢測器識別車輛狀態，自動檢測各類異常事件類型，包括：隧道車輛停駛、車輛逆行、交通事故等。系統可在檢測到異常事件后，通過數據后臺向隧道監控人員發布預警信息。為便于監控人員查看，可自動將事件所在位置附近的攝像機圖像投射到監視墻上顯示。

為便于管理人員調查事件和交通事故，系統可設置保存時段自動對事件前后的視頻數據進行儲存。系統根據部署的隧道情況，可進行個性化的功能配置，對于部署的前端采集單元，可對檢測閾值、檢測事件類型、檢測區域等參數進行設置，以便更準確高效地完成對事件的采集。

4.3 系統的統計與查詢功能

通過前端采集單元，系統平臺可利用后臺服務器數據庫對交通事件信息進行存儲。系統管理人員可通過數據管理平臺對事件進行自定義查詢，了解經常發生的事故類型和時間規律。數據管理平臺可利用數據庫管理功能，靈活地定義各類型統計報表和交通日志，并按照日常管理需要，導出相關的報表和報告。

5 結語

本文研究了融合毫米波雷達與機器視覺的新一代隧道車輛目標檢測技術，通過系統的信息交互和處理，實現對多源傳感單元數據的動態融合感知、對車輛交通事件的智能管控和智能預警信息發布。通過在隧道內部署融合毫米波雷達與機器視覺的傳感器，將車輛目標檢測信息傳輸給運算服務器進行融合分析，檢測隧道內風險事件，為隧道監控人員進行事件綜合判斷提供依據，在保障隧道交通安全運營方面發揮重要作用。