毫米波雷達與視覺融合的車輛感知技術研究＊

張艷霞

（鄭州信息科技職業學院，河南 鄭州 450046）

2015年國務院政府辦公室印發《中國制造2025》文件。2020-02-10，國家十一部委聯合印發《智能汽車創新發展戰略》通知，明確提出到2025年，中國標準智能汽車的技術創新、產業生態、基礎設施、法規標準、產品監管和網絡安全體系基本形成，到2035年，中國標準智能汽車體系全面建成[1-2]。可見智能車輛的發展勢在必行，研究車輛感知技術，對發展智能汽車、智能網聯汽車都具有重要的現實意義。

智能車輛的核心技術之一就是車輛認知技術，其認知結果將會直接影響智能車輛決策的精確性，因此長期以來，有效而可信的車輛認知技術一直都是智能車輛領域研發的熱點所在。但目前，從環境認知到規劃決策，再到車輛管理，仍面臨著不少急需突破的技術難題。其中，智能汽車對交通場景認知和理解、智能汽車的障礙物檢測、可通過性分析、路線規劃和主動導航等，都是智能車輛發展過程中不可或缺的核心技術。由于道路交通現場環境往往存在著復雜度高、多樣性強、不確定性多等特征，所以，單個的傳感器環境往往難以實現比較復雜的實用功能，這就要求多類型、多個傳感器環境的信息融合技術，來克服單個傳感器環境感知能力相對薄弱的缺陷。

目前，中國國內的汽車研發與技術人員普遍使用智能汽車環境感知技術，常見感應器有攝像機[3]、紅外傳感器[4]、超聲波雷達[5]、毫米波雷達[6]和激光輻射雷達技術[7]等，將其對比如表1所示。

表1 常用車輛感知傳感器對比

本文將提供對車載傳感器毫米波雷達和視覺檢測傳感器的數據融合的具體方法，有效檢測出前方車輛，提前給后車以出預警，為本車的判斷和決策節省時間節省，減少道路的擁堵，降低交通事故的發生率，同時也為智能汽車的發展奠定基礎。

1 車輛感知技術目前存在的不足

通過查閱國內外文獻，發現目前的車輛感知技術存在以下不足。

在實際工作情況下，由于車輛會受諸多方面各種因素的影響，機械特性比較復雜，對環境改變影響也很大，而傳統的使用機器學習的機械視覺方式，大部分都是基于特征設計的，而使用人工設置的機械特性則比較多，因此很難達到對精確度和魯棒性的要求；對于實現多目標測試，采用深度學習的視覺測試方式一般是由于結構復雜，在進行車輛測試時的計算量過大，并且因為車輛內運算硬件性能限制，無法直接把計算量遷移到智能車輛上。

由于毫米波雷達無法辨別被檢查目標的種類，當開展車輛檢查工作時，無法對目標種類作出正確判定，而且當連續檢查時，很容易產生錯檢和漏檢。

在采用毫米波雷達與機器視覺融合的車輛測試中，這些方式都是通過利用毫米波雷達的測量結果在圖中得到假想目標區域，然后再運用機器視覺方式對假想目標區域進行測量，這一類方式雖然在一定程度上減少了雷達的誤檢率和機器視覺測量的運算率，但并沒有考慮雷達漏檢等特殊情況，在傳遞測量結果時，并不能對2個傳感器之間實現更深一步的信號互補，因此融合的效率比較一般。

2 本文將要研究的問題

根據上述汽車環境感知技術中存在的缺陷，并結合了國內外智能車輛發展趨勢形式，對比分析了各種傳感器的優缺點，但鑒于道路交通現場往往存在著重復性、多樣化和不確定性等特征，故本文將研究以下3個問題：①用毫米波雷達數據處理完成對前方車輛的有效目標的篩選；②構建基于學習的視覺檢測模型，建立車輛數據庫，設計視覺檢測算法，驗證視覺檢測數據；③把毫米波雷達篩選的有效目標數據和視覺檢測性能驗證的數據進行時間和空間融合，完成不同場景的前方車輛檢測。

通過采用毫米波雷達與視覺傳感器信息融合的汽車感知技術，在保持一定測量精度的條件下，進一步增強了汽車感知的實時性，為原本車輛提供了真實的前方車輛狀況信息，并幫助其后續的路線計劃和決策控制，從而降低車輛擁堵，減少事故的發生率，為最后實現車輛的高度智能和自主行駛能力打下了基礎。

3 毫米波雷達與視覺融合方案設計

本文主要采用了毫米波雷達和視覺傳感器作為汽車的主要環境感知傳感器，并通過研發基于毫米波雷達的目標監測方式，以及基于視覺傳感器的目標的識別方法和將毫米波雷達與視覺傳感器信息融合的關鍵技術，為本車提供了真實的前方車輛狀況信息，并幫助其進行后期的路線規劃和決策控制。

3.1 方案設計創新點

通過雷達數據分析，對車輛目標進行篩選，提升有效目標決策的準確性。統一KITTI數據集和自制樣本集，獲得了適合國內車輛檢測的數據集，構建基于YOLOv4目標檢測算法的視覺目標檢測模型；通過統一的KITTI數據收集系統和自制樣本集，成功獲取了大量適應于國內車輛測試條件的數據收集，并構建了基于YOLOv4目標測試算法的視覺目標測試模型。對毫米波雷達數據和視覺傳感器數據實現空間與時間融合，研究通過基于全局最近鄰的數據關聯計算實現傳感器間數據關聯。

3.2 主要研究內容及實現目標

主要研究內容及達成目標具體如表2所示。

表2 主要研究內容及達成目標

3.3 研究工作實施方案

3.3.1 研究工作開展思路

本文依據任務驅動工作需求，按照以下流程開展工作，如圖1所示。

圖1 研究開展工作流程

3.3.2 小組具體分工

本課題采用項目負責人責任制，下設4個子課題組，分別是毫米波雷達檢測組、視覺檢測組、數據關聯算法組和實驗綜合測試組；按照專業研究方向各設組長1名，組長負責監督并落實完成各小組的具體任務，具體分工如圖2所示。

圖2 任務分工圖

3.4 技術關鍵、路線及優勢

3.4.1 技術關鍵

本課題選擇了合適的采樣周期實現毫米波雷達和視覺傳感器之間的短時間內融合，攻破的核心技術關鍵是采用深度學習的視覺檢測訓練算法，多傳感器數據關聯計算，最終完成了毫米波雷達和視覺傳感器之間的數據關聯，技術關鍵如下：①構建視覺模型，設計視覺目標檢測算法，并測試訓練；②多傳感器數據融合關聯算法的設計與目標檢測結果的對比。

3.4.2 技術路線

本課題的主要技術路線是綜合比較有關研究的優劣勢，充分發揮毫米波雷達和視覺傳感器融合的目標測試的優點，測試效率和單傳感器目標測試效率對比有了很大提高，但摒棄深度學習的神經網絡架構進行傳感器融合時對傳感器數據類型的需求比較高，以傳統機器視覺目標測試處理視覺傳感器數據的方式會削弱系統的對環境適應性的劣勢，重新設定視覺檢測模式后，選擇了基于深度學習的視覺目標測試算法的主要技術路線對多傳感器融合車輛感知方式進行了深入研究，技術路線圖如圖3所示。

圖3 技術路線實施圖

3.4.3 技術優勢

本文所研究的毫米波雷達技術和視覺化融合的車輛感知技術，通過了前期實驗，能夠精確檢測目標的真實性，甄選出最后的有效目標的概率提升60%，同時運用了上述最后有效目標初選的決策原則，能夠在很大程度減少不同因素所造成的錯檢、漏檢所造成的負面影響，從而順利甄選出最后的有效目標。同時提高了對較小車輛的辨識能力，遺漏未檢率減少了2%，精確度高達98%，對于復雜環境中的關鍵車輛行為識別和勢能分析，可完成不少于霧天、超視距累計差、重疊等12個場合的應用；二傳感器與信息融合的感知系統識別精確度高達99%以上，行為預測精確度99%以上，減少80%以上的交通事故。

4 預期的經濟、社會和環境效益

4.1 推動城市經濟發展和環境改善

研究基于毫米波雷達與視覺融合的車輛感應技術，首先可以直接促進智能車輛的發展，并改變城市道路的擁堵情況，從而緩解都市建設中的交通問題，并促進相關行業發展，進而促進都市經濟社會的發展；其次，交通問題的解決可以增強城市建設的國際競爭力，從而改變投資環境，為城市建設發展創造了很大的經濟效益。

4.2 提升人文和社會環境舒適和諧度

探索研究基于毫米波雷達與視覺系統融合的車輛感應技術，研究發展智慧交通系統，可以提升車輛安全性，保障行車秩序；可以提高交通容量，降低路面堵塞，從而減少行車時間；減少車輛成本，增加車輛效率；降低尾氣污染，更環保。

4.3 帶來可觀經濟效益

首先，隨著出行車速的增加、停放頻次的降低和停放時限的縮短而產生的油耗降低帶來了一定的經濟性。其次由于旅行時間的縮短，使駕駛員和行人節省了時間，由此產生的效益為時間經濟效益。再次，減少交通事故的效益。研究采用毫米波雷達與視覺系統融合的汽車感知科技，推進了汽車感知科技的發展，能夠將汽車從原本無規律的體育運動變為了秩序的體育運動，而以往隨著汽車自由地流轉所形成的各種汽車和行人交通事故也會有明顯的下降趨勢。這會減少交通事故的次數、死亡數量及其直接與間接損失。最后，由于路面改建所產生的巨大社會效益，在城市建設時要做適當的對路面的改建，有效減少了城市道路的擁堵，因為這樣可以在不增加更多的交通投入和減少侵占耕地的基礎上，又隨著城市現代化交通體系的建立而提高了路面的通過能力，會給城市交通建設節省大量寶貴的投資。

5 結論

綜上所述，通過研發基于毫米波雷達與視覺化融合的汽車感知技術，發展智慧汽車，將有助于增強工業基礎實力，突破傳統技術瓶頸，提升新一輪的技術革命能力與工業轉型引領力，培植工業發展的新優勢；也有助于促進汽車行業轉型升級，為培育新數字經濟，發展經濟增加新動力；有助于推進制造業強國、信息技術強國、網絡強國、交通強國、數字國家、智能社會建設，提升新時期中國的綜合能力；也有助于維護安全，提升交通運輸效益，推動節能減排，提高民眾幸福感。