基于雷達和相機融合的目標檢測方法

高 潔，朱元，陸科

（1.同濟大學中德學院，上海 200092；2.同濟大學汽車學院，上海 201804）

0 引言

對于自動駕駛汽車的感知系統，目標檢測是最非常關鍵的任務。近年來的目標檢測算法大多使用了深度學習的方法，且這類方法皆顯示出了良好的檢測性能，其中最常用的是卷積神經網絡（Convolutional Neural Network，CNN）模型。

這些目標檢測方法中可分為兩類：one-stage 算法和twostage 算法。one-stage 算法使用端到端網絡來訓練網絡，這類方法將目標檢測視為分類回歸問題，直接從輸入圖像中提取特征并學習出類別置信度和邊界框［1］。在one-stage 算法中，YOLO（You Only Look Once）［2］和SSD（Single Shot multibox Detector）［3］是最常用的兩種網絡。YOLOv2［4］和YOLOv3［5］相繼被提出，其檢測性能也相繼提高。與one-stage 算法不同，two-stage 算法由兩部分組成：一部分是候選區域生成網絡，用于生成包含目標的候選區域；另一部分是分類和回歸網絡，它使用候選區域生成網絡生成的候選區域框來完成邊界框的分類和回歸。Girshick 等［6］提出了R-CNN（Region-CNN）模型，它是two-stage 檢測算法的基礎模型。隨著R-CNN 的發展，相繼提出了Fast R-CNN［7］和Faster R-CNN［8］。后續提出的Mask RCNN［9］在Faster R-CNN 邊界框回歸的現有分支基礎上并行添加了一個用于預測分割mask 的分支。這兩類方法各有優點，適用于不同的情況。由于端到端網絡的計算較快，one-stage算法相較于two-stage 算法具有更好的實時性能。相反，由于候選區域生成網絡需要在第一階段預測含有目標的候選區域，因此two-stage 算法檢測速度較慢，但是，相應的檢測結果也會更準確。另一方面，two-stage 算法會非常依賴于候選區域生成網絡的預測準確性。

相機、雷達和激光雷達最常用于自動駕駛汽車和先進駕駛輔助系統（Advanced Driving Assistance System，ADAS）的傳感器。相機可以像人眼一樣感知周圍的環境，毫米波雷達可以提供準確的距離信息。對于某些駕駛環境，如惡劣天氣、障礙物遮擋等情景，僅使用一種傳感器的感知系統精度是沒有多傳感器融和感知好的。傳感器融合可以充分利用各傳感器的優勢，對不同傳感器的數據共同加工處理的融合感知也有助于使感知系統具有魯棒性，可以做出精確的控制決策。因此，傳感器融合也是自動駕駛汽車和ADAS 研發中的重要方法。

本文針對自動駕駛汽車和ADAS 中的融合感知系統提出了一種基于雷達和相機融合的目標檢測方法——PRRPN（Priori and Radar Region Proposal Network）。PRRPN 結合了雷達測量信息和上一幀檢測結果來生成先驗候選區域和雷達候選區域，可以使檢測網絡更加關注圖片上極大可能存在目標的像素，候選區域也能盡可能地接近目標真實位置，并使前后檢測更具連貫性，因為該方法不涉及繁雜的深度計算，一定程度上可以提高目標檢測的速度。因為nuScenes數據集［10］不僅提供了相機傳感器的數據還提供了雷達傳感器的測量信息，因此選擇在該數據集上對本文方法進行測試驗證。本文采用了Faster-RCNN 的特征提取層和分類回歸層作為基本架構，再加入PRRPN 形成完整檢測網絡，通過實驗驗證了該檢測方法的可行性，同時還驗證了通過Faster-RCNN 的區域生成網絡（Region Proposal Network，RPN）生成的候選區域與PRRPN檢測結果的融合可以提高Faster-RCNN的平均檢測精度。

1 相關工作

基于雷達和攝像機信息的融合有多種方法，包括目標級融合、ROI（Region Of Interest）融合和特征級融合。目標級融合通常應用于目標跟蹤［11-14］，它直接使用相機檢測結果和雷達測量值來獲取目標的軌跡。從這些研究中，可以看到目標跟蹤任務主要是從時間的尺度根據目標運動模型，如勻速運動、勻加速運動模型等對目標在不同時刻的運動狀態進行估計，根據傳感器的測量結果對目標運動軌跡進行預測和更新。本文在雷達數據處理方面，采用了類似的方法。

此外，也存在一些采用目標級融合方法的目標檢測的研究。文獻［15］提出了一種加權方法，將相機視覺網絡識別結果與雷達目標估計結果相加權，獲得最終的目標檢測結果。文獻［16］使用相機標定信息將雷達速度信息匹配給基于YOLOv3 的相機檢測結果。文獻［17］將YOLOv3 模型的輸出與雷達數據進行匹配，以得到用于車輛控制和導航任務的目標距離和角度信息。綜上所述，目標級融合首先要匹配雷達點和圖像檢測結果，然后選擇更準確的參數作為最終檢測結果，例如雷達的距離、速度、方位角信息和圖像檢測的分類信息。

特征融合是指在特征空間中融合來自不同傳感器的數據的過程，例如組合兩個傳感器法的特征向量為單個特征向量［18］。文獻［19］提出了一種相機雷達融合網絡CRF-Net（Camera Radar Fusion Net），雷達網絡作為附加分支對雷達數據進行處理，并將雷達特征提取到圖像中。文獻［20］中也使用了類似的方法。在文獻［21］中，每幀的雷達點云用于生成具有六個高度特征和一個密度特征的鳥瞰圖圖像，然后使用3D 候選區域生成網絡基于相機圖像和鳥瞰圖圖像生成候選區域。除了有基于監督學習的融合網絡研究外，還有關于無監督學習的融合網絡的研究。例如，Lekic等［18］提出了一種基于目標檢測的無監督學習融合網絡條件生成對抗網絡（Conditional Multi-Generator Generative Adversarial Network，CMGGAN），使用該網絡利用雷達測量生成視覺圖像，再提出特征進行目標檢測。由于雷達點云太過稀疏，在深度學習方面比較受限，因此基于深度學習的雷達和相機的特征級融合的相關研究相對來說要少得多。

ROI 融合則是指使用雷達檢測在攝像機圖像中創建感興趣區域，然后將感興趣區域輸入到圖像分類網絡中。文獻［22］將雷達點投影到圖片中，并根據車輛的尺寸大小畫出ROI，再將ROI 輸入至神經網絡對圖像中的目標進行分類。在文獻［23-25］中，也采用了ROI 融合方法來進行圖像目標檢測任務。通常在劃分ROI 時，是通過目標經驗尺寸或者固定ROI 大小確定其位置的，所以容易出現ROI 過大或者過小的情況。

2 PRRPN結構

將雷達點云投影到圖像上后，可以將注意力更多地放在一張圖像的重要部分，即雷達點云所投影的圖像位置，因為這些位置大概率存在待檢測目標。一般車輛行駛時，前一時刻出現的大多數目標仍會在下一時刻出現。因此，前一時刻的檢測結果可用于為下一時刻的檢測提供先驗信息，包括檢測框的大小和類別。而雷達測量的距離、雷達散射截面積（Radar Cross Section，RCS）提供了目標的物理屬性。通過融合這兩類信息，可以為檢測網絡提供具有準確中心點、大小和比例的候選區域。

本文所提出的方法PRRPN 的檢測網絡結構如圖1 所示，主要分為三個部分：特征提取層，候選區域生成層，以及分類回歸層。特征提取層和回歸分類層選取Fast R-CNN 的架構，其中特征提取層的骨干網絡為ResNet50（Residual Network 50）+FPN（Feature Pyramid Network）。候選區域生成層又分為兩部分：一部分是根據上一時刻的檢測結果生成先驗候選區域。首先選擇類別置信度高于閾值的檢測框作為先驗框，將這些框與當前時刻的雷達點進行關聯；然后在下一幀的檢測開始時，將當前幀的雷達點與上一幀的雷達點進行關聯，通過關聯關系，每個雷達點可以得到與其匹配的先驗框信息；接下來，將雷達點投影到圖像上，并根據關聯結果，將選定的先驗框作為錨框分配給相應的雷達點，以生成先驗候選區域。另一部分是根據雷達測量距離和RCS生成不同尺寸和不同高寬比的雷達候選區域。最后將雷達候選區域和先驗候選區域進行融合，輸入到分類回歸層，進行最后的分類和回歸。

圖1 PRRPN的檢測網絡結構Fig.1 Detection network structure of PRRPN

3 特征提取層及分類回歸層

特征提取層采用卷積網絡提取圖像特征，由若干卷積、修正線性單元（Rectified Linear Unit，ReLU）和池化層組成。本文采用了ResNet50+FPN 的骨干網絡對輸入的圖像進行特征提取，其網絡結構如圖2 所示。其中，左半部分自底而上的網絡為ResNet50，右半部分自上而下的網絡為FPN。P2～P5 為網絡最終提取的特征，之后將根據候選區域所對應的各層特征進行目標框的回歸和分類。圖2中ResNet50的結構參數如表1所示。

圖2 特征提取層網絡結構Fig.2 Network structure of feature extraction layer

表1 ResNet50結構參數Tab.1 Structural parameters of ResNet50

卷積網絡淺層能提取到目標的位置、顏色、紋理等特征，深層能提取到更抽象、語義更強的特征。通過自底而上和自上而下的網絡計算使得深層特征和淺層特征進行了融合，即每一層特征圖都融合了不同語義強度的特征，使得不同分辨率的候選區域都能獲得豐富的特征以進行分類和回歸。

候選區域生成見第4～5 章。分類回歸層先將候選區域所對應的P2～P5 層特征通過ROI Align 下采樣為7× 7 大小的特征圖，再通過4 個全連接層實現對目標的分類和對目標框的回歸，結構如圖1 中的分類回歸層所示，網絡參數見表2。因為本文中進行識別的目標種類為人、自行車、小汽車、摩托車、公共汽車和卡車共六種，所以fc3的輸出為每個類別目標框的4個位置偏移參數，fc4輸出為“6+1（背景）”種類別的置信度。

表2 全連接層參數Tab.2 Parameters of fully connected layer

4 先驗候選區域生成

4.1 先驗檢測框與雷達點關聯

檢測框與雷達點之間的關聯包括三個步驟：檢測框篩選，將雷達點投影到圖像中，以及將雷達點與先驗檢測框進行關聯。

首先設置置信度閾值以篩選上一時刻檢測到的目標。因為各個時刻檢測到的目標數量和目標精度是不確定的，如果將所有目標作為先驗框輸入，則會導致無效候選區域過多，而置信度較低的檢測框則可能會對檢測網絡產生負激勵。因此，需要篩選置信度高于閾值的檢測框用作先驗框，以生成相關的先驗候選區域。

雷達傳感器輸出的是標定在車輛坐標系中包含位置、速度等信息的稀疏點云。而檢測框是像素坐標系中具有相關預測類別和類別置信度的二維邊框。要將雷達點與檢測框關聯起來，首先要根據相機雷達的標定參數將雷達點從車輛坐標系映射到像素坐標系。如圖3 所示，在攝像機與雷達的安裝位置之間是存在一定偏差的，并且由于相機的成像原理，在成像位置與光學中心之間存在一定距離長度（即焦點），因此需要建立從車輛坐標系到像素坐標系的坐標變換關系。首先是將雷達點從車輛坐標系轉換到相機坐標系，然后再從相機坐標系轉換到像素坐標系。

圖3 雷達坐標系和相機坐標系示意圖Fig.3 Schematic diagram of radar coordinate system and camera coordinate system

車輛坐標系和相機坐標系之間的轉換關系可以推導為：

其中：R是三階旋轉矩陣；T是三維平移向量。相機坐標系和像素坐標系之間的轉換關系可以推導為：

其中：f是相機的焦距；dx、dy分別為x、y方向上的像素寬度；u0、v0是圖像中心；z′是比例因子。這些參數可以通過傳感器聯合標定獲得。

以檢測框尺寸作為關聯條件，將雷達點投影到圖像中后，若雷達點落在某一檢測框中，則認為雷達點與該檢測框相關聯，若雷達點沒有落在任一檢測框中，則認為該雷達點沒有相關聯的檢測框。

通過上一幀和當前幀的雷達點關聯，可以獲得來源于同一目標的雷達點，從而可以通過關聯關系將雷達點與上一幀的檢測框進行匹配以繼承對應的檢測框的屬性。

本文使用目標跟蹤架構來實現雷達點的關聯。目標跟蹤主要利用雷達輸出的距離和速度等測量來對目標運動軌跡進行預測和更新。典型的目標跟蹤系統架構包括文獻［26-27］中所提到的四個部分，分別是傳感器時空同步、運動狀態估計、數據關聯和航跡管理。傳感器時空同步，是指進行融合的各傳感器的數據需要處在同一時間同一坐標系中，通過式（1）、式（2）的坐標轉換已完成空間同步，即所有數據皆處在像素坐標系。因為傳感器的采用頻率是不一致的，所以常用的數據時間同步方法包括外推、差值等。因為本文所采用的nuScenes 數據集中已包含雷達和相機時間同步的關鍵幀數據，因此可以直接對關鍵幀數據進行處理和計算。運動狀態估計主要運用的是卡爾曼濾波（Kalman Filter，KF）、擴展卡爾曼濾波（Extended Kalman Filter，EKF）、粒子濾波（Particle Filter，PF）等估計理論與算法。通過濾波算法可以根據目標運動模型對雷達在上一幀中檢測到的目標運動狀態進行預測和更新。數據關聯則是指將當前時刻測量與上一時刻目標進行匹配，找到屬于上一時刻的目標在當前時刻的測量。

因此，實現關聯首先需要完成的是利用目標運動模型根據目標上一時刻的運動狀態預測下一時刻的運動狀態。本文中，假設目標在縱向和橫向上均做勻速運動。根據卡爾曼濾波相關知識，雷達上一幀檢測到的目標在下一時刻運動狀態的預測如式（3）中所示：

其中：Xk-1、Vxk-1是目標在第k-1 幀中的縱向位置和速度；Yk-1、Vyk-1是目標在第k-1 幀中的橫向位置和速度是預測的目標在第k幀中的縱向位置和速度是預測的目標在第k幀中的橫向位置和速度；t為第k-1 幀到第k幀的時間間隔。

圖4 關聯門Fig.4 Association gate

如果一個雷達點落在關聯門內，則認為該雷達點與關聯門對應的前一幀雷達點相關聯，關系如式（4）所示：

其中，Xk、Yk是第k幀中雷達點的位置。

當前幀的雷達點可以通過上述關聯關系繼承相應檢測框的屬性。因為目標實際運動規律不一定符合勻速直線運動模型，每個時刻也無法避免新目標的出現，所以一些雷達點沒有關聯上任一先驗檢測框。由于此時無法確定與雷達點相對應的目標信息，因此將所有先驗檢測框屬性繼承給該雷達點。

4.2 候選區域生成

獲得了雷達點與上一幀圖像檢測結果之間的關聯關系之后，就大致獲得了當前時刻目標的位置和大小信息。投影的雷達點相當于為網絡引入了注意機制，因為投影到圖像上的雷達點的位置存在目標的可能性很高，并且由于時間的連續性，上一幀存在的目標極大可能仍在當前時刻存在，因此構造一個以投影到圖像上的雷達點為中心、以雷達點相關聯的先驗檢測框的大小為尺寸的先驗候選區域，可以有效檢測上一幀存在且在當前幀仍存在的目標。

投影在圖片上的雷達點并不總是在目標的中心，因此本文借鑒了文獻［30］中對候選區域進行平移調整、使候選區域更能全面覆蓋目標的思想。如圖5 所示，在上、下、左、右方向上移動以投影到圖像上的雷達點為中心，以其匹配的先驗框為錨框的先驗候選區域，得到能夠覆蓋目標的候選框。

圖5 先驗候選區域生成Fig.5 Generation of prior region proposals

平移距離如式（5）所示，以使平移位置盡可能精確。

其中：dshift為平移距離，d為雷達點的距離；a為比例因子。a通過最大化先驗候選區域和標注真值的交并比（Intersectionover-Union，IOU）得到，如式（6）所示：

其中：Nimg為圖像的數量；為第i張圖像的真值數量；為第i張圖像的先驗候選區域的數量；為第i張圖像中第j個真值和第k個先驗候選區域的IOU。

對于關聯上同一個先驗檢測框的雷達點，取其平均位置作為先驗候選區域最終中心點，如式（7）所示，在有效減少候選區域數量的同時，也確保了候選區域的有效性。

其中：m為與同一個先驗檢測框關聯上的雷達點的個數；xi、yi為第i個關聯點的位置。

5 雷達候選區域生成

除了先驗檢測框的信息，雷達測量的距離、RCS信息也隱藏了待檢測目標的屬性，根據這些信息，可以生成雷達點的錨框。根據相機成像原理，目標在圖像上的高和寬與距離成反比。即：目標距離越遠，則投射到圖像上的面積會越?。环粗繕司嚯x越近，投射到圖像上的面積會越大。此外，不同種類的目標，即使是處于同一距離處，也會呈現出不同的面積大小。因此本文根據雷達測量距離選擇了5 個不同面積數量級的錨框來生成雷達候選區域，如式（8）～（9）所示：

其中：d為雷達點的距離；w為基礎尺寸；anchor為最終選取的錨框；α、β、γ、θ、ε為尺寸比例因子。

RCS 是目標在雷達接收方向上反射雷達信號能力的度量。一個具體目標的RCS 與目標本身的幾何尺寸、形狀、材料、目標視角、雷達工作頻率及雷達發射和接收天線的極化有關。毫米波雷達探測的目標種類不同，對應目標的雷達截面積也自然不同。一般來說，人的RCS要比車輛、金屬物體等低得多。對于車輛駕駛場景的待檢測目標來說，RCS 低的目標如“人”的高寬比要比RCS 高的目標如“車”的高寬比大。因此，本文采用雷達點的RCS 信息來決定上述錨框的高寬比參數ratio，如式（10）所示：

其中：σ、τ、υ為高寬比比例因子。上述尺寸比例因子和高寬比比例因子通過最大化真值和雷達候選區域的IOU 得到，如式（11）所示：

其中：Nimg為圖像的數量；為第i張圖像的真值數量；為第i張圖像的雷達候選區域的數量；為第i張圖像中第j個真值和第k個雷達候選區域的IOU。同樣為了使雷達候選區域更全面地覆蓋待檢測目標，根據式（5）對每個雷達候選區域進行平移。

6 實驗與結果分析

6.1 數據集

將本文方法應用于同時含有相機和雷達數據的nuScenes數據集。該數據集涵蓋了在波士頓和新加坡采集的1000 個場景的數據，是最大的具有三維目標標注信息的自動駕駛汽車多傳感器數據集。為了將此數據集應用于二維目標檢測任務，需要將三維標注轉換為COCO（Common Objects in COntext）格式的二維標注。本文選擇了在新加坡采集的數據來進行訓練和測試。由于nuScenes 數據集的標注種類多達25 種，且很多種類非常相似，比如“adult”“child”“police_officer”“construction_worker”等，因此本文對nuScenes 數據集相似的標注種類進行了合并，共合并成6 個種類，分別為人、自行車、小汽車、摩托車、公共汽車和卡車。nuScenes 數據集以2 Hz 的頻率對各傳感器采集的數據進行了同步，并打包成了數據集中的關鍵幀數據。不同傳感器之間的時間同步是實現關聯的重要前提，利用時間同步頻率，可以有效地計算關鍵幀數據中前后幀雷達點的關聯關系。因此本文選擇了關鍵幀數據進行訓練和測試。nuScenes 具有完整的傳感器套件，包括1 個激光雷達、5 個毫米波雷達、6 個相機、1 個慣性測量單元（Inertial Measurement Unit，IMU）和1 個全球定位系統（Global Positioning System，GPS）。其中，6 個相機分別安裝在自車的前、后和兩側，5 個毫米波雷達分別安裝在車的前方和4 個角。在這些傳感器中，本文選擇了前置攝像頭和前置雷達的數據來進行訓練和測試。最終，訓練集一共包含了53910 張圖片，其中，“人”的標注包含105320 個，“自行車”包含5286 個，“小汽車”包含262953 個，“摩托車”包含了5742個，“公共汽車”包含了10131個，“卡車”包含了46860個。

6.2 實驗設置

本文采用網絡骨干為ResNet50+FPN 的Faster-RCNN 來進行訓練。訓練時采用detectron2［31］提供的基于COCO 數據集的預訓練模型進行訓練。訓練階段一共迭代了12 個epoch，初始學習率為0.01，同時采用學習衰減策略，學習率衰減倍數為0.05，每經過10000 次迭代學習率衰減1 次。圖像輸入到網絡前進行隨機裁剪，短邊尺寸在900～1600，長邊最大尺寸不超過1600。訓練收斂曲線如圖6所示。

因為特征提取層和分類回歸層的網絡是一致的，所以測試過程中采用Faster-RCNN 的訓練權重來對本文的方法進行測試。挑選了十字路口的駕駛場景樣本作為PRRPN 的測試示意圖，如圖7所示。

圖7 中：圖（a）為上一幀檢測結果；圖（b）為當前幀的標注真值；圖（c）中的點為投影到圖片上的雷達點，加粗的點為當前幀與上一幀關聯上的雷達點在圖片上的投影，其他的點則為未關聯上的雷達點在圖片上的投影；圖中的候選框為根據已關聯上的雷達點生成的候選區域，圖（d）中候選框為將先驗檢測框信息賦予所有雷達點后生成的先驗候選區域；圖（e）為根據投影到圖片上的雷達點的位置以及雷達測量到的距離、RCS 信息生成的雷達候選區域；圖（f）是將先驗候選區域和雷達候選區域輸入到分類回歸網絡后的檢測結果。由檢測結果可以看出，PRRPN方法能有效完成目標檢測任務。

此外本文還設置了3 個對比實驗：實驗一為采用本文提出的候選區域生成方法PRRPN 進行目標檢測；實驗二為采用Faster-RCNN 進行目標檢測；實驗三為采用PRRPN 和RPN 進行融合來完成目標檢測，即將PRRPN的檢測結果和RPN生成的候選區域進行非極大值抑制（Non-Maximum Suppression，NMS），NMS 閾值為0.7，再輸入到分類回歸網絡進行分類回歸。三個實驗中，分類回歸網絡中回歸框的NMS 閾值皆等于0.5。

6.3 結果評估

本文使用COCO 數據集中使用的12 個評估指標［32］來對結果進行評 估，即AP（Average Percision）、AP50、AP75、APS、APM、APL、AR（Average Recall）、AR10、AR100、ARS、ARM、ARL，各評價指標含義見表1。

表1 實驗用評價指標及其含義Tab.1 Evaluation indexes for experiment and their meanings

不同檢測方法的AP、AR 和檢測到的各種類的AP 分別如表2～4所示。

表2 不同檢測方法的AP 單位：%Tab.2 APs of different detection methods unit：%

表3 不同檢測方法的ARTab.3 ARs of different detection methods

因為nuScenes 數據集中的一些距離比較遠，尺寸非常小的目標沒有被標注，所以由三維標注信息轉為二維標注信息時也沒有包含這部分目標信息；但是檢測網絡仍檢測到了這部分目標，加上遮擋、邊角目標較多，所以檢測結果的AP會相較其他數據集低一些。

由表2～4 可以看出，PRRPN 的AP 略低于RPN，但是對小目標的檢測效果會更好，PRRPN 的APS相較RPN 提高了2.09個百分點；而將所提PRRPN 與RPN 進行融合的方法，與單獨使用PRRPN 和RPN 相比，平均檢測精度分別提升了2.54 個百分點和0.34 個百分點。另一方面，由于PRRPN 無需進行網絡計算，因此計算速度優于RPN，每張圖像平均檢測時間能達到0.0624 s，而RPN的每張圖像平均檢測時間為0.0778 s。此外，PRRPN+RPN 的檢測結果要比單獨使用RPN 或PRRPN更好，幾乎所有指標都得到了提高。

表4 不同檢測方法檢測到的各種類的AP 單位：%Tab.4 APs of different detection methods for different classes unit：%

通過對比PRRPN 與RPN 的檢測結果，可以發現PRRPN對于雷達探測范圍內目標的檢測效果是很好的，如圖8（a）所示，PRRPN 的檢測結果圖中的點為投影到圖像上的雷達點，PRRPN 在加快檢測速度的同時，也能達到很高的檢測精度。此外，PRRPN 對于如目標鏡像、廣告牌等不會產生雷達反射點的虛假目標不會產生誤檢。而基于上一時刻檢測結果生成先驗候選區域的思想，會使得上一時刻出現的目標在下一時刻不會漏檢，特別是目標駛離自車的場景，此時目標會出現在圖像上的邊角，一般的檢測方法對于邊角目標的檢測還存在一些問題，但是PRRPN 方法會改善邊角目標的檢測效果。如圖8（b）所示，在市區玻璃建筑區域或者鄰車具有大車窗等會產生目標倒影的場景，因為PRRPN 是基于雷達信息來實現目標檢測，而倒影不會產生雷達反射信號，因此不會產生RPN對目標鏡像的誤檢現象。同樣如圖8（b）所示，當鄰車駛離自車時，RPN 方法沒有檢測出該目標，但PRRPN 檢測到了該目標。因為PRRPN 是根據雷達的距離和RCS 信息來生成一定尺寸的雷達候選區域，綜合了雷達的空間信息和圖像的平面信息，對于雷達探測的近距離目標的誤檢會相較RPN 少得多，如圖8（c）所示。當然，PRRPN 對于部分遠距離目標，如遠距離人的檢測效果是有所欠缺的，如圖8（d）所示，因為一些遠距離的人已超過雷達檢測范圍，且雷達對于遠距離的人對雷達波的反射信號也較弱，所以雷達的檢測短板也是PRRPN的短板。

圖8 PRRPN和RPN檢測結果對比Fig.8 Comparison of PRRPN and RPN detection results

綜合而言，PRRPN 運用了雷達傳感器的優勢并且將上一幀的信息運用到下一幀的檢測，在具有良好檢測效果的同時，還能提高檢測速度，在一些場景下甚至能達到更好的檢測效果。PRRPN+RPN 的方法，綜合了PRRPN 和RPN 的檢測優勢，對于雷達檢測范圍內的目標，因為綜合了雷達的空間距離信息和圖像的像素特征，檢測結果更加精確，且因為由上一時刻檢測結果而得的先驗框的應用，也減少了一定的漏檢，同時兩者的融合也使得雷達檢測范圍外的目標也能很好地被檢測到。

如圖9 所示，PRRPN 的檢測結果和RPN 的檢測結果圖中的點為投影到圖片上的雷達點。從圖9 可以看出，PRRPN 和RPN 的融合可以借助PRRPN 的檢測結果減少被遮擋目標的漏檢，同時也使得部分目標的邊界框的范圍更加精確，邊界框的置信度也會提高。

圖9 PRRPN+RPN和RPN的檢測結果對比Fig.9 Detection result comparison of PRRPN+RPN and RPN

7 結語

本文提出了一種融合雷達數據和相機數據來生成候選區域進行目標檢測的方法——PRRPN。實驗結果表明PRRPN可以快速且有效地檢測到雷達探測距離內的目標，還可以在RPN的基礎上進一步提高融合檢測精度。通過將前一幀的檢測結果與下一幀的雷達數據相關聯，可以為當前時刻的檢測提供具有先驗信息的候選區域，根據雷達的距離和RCS 信息可以估計待檢測目標的尺寸、大小信息，生成蘊含相應信息的雷達候選區域。PRRPN 可以作為附加候選區域生成網絡與任一two-stage 檢測網絡進行融合，提高其檢測精度。PRRPN還將目標檢測與目標跟蹤兩個任務結合起來，為未來對目標跟蹤和目標檢測集成到一個網絡以及自動駕駛汽車的多任務融合提供了參考。接下來，可將傳統的后融合方法［33-34］運用到前融合的特征融合中，進一步提高目標檢測任務的效率。