基于FVOIRGAN-Detection 的車輛檢測

張 浩，楊堅華，花海洋

（1. 中國科學院光電信息處理重點實驗室，遼寧 沈陽 110016；2. 中國科學院沈陽自動化研究所，遼寧 沈陽 110016；3. 中國科學院機器人與智能制造創新研究院，遼寧 沈陽 110169；4. 中國科學院大學，北京 100049）

1 引 言

目標檢測是計算機視覺的基本課題之一，也是自主車輛感知系統的重要組成部分［1-7］。目前，目標檢測方法中使用了攝像機和激光雷達傳感器。該相機可以在高幀速率下工作，在光線充足的天氣下提供遠距離密集信息。然而，作為一種被動傳感器，它受到光照水平的強烈影響，而可靠的目標檢測系統不應受到光照因素的影響。激光雷達通過自身的激光脈沖感知環境，因此它只受到外部照明條件的輕微影響。此外，激光雷達還提供精確的距離測量。不過它們的范圍有限，提供的數據也很少［8］。通過對兩個傳感器優缺點的分析，不難看出同時使用兩個傳感器可以提高整體可靠性。

在過去的幾年中，已經出現了大量通過融合多個傳感器信息來解決目標檢測問題的方法［8-15］。其中對于點云的處理，目前大多數方法是將點云投影到可見光圖像生成深度圖、強度圖等圖像，再與可見光圖像融合。例如，Schlosser等人［16］根據基于激光雷達的深度圖計算了水平視差、高度和角度（Horizontal disparity，Height，Angle，HHA）數據通道，利用HHA 特征與可見光圖像進行后期融合取得了良好的效果。Gupta等人［17］也根據深度圖計算了HHA 通道信息，然后利用卷積神經網絡（Convolutional Neural Network，CNN）分別提取可見光圖像和HHA 的特征信息。最后，利用支持向量機分類器進行目標檢測。Asvadi 等人［9］提出將三維激光雷達點云信息的投影轉換為二維深度圖像和強度圖像，并采用決策級融合方法實現各種模態檢測的高級集成。

但是這種處理方式，會損失點云重要的三維空間信息。很多三維目標檢測提出了運用BEV（Bird Eye View）圖的想法。Chen 等人［10］和Liang 等人［11］使用基于體素的激光雷達表示，將點云體素化為3D 占用柵格，通過把高度切片處理為特征通道，將得到的3D 體素作為BEV 表示。其保留了點云完整的空間信息不受損失，但是這樣數據量會變得龐大，且點云與可見光圖像之間的對應變得復雜。針對這些問題，本文提出了FVOIRGAN-Detection 的多源信息融合檢測網絡，這種方法可以自適應地保留點云的原始空間信息，并提高了可見光圖像紋理信息的利用程度。本文方法主要貢獻如下：

第一，本文提出了FVOI（Front View Based on Original Information）的點云處理新思路，將點云投影到前視視角，并把原始點云信息的各個維度切片為特征通道，不但保留了點云的原始信息，而且降低了數據量，減小了與可見光圖像的對應復雜度。之后通過特征提取網絡提取原始點云中有利的信息，得到點云的前視二維特征圖，并將其與可見光圖像進行融合。

第二，在融合過程中，為了使得融合圖像更好地保留可見光圖像的紋理信息，本文引進了相對概率的思想［18］，用鑒別器鑒別圖像相對真實概率取代絕對真實概率，使得可見光中有利于目標檢測的紋理信息可以更好、更真實地保留［19］。

2 FVOIRGAN-Detection

2.1 CrossGAN-Detection

CrossGAN-Detection 運用生成對抗網絡［20］處理多源信息融合檢測的問題，該方法由GAN和目標檢測網絡組成。目標檢測網絡在訓練過程中充當GAN 的第二個鑒別器。該方法利用內容損失函數和雙鑒別器為發生器提供直接可控的引導，通過交叉融合自適應學習不同模式之間的關系。

CrossGAN-Detection 網絡結構如圖1 所示，該網絡是一個具有雙鑒別器（檢測器和鑒別器）的生成性對抗網絡。輸入為可見光圖像、空間特征圖和強度特征圖。在訓練過程中，檢測器的作用是促使發生器朝著有利于目標檢測的方向訓練，其與發生器的關系是正反饋的；鑒別器的作用是促使發生器在主觀設定方向上進行訓練，這是一種對抗性鑒別器。在檢測過程中，去除鑒別器，生成器承擔信息融合任務，檢測器承擔目標檢測任務。

圖1 CrossGAN-Detection 的網絡結構Fig.1 Network architecture of CrossGAN-Detection

為了同時保持可見光圖像豐富的紋理信息、空間特征圖的空間信息和強度特征圖的強度信息，推動融合朝著有利于目標檢測的方向發展，引入了生成對抗網絡的融合思想并添加一個目標探測器作為鑒別器。鑒別器用于區分融合圖像和可見光圖像，檢測器用于檢測融合圖像的目標。因此，提出的框架建立了生成器和鑒別器之間的對抗。在對抗過程中，融合圖像逐漸獲得豐富的圖像紋理信息［21］，增加了融合圖像的信息多樣性，不僅增加了目標檢測的可用信息，提高了目標檢測的效果，同時也降低了目標檢測網絡過擬合的風險。同時，它在發生器和檢測器之間建立了正反饋對抗。在對抗過程中，由于兩個鑒別器的作用，融合圖像越來越有利于目標檢測，檢測器的檢測能力也越來越強。此外，為了防止在鑒別器的作用下通道信息的丟失，為發生器設計了內容損失函數：

其中，H，W分別表示輸入圖像的高度和寬度，F表示矩陣Frobenius 范數，?表示梯度算子，ξ是控制兩項之間權衡的正參數。第一項旨在保留強度特征圖IIntensity的反射率信息，第二項旨在保留可見光圖像IRGB中包含的梯度信息。

在現有方法中，融合僅由檢測結果控制。與該框架相比，它缺少一個鑒別器。這種缺乏將導致模型學習的不可控問題。由于融合與檢測之間的關系是正反饋的，因此融合過程只受目標檢測結果的引導，容易產生偏差。在融合框架中融合了哪些信息以及這些信息是否真的有助于目標檢測是值得考慮的兩個問題。在加入GAN后，利用鑒別器和內容損失函數將真正有利于目標檢測的信息融合到融合圖像中，從而為整個網絡設置正確的方向，指導學習過程，防止學習過程中的偏差，提高模型的穩定性。

2.2 基于FVOI 的點云處理

針對將點云投影到可見光圖片方法的信息損失，Liang 等［11］使用基于體素的激光雷達表示，將點云體素化為3D 占用柵格，其中體素特征通過每個激光雷達點上的8 點線性插值計算。這種激光雷達表示能夠有效地捕捉細粒度點密度線索，通過把高度切片處理為特征通道，將得到的3D 體素作為BEV 表示，能夠在2D BEV 空間中進行推理，從而在不降低性能的情況下顯著提高效率。3D BEV 表示非常巧妙地滿足各方面需求，但是其大多數三維體素是空的，這就造成了其數據量巨大的問題，浪費了內存且降低了處理效率，而且其與可見光圖像對應起來復雜度也較高。最重要的是對于二維目標檢測來說，3D BEV 的表示形式不合適。對此，本文提出了基于FVOI 的點云處理方法來配合二維目標檢測。

如圖2 所示，為基于FVOI 的點云處理網絡框架。首先FVOI 的過程是將點云上的點投影到可見光圖像，將平面上的點像素化為柵格，然后通過把原始點云信息的各個維度切片為特征通道，將得到點云的二維表示（4×w×l），其也可以在不降低性能的情況下顯著提高效率，而且相比于3D 的BEV 表示（channels×h×w×l），大大減小了數據量。最重要的是，經過點云投影到可見光圖像這一步驟，FVOI 已經建立了點云與可見光圖像之間的對應關系。

圖2 基于FVOI 的點云處理網絡框架Fig.2 Network architecture of point cloud processing based on FVOI

如圖2，在對點云的二維表示進行特征提取的過程中，由于空間信息和強度信息是不同類別的信息，所以分為兩個信息流分別進行提取點云的空間信息和強度信息。此外，由于點云數據本身比較稀疏，在卷積計算的過程中稀疏的點云數據極易損失，因此在特征提取的過程中加入了殘差的思想。最后，由于可見光圖像是三通道的，為了使得生成的特征圖更好地與可見光圖像進行融合，分別生成三通道的空間特征圖和三通道的強度特征圖，使得每一類信息有著相同的初始權重。

2.3 相對概率的鑒別器思想

經過對CrossGAN-Detection 的分析，很容易得知其利用生成器與鑒別器的對抗對可見光圖像的紋理信息進行提取，鑒別器是為了區分可見光圖像和融合圖像，生成器是為了生成讓鑒別器區分不開的融合圖像。例如，當鑒別器鑒別一個可見光圖像的輸出是p時，同時也鑒別融合圖像輸出概率是p，那么這時候就可以認為鑒別器已經區分不開可見光圖像和融合圖像，生成器效果已經達到最優，融合圖像已經獲得了可見光圖像真實的信息。但是根據CrossGAN-Detection 的損失函數來看，生成器在這時候還要繼續優化其參數進而生成接近于D(Ifusion_image)=1 的融合圖像，這就出現了過度優化的問題，D(Ifusion_image)=1的融合圖像在鑒別器鑒別下已經非常接近可見光圖像，但是真正意義上其已經脫離了D(IRGB)=p的真實可見光圖像。

圖3 為相對概率工作原理的示意圖，在欠優化區域和過度優化區域的融合圖像融合的紋理信息都是不夠真實的，因此為了基于鑒別器的能力水平來訓練生成器，本文加入了相對真實概率的思想。

圖3 相對概率工作原理示意圖Fig.3 Schematic diagram of working principle of relative probability

加入相對概率后的鑒別器和生成器損失函數修改為：

其中：f是端到端的函數，在本文方法中f(x)=x，R是可見光圖像的分布函數，F是融合圖像的分布函數。在相對概率思想的影響下，可以保證生成器可以最大程度地提取到可見光圖像真實的紋理信息，而不是脫離鑒別器的鑒別能力提取到一些偽真實的紋理信息。從而提升整個網絡的目標檢測能力。

3 實驗驗證

本文使用平均精度（AP）［22］在KITTI［23］數據集的驗證分割集［24］上評估提出的方法。

其中：rn為第n個recall 值，ρ(r?)為在recall 值為r?時的precision 值。

3.1 實驗設計

本實驗基于Python 3.6 和tensorflow-1.14，使用NVIDIA GTX-2080TI 進行訓練。在實驗中，batchsize 大小設置為2，并使用Adam 優化算法進行迭代。初始學習率為0.000 1，然后通過余弦退火衰減為0.000 001。在訓練過程中，在192×576、224×672和256×768 中隨機選擇輸入圖像的大小，并且隨機剪切和翻轉輸入圖像以進行數據增強。

3.2 數據集

KITTI 數據集由德國卡爾斯魯厄理工學院和豐田美國理工學院共同創建。它是世界上最大的自動駕駛場景下的計算機視覺算法評估數據集。該數據集用于評估計算機視覺技術的性能，如車輛環境中的立體圖像、光流、視覺里程計、三維目標檢測和三維跟蹤。KITTI 包含從城市、農村和高速公路場景收集的真實圖像數據。每個圖像中最多有15 輛車和30 名行人以及不同程度的遮擋和截斷。整個數據集由389 對立體圖像和光流圖、39.2 km 視覺測距序列和200 K 多個3D 標記對象的圖像組成，以10 Hz 的頻率采樣和同步。標簽分為汽車、廂式貨車、卡車、行人、行人（坐著）、自行車、有軌電車和雜項。

3.3 消融分析

為了驗證本文所提出的兩個模塊的有效性，將CrossGAN-Detection 作為Baseline 進行了消融分析。

如表1 所示，Baseline 為CrossGAN-Detection，在此基礎上分別加入FVOI 的點云處理方法和相對概率的鑒別器思想，本文方法在簡單、中等、困難類別分別比Baseline 高1.01%、0.71%、0.57%，結果表明FVOI 的點云處理方法和相對概率的鑒別器思想都有利于提高目標檢測的精度。

表1 KITTI 驗證集上Car 類2D 目標檢測性能消融分析：平均精度Tab.1 Ablation analysis of 2D Car detection performance on KITTI verification set：average accuracy

由于以上AP指標都是在IOU=0.7 的時候測得，為了更好、更全面地驗證本文方法的優越性，分析了AP隨著IOU變化的曲線圖。如圖4所示，為AP與IOU關系圖，實線表示的是Cross-GAN-Detection 方法的AP指標隨著IOU的變化情況，虛線表示本文方法的AP指標隨著IOU的變化情況。從圖中可見，本文方法曲線一直在Baseline 的上方，可見本文方法相比于Cross-GAN-Detection 方法不僅在IOU=0.7 的情形下表現較好，而是在各種IOU情形下都有著顯著的優越性，進一步全面證明了本文方法的有效性。

圖4 KITTI 驗證集上的AP 與IOU 關系Fig.4 Relationship between AP and IOU on KITTI validation set

3.4 光照條件受限的場景

KITTI 數據集主要包括在相當理想的光照和天氣條件下捕獲的示例。在這種情況下，攝像機圖像本身提供了豐富的信息和豐富的識別線索，配合深度圖像可以進行準確的車輛檢測。因此，通過上述實驗，可能很難完全理解充分利用點云的空間信息的好處以及相對概率思想的作用。考慮到這一點，從驗證集中提取了14 組具有挑戰性的場景，特別是顯示陰影和強光反射的圖像。

如表2 所示，數據在14 組光照條件不好的挑戰性場景下測得，在此場景下，可見FVOI 的點云處理方法起到了重要作用，相比原始方法提升了1.92%，說明充分利用點云的空間信息有利于彌補光照條件不好的劣勢，提高目標檢測的效果。然而，在單獨加入相對概率的鑒別器思想時，網絡的性能下降2.57%，原因是相對概率的鑒別器思想原理是更真實地提取可見光圖像的紋理信息，而在光照條件不好的情形下，提取的信息是失真的，其對網絡性能進而造成了不好的影響。但是本文的方法結合了FVOI 的點云處理方法和相對概率的鑒別器思想，充分地利用了點云的空間信息和可見光圖像的紋理信息，平衡二者的關系，在光照條件不好的情形下相比單獨使用每種方法更能發揮出好的效果，相比原始方法提升了2.37%。

表2 KITTI 挑戰性場景Car 類2D 目標檢測性能消融分析：平均精度Tab.2 Ablation analysis of 2D Car detection performance on KITTI challenging scenarios：average accuracy

如圖5 所示，第一列是真實標簽，第二列是CrossGAN-Detection 方法的檢測結果，第三列是本文方法的檢測結果。紅色橢圓框表示Cross-GAN-Detection 方法的誤檢目標，紅色方框表示CrossGAN-Detection 方法檢測精度較低的目標。可以看出，在光照條件有限的情況下，Cross-GAN-Detection 方法進行目標檢測會面臨誤檢和檢測精度低的問題，而本文方法充分利用了點云的空間信息和可見光圖像的紋理信息，平衡了二者的關系，解決了這些問題，提高了目標檢測的準確性。

圖5 挑戰性場景下目標檢測結果對比示例Fig.5 Comparison example of target detection results in challenging scenes

同時為了證明本文的相對概率的思想可以更好地提取紋理特征，我們利用灰度共生矩陣提取了融合圖像的相關性特征值（COR），相關性是紋理特征比較有代表性的一種表達，其度量空間灰度共生矩陣元素在行或列方向上的相似程度，相關值大小反映了圖像中局部灰度相關性。

其中：(a，b)為灰度共生矩陣元素坐標，PΦ，d(a，b)為該坐標的元素值，結果如表3 所示。

表3 紋理信息提取性能比較：相關性特征值Tab.3 Comparison of texture information extraction performance：correlation eigenvalue（COR）

如表3 所示，本文提出的方法提取紋理特征與真實可見光圖像更為接近，驗證了本文方法的有效性。

3.5 性能對比

為了證明本文的方法優于現有方法，在KITTI 的驗證分割集上將其與其他先進的融合檢測方法進行了比較。

表4 給出了Car 類目標三個檢測難度等級上的平均準確率，所提方法FVOIRGAN-Detection與近幾年多模態信息融合檢測方面的一些SOTA 算法進行比較。從表中可以看出，本文提出的方法在簡單類別中比其他高級方法具有顯著的優勢，并且在中等和困難類別中與其他方法幾乎相同。

表4 KITTI 驗證集Car 類2D 目標檢測性能比較：平均精度Tab.4 Comparison of 2D Car detection performance on KITTI verification set：average accuracy

4 結 論

本文提出了一種新的多源信息融合檢測算法FVOIRGAN-Detection，用于融合攝像機圖像和激光雷達點云進行車輛檢測。一方面，本文提出了FVOI（Front View Based on Original Information）的點云處理新思路，將點云投影到前視視角，然后通過把原始點云信息的各個維度切片為特征通道，不但保留了點云的原始信息，而且降低了數據量，減小了與可見光圖像的對應復雜度。之后通過特征提取網絡提取原始點云中有利于目標檢測的信息，得到點云的前視二維特征圖，并將其與可見光圖像進行融合。另一方面，在融合過程中，為了使得融合圖像更好地保留可見光圖像真實的紋理信息，本文引進了相對概率的思想，用鑒別器鑒別圖像相對真實概率取代絕對真實概率，提高融合圖像對可見光圖像中的紋理信息的復原程度，更好地提高目標檢測的效果。

通過性能比較，FVOI 的點云處理方法和相對概率的鑒別器思想都對CrossGAN-Detection方法起到了很好的提升作用。在KITTI 的驗證分割集上，本文方法優于現有方法。本文還考慮了光照條件受限下的場景，進一步證明了該方法的有效性。