駕駛環境感知算法研究

梁興碧

（廣東工業大學計算機學院，廣東 廣州 510000）

隨著深度學習算法的不斷發展，在目標檢測、語義分割和車道線檢測等領域皆積累了豐富的研究成果。例如，Faster R-CNN[1]和YOLOv4[2]等是較為經典的目標檢測算法；U-Net[3]、FCN[4]、SegNet[5]和PSPNet[6]等是較為經典的語義分割算法；SCNN[7]和SADENet[8]等是較為經典的車道線檢測算法。盡管這些算法都有出色的性能表現，但若一個接一個地處理這些任務會比一次同時處理所有任務需要花費更多的時間。

交通場景理解中的不同任務往往有很多相關信息可以互補。比如，車道線往往是可行駛區域的邊界線，而可行駛區域通常緊密地圍繞著車輛。因此多任務網絡模型更適用于這種場景，主要原因有兩個：（1）它可以通過同時并行處理多個任務而不是按順序逐個處理，從而加速了推理速度。（2）它可以在多個任務之間共享信息，這樣一定程度上會緩解模型的過擬合，提高了模型的泛化能力。對于駕駛環境感知系統，高精度和實時性是最關鍵的兩個要求，這關系到無人駕駛系統能否做出準確及時的決策以確保安全行駛。然而，對于實際的無人駕駛系統，計算資源往往是有限的。因此，在實際場景中同時考慮這兩個要求是非常具有挑戰性的。為了在獲得高精度和高效率的同時解決駕駛環境感知網絡的多任務問題，即目標檢測、可行駛區域分割和車道線檢測，本文設計了一種簡單有效的網絡架構。本研究使用CSPDarknet 作為編碼器從圖像中提取特征，然后將這些特征圖輸入到特征融合模塊，該模塊主要由FPN 和PAN 組成，最后將融合后的特征圖分別輸入到三個解碼器以完成各自的任務。

1 算法設計

1.1 特征提取和特征融合網絡

本文選擇CSPDarknet[9]作為特征提取網絡，它支持特征傳播和特征重用，解決了優化過程中的梯度重復問題,從而顯著減少了參數和計算量，有利于保證網絡的實時性。本文的特征融合網絡主要由空間金字塔池（SPP）模塊、特征金字塔網絡（FPN）模塊和路徑聚合網絡(PAN)模塊組成。SPP 模塊可以提取并融合不同尺度的特征，FPN 模塊可以自上而下地融合不同語義層次的特征，而PAN 模塊可以自下而上地融合不同語義層次的特征。這三個模塊結合可以獲得更好的特征融合效果，使得提取到的特征包含多尺度、多語義層次的信息。

1.2 目標檢測分支網絡

本研究目標檢測分支網絡結構見圖1。文獻[10]在目標檢測模型的檢測頭中引入了多種自注意力機制：尺度感知、空間感知和任務感知，顯著提高了檢測頭的表示能力。本研究借鑒該方案，在本研究的目標檢測分支網絡中引入了自注意力機制。其中，尺度感知模塊可根據目標的尺度在適當的層次上增強特征，使得特征圖對不同尺度變得更加敏感；空間感知模塊可在相同的空間位置聚合不同層次的特征，使得特征圖變得更加稀疏并且聚焦于不同位置的目標；任務感知模塊可根據目標的不同卷積核的響應，引導不同通道的特征圖分別支持不同的任務，比如分類、邊框回歸等。

圖1 目標檢測分支網絡結構圖

1.3 可行駛區域分割分支網絡

本研究將FPN 的底層特征圖輸入到可行駛區域分割分支網絡，其輸入大小為(W/8,H/8,256)。首先經過GAU 模塊，該模塊可提供全局上下文信息，來指導低層特征選擇類別定位信息。然后經過三個上采樣過程，將輸出特征圖恢復為(W,H,2)的大小，表示輸入圖像中每個像素對于可行駛區域和背景的預測概率。此外，本研究在上采樣層中使用最近鄰插值法，而不是反卷積，降低了計算成本。

1.4 車道線檢測分支網絡

本研究車道線檢測分支網絡采用與可行駛區域分割分支網絡相同的網絡結構。

1.5 多任務網絡

本研究的多任務網絡結構見圖2。首先通過共享的卷積層提取圖像特征，其次經過頸部的特征融合模塊，得到語義信息表征能力更強的特征圖，最后分別輸入三個任務各自的解碼器，每個解碼器都結合了注意力模塊，以提高解碼器的表征能力。

圖2 多任務網絡結構圖

1.6 損失函數

1.6.1 目標檢測損失函數Ldet

本研究目標檢測損失函數Ldet是置信度損失、分類損失和邊界框損失的加權和，公式如下所示：

其中Lclass和Lconf采用Focal Loss 損失函數，該損失函數有助于解決樣本不均衡問題，提高模型的性能。而Lbox采用CIOU 損失函數，它考慮了預測框與標簽之間的中心點距離、重疊率和長寬比的相似度，有助于進一步提高檢測性能。α1、α2、α3可以調整對應損失的權重大小以平衡損失。

1.6.2 可行駛區域分割損失函數Lda-seg

可行駛區域分割損失函數采用帶有Logits 的交叉熵損失函數，旨在最小化網絡輸出像素與實際標簽之間的分類誤差。該損失函數的計算流程由兩步組成：第一步是對網絡的最后一層輸出做一個softmax，求取輸出屬于可行駛區域的概率；第二步則是對softmax 的輸出和樣本的實際標簽求一個交叉熵。

1.6.3 車道線檢測損失函數Lll-seg

車道線檢測損失函數采用同樣帶有Logits 的交叉熵損失函數。

1.6.4 多任務網絡損失函數Lall

本研究多任務網絡損失函數是以上三種損失函數的加權和，公式如下所示：

其中γ1、γ2、γ3可以調整各損失權重以平衡總損失，有助于模型更好更快地收斂。

2 實驗

2.1 數據集簡介

BDD100K 數據集包含10 萬個高清視頻序列，是目前規模最大的無人駕駛數據集。該數據集涵蓋不同時間、不同天氣條件（包括晴天、陰天和雨天，以及白天和晚上的不同時間）和駕駛場景，其數據規模大，多樣性豐富。

2.2 實驗設置

為了使目標檢測器能夠獲得更多關于交通場景中車輛的先驗知識，本研究使用k-means 聚類算法從數據集的所有視頻幀中獲取先驗錨點。使用Adam 作為優化器來訓練模型，初始學習率設置為0.001，并在訓練過程中使用warm-up 和余弦退火算法來調整學習率，旨在引導模型更快更好地收斂。本研究還采用了一些較為常用的數據增強方法來增加圖像的多樣性，比如隨機旋轉、縮放、平移、剪切等。

2.3 實驗結果

2.3.1 目標檢測分支網絡

見表1，本研究使用精確率、召回率和mAP50 作為檢測準確率的評價指標。實驗結果表明，本研究目標檢測分支網絡在檢測精度上超過了Faster R-CNN、MultiNet[11]和DLT-Net[12]模型，并且與YOLOv5 模型的性能相當。由于其他任務的信息共享，本研究目標檢測分支網絡不會將遠離道路（即非可行駛區域）的物體誤識別為車輛，預測結果更加準確。

表1 車輛檢測結果

2.3.2 可行駛區域分割分支網絡

本研究使用準確率和mIoU 作為指標來評估不同模型的分割性能，結果見表2。可以看出，本研究可行駛區域分割分支網絡的分割性能均優于其他三個模型。本研究可行駛區域分割分支網絡在分割靠近車輛或車道線的邊緣區域方面要好得多，這主要是因為另外兩個任務都為這個任務提供了邊緣信息。

表2 可行駛區域分割結果

2.3.3 車道線檢測分支網絡

本研究使用像素精度和mIOU 作為評估指標。見表3，本研究車道線檢測分支網絡的性能大大超過了其他三個模型。借助其他兩個任務共享的信息，本研究車道線檢測分支網絡幾乎不會將某些車輛所在或可行駛的區域誤認為車道線。

表3 車道線檢測結果

3 結論

本研究提出了一種簡單有效的多任務學習網絡用于駕駛環境感知，可以同時處理目標檢測、可行駛區域分割和車道線檢測三個任務。該網絡由一個用于特征提取的編碼器和三個用于處理特定任務的解碼器組成，并且可以進行端到端的訓練。經實驗驗證，目標檢測、可行駛區域分割和車道線檢測三個任務具有較高的相關性，進行多任務學習能互相促進彼此的性能，最終提高模型的整體性能，并且一次執行多任務比依次執行單個任務能節省大量時間。