夜間高速公路車輛車燈的反光檢測的研究

王美鈺

（西南交通大學信息科學與技術學院，成都611756）

0 引言

到2019 年6 月為止，全國汽車數量達到2.5 億輛，私家車達1.98 億輛。我國高速公路車流量巨大、同時車速快，是我國交通運輸的主動脈。但是高速公路的飛快發展，給人們生活出行帶來便利的同時，也增大了交通事故的發生幾率，為道路交通的安全帶來了隱患。

由于高速公路在我國已經大規模建設，高速公路長期運營產生大量的歷史視頻數據，通過深度學習強大的建模能力對歷史數據進行建模，應用于高速公路車輛檢測與車輛行為識別，及時準確地發現高速公路的異常事件，在高速公路事故救援工作中有著極其重要的作用，具體的研究包括車輛檢測、車牌識別、車輛細分類、路面積水檢測等。

車輛檢測可以通過利用基于深度學習的卷積神經網絡，來學習這些特征，以達到車輛目標檢測的目的。在白天的交通監控場景中，可以通過車輛特征，如車輛形狀、顏色、陰影等[1-2]準確檢測到車輛。然而，夜間高速公路的光照條件十分的復雜，不僅車輛車燈的種類繁多，而且路面上也會有車燈的反射光及路燈的反射光等各種環境因素，這些因素也會加大夜間高速公路的車輛檢測的難度。因此，在夜間交通監控場景下，無法使用和白天相同的車輛檢測特征，車輛的前車燈和尾燈成為了車輛檢測的主要目標特征，所以車輛的車燈及反光的研究具有重要的意義。

在高速公路車輛檢測研究的基礎上，發現夜間高速公路車輛車燈的反光誤檢率高，主要誤檢成行人或油罐車。針對這個問題，如要提高高速公路夜間車輛檢測的正確率，降低誤檢率，對車輛車燈的反光檢測的研究十分重要，且更能滿足實際的應用需求。

1 相關研究

對于夜間道路監控的車輛檢測，最大的干擾項是車燈照射到路面形成的反射光，尤其是在雨天道路上形成的反射光，嚴重影響車輛檢測的準確率。Wei Zhang[3]提出了一種解決道路反射光干擾的方法，通過大氣散射和拉普拉斯高斯濾波（LOG），提取出車燈和反射光的明顯特征，再用馬爾科夫隨機場（MRF）方法將反射光剔除。浦世亮等人[4]在上述工作基礎上，提出了基于決策樹的反射光和車燈的分類算法，該算法是通過在視頻圖像中的車燈和反射光之間的亮度方差特征差異進行分類，實現反射光消除和夜間車輛的檢測。

目前，圖像分類的最佳方案就是利用卷積神經網絡。在分類中，圖像有許多重疊的目標和不同的背景，不僅要對這些不同的目標進行分類，還要確定它們之間的邊界，差異和關系。圖像理解的關鍵在于將一個整體場景分解成幾個獨立的目標，有助于預測目標的不同行為。目標檢測方法可以預測目標在圖像中的位置信息，但人類對場景的理解能以像素級的精細程度對每一個目標進行檢測并確定其邊界。因此目標檢測及分類的相關工作漸漸的轉向到語義分割的領域，而分割網絡的預測與分類網絡預測不同的是，分割網絡的預測是基于圖像像素點的預測。

FCN 網絡[5]是基于端到端的卷積網絡，它提出可以把網絡中的全連接層替換成卷積層，獲得一張二維的特征圖，后接Softmax 獲得每個像素點的分類信息，從而解決了分割問題，網絡結構如圖1 所示。深度卷積神經網絡（DCNN）需要大量的訓練數據才能讓模型達到更好的性能，U-Net 網絡[6]利用數據增強方法增加訓練數據，使卷積神經網絡（CNN）可以從較少的訓練圖像中進行學習，使編碼器-解碼器的結構變得更加魯棒以抵抗形變，但該網絡的設計針對于特殊的醫學場景。Segnet 網絡[7]基于FCN 網絡[5]，采用VGGNet[8]網絡作為其主干網絡，整體是一個編碼器-解碼器的網絡結構，解碼器使用從相應的編碼器接受的最大池化索引進行輸入特征圖的非線性上采樣。Pspnet 網絡[9]是利用ResNet 網絡[10]提取圖像特征；將得到的特征圖輸出到一個全局池化層，再通過一個金字塔池化模塊獲得多個子區域的局部特征表示，最后通過上采樣恢復圖像尺寸，并串聯所有特征，得到最后的特征表示向量，從而獲得圖像的局部和全局特征。

圖1 FCN網絡結構圖

2 Class weight loss損失函數

2.1 Focal loss損失函數

Focal loss[11]是為了解決one-stage 的目標檢測場景而設計的。在這個場景下，訓練過程中前景類和背景類之間存在極端的不平衡。該損失函數被稱為是一種困難樣本的挖掘，它降低了大量簡單負樣本在訓練中所占的權重。通過平衡因子α 來解決樣本不平衡問題，通過調制因子γ 減少了占比小的類別的損失貢獻，并擴展了獲得低損失樣本的范圍。Focal loss 對于那些預測得分不好的樣本，即預測標簽與真實標簽的接近程度小的樣本，保留交叉熵損失中的大部分損失，對于那些預測得分很好的樣本，大幅減小其交叉熵損失。由實驗得出，α=0.25，γ=2 時，模型效果最好，其公式（1）如下所示：

對于二分類來說，pt表示預測樣本為1 的概率。

2.2 Class weight loss損失函數

Class weight loss 損失函數，簡稱CW loss，用于平衡各像素類別占用的比例，增大比例小的類別的權重，減小比例大的類別的權重，使訓練模型重點關注比例小的分類。在Focal loss 算法的基礎上，自適應的計算出每個類別占用的比例權重矩陣W。比例矩陣R 表示每個類別在圖像中的比例，平衡因子α 用來權衡各個類別的比例。對多分類來說，pt表示預測樣本類別為i 的概率。其公式（2）、（3）、（4）如下所示：

圖像共包含k+1 個像素類別，ri表示類別為i 的像素在整張圖像中所占的比例，其計算公式（5）如下所示：

其中，圖像寬為w，高為h，共有w×h 個像素點，clsi表示圖像中屬于類別為i 的像素個數。

3 實驗與分析

3.1 數據集

隨著卷積神經網絡以及相關硬件設備的逐步發展，基于深度學習的車輛檢測算法的實驗條件正在日趨完備。但是，基于深度學習的高速公路車輛車燈的反光檢測研究較少，本文使用的數據集來自高速公路車輛檢測的數據集。數據集共包含1002 張圖片，其中測試集包含230 張圖片，驗證集包含150 張圖片，訓練集包含622 張圖片。圖像像素分為3 個類別，類別含義如表1 所示。

表1 類別含義

3.2 評價指標

為了衡量分割系統的作用及貢獻，其性能需要經過嚴格評估，需測試系統的執行時間、內存占用、和精確度[12]等來評估其有效性。由于不同的系統，所處的背景以及測試目的不同，某些標準可能要比其他標準更加重要，例如，對于實時系統，為了提高運算速度可以損失其精確度。語義分割中為了衡量算法的精度，通常需要使用許多衡量標準，下面將介紹幾種常用的逐像素標記的精度標準。假設如下：共有k+1 個類，pij表示本屬于類i 但被預測為類j 的像素數量，即pii表示真正的數量。

（1）MPA 稱為均像素精度[12]，計算每個類內被正確分類像素數的比例，求所有類的平均。計算公式（6）如下所示：

（2）MIoU 稱為均交并比[12]，計算兩個集合的交集和并集之比。在語義分割的問題中，這兩個集合為真實值和預測值。MIoU 越高，表示預測值與真實值越接近。計算公式（7）如下所示：

3.3 實驗結果

本文中的實驗采用PyTorch 深度學習框架來構建和訓練網絡模型，所有實驗均在Ubuntu 16.04 操作系統中進行。輸入圖像尺寸為480×360，實驗參數設置如表2 所示。由于網絡參數量不同，所以這些網絡的收斂速度不同，迭代次數設置也不盡相同，根據訓練曲線決定訓練進度。

表2 實驗參數設置

（1）Baseline 實驗

為了驗證網絡的有效性，本文利用高速公路車輛檢測數據集在3 個主流的語義分割網絡中進行了對比實驗，在測試集上的實驗結果如表3 所示。通過實驗結果表明，FCN8s 網絡使用反卷積層進行上采樣，并跳躍連接將多層特征融合，在該數據集上提高了分割的準確性。

表3 各網絡在該數據集上的實驗結果對比

（2）CW loss 實驗

由于FCN8s 在MIoU 和MPA 兩個評價指標上均高于其他分割網絡，本實驗選用FCN8s 作為基準，將FCN8s 使用的交叉熵損失函數（CE loss）替換成CW loss 損失函數進行實驗。隨著平衡因子α 的不同，實驗結果有所不同，如表4 所示。當α=0.2 時，在測試集上的實驗結果達到最好，其MIoU 為70.090%，MPA 為80.837%。

表4 不同平衡因子的實驗結果對比

（3）FCN8s 與FCN8s+CW loss 對比實驗

對比實驗訓練曲線如圖2 所示，在測試集上的實驗結果如表5 所示。為了使其更好的收斂，FCN8s 的迭代次數為88k，FCN8s+CW loss 實驗的迭代次數為150k，但兩個實驗在迭代60k 次后均趨于穩定，因此兩個實驗的迭代次數并不會影響模型的準確性。

圖2 訓練曲線對比

在圖像標注過程中，反光的邊界界定模糊，標注難度較大；可視化實驗結果如圖3 所示，其中黃色像素點為尾燈反光，藍色像素點為前燈反光。通過可視化結果可以看出，FCN8s 網絡在該數據集上進行訓練后得到的模型能檢測到更多的反光信息。

通過實驗表明，在FCN8s 網絡的基礎上，CW loss與交叉熵損失函數（CE loss）相比，評價指標MPA 提升了1.964%，評價指標MIoU 下降了0.09%。由此可以看出，使用CW loss 訓練網絡，在保證模型預測值與真實值的交并比的基礎上，能夠有效地提升像素精度。

表5 實驗結果對比

圖3 實驗結果圖

4 結語

本文經過對夜間高速公路車輛反光檢測進行研究，提出基于Focal loss 的夜間高速公路車輛反光檢測的CW loss 損失函數，解決反光檢測中多個類別比例失衡的問題。使用CW loss 訓練網絡，在保證模型預測值與真實值的交并比的基礎上，能夠有效地提升反光檢測的像素精度。