一種基于新型Unet-Canny網絡的安全帶檢測方法

彭方達， 宋長明， 李 陽， 王 浩

(中原工學院 理學院， 河南 鄭州 450007)

隨著社會的快速發展，機動車數量日益增加，與其相關的交通事故也越來越多[1]。機動車駕駛員和乘客在機動車行駛中若不系戴或者錯誤系戴安全帶，就很容易在事故發生時受到傷害。每年都會有很多人因為駕駛或乘坐機動車未系戴安全帶而受到傷害。當交通事故發生時，若機動車駕駛員正確系戴了安全帶就能夠從很大程度上保證駕駛員的生命安全。因此，及時判斷機動車駕駛員是否正確系戴安全帶，具有重要意義。

在早期的安全帶檢測方法中，Guo等提出的通過直線檢測和基于車輛特征幾何關系檢測安全帶的方法，對圖像質量要求較高，不適合在復雜的外部環境中使用[2]；唐恬等設計了結合直線檢測和HOG(Histogram of Oriented Gradient)算子的多級安全帶檢測算法，但它對下雨天大型車輛的安全帶檢測很受局限[3]；陳雁翔等提出的基于Adaboost的安全帶檢測系統，能夠根據Haar-like特征、窗口、駕駛員和安全帶的信息分別進行訓練，將3個弱分類器連接成不同權重的強分類器，用高斯混合模型處理后進行安全帶檢測，但該系統對圖像質量的要求很高而很難應用[4]。隨著深度學習算法的興起，卷積神經網絡因在提取圖像特征時能降低假陽率和漏報率，適應復雜的環境，在實踐中應用越來越多，出現了許多優秀的檢測網絡，如SSD(Single Shot Multibox Detector)系列[5]、Fast R-CNN(Fast Region-based Convolutional Neural Network)系列[6]、YOLO(You Only Look Once)系列[7]。但是，在安全帶檢測中，用標注軟件標注圖像時，安全帶區域只占標注框的很小部分，而其他物體例如人的肩膀卻具有很大的面積占比，所以卷積神經網絡學習時更多學習的是肩膀的特征而不是安全帶，以這種習得權重進行安全帶檢測，效果往往很不理想。因此，單一的目標檢測網絡很難準確地完成安全帶的檢測任務。而計算機視覺的語義分割對圖像的處理更為細致[8]，它對圖像的識別是像素級的，即能針對圖像的每個像素點進行分類處理。本文試圖通過語義分割來達到判斷機動車駕駛員是否正確系戴安全帶的目的。

為了提高對安全帶的正確檢測率，本文提出一種新的安全帶檢測方法，采用語義分割來實現安全帶的檢測。該方法結合SSD網絡、語義分割網絡Unet[9]和邊緣檢測算子Canny[10]的優點，首先利用SSD網絡對機動車駕駛員進行定位，然后通過Unet-Canny網絡分割安全帶，達到檢測效果。

1 選用網絡和模塊

1.1 SSD網絡

圖1所示為交通部門攝像頭抓拍的圖像。抓拍的圖像中除安全帶以外，道路的分割線、樹木、防護欄以及車體邊緣都具有和安全帶類似的線條信息。這些信息給神經網絡訓練帶來干擾的同時，會增加訓練的難度，對訓練權重產生負面影響。為了提升神經網絡的訓練效果，本文利用目標檢測網絡對抓拍圖像進行預處理，剔除圖像中的無關信息而提取車窗部分有用信息，以改善檢測效果。

圖1 交通部門攝像頭抓拍的圖像Fig. 1 Picture snapped by the camera of transportation

受交通部門裝設硬件的限制，普通攝像頭抓拍圖像的分辨率較低，遠距離拍攝的車輛圖像會模糊不清，車輛中駕駛員的圖像信息更是丟失嚴重。因此，應主要針對圖像中近距離車輛的安全帶系戴情況進行檢測。研究發現，車窗在數據集中目標較大且具有很明顯的特征，通過目標檢測能較好地完成車窗檢測任務。

SSD屬于One-stage網絡[11]，其主干采用VGG(Visual Geometry Group)網絡[12]，能同時對物體信息進行檢測和分類。它能夠利用CNN(Convolutional Neural Network)提取圖像特征，均勻劃分圖像區域并進行密集抽樣，抽樣時可使用不同長寬的預選框，使物體分類與預選框的回歸同步進行。因此，可采用SSD網絡實現對車窗的目標檢測。SSD網絡的結構如圖2所示。

圖2 SSD網絡的結構Fig. 2 SSD network structure

1.2 Unet網絡

語義分割網絡能夠在像素級別下對圖像中的每個像素點進行分類。Unet是語義分割網絡中一種典型的全卷積神經網絡。Unet網絡的結構如圖3所示。

圖3 Unet網絡的結構Fig. 3 Unet network structure

Unet網絡為U形結構，由左側的卷積層(編碼器)和右側的上采樣層(解碼器)組成。其編碼器采用對輸入圖像卷積再池化的方式進行特征提取；解碼器能先對深層的圖像進行上采樣，然后與編碼器傳遞來的特征層進行通道融合。這些特征層中，淺層用來分割，深層用來定位，兩者結合才能很好地完成語義分割任務[13]。采用Unet網絡進行圖像像素點分類的過程包括3個步驟。

第一步，主干特征提取。首先，通過主干網絡獲得不同的特征層，其主干特征層與VGG網絡類似，為卷積和池化操作的堆疊；然后，利用主干網絡獲取5個初步有效的特征層。

第二步，加強特征提取。對利用主干網絡獲取的5個初步有效特征層進行上采樣，并在特征融合后確定1個能最終融合所有特征的有效特征層。

第三步，預測。利用所確定的能最終融合所有特征的有效特征層，對每一個像素點進行分類。

1.3 Res-Canny模塊

受光照、遮擋、駕駛員著裝的影響，安全帶的數據集訓練十分困難。增強安全帶的邊緣信息，可以提升對安全帶的識別效果。對安全帶進行圖像分割時，一般網絡的性能很大程度上取決于特征提取的效果，而網絡結構決定著其提取特征的能力[14]。因此，應加強網絡對邊緣特征信息的提取能力。本文將Canny算子添加到網絡中，以增強所選用網絡的圖像分割性能。采用Canny算子時，輸入圖像為單通道的二值圖像。通過高斯濾波器生成濾波核，可降低圖像噪聲，使濾波曲線變得平滑。高斯濾波核(即高斯濾波后的像素點)為：

(1)

式中：x、y分別為像素點的橫坐標和縱坐標；σ為控制圖像平滑程度的參數。

圖像本質是由像素點組成的矩陣，圖像中各像素點梯度(包括為x方向和y方向)的變化對應實際圖像中色差和紋理的變化。因此，可通過計算像素點的梯度來了解圖像的變化。像素點H(x，y)的梯度值為：

(2)

計算梯度后會得到大量的邊緣信息。對這些邊緣信息進行篩選，才能得到真實的邊緣特征信息。因此，在采用Canny算子時，應首先通過極大值抑制，去除多余的邊緣；然后采用雙閾值確定真實邊緣以及潛在的邊緣；最后抑制弱邊緣，完成邊緣檢測[15]。

研究發現，若直接將Canny算子加入Unet網絡，就會在提取邊緣信息的同時丟失大量的原圖像信息，對特征信息提取和網絡訓練都極為不利。若將圖4所示的殘差塊結構[16]引入網絡，就可從很大程度上緩解網絡加深帶來的退化現象，在保留完整輸入信息的同時能夠進行特征信息的提取。

本文將殘差塊結構與Canny算子相結合，構建了Res-Canny模塊(其結構如圖5所示)，對輸入特征層的3條通道(第一條，保持輸入特征層不變；第二條，對輸入特征層進行兩次卷積；第三條，將特征層輸入Canny算子中，提取邊緣特征信息)進行計算，并對3條 通道的計算結果進行了特征融合。

圖4 殘差塊的結構Fig. 4 Residual block structure

圖5 Res-Canny模塊的結構Fig. 5 Res-Canny block structure

2 搭建Unet-Canny網絡模型

在圖6所示的Unet-Canny網絡識別流程中，先用SSD網絡定位駕駛員圖像(作為預處理)，再將圖像送入Unet-Canny網絡，分割安全帶圖像。根據能否分割出安全帶圖像，可判斷駕駛員是否正確系戴了安全帶。

圖6 Unet-Canny網絡識別流程Fig. 6 Unet-Canny network recognition process

本文將Res-Canny模塊加入Unet網絡，以增強網絡對邊緣信息的學習和提取能力，改善對安全帶圖像的分割效果；根據圖6搭建了圖7所示的Unet-Canny網絡模型。Unet-Canny網絡模型整體上由左半部分的編碼結構和右半部分的解碼結構組成。

圖7 Unet-Canny網絡模型Fig. 7 Unet-Canny network model

通過cv2庫可將RGB(R代表Red,G代表Green,B代表Blue)三通道圖像變成單通道灰度圖像。針對單通道灰度圖像，用Res-Canny模塊連續進行3次下采樣(每次下采樣都會將特征通道數量翻倍)，并進行兩次3×3的卷積運算；第四次下采樣后，再進行兩次3×3的卷積運算。經過下采樣、上采樣和卷積運算，新的圖像與原圖像大小一致時即可停止對Unet-Canny網絡的操作。

安全帶的語義分割實際上屬于圖像中每個像素點的二分類問題。基于二分類交叉熵損失函數，可列出安全帶語義分割損失值L的計算公式，即

(3)

式中：N為圖像中像素點的個數；yi是第i個像素點的所屬類別；pi是第i個像素點的預測值。若yi=1，則(1-yi)log2(1-pi)=0，yilog2pi的值隨log2pi的變化而改變，pi越接近1則損失值L越小；相反，若yi=0，則yilog2pi=0，(1-yi)log2(1-pi)的值隨log2(1-pi)的變化而改變，pi越接近0則損失值L越小。

分析可知，在Unet網絡編碼層的淺層部分添加Res-Canny模塊，構建Unet-Canny網絡，能實現對淺層部分含有輪廓、邊緣、顏色等低級語義信息的特征圖像進行邊緣信息的提取。隨著層數的遞增，深層特征網絡的有效感受野變大，使得Unet-Canny網絡能從特征圖像中獲取更為抽象的特征信息；但同時，從淺層信息傳入的邊緣信息就會逐步丟失，這時候再添加Res-Canny模塊就不再有效果，反而會給特征信息的提取帶來干擾。因此，在最后兩次下采樣的編碼層不宜再添加Res-Canny模塊。

3 實驗驗證

3.1 創設實驗條件

(1) 確定數據集。本文根據交通部門拍攝的公路行駛機動車圖像數據庫確定了實驗用數據集，并采用labelme軟件進行標注。共標注圖像850張，其中700張作為訓練樣本，150張作為測試樣本。這里給出了數據集中的4張圖像(見圖8)。

(a) 圖像一 (b) 圖像二

(2) 預處理。訓練時將原圖像尺寸縮放至512×512(像素)，用SSD網絡檢測車窗位置后對其進行裁剪，將裁剪好的圖像再放大至512×512(像素)，并輸入Unet-Canny網絡，進行圖像分割。

(3) 設定參數。所用代碼是在一臺主頻為1.7 GHz的Intel Xeon Bronze 3104型處理器，容量為16 GB的NVIDIA Quadro P5000型顯存上實現的。在所用pytorch框架中，將Epoch設為1 000次、學習率設為1×10-5，并將所用RMSprop優化器的權重衰減項設為1×10-8，momentum數設為0.9。

3.2 添加Res-Canny模塊和Unet-Canny網絡

用Canny算子提取圖像邊緣的效果如圖9所示。從圖9可看出，用Canny算子處理原圖像，能夠有效提取原圖像中物體的邊緣信息。這些邊緣信息包含了安全帶信息，有助于提高對安全帶圖像分割的效果。

3.2.1 添加Res-Canny模塊

Unet網絡的整體可分為5層，從最上邊的第一層到最下邊的第五層。各特征層的通道數量分別為64、128、256、512、1 024(個)。隨著卷積神經網絡層次的加深，圖像提取的特征層包含的信息會發生變化。通道數量為64個和通道數量為128個的2個特征層包含了邊緣、輪廓、顏色等淺層語義信息；通道數量為256個、512個、1 024個的3個特征層包含了抽象的深層語義信息。顯然，淺層網絡保留了較多的原圖像語義信息，能從中觀察到駕駛員和安全帶；隨著卷積神經網絡層次的加深，深層網絡提取的語義信息更為抽象且不包含邊緣信息。因此，本文在設計網絡結構時并沒有在所有的特征層添加Res-Canny模塊，只在輸入過程和通道數量為64個、128個的兩個特征層添加該模塊，以便有效增強邊緣信息并避免對硬件計算性能的浪費。

(a) 原圖像 (b) 從原圖像提取的圖像邊緣圖9 用Canny算子提取圖像邊緣的效果Fig. 9 Effects of Canny operator

3.2.2 添加Unet-Canny網絡

用Unet網絡處理圖像與用Unet-Canny網絡處理圖像的對比情況如圖10所示。其中，中間層代表的是第一次卷積從通道3到通道64的中間層。由圖10可看出：Unet網絡和Unet-Canny網絡的輸出圖像均顯示了安全帶的輪廓；Unet-Canny網絡的輸出圖像中有車窗的框架。這里的特征層包含了許多淺層語義信息，有利于從網絡輸出圖像中觀察車窗、駕駛員、方向盤、安全帶的輪廓。

圖10 Unet網絡和Unet-Canny網絡處理圖像的對比Fig. 10 Comparison of image processing with Unet and image processing with Unet-Canny

卷積神經網絡能夠用于提取圖像特征，其輸出圖像可包含安全帶的信息。與Unet網絡相比，添加Canny算子的Unet-Canny網絡的輸出圖像具有更完整的語義信息，且添加邊緣算子的Unet-Canny網絡的中間層輸出圖像的輪廓更為明顯。實驗發現：添加Canny算子后，神經網絡的學習效果和最終檢測結果都有改善；采用Unet-Canny網絡，不僅使輸出圖像中安全帶輪廓更明顯，而且能增強駕駛員、車窗、方向盤的圖像邊緣信息；在Unet-Canny網絡的最終輸出圖像中，局部車窗的圖像邊緣信息也同時被增強，可見添加Canny算子在增強網絡學習能力的同時也帶來了多余的干擾信息。

3.3 對比不同網絡的訓練損失值

為了驗證本文提出的Unet-Canny網絡結構的有效性，這里將其與FCN[17]、PSPNet[18]、SegNet[19]、Unet 4個網絡進行了對比。5種網絡的訓練損失值下降曲線如圖11所示。

圖11 5種網絡的訓練損失值下降曲線Fig. 11 Comparison of five network training loss value graph

由圖11可看出：收斂效果最差的是PSPNet網絡，損失值收斂在0.3附近；其他收斂效果從差到好依次為FCN、SegNet、Unet、Unet-Canny網絡，損失值都收斂在0.001以下，其中訓練損失值下降最快的是SegNet網絡，收斂后損失值最小的是Unet-Canny網絡。

分析可知，PSPNet網絡采用不同的步長和不同的卷積核進行卷積，能得到大小不同的特征層，引入了特征金字塔，在融合不同區域的多尺度特征后得到了分割結果，分割含有不同形狀物體的圖像時具有良好的效果。本文的圖像處理任務是單一地分割安全帶，且雖在標注數據集中安全帶規則不一但大小變化不大，因此使用PSPNet網絡的效果不理想。FCN、SegNet、Unet、Unet-Canny網絡采用的都是編碼-解碼結構，針對損失值訓練時都能獲得很好的收斂效果。SegNet網絡相比FCN網絡具有更完善的編碼-解碼結構，因此訓練時損失值下降較快。Unet網絡和Unet-Canny網絡訓練的損失值下降快于FCN網絡而慢于SegNet網絡，是由于前兩種網絡增加了卷積層和特征金字塔的結構，導致收斂速度慢于SegNet網絡，但它們最終的收斂效果優于SegNet網絡。

將Res-Canny模塊添加到Unet-Canny網絡的每個采樣層(包括上采樣層和下采樣層)，并將該網絡稱作Unet-Canny1。Unet-Canny網絡和Unet-Canny1網絡訓練損失值下降曲線的對比如圖12所示。

圖12 Unet-Canny網絡和Unet-Canny1網絡訓練損失值下降曲線的對比Fig. 12 Comparison of loss value graph of Unet-Canny network and Unet-Canny1 network

由圖12可看出，Unet-Canny1網絡的訓練損失值下降較慢，且其損失值下降曲線的局部有大幅度波動，而Unet-Canny網絡的訓練損失值下降較快且損失值下降曲線較平滑，最終的收斂值低于Unet-Canny1網絡。這一結果表明，過量添加Res-Canny模塊并不會提高網絡的性能，相反會因過多的冗余信息而導致網絡震蕩甚至其最后學習效果的不理想。

3.4 對比不同網絡對安全帶檢測的效果

利用目標檢測網絡對抓拍圖像進行處理，檢測公路上行駛機動車的駕駛員是否正確系戴安全帶的過程中，存在假陽性和假陰性兩種類型的誤差。當網絡檢測到駕駛員沒有系戴安全帶而實際上系戴著安全帶，就會出現假陽性誤差；當網絡檢測到駕駛員系戴著安全帶而實際上并沒有系戴安全帶時，就會出現假陰性誤差。實際中，假陽性誤差比假陰性誤差的負面影響更大，對一個遵守交通規則、系戴著安全帶的無辜駕駛員按照違章處理是不公平的[20]。為了定量評價安全帶檢測網絡，可用精確率和召回率來表示網絡的正確檢測率。

精確率為：

(4)

式中：T為真陽性的次數；F為假陽性次數。

召回率為：

(5)

式中，N為假陰性次數。

FCN、PSPNet、SegNet、Unet、Unet-Canny、Unet-Canny1 6種網絡對安全帶的正確檢測率如表1所示。

表1 6種網絡對安全帶的正確檢測率

從表1可看出：用目標檢測網絡檢測安全帶時，精確率和召回率最高的是Unet-Canny網絡，精確率達90.7%，召回率達91.9%；其次是未添加Res-Canny模塊的Unet網絡，精確率達87.3%，召回率達87.8%；最低的是PSPNet網絡，精確率為63.0%，召回率只有42.6%。

分析可知：PSPNet網絡采用多尺度特征融合的特征金字塔結構，對本文小目標不規則的物體檢測效果是不理想的；FCN網絡采用的是編碼-解碼結構，在圖像分割方面有顯著效果，但因為結構簡單，訓練損失值的下降偏慢、收斂值偏高，檢測效果也不理想；Unet網絡和SegNet網絡具有更完善的編碼-解碼結構，檢測效果較好；Unet-Canny網絡的效果比Unet-Canny1網絡好，再次證實了Unet-Canny1網絡添加過多的Res-Canny模塊并不合適，因為這會導致檢測效果不升反降，甚至不如原網絡Unet；Unet-Canny網絡添加了適量的Res-Canny模塊，在FCN、PSPNet、SegNet、Unet、Unet-Canny、Unet-Canny1 6種網絡中具有最佳的檢測效果；使用所提出方法檢測安全帶的精確率比用Unet網絡提高了3.4個百分點。

需要說明的是：因為所選數據集較小，只有700張圖像，很可能會導致一些神經網絡的學習效果不佳；隨著數據集的增大，Unet-Canny網絡的學習效果會更好；處理圖像時，神經網絡會加強圖像中所有物體的邊緣信息，使網絡性能的提升受到限制。

4 結語

本文針對機動車行駛中駕駛員是否正確系戴安全帶的圖像檢測問題，在傳統Unet網絡的基礎上，提出一種融合目標檢測和語義分割的新型Unet-Canny網絡的安全帶檢測方法，并通過設計新的Res-Canny模塊給Unet-Canny網絡添加邊緣信息，改善了對安全帶圖像分割的效果。

關于處理圖像的神經網絡中添加Res-Canny模塊問題的后續研究，可從以下兩方面展開：第一，Res-Canny模塊對于邊緣信息的加強是全圖范圍的，但通過人眼觀察發現，安全帶出現的位置不是隨機的，會有規律地出現在一定的范圍，因此如果能讓Res-Canny模塊有針對性地進行邊緣信息加強，則可大大提高最終的圖像分割效果；第二，Res-Canny模塊中的Canny算子存在兩個確定的邊緣閾值，研究中往往是人為設定的，若能將這兩個閾值加入神經網絡的訓練過程，自適應地調整閾值大小，則可更有效地提取圖像的邊緣信息，提高網絡的學習速度，進一步改善檢測效果。