基于改進區域卷積神經網絡的安全帽佩戴檢測

徐守坤，王雅如，顧玉宛

(常州大學 信息科學與工程學院，江蘇 常州 213164)

0 引 言

安全帽佩戴檢測早期研究主要是基于傳統的機器學習方法，如Rubaiya等[1]提取頭部區域霍夫變換特征輸入SVM進行檢測。這類方法要求針對不同的檢測任務，研究設計出特定的適應性好的特征。近年來，深度學習方法廣泛應用于各個領域，從圖像分類[2]到目標檢測[3]和語義分割[4]等。Vishnu等[5]分別使用兩個不同的深度卷積神經網絡分別檢測工人和安全帽，方法過程復雜。

目前，在深度學習領域用于目標檢測的主要有基于區域的目標檢測和基于回歸的目標檢測。Fast RCNN[6]、Faster RCNN[7]和R-FCN[8]等屬于區域目標檢測，特點是高精度、低速度；YOLO[9]、SSD[10]等是采用回歸的檢測方法，這類算法檢測精度較低。Faster RCNN使用RPN產生候選區域，完全實現了端到端的檢測。所以，本文選取Faster RCNN作為安全帽佩戴檢測的基礎網絡。但是，Faster RCNN直接應用于安全帽佩戴檢測會出現網絡訓練過程中正負樣本失衡和對小目標和遮擋目標檢測效果不佳等問題。

因此，本文在Faster RCNN基礎上引入在線困難樣本挖掘[11]和多層卷積特征融合技術[12]，解決了網絡訓練過程中負樣本空間過大問題，提高了網絡對小目標和遮擋目標特征敏感度。

1 安全帽佩戴檢測

本文設計的安全帽佩戴檢測系統的框架如圖1所示。首先對收集的圖片中佩戴安全帽人員進行信息標注，轉換成VOC2007格式。然后將數據樣本輸入到CNN中進行特征提取。接著將卷積層的特征進行融合輸入到RPN網絡中提取候選區域。最后將候選區域特征圖輸入到嵌入OHEM機制的ROIs網絡中挑選困難樣本并進行目標分類和回歸操作。

圖1 安全帽佩戴檢測系統整體框架

1.1 基Faster RCNN簡介

Faster RCNN是Rens等提出的基于區域卷積神經網絡的通用目標檢測網絡框架，在VOC2007數據集上的平均準確率(mean average precision，mAP)[13]達到了73%。Faster RCNN網絡主要包含生成候選區域的區域建議網絡(region proposal network，RPN)和進行分類回歸的Fast RCNN網絡。

RPN是以原始圖像提取的卷積特征圖作為輸入，輸出一系列目標候選框，它的結構如圖2所示。RPN利用滑動窗口機制，每滑動一次產生一個特征向量，特征向量輸入到全連接層中用于判斷目標的位置和類別，每個滑動窗口可預測多個候選區域。滑動窗口映射的低維的短向量，輸入到兩個并行的全連接層中，一個網絡層輸出所屬類別和概率，另一個網絡層輸出候選框位置的坐標回歸值。

圖2 RPN網絡

RPN訓練過程中，每個候選框都有一個二值標簽，與某個真實目標區域框的IoU(intersection-over-union)大于0.7的是正標簽，小于0.3的候選框是負標簽。圖像的損失函數定義如式(1)所示[7]，定義(1)～定義(3)請參考文獻[7]

(1)

分類的損失函數Lcls定義如下

(2)

回歸的損失函數Lreg定義如下

(3)

其中，R是smoothL1函數，smoothL1函數如式(4)所示

(4)

Faster RCNN將原始圖片和RPN產生的對應目標候選區域框作為Fast RCNN的輸入來檢測佩戴安全帽人員。在進行Faster RCNN網絡訓練時，將標注有佩戴安全帽人員等相關信息的數據集作為輸入，通過卷積池化等操作獲得感興趣區域的特征向量，然后輸入到Softmax和目標框回歸中，產生所屬類別概率和區域坐標。

1.2 改進的Faster RCNN

Faster RCNN網絡在訓練階段，由于訓練數據集中佩戴安全帽人員占整張圖片區域比例可能較小，造成RPN產生的候選區域前景和背景比例失衡，且存在較多無效的候選區域，不利于網絡參數的更新。在檢測階段，會受到佩戴安全帽人員目標尺度的影響，對小目標和遮擋的目標檢測效果不佳。因此，本文在Faster RCNN算法基礎上引入多層卷積特征融合技術和在線困難樣本挖掘策略。改進后的Faster RCNN網絡框架如圖3所示。

圖3 改進的Faster RCNN框架

1.2.1 多層卷積特征融合

Faster RCNN在進行網絡訓練時主要包含兩個步驟：RPN產生目標候選區域和候選區域的分類回歸。其中，RPN產生的候選區域質量對后續網絡進行目標檢測至關重要。RPN使用特征提取網絡最后一層的特征圖作為輸入，對特征圖進行池化，產生固定大小的特征圖，送入后續網絡中進行分類回歸操作，通常對小目標檢測效果不佳。這是因為進行ROI池化操作的時候只有一個層級的特征圖，例如，VGG-16模型從“conv5”層進行ROI池化，該層的步長為16，當目標尺寸小于16像素時，即使候選區域是正確的，在conv5層中投影的ROI池化區域也小于1像素。因此，基于一個像素的信息，分類器很難預測目標類別和區域位置。而且隨著卷積層變深，相應特征圖中的每個像素在候選區域外收集越來越多的卷積信息。因此，如果ROI非常小，提取到的ROI區域之外信息占較高比例。所以，僅使用最后一個卷積層的特征圖并不適用于區域面積較小的ROI。

卷積神經網絡中深層特征具有較強的語義特征，感受野也較大，是一種全局信息。淺層特征擁有更強的像素細節信息，是一種局部信息。本文將多層卷積特征融合技術引入Faster RCNN中，將淺層和深層的卷積特征進行融合，使得產生的候選區域特征同時具備像素信息和語義信息。具體實現過程如圖4所示。首先，將RPN產生的候選區域同時映射到conv3層、conv4層和conv5層，得到位于這3層的區域特征圖。然后，將3個層級的特征圖分別進行L2正則化并送入后續網絡中實現安全帽佩戴檢測和位置回歸。

圖4 特征融合

為了在多個尺度上擴展目標區域的深度特征，需要在ROI池化之后組合3個特征。實際上，每一層特征圖通道數和特征映射像素的范數通常是不同的。所以，不能直接地連接3層ROI池化張量，因為特征圖規模差異對于以下層中的權重來說太大而無法重新調整和微調。因此，本文在特征連接之前對每個ROI池張量使用L2正則化。

1.2.2 在線困難樣本挖掘策略

Faster RCNN在訓練過程中RPN會產生一系列目標候選區域，這些候選區域會存在正負樣本不均衡問題，這導致輸入到后續目標檢測網絡的前景和背景比例失衡，因此原始Faster RCNN隨機從產生的候選區域中隨機挑選正負樣本并設置比例為1∶3來克服比例失衡對網絡性能帶來的影響。但是，隨機挑選的樣本中包含了大量無效的正負樣本，使得模型參數更新緩慢，大大降低了檢測效率。

正負樣本數量的不均衡和樣本的隨機挑選造成網絡的特征表達能力差和對小目標的檢測性能不佳。因此，本文將OHEM引入到Faster RCNN中，在保證實時性的同時，不需人為設定正負樣本比例，可自動挑選具有多樣性和高損耗的困難樣本，提高網絡檢測效果。將ROI池化層后面網絡部分稱為ROI網絡，引入在線困難樣本挖掘方法后的Faster RCNN將原始的一個ROI網絡擴展為兩個共享網絡參數的ROI網絡(一個是只讀ROI網絡，一個是標準ROI網絡)。主要傳遞過程為：對于一個輸入圖像的第t次的SGD迭代，首先使用卷積網絡計算一個卷積特征圖，然后ROI網絡使用這個特征圖和所有的輸入ROIs代替了挑選的小批量輸入，做一個前向傳播，輸入到只讀ROI網絡中。然后，計算當前網絡損失，損失較大的樣本被挑選出來，構建困難樣本批次。然后將困難樣本輸入到標準ROI網絡(圖3虛線部分)進行目標分類和位置回歸并進行網絡參數的更新。由于只有少量的ROIs被選擇用于更新模型，后向傳播的消耗較小。引入在線困難樣本挖掘方法后的Faster RCNN在進行網絡訓練的過程中實現了自動對困難樣本的挖掘，不需要設置正負樣本數量比例，更有針對性。通過實驗發現，在線困難樣本挖掘策略可以增強算法的判別能力，提高網絡檢測精度。

2 實 驗

實驗所用數據集是來自VOC2012數據集[14]、互聯網和實際施工場景，共計7000張，包含各種環境條件下的施工場所工人的監控圖片，如圖5所示。并根據實驗要求轉換成VOC2007數據集格式進行訓練。實驗環境：GPU：GeForce GTX 1080Ti，CUDA8.0，Ubuntu16.04，內存12 GB。網絡部分選擇主流的深度學習框架caffe作為實驗平臺。

圖5 樣本數據

本文實驗在收集的數據集上進行方法評估，以下實驗用于驗證提出方法的有效性。

(1)不同安全帽佩戴檢測方法的檢測效果

為了驗證本文提出方法的有效性，利用實驗數據分別對原始Faster RCNN和改進后的Faster RCNN進行訓練，實驗結果如圖6所示。

圖6 兩種算法的檢測效果對比

圖6中的圖(a)、圖(b)分別是原始Faster RCNN網絡模型和改進后的Faster RCNN網絡模型的安全帽佩戴檢測的效果圖。可以觀察到，相對于圖(a)，圖(b)可以很好地檢測出佩戴安全帽人員，且可以檢測到更多的遮擋目標和小目標，檢測目標的位置準確，邊界框完整。

(2)不同模型的檢測結果

為了驗證本文提出改進方法的有效性，在實驗數據上進一步實驗驗證。本部分實驗復現了原始的Faster RCNN網絡模型、1.2.1節的多層卷積特征融合技術、1.2.2節的在線困難樣本挖掘技術以及本文方法。不同改進模型在實驗數據上的檢測結果見表1。

表1 不同網絡模型的檢測效果

從表1可以看出不同改進方法對網絡檢測結果的影響。原始Faster RCNN網絡模型的安全帽佩戴檢測準確率為87.57%，使用多層卷積特征融合技術后的Faster RCNN網絡的檢測準確率提高了2.06%，這是因為通過將淺層網絡像素信息和深層網絡語義信息想融合，產生的候選區域特征同時具備像素信息和語義信息，特征更加全面，更能準確定位遮擋目標和小目標。在原始Faster RCNN網絡中引入在線困難樣本挖掘技術，檢測準確率提高了1.64%，這是因為本文將在線困難樣本挖掘機制嵌入到網絡模型中，解決了網絡在訓練過程中的負樣本空間過大問題，增強了網絡的分辨力。而本文方法相對于原始Faster RCNN網絡檢測準確率提高了4.73%，達到了92.30%。實驗結果顯示MCFF和OHEM均能提高Faster RCNN的檢測精度。

(3)采用不同方法檢測單張相同圖片的時間對比

實驗使用YOLO、SSD、原始的Faster RCNN以及本文提出的改進Faster RCNN算法進行訓練，準確率以及測試單張圖片的速率見表2。

表2 不同算法檢測單張圖片時間對比

YOLO的網絡結構較為簡單，檢測速度較高，但檢測精度相對其它算法較低。SSD是一個單一的回歸網絡，檢測精度相對較高。本文提出方法在Faster RCNN基礎上引入多層卷積特征融合和在線困難樣本挖掘方法。從表2可以看出，本文提出方法在檢測速率方面劣于基于回歸網絡的算法，但是精度占較大優勢，達到92.30%。

(4)不同環境條件下改進的Faster RCNN的安全帽佩戴檢測效果

挑選不同環境條件下圖像來測試改進Faster RCNN的檢測性能，檢測結果如圖7所示。可以看出本文提出算法對光線不佳場景如圖7中的圖(a)，目標尺寸較小場景如圖7中的圖(a)、圖(b)，目標尺寸差距較大場景如圖7中的圖(a)、圖(c)，目標模糊場景如圖7中的圖(d)，部分遮擋目標場景如圖7中的圖(d)、圖(e)以及多目標檢測場景如圖7中的圖(f)均有較好的檢測效果。實驗結果表明，本文提出的算法適用于不同環境條件下的安全帽佩戴檢測，對小目標和遮擋目標檢測具有較好的魯棒性。

圖7 改進Faster RCNN的安全帽佩戴檢測效果

3 結束語

本文提出的改進Faster RCNN安全帽佩戴檢測算法能有效檢測小目標和部分遮擋目標，提高檢測準確率。該算法在原始Faster RCNN算法基礎上引入多層卷積特征融合技術，使得提取出的目標區域特征結合了高級語義特征和低級像素特征解決了目標尺度問題。在目標檢測階段，在線困難樣本挖掘方法用于選擇檢測模型訓練的有效例子。實驗結果表明，本文方法對安全帽的佩戴檢測精度較原始Faster RCNN有顯著提高，增強了小目標和遮擋目標在不同環境條件下檢測的魯棒性。在未來的工作中，將著重研究網絡的優化，檢測速度和模型尺寸等。