改進的卷積神經網絡行人檢測方法

馮 媛，李敬兆

(安徽理工大學 電氣與信息工程學院，安徽 淮南 232001)

0 引 言

近年來深度學習相關理論快速發展，優秀的神經網絡模型層出不窮，基于深度學習的目標識別模型在準確性和實時性方面都明顯優于傳統的人工設計特征的檢測算法[1]。深度學習也被廣泛應用到行人檢測中，并逐漸成為計算機視覺領域的研究熱點之一[2]。

傳統的行人檢測方法大多集中在人工特征的提取和分類方面，但此類方法存在特征維度高、泛化能力差等缺點，對傳統方法的改進通常是建立在梯度直方圖(HOG)[3]、Haar特征、局部二值模式(LBP)[4]等基礎上。

目前，目標檢測領域的深度學習方法主要分為兩類：區域提名算法和端到端算法。區域提名算法通常是結合候選區域(region proposal，RP)和卷積神經網絡來進行目標檢測，代表性的網絡有R-CNN系列[5-7]等；端到端算法，代表性的網絡有SSD[8]、YOLO系列[9-11]。相較于區域提名算法，SSD和YOLO算法舍棄了RP階段，犧牲了一定的檢測精度，但提高了檢測速度。何愷明等提出了ResNet[12]，引入新思路進行神經網絡優化。DenseNet[13]在ResNet的思想上再做創新，使各層間連接更加緊密，其網絡結構不復雜，卻非常有效。

近年來，神經網絡的輕量化一直是業界的發展趨勢，YOLO系列雖然具有較好的檢測準確率和實時性，但其對電腦的GPU等硬件配置要求較高。因此，本文提出了一種融合DenseNet和YOLOV3的行人檢測方法，改良后的Dense-YOLO網絡擁有更少的卷積層、更快的檢測速度以及較好的檢測精度，更適合應用在行人檢測的場景中。

1 Dense-YOLO特征融合網絡

1.1 網絡結構

現有的YOLO系列神經網絡模型雖然在目標檢測方面已達到了較好的效果，但是面對行人檢測場景，YOLO系列神經網絡并不完全適合，所以需對YOLO算法進行改進，使其更適合行人檢測工作。目前有研究者提出基于Faster-RCNN的行人檢測方法，該方法通過聚類和構建區域候選網絡(region proposal network，RPN)，快速生成可能感興趣的框，從而將含有行人的區域提取出來[14]。也有通過改進Tiny-YOLO的網絡結構來實現行人檢測的輕量化模型[15]。針對行人檢測，本文提出了一個融合了YOLOV3和DenseNet的輕量化行人檢測算法,利用卷積神經網絡提取低層圖像特征,并調節IOU(交并比)和學習率的閾值來改善行人重疊或遮擋的問題，通過k均值聚類算法 (k-means) 提取可能含有行人的區域。針對畫面中行人大小不一，尺寸不同的情況，利用特征金字塔網絡(feature pyramid networks，FPN)[16]來做高低層的行人的特征融合，不同尺寸的行人特征圖對應不同大小的行人會有更好的預測效果。較小的特征圖對尺寸較大的行人會有較好的預測能力，較大的特征圖對尺寸較小的行人或者是被遮擋的行人具有更好的預測能力。再利用Dense Block的結構對行人檢測的網絡進行輕量化完善，提升行人檢測網絡的實時性，改進后的模型結構如圖1所示。

圖1 Dense-YOLO結構

1.2 強化行人特征

為了讓本文的行人檢測方法能夠獲得更全面的行人特征，使特征提取的效果更好，從輸入圖像這方面著手，本文做出以下兩點改進：

(1)在卷積神經網絡訓練時，對部分輸入圖像的大小進行隨機變換，放大倍數區間為(0.25,2)。同時，為了讓行人檢測模型的魯棒性更好，采取了對圖片隨機添加偏移量的操作。為了讓行人檢測模型適用于任何光照強度的情景，減少圖片明暗度對行人檢測結果造成的影響，本文額外進行了圖片隨機旋轉和隨機扭曲HSV顏色空間模型的操作，HSV是一種較為直觀的顏色模型，在許多圖像編輯工具中應用廣泛。HSV模型中顏色的參數分別是：色調(hue，H)，飽和度(saturation，S)，明度(value，V)。進行隨機扭曲HSV，如圖2所示，在灰度圖像下，標定框里的行人顏色發生了變化，這就相當于改變了行人的明暗程度，不僅增強了數據集的豐富度，也使神經網絡具有更好的泛化性，后續實驗結果表明，此舉有效提高了行人檢測的準確率和召回率。

圖2 隨機扭曲HSV顏色空間模型

(2)據現有的行人檢測實驗研究表明，圖像中行人身高和寬度通常為3∶1的定值，也就意味著行人的橫向特征比縱向特征表達少[17]。因此，本文中采用9∶16的輸入圖片的長寬比，與原網絡輸入圖像大小416×416相比，增加了圖像的寬度，增強了行人橫向特征的表達，豐富了行人特征信息。

1.3 k均值聚類算法

值得關注的是YOLO系列借鑒了Faster R-CNN的思想，在網絡中使用了anchor boxes，用k-means的思想來確定初始候選框。YOLOV2和YOLOv3初始候選框的個數分別是在PASCAL VOC數據集和COCO數據集使用聚類算法確定的，YOLOV2有5個anchor boxes，YOLOV3有9個anchor boxes。YOLOV3結合FPN的多尺度融合思想，將9個anchor boxes平均分到3個尺寸的網絡層實行預測。COCO以及PASCAL VOC數據集含有的物體種類很多，因此原有anchor boxes的參數也不太適和應用于行人檢測。為了對行人的定位進行更準確的預測，本文在INRIA行人數據集上進行k均值聚類，根據該數據集的大小和行人的特征，確定最優的anchor boxes的參數。傳統的k-means測距通常用的是歐氏距離算法，但這樣會出現“大框優勢”的問題，即較大的邊界框比小的邊界框會產生更大的距離誤差。IOU是產生的候選框與原邊界框的重疊率，且IOU的大小與原邊界框尺寸無關,因此使用IOU參與距離計算可以避免這一問題，計算距離如式(1)所示，b表示k均值聚類的結果，c表示聚類中心

D(b,c)=1-IOU(b,c)

(1)

通過k值和平均IOU的關系，選擇最適合網絡的k值，二者關系如圖3所示。

圖3 平均IOU的k曲線

如圖3所示，k=6是曲線的斜率慢慢減小的點，為了加快網絡的識別速度，Dense-YOLO網絡會在兩個尺度的預測層上進行預測，可采取每層分配3個anchor boxes的策略，因此采用k=6的聚類結果。

1.4 Dense Block模塊

Dense Block這一概念來自于CVPR2017最佳論文所提出的DenseNet。在傳統的卷積神經網絡中，神經網絡的層數通常等于連接的數量，但在DenseNet中，其每一層的輸入都是來自前面所有層輸出的并集，層與層之間的連接變得更緊密。DenseNet的網絡比傳統的卷積神經網絡寬度窄很多，這歸功于它的Dense Block中的子模塊Bottleneck layer和Translation layer結構。DenseNet提出K值的概念，K代表網絡成長率(Growth rate)，它被用來控制網絡的寬度。Dense Block結構如圖4所示。

圖4 Dense Block結構

如圖4所示，假設x0是輸入，H1的輸入是x0，H2的輸入是x0和x1(x1是H1的輸出)，以此類推。具體概念體現在式(2)中，[x0，x1……xl-1] 表示將0到l-1層的輸出特征圖做通道的合并，Hl包括BN，ReLU和3×3的卷積,經過Hl處理之后輸出的特征圖的數量都為K，便于控制網絡的寬度(特征圖的通道數)。如果神經網絡有l層，那么第l層有K(l-1)+K0個輸入特征圖，K0是輸入圖片的通道數

xl=Hl([x0,x1……xl-1])

(2)

因為DenseNet的層層緊密連接，當網絡層數加深時，特征圖的通道數也會變得很大，即特征圖數量變多。因此在每個Dense Block的3×3卷積前面都加入了一個1×1的卷積操作，即Bottleneck layer，這個操作不僅是為了減小輸入的特征圖的數量，也是為了可以融合各個通道特征，從而達到降維和減少計算量的目的。另外,為了進一步壓縮參數，DenseNet在每兩個Dense Block之間又增加了1×1的卷積操作，即Translation layer，調節參數reduction(范圍是0到1)，通常默認為0.5，如此一來傳遞給下一個Dense Block的時候通道的數量就會減少一半，在一定程度上減少了參數量。由于這幾個機制的加入，使得DenseNet的每個卷積層的輸出特征圖的數量都很小。這種緊密連接的方式使得特征和梯度的傳遞更加有效，減輕了梯度消失的情況，網絡也變得更加容易訓練。

1.5 Dense-YOLO的訓練策略

本文在YOLOV3的基礎上，將YOLOV3原有的主網絡DarkNet換成DenseNet，不但減少了神經網絡的層數，而且達到了降低網絡參數數量的目的，將YOLOV3原有的殘差模塊替換成Dense Block。

結合圖5簡述網絡的訓練策略，以輸入尺寸為480×270的圖片為例，先經過一層卷積層，圖片大小不變，通道數變為64。激活函數選用Leaky Relu是因為其在負軸有一個小斜率傾斜，當激活函數進入負半軸時依然能令神經元繼續保持學習的狀態。經過最大池化(max polling，MP)層，MP對特征圖進行(270/3,480/4)的處理，在保留主要特征的同時還可以起到降低參數數量的作用。之后進入DB(dense block)層,對于模塊中每一層的輸入特征圖的層數是不斷增加的，每次增加的個數設為K，為了網絡不變寬，K值不宜過大，本實驗中取K=32。 但僅憑K的控制網絡寬度還不夠，隨著Dense Block模塊深度的加深，由于層層緊密連接，后面的輸入特征圖的維度會越來越大。為了解決這個問題，在Dense Block模塊中加入了Bottleneck模塊，采用1×1卷積進行降維，輸出維度都被降到4K維，可以起到降維減參的功效。Translation Layer模塊再次采用1×1卷積做降維，默認輸出特征圖的數量為上一個DB模塊的輸出特征圖的一半，運算量和參數再次被減少。

圖5 網絡流程

結合FPN的思想，基于神經網絡的一貫特性，小尺度特征圖可以更好表征大目標，大尺度的特征圖可以更好表征小目標。為了對不同大小的行人檢測的效果更好，在Dense-YOLO的輸出端分為兩個尺度做預測。在經過第一個Dense Block之后的特征圖大小為30×30，這作為第一個尺度特征圖輸出。之后再經過兩個Dense Block后，得到大小為15×15的特征圖，其特征通道數為15。其中15×15對應將輸入圖像分為15×15個柵格，共設置6個預測框，兩個尺度的各個柵格都要預測3個邊界框，各個邊界框都需要預測x、y、wide、hight、置信度以及框內是n類待檢測物體中哪些類的條件概率。

本實驗中只存在行人這一目標，為了加快檢測速度，可以不用顯示行人標簽，即n=0,直接標出預測框。所以每一個柵格對應的特征維數是3×(4+1)=15，最后Reshape成(15,15,3,5)的特征向量，再用非極大值抑制算法(non-maximum suppression，NMS)去除多余(交叉重復)的窗口，找到最佳行人檢測位置。

2 實驗結果與分析

2.1 測試數據集

本實驗中訓練用到的數據集皆為國際公認的行人檢測數據集：INRIA數據集和Caltech數據集。目前使用度最高的行人檢測數據集就是INRIA數據集，其中雖然包含了正負樣本，但是本實驗中對于神經網絡的訓練只是用數據集中的正樣本，該數據集清晰度較高，行人拍攝情況多樣化，存在行人遮擋情景下的圖片，平均像素為279左右，其訓練數據集中有正樣本614張(包含2416個行人)，測試數據集有正樣本288張(包含1126個行人)。Caltech數據集是由加州理工等高校組成的視覺小組整理的，他們從10小時的車載攝像頭視頻中選取了137 min(約250 000張圖像)，2300個行人，作者標注了350 000個邊界框，Caltech數據集很好的標注了行人被遮擋情況，這有利于神經網絡對行人遮擋問題做出改進，本文挑選了Caltech數據集中行人較多的2000張圖片進行訓練。實驗在INRIA數據集和Caltech數據集混合數據集中進行，圖6展示了實驗中測試集中部分測試結果的圖片。

圖6 實驗測試結果

2.2 模型搭建與訓練

本文采用深度學習架構YOLOV3和DenseNet搭建實驗運行環境，并配置CUDA 9.2環境進行GPU并行加速計算，本文的實驗平臺軟硬件配置見表1。

表1 實驗平臺軟硬件配置

深度學習的神經網絡結構的搭建只是第一步，超參數的選擇對于神經網絡的成功起到至關重要的作用，合理的設置網絡超參數，可以達到更好的訓練神經網絡模型的目的。設置學習率、動量系數、迭代次數等參數能夠優化超參數，讓神經網絡達到更好的預測效果。多次實驗后，本文選取網絡訓練效果最好的一組值為最終的超參數。訓練時模型的初始學習率設為0.01，學習率為0.1，權值衰減系數為0.0010，動量系數為0.9，成長率(K)設為32，批大小為32，epochs為10 000。為了增強網絡的泛化性，在網絡訓練時還會進行隨機調整圖片大小、將圖片旋轉某些角度以及隨機明暗度調節等操作。

2.3 實驗結果與分析

2.3.1 強化行人特征圖像處理模塊測試

在行人測試數據集上，將加入強化行人特征圖像處理模塊的網絡模型和未加入該模塊的網絡模型進行測試與比較，實驗結果如表2所示，與不加該圖像處理模塊的方法相比，本文提出的方法使mAP提高了3.87%，召回率提升了3.39%。

表2 強化行人特征處理模塊的測試結果

2.3.2 行人檢測網絡的輕量化實現

為了驗證Dense-YOLO網絡模型的輕量化，從模型的計算需求量、訓練參數的數量、網絡模型的大小3個方面與YOLOV3和Tiny-YOLOV3網絡進行比較，具體的比較結果見表3。Dense-YOLO網絡模型的計算需求量是YOLOV3的1/118，訓練參數數量是YOLOV3的1/120,模型大小是YOLOV3的1/107，與YOLOV3的輕量化模型Tiny-YOLOV3相比，Dense-YOLO在實現網絡輕量化方面也有很大進步。

表3 網絡模型規模比較

2.3.3 速度測試

本實驗采用的檢測速度的評判標準為FPS(frames per second)，FPS是圖像領域中的定義，是指畫面每秒傳輸的幀數,FPS值反映了保存以及顯示動態視頻的信息數量。FPS越大，表示每秒鐘的幀數越多，所顯示的視頻就會越流暢。為了滿足行人檢測的實時性要求，FPS的值越大越好。將DenseNet與傳統行人檢測算法HOG+SVM、YOLOV3以及輕量化神經Tiny-YOLOV3等方法比較，具體的比較結果見表4，Dense-YOLO的檢測速度比HOG+SVM方法快35倍，比Tiny-YOLOV3快1.75倍，比YOLOV3快8倍，結果表明，Dense-YOLO的實時檢測速度實現了大幅提升。

2.3.4 精度測試

mAP(mean average precision)的定義式如式(3)所示，其含義是h類目標物體的平均精度的均值

(3)

表4 目標檢測速度各方法對比實驗結果

召回率(Recall)的定義如式(4)所示，其表示測試數據集的全部目標(NAll)中有多少被正確檢測到，正確檢測到的比例占多少

(4)

具體的測試結果見表5，Dense-YOLO的mAP相較于YOLOV3提升了2.91%，相較于Tiny-YOLOV3的mAP提升了29.09%。Dense-YOLO的召回率相較于YOLOV3提升了3.93%，相較于Tiny-YOLOV3提升了15.68%。YOLOV3由于主網絡是DarkNet，存在著網絡層數過多，容易造成梯度消失等問題，導致網絡學習過早停滯；Tiny-YOLOv3又因為網絡層數過少，行人特征學習的不夠充分，而Dense-YOLO 在網絡層數和準確率上做到了更好的平衡。

表5 不同網絡模型測試的結果

3 結束語

本文基于YOLOV3和DenseNet提出一種輕量化的行人檢測模型，在公開行人檢測數據集INRIA數據集以及Caltech數據集上對網絡模型進行了訓練，并通過對輸入神經網絡的圖片進行隨機變化處理,增強網絡的泛化性，利用維度聚類分析選擇合適的k值，改進網絡結構，提出了一種基于Dense-YOLO網絡的行人檢測模型。

(1)與現有的行人檢測算法和YOLO系列算法相比，Dense-YOLO網絡更為輕量化，在保證一定準確率的前提下，其具有更快的檢測速度，提高了行人檢測的實時性，借鑒特征金字塔的思想，Dense-YOLO網絡對不同尺寸的行人也具有更好的檢測效果。

(2)通過Dense-YOLO與復雜網絡的對比實驗可以看出，Dense-YOLO網絡提升了目標檢測速度，但由于行人檢測中依然存在遮擋、對小目標行人檢測效果較差等問題。如何在保證高速檢測的前提下對網絡的準確率以及召回率進行提升，將會是下一步研究的重點。