基于SENet改進的Faster R-CNN行人檢測模型①

李克文,李新宇

(中國石油大學(華東)計算機科學與技術學院,青島 266580)

引言

行人檢測是通過計算機視覺技術確定圖像或視頻中是否包含行人并標記行人的具體位置[1,2].目前,行人檢測算法主要分成3 類:基于背景建模,基于模板匹配和基于統計學習.基于背景建模的算法可以檢測到具有光流變化的移動著的人,但是它無法檢測處于靜態的人.基于模板匹配的方法利用圖像中的輪廓、紋理和灰度信息來檢測目標.該方法比較簡單,因為它是在原始圖像上進行操作,不需要進行復雜的特征提取,缺點是我們需要各種行人模板才能取得較好的效果,并且模板匹配的方法花費時間較長.為了更好地描述行人特征,達拉爾等人提出了梯度直方圖(HOG)特征,結合簡單的線性支持向量機(SVM),取得了很好的效果[3].之后,Felzenswalb 通過梳理HOG 特征提出了可變形組件模型(DPM).DPM 通過解決行人遮擋問題,進一步提高了檢測精度[4].傳統的行人檢測過程主要包含五個部分:圖像預處理、窗口滑動、特征提取、特征分類和后處理.傳統的方法存在以下缺點:(1)特征粗糙;(2)分類誤差高;(3)一種特征只能適用于特定的場景,在另一種情況下很難取得好成績[5,6].

近年來,深度學習發展迅速,人工智能領域研究的格局也隨之變化,計算機視覺方向尤其得到廣泛關注.2006年,Hinton 等提出一種基于深度學習的行人檢測算法,利用卷積神經網絡(CNN)從行人數據集中學習具有高表示性的特征.與傳統特征相比,高級特征更豐富,表現力更強,行人檢測性能更好.2012年,Hinton 使用CNN 在2012年ILSVRC 中獲得第一名,分類任務Top-5 錯誤率為15.3%[7].CNN 在圖像識別領域的成功應用,使得越來越多的人開始關注CNN.在物體檢測領域,Girshick 提出了R-CNN 模型[8],應用選擇性搜索算法選擇圖像中相同大小的幾個候選區域,然后通過CNN 提取高級特征并通過SVM 進行分類.為了提高R-CNN 模型的準確性和計算速度,Girshick 提出了Fast R-CNN 模型[9].而后Ren 等基于Fast R-CNN 提出了Faster R-CNN 模型,該模型使用RPN 網絡生成目標候選區域.基于Faster R-CNN 的目標檢測過程包含在整個深度卷積神經網絡中,旨在加速候選框的提取并克服手工特征的魯棒性問題[10,11].本文在經典Faster RCNN 的基礎上提出了一種改進的行人檢測方法,使用嵌入SENet 單元的VGG-16 網絡作為原有模型的特征提取網絡.該方法在INRIA 行人數據集上進行了訓練并在INRIA 行人數據集和自制的私有的數據集上進行了聯合測試.實驗證明該方法提高了模型的檢測性能.

1 相關工作

1.1 SENet 簡介

SENet (Squeeze-and-Excitation Networks)[12],是一種網絡原子模型,由Hu 等人提出,并在ImageNet2017競賽Image Classification 任務中獲得冠軍.近幾年來,卷積神經網絡在計算機視覺領域取得巨大突破.卷積神經網絡的核心部件是卷積核,卷積核可以看作是空間信息和特征維度信息的聚合體,就好比人的眼睛在一幅畫面中的局部感受視野中的信息.深度卷積神經網絡有一系列的卷積層、池化層、非線性層和歸一化層組成,這種結構使得網絡能夠捕獲圖像的全局特征.

目前大部分的卷積神經網絡模型都是在空間維度上提升網絡性能,VGG 結構和Inception 模型表明,增加網絡的深度可以顯著提高網絡學習特征的質量.SENet 則側重考慮特征通道之間的關系,對特征通道之間的相互依賴關系進行顯式建模.具體的說,就是采用一種對特征通道進行重新標定的方法,網絡在學習特征的過程中,同時學習了每個通道對總體特征的貢獻值,然后依照這個貢獻值來提升有用的特征并抑制對當前任務貢獻不大的特征.

給定一個特征通道數是c1的輸入x,對x 進行一系列卷積操作變換得到一個特征通道數為c2的特征集.然后在此基礎上進行Squeeze、Excitation、Reweight 等一系列操作,最終得到一個具有通道權重分配的特征集

1.2 Faster R-CNN 簡介

Faster R-CNN 是一種通用的目標檢測算法,采用Two-Stage 策略,輸入圖像分別通過卷積層和區域提議網絡(RPN),最后經過一層池化層和全連接層,得到最終的分類得分和邊框回歸.該算法的主要思想是設計RPN 網絡提取所提出的區域并利用卷積神經網絡生成所提出的區域.用于生成區域的卷積神經網絡(CNN)的卷積層參數被共享給用于分類的CNN.該方法使得算法不再依賴于單獨的模塊來生成所提出的區域.然后對生成的提議區域進行分類并計算邊界框回歸.用RPN 替換選擇性搜索以縮短區域提議的時間,同時大大減少了模型在檢測網絡上花費的時間.

RPN 采用滑動窗口選擇的方法,在共享卷積網絡的最后一層輸出的特征圖上生成區域提議.RPN 的輸入是卷積特征圖的n×n 滑動窗口.對于每個滑動窗口來預測k 個錨點的對象區域建議,每個錨點具有相應的比例.卷積特征圖中的每個點都是一個錨點中心,其中有k 個對應的錨點.對于w×h 卷積特征圖,存在w×h 個錨點.每個窗口同時作為低維特征向量傳遞到分類網絡和回歸網絡中.分類網絡輸出每個錨屬于對象的概率.對于每個窗口,有2k 個得分輸出.邊界回歸網絡的輸出是每個錨點的平移和縮放值,每個窗口輸出4k 個坐標.

Faster R-CNN 網絡結構如圖1 所示,其中特征提取網絡可以使用ZFNet、VGG-16、ResNet 等.ZF 網絡由5 層卷積層和兩層全連接層組成,相對于AlexNet,ZF 網絡只是卷積核個數和步長發生了變化,網絡結構并沒有明顯的進步.無論從其結構和檢測結果上都無法達到深度網絡的要求.

圖1 Faster R-CNN 結構圖

2 改進的Faster R-CNN 模型

2.1 改進的網絡結構及可行性分析

提升網絡性能一般是提升網絡的訓練速度和準確率這兩個指標.許多方法研究表明,適當增加網絡的深度可有效增強網絡提取特征的質量,然而網絡加深參數也隨之增多,計算量增大導致運行成本增加,速度變慢.因此要在準確率和運行速度兩個指標權衡的基礎上對網絡進行優化.

VGG-16 網絡是一個由13 層卷積層、3 層全連接層、5 層最大池化層組成的網絡結構,結構圖如圖2所示.

由于SE 塊中的操作就是池化、全連接這樣的基本操作,因而具備一定的靈活性,能夠直接嵌入到含有skip-connections 的模塊中,例如ResNet、Inception 等結構.本文正是基于這一特點改進VGG-16 網絡結構,在每一層最大池化層之前加上一層SE 網絡層,用于處理池化層之前的卷積特征集.卷積層改進如圖3 所示.

圖2 VGG-16 網絡結構

圖3 VGG 卷積模塊及改進

目前幾乎所有檢測模型的特征提取網絡都是幾種經典的網絡,如基于GooleNet 的YOLO 模型,基于Darknet-53 的YOLOv3,基于VGG16 的SSD 網絡模型,以及基于ZF 的Faster R-CNN 模型等.傳統的Faster R-CNN 模型使用經典的ZF 網絡進行特征提取.用于道路行人檢測時,尤其是有遮擋和小目標檢測的情況下,原始網絡結構檢測精度和檢測速率相對較低.本文提出一種改進的Faster R-CNN 方法,使用嵌入SE 單元的VGG-16 作為新的特征提取網絡,使用K-means 聚類和RPN 相結合設計分類網絡,ReLU 作為激活函數,來設計檢測網絡,最終的輸出結果是一個Bounding box(以下統稱bbox)回歸和歸一化分類得分.通過本文方法,給卷積提取的特征通道之間賦予相應的權重,提升了特征表示的質量,從而提升了檢測的精度.另一方面優秀的特征表示能夠使網絡加快收斂,從而提高了檢測速率.實驗證明該模型可以用于道路行人實時檢測.改進的網絡結構圖如圖4 所示.

圖4 改進的網絡結構圖

網絡檢測主要流程如下:

(1)將原始數據預處理為M×N 大小的圖像作為網絡輸入.

(2)通過特征提取網絡SE-VGG-16 提取特征.

(3)將提取的特征集分成兩路,一路輸入到RPN 網絡,一路傳到特有卷積層以獲取更高維的特征.

(4)經過RPN 網絡處理的特征圖會產生一個對應的區域得分,然后通過最大值抑制算法得到區域建議.

(5)把步驟(3)得到的高維特征和(4)中得到的區域建議同時輸入到RoI 池化層,提取對應區域建議的特征.

(6)將得到的區域建議特征輸入到全連接層,得到區域的分類得分以及回歸后的bbox.

2.2 訓練

在網絡訓練階段,需要設置候選區域的規格和數量.隨著迭代次數的增加,候選區域參數被連續調整,最終接近真實的行人檢測區域.為了加快收斂速度,使用K-means 方法聚類與圖像中的行人相似的候選區域.K-means 聚類應用歐氏距離來測量兩點之間的距離,其聚集了單位網格的寬度和長度的比率.IoU 是反映候選區域和真實待檢測區域之間差異的重要指標.IoU 值越大,兩個區域之間的差別越小.K-means 聚類函數為:其中,N 指聚類的類別,M 指聚類的樣本集,Box[N]指候選區域的寬和高,Box[M]指實際行人區域的寬和高.

在檢測階段,利用檢測網絡進行匯集操作,通過bbox 分類網絡對區域進行分類,并通過bbox 回歸網絡預測行人的邊界框.在檢測網絡中有兩個并行的輸出層,分類層的輸出是每個候選區域在行人和背景上的概率分布.每個候選區域對于行人和背景這兩個類別的概率分布是p=(p0(,p1).回歸)網絡的輸出是行人邊界框坐標的參數:其中k 代表類別.邊界框回歸網絡和邊界分類網絡通過如下聯合損失函數進行訓練:L(p,u,tu,v)=Lcls(p,u)+λ[u ≥1]·Lreg(tu,v).Lcls(p,u)=-log(pu)指的是實際類別的對數損失.Lreg只有當檢測到的是行人時才會激活.

RPN 和檢測網絡共享特征提取的卷積網絡,即SE-VGG 模型,其通過計算圖像特征大大減少了計算時間.首先對SE-VGG 網絡進行訓練,然后訓練RPN,通過RPN 提取的區域建議訓練檢測網絡,然后對檢測網絡的參數進行RPN 訓練.也就是說,RPN 和檢測網絡被聯合訓練,重復進行直到實現收斂.

3 實驗設計及結果分析

3.1 實驗環境及參數設計

本實驗的訓練樣本取自INRIA 數據集,包括15 560 個正樣本和6744 個負樣本,分別選擇5000 個正樣本和負樣本作為訓練樣本.測試集中有1000 張圖片,其中包括來自INRIA 的500 張圖片和500 張個人收集制作的測試圖片.實驗的硬件配置采用Intel Core i7 處理器,16 GB 內部存儲器,NVIDIA GTX1080Ti.在訓練階段,訓練集中的每個行人都需要用矩形框標記.在測試中,如果識別出的行人和標記的矩形框的重疊部分達到標記矩形框的90%以上,則認為是成功檢測到的.

該實驗選用Tensorflow 框架實現卷積神經網絡模型,分別做了原始的Faster R-CNN 模型(基于ZF 網絡)、基于VGG-16 的Faster R-CNN 模型和基于SEVGG-16 的Faster R-CNN 模型的實驗,其中特征提取網絡都是在ImageNet 上進行預訓練的.參數設計包含dropout、最大迭代次數、候選區域框的大小和nms(非極大值抑制)閾值.這些值的設置都會對mAP 值產生一定的影響,所以優化這些參數以獲得更好的輸出也是實驗要做的一部分.在本實驗中,最大迭代次數設置為8000,初始候選區域大小為256,邊界框的大小為128.

3.2 實驗結果分析

首先在原始網絡上進行實驗,以選取最佳參數值.結果如表1.可以得到如下結論:當dropout 值從0.2 增加到0.6 時,mAP 隨之增加,從0.6 增加到0.8 時,mAP 值隨之減小.當dropout 為0.6 時,mAP 獲得最大值.因此本實驗選取dropout=0.6.

表2 中的結果是在dropout 為0.6 且最大迭代次數為8000 的條件下得到的,該結果表明候選區域的大小不同會導致不同的mAP 值,候選區域越小,mAP 值越大.因為候選框的選取會影響檢測速率,理論上候選框大小設定的越小,檢測精度越高,速率越慢.本文綜合考慮檢測速率和精度選取候選框大小為128.

表1 dropout 對mAP 的影響

表2 區域框大小對mAP 的影響

一般用準確率、檢測速率來評價模型的質量.除此之外,召回率也是衡量模型好壞的一個指標,在圖片中待檢測的目標較多時,應該盡量使模型做到“一個不漏”.表3 中的結果是固定dorpout 值為0.6 和區域框大小為128 時,選取不同的共享網絡得到的準確率、檢測速率和召回率的結果.我們做了3 個對比實驗:經典的Faster R-CNN 模型(特征提取網絡為ZF 網絡);基于VGG-16 的Faster R-CNN 模型(特征提取網絡使用VGG-16 網絡模型);基于SE-VGG-16 的Faster RCNN 網絡模型(特征提取網絡使用本文提出的模型).從以表3 數據可以看出,我們的模型在準確率、檢測速度和召回率上都有一個較好的結果.

表3 選取不同網絡時的結果對比

4 結束語

本文從行人檢測的背景和意義出發,對現有檢測方法做了綜合闡述,得知傳統的行人檢測方法或是以犧牲準確率來提高檢測效率以達到實時性的要求,或是以犧牲檢測時間和空間為代價加深網絡來獲得高準確率,我們的研究通過對Faster R-CNN 模型進行改進,使用添加SE 單元的VGG 網絡作為Faster R-CNN 的特征提取網絡,通過賦予特征圖相應權重來提升有用特征并抑制無用特征.理論和實驗證明這種方法很好的權衡了網絡檢測速率和魯棒性,網絡整體性能得到了提升.