紅外交通場景下遮擋行人目標檢測算法研究

李明益,賀敬良,2,陳 勇,2,趙 理,2,龍震海

(1.北京信息科技大學機電工程學院,北京100192；2.北京電動車輛協同創新中心,北京100192；3.北京理工大學機械與車輛學院,北京 100081)

1 概 述

隨著智能化交通系統的逐漸發展,交通出行更加人性化。但是行人在復雜的交通場景中仍然存在著較多的安全隱患,近年來非機動外賣車輛、行人在交通高鋒路口由于行人與車輛之間存在遮擋、視野盲區情況不能及時相互避讓,導致交通事故時有發生。夜晚交通場景下對人流密集交匯路段的行人識別感知逐漸成為交通安全關注的重點,針對上述問題,本文提出基于幀間長程范圍特征融合的行人目標檢測方法,將不同區域特征進行融合,實現夜間交通場景下遮擋行人的準確檢測。

2 相關研究分析

基于深度學習的行人檢測算法逐漸應用在交通等安全領域,文獻[1]系統分析了交通行人檢測對不同網絡模型性能比較,其中Fater R-cnn Resnet50在處理速度和準確性的總體性能上更適應場景檢測需求,通過跳躍連接可有效避免了梯度消失等問題,為工業應用提供了參考模型。文獻[2]提出一種夜間多任務行人檢測和距離估計的Faster R-cnn模型通過NIR相機與激光雷達配合檢測以滿足夜間真實場景下PD精度80 %,平均絕對距離誤差小于5 %的精度需求,但模型推理時間有一定損耗。

文獻[3]對紅外圖像進一步處理,使用強顯著圖提取紅外圖像中的行人特征,作為行人檢測器的注意力機制,并使用PiCA-Net和R3-Net方法驗證顯著圖網絡比基準原圖提升了7.7 %,但是在復雜重疊場景中存在漏檢情況。

綜上所述,夜間紅外交通場景下的行人檢測存在目標區域識別劃分、復雜場景下人物形狀與運動特征無法精確檢測等問題,相較于已有研究,本文主要創新如下:

1)針對紅外行人檢測場景中存在行人形狀輪廓與行人實時運動檢測特點,針對行人在馬路中的步態,使用non-local模塊和EPS模塊,可以有效提取圖像前后幀周期性信息來判定行人目標,以提高了模型在行人密集場景檢測的魯棒性,并加快了模型推理速度。

2)針對紅外真實交通路口中行人、自行車燈密集交錯的穿行場景,其行人穿行中紋理信息與特征輪廓不穩定的情況,側重對行人運動形狀特征檢測,增加YOLOv5中的Head檢測頭,將上采樣特取的特征與淺層特征進一步融合,提高行人檢測特征輪廓,并使用160×160檢測層和自適應Anchor對遠距離行人目標進行預判,增強遠距離行人檢測的判別精度。

3)本文使用FLIR、Daimler紅外圖像數據集,針對交通道路場景中的行人穿行場景進行紅外圖像行人紋理信息、輪廓特征進行數據預處理和標簽預處理,并使用Mosaic數據增強提高模型檢測的泛化性。

YOLOv5算法相比較YOLO系列算法[4-7],主要對主干網絡及Anthor進行了進一步修改。YOLOv5在Backbone中添加改進了Focus模塊和BottlenneckCSP模塊。根據模型卷積個數及BottleneckCSP模塊堆疊,實現不同場景檢測需求。以YOLOv5l 3.0版本為例,具體網絡結構如圖1所示。CBL、SPP、Concat和Upsample模塊是YOLO v3和YOLO v4中的原始模塊,而YOLO v5s網絡模型中增添了Focus特征圖切片操作、自適應Anchor、兩種不同功能的bottleneckCSP模塊和GIOU Loss損失函數,以增強基礎層網絡特征融合,自適應匹配和模型多樣性進一步提升基于回歸問題的快速檢測能力。

受到Focus的啟發,在Concat拼接成在集中下采樣的通道空間,如何高效的提取通道空間中不同尺度的特征圖信息,并建立跨通道長范圍的特征依賴關系,我們引入PSA模塊。

YOLOv5參考CSPNet的模型思想[8],設計兩種不同的BottleneckCSP結構,分別記作CSP1_X和CSP2_X,其區別在于是否在Bottleneck中添加shortcut連接,添加后即為 ResNet殘差組模塊。圖2(a)為BottleneckCSP結構,YOLOv5代碼中將BottleneckCSP看成由標準bottleneck塊與標準卷積層的疊加而成,其中CSP1_X用于快速卷積提取特征,CSP2_X用于不同層次特征融合,X為Bottleneck中X個殘差組件。圖2(b)為Bottleneck瓶頸層的殘差卷積模塊,虛線為shortcut操作執行恒等映射,保證卷積層與輸入通道數映射一致,通過element-wise疊加,得到最終的輸出特征,將X個ResNet模塊串聯成更深層模型,可有效解決錯誤率退化問題。

(a)

通過上述對YOLOv5的分析,引入ResNet殘差可獲得更有效學習,并在Head中多尺度信息進行有效傳遞融合,保證特征的豐富性。盡管YOLOv5有著快速識別和自適應錨框等優點,但是其對小目標特征提取,遮擋物體之間的聯系仍有不足,并且特征融合網絡更加關注高層語義信息。因此,在此基礎上提出改進方法,增加模型對夜間交通道路場景行人的檢測能力。

2 行人檢測模型算法優化

2.1 改進的YOLOv5l模型

針對夜間交通場景中紋理信息和特征輪廓不明顯,道路中穿行的行人存遮擋檢測效果不理想的情況,其網絡在提取特征時存在特征遮擋,對夜間行人識別正確率上存在缺陷。基于上述情況為保證多尺度目標檢測精度及提取細粒度特征不失真的情況下,能夠精確的檢測到夜間不同尺寸的行人,設計增添特征層的上采樣,在上采樣的過程中再添加一組提取特征模塊,并與淺層Backbone網絡的特征進行融合,獲得輸出為160×160×256小目標檢測層。并采用Non-local和PSA模塊,通過實驗發現增加提取特征模塊,一方面可對長程遠距離特征產生更好的關聯性,另一方面在夜間情況下能夠改善夜間遠距離行人目標的特征映射以及存在遮擋的檢測情況,在模型參數得到優化壓縮的情況下,驗證提升夜間遠距離行人檢測精度的可行性。改進后的YOLOv5l網絡結構如3所示。

圖3 改進的YOLOv5l網絡結構

2.2 PSA注意力機制

針對夜間交通道路上遠近不同尺度的特征信息不易識別存在遮擋的情況,如何通過豐富訓練的特征空間進行高效捕獲,同時目前的空間或通道注意力機制只能捕獲局部信息,沒有建立有效的長范圍通道依賴。針對如何建立長程范圍通道依賴關系,我們借助EPSANet[9]思想使用一種高性能,有效的金字塔式PSA注意力模塊,嵌入到CSPbottleneck模型中在不增加模型參數量的情況下豐富模型表征。

通過將預輸入通道數為C的特征圖X,使用SPC壓縮合并模塊,壓縮輸出張量通道維數,對每個通道的的特征圖信息進行分組卷積提取不同尺度的有效空間信息,通過信道的多尺度權重建立跨維度交互,從而建立長程信道依賴性。如圖4所示為PSA模塊結構。

圖4 PSA 模塊結構

圖5 SPC 算子結構圖

提出一種根據Kernel Size自適應選取分組數的策略,第i個卷積核尺寸Ki與組數G之間關系如下:

(1)

Ki=2×(i+1)+1

(2)

根據不同卷積尺寸大小與組數,可以得出多尺度特征圖組函數Fi和整體拼接后多尺度通道特征圖F:

Fi=Conv(ki×ki,Gi)(X)i=0,1,2,…,S

(3)

F=Cat([F0,F1,…,FS-1]

(4)

其次為提高提取特征效率,使用SE Weightmodule對多尺度通道特征圖提取通道注意力權重向量信息用Zi表示,其中Zi∈RC′×1×1,有:

Zi=SEWeight(Fi),i=0,1,2,…,S-1

(5)

為了融合通道間不同尺度的特征信息,建立長范圍通道依賴關系,可以在通道向量不變的情況下,串聯concat算子用⊕表示,以融合拼接跨維向量。

Z=Z0⊕Z1⊕…⊕ZS-1

(6)

(7)

att=att0⊕att1⊕…⊕attS-1

(8)

最后通過Softmax歸一化重新校準通道的向量,獲得校準權重att與相應尺度特征圖Fi的乘積得到豐富細化的特征圖輸出Yi:

Yi=Fi⊙attii=1,2,3,…S-1

(9)

如圖6所示,PSA模塊可以將多尺度空間信息和跨通道注意力整合到每個特征組的塊中,更好的實現局部通道注意力和全局通道注意力之間的信息交互,我們將PSA模塊添加到YOLOv5的Bottleneck CSP中將3×3卷積替換為 PSA模塊減少參數量并自適應校準跨緯度通道權重,能夠細化提取多尺度空間信息,形成長程范圍通道依賴。

圖6 改進后的PSA-Bottleneck結構

2.3 Non-local 非局部鄰域

本文借鑒non-local的核心思想[10],為增加在卷積操作過程中局部領域構造塊的操作,在PSA長程范圍通道依賴的基礎上,通過非局部域操作對兩個位置之間的交互信息建立起空間、時間依賴關系,并通過前饋方式捕捉位置依賴信息。

Non-local采用逐步圖片所有位置的每個像素點計算前后幀像素的位置相關性,而不只針對鄰域計算局部特征區域。計算每個像素點生成的block與周圍位置block計算相關聯性,針對相似位置給予更大權重,記錄特征區域。針對前后幀圖片特征信息,對嵌入的空間中對位置區域取加權平均值計算特征序列,關聯響應前后幀圖片相似位置特征,通過圖像特征區域平移,對穿行的行人遮擋有對比判定,從而通道長程范圍的特征信息依賴關系得到加強,捕捉豐富像素的圖片中更有效地細節。將non-local模塊化,嵌入關注位置的響應空間中取加權平均值計算自適應相關矩陣,得到圖片在空間位置信息上的相互聯系。結合SPP層收斂特征,運用到YOLOv5的Bottleneck網絡模型中,進行非局部運算。如圖7所示。

圖7 Non-local流程結構圖

其中,針對non-local模塊表達形式定義為:

(10)

式中，f(xi,xj)是位置關系的高斯函數,通過Xi輸入特征包含空間、序列計算第i位置上的信息索引與預測j位置相關索引之間的標量關系,得到x,j位置相關度。使用g(xj)一元線性函數,計算j處像素變換矩陣,使用響應因子C(x)歸一化,定義像素個數為N為X中的位數,對全局信息進行歸一化處理,簡化梯度計算,保證圖像特征信息一致。

g(xj)=Wgxj

(11)

函數g(xj)采用1×1卷積或使用1×1×1空間卷積,用于初步提取線性特征,在不改變特征圖尺寸情況下,實現通道間的線性組合,跨通道信息交互,并為f(xi,xj)構造的relu激活函數增加非線性特性。Wg是訓練學習的權重矩陣。f(xi,xj)使用高斯函數中計算權值的方法,計算像素點間的指數映射,相似度與高斯權值關系,在此基礎上計算非局部域位置標量關系:

f(xi,xj)=eθ(xi)Tφ(xj)

(11)

其中,θ(xi)=Wθxi,φ(xj)=Wφxj。這里Wθ,Wφ是權值,根據xi,xj像素點之間相似程度計算。像素點之間的相似度不能僅僅是求像素位置差值進行匹配,而是度量以xi為中心點的block周圍xj鄰域塊之間的歐式距離,如果約束距離越小,其高斯權值越大,像素位特征越相似。添加ReLU激活函數非線性特征,可以有效串聯網絡,進行特征推理,f(xi,xj)可表示為:

(12)

將公式(10)的非局部操作封裝到non-localblock塊中,可以合并到YOLOv5主干網絡結構中,得到block塊定義:

zi=Wzyi+xi

(13)

將整個block模塊運算轉化成矩陣乘法與卷積運算的組合,其中yi為公式10中的non-local 輸出特征,通過殘差拼接求和,得到最終的輸出模型。其好處是在不改變前向模型結構下,可以將非局部域block塊遷移到Bottleneck的Conv層中,元素輸出位置的值就是其他位置的加權平均值,以提高計算效率。

3 基于YOLOv5l試驗分析

3.1 數據集處理

使用FLIR熱紅外成像數據集,通過行車采集不同時段交通道路中行人、車輛視頻幀信息。FLIR數據圖像一共14452張,針對路口街道場景需求,選擇出7600張包含交通行人數據的圖片,并對圖片標簽進行清洗篩選。

Daimler行人檢測數據集[11],其中訓練集包含15560個行人樣本和6744個負樣本,包含56492個標注有完全可見與部分遮擋的行人標簽。

本文篩選Flir與Daimler交通場景下紅外行人數據集共13000張,daimler數據集標簽已經為txt格式,對Flir數據集進行格式轉換,將json文件轉成xml格式,對json文件中的annotation的bbox和category進行解析,針對People行人類別標簽,提取候選框坐標,并按照VOC數據集格式解析為(xmin,ymin,xmax,ymax)的寫入xml文件,然后再按照COCO數據集格式(x,y,w,h),將對角線坐標轉換為相應位置寬高,生成txt文件。

使用Mosaic數據增強,其主要思想是將訓練集中四張圖片進行圖像縮放、旋轉、色域變換后裁剪拼接成為一張圖像使每張圖片特征更加豐富,正負樣本更加均衡,在訓練階段可有效調整每個epoch抓取數據的樣本數量,緩解并行訓練GPU顯存的壓力。正負樣本關系如表1所示。如圖8所示,使用Mosaic數據增強進行訓練。

表1 正負樣本關系

圖8 Mosaic數據增強的數據集

在檢測目標有存在行人間遮擋情況,一般按照標簽取點,會導致選取的特征點被多次訓練到重復取點,所以針對密集小目標需要根據獲得的160×160檢測層選取更合適的anchor。通過寬高標準差函數,使用k-means重新計算anchor,驗證自適應選取更切合的anchor為[4,5,8,15,17,11],以完善遠距離行人的每個GT都有對應的Anthor。

3.2 實驗及結果評估

本文基于Flir數據集和Daimler紅外交通行人數據集的數據篩選標簽預處理,并將數據集按照8∶2的比例分為訓練集與測試集。通過對比實驗對改進的YOLOv5算法進行驗證。采用mAP_0.5,mAP_0.5:0.95,LOSS,Precision,Recall作為評估模型性能的指標,通過計算模型的Precision和Recall,其中TP是準確預測標簽的個數；FP是不存在目標的誤檢測,或已存在目標的誤檢測；FN是目標的漏檢測,公式如下:

(14)

(15)

使用上述預處理紅外數據集在服務器上進行迭代實驗,本文使用的服務器采用Intel XeonGold 5218 CPU,配備顯存11G 4塊NVIDIA Geforce RTX 2080Ti圖像顯卡,選用兼容性GPU環境版本CUDA10.2,cudnn7.6.5,Pytorch1.7,疊加數據集進行500次迭代并行訓練。如圖9、10所示為通過訓練改進的lmproved YOLOv5l算法和原有YOLOv5l算法在相同框架下的網絡模型。在實驗中可以發現改進后的lmproved YOLOv5l模型參數得到壓縮,召回率進一步提升,mAP_0.5精度提升14.2 %,mAP_0.5:0.95精度提升12.7 %。模型試驗對比如表2所示,隨著訓練迭代,觀察模型精度及召回率可以發現,改進后的網絡模型收斂效果更好。

圖9 YOLOv5 mAP_0.5精度結果對比

圖10 YOLOv5 mAP_0.5精度結果對比

表2 YOLOl模型實驗對比

訓練后的模型載入測試集進行行人檢測對比實驗,如圖11所示,圖11(a)為原YOLOv5l測試情況,圖11(b)為改進后lmproved YOLOv5l的測試情況,通過驗證發現在相同測試場景中改進后的YOLOv5模型在行人交通穿行場景能夠更準確的識別不同運動形狀的行人同時在遠距離檢測下的精度更好,模型具有更好的推理速度,說明在夜間行人檢測場景下模型具有較好的泛化性。

(a) (b)

3.3 網絡定量評估實驗

對改進后的YOLOv5模型定量評估測試,所有測試模型均在相同紅外行人數據集上進行訓練測試,訓練設置參數為每批次處理32張圖像,初始學習率為0.01,epoch設置為800,使用4塊RTX2080Ti并行訓練,得到表3實驗結果。

表3 不同算法的mAP值比較

通過實驗可以進一步驗證在不同網絡模型訓練下。針對夜間交通場景檢測發現,改進后的YOLOv5網絡模型的檢測精度更高,對夜間遮擋場景下檢測性能更好。

4 結 論

本文針對夜間交通路口人流穿行場景,設計并實現lmproved YOLOv5l行人目標檢測網絡模型,該模型改善了針對夜間行人運動和形狀的特征檢測,能夠提升夜間行人遮擋,視野盲區的行人檢測情況,相比原YOLOv5l檢測模型在夜間行人檢測效果更好。在不同算法間的對比結果表明:本文的行人檢測算法模型平均準確率精度高,行人漏檢率小,驗證的網絡模型具有較強的魯棒性。