基于雙階段輕量YOLO的紅外行人偽影檢測算法

沈 恒,干宗良

(南京郵電大學,江蘇 南京 210009)

1 引 言

熱紅外成像[1]較可見光圖像而言具有獨特的優勢,如不受光照強度影響且能在各種惡劣天氣環境下工作,在城市安防監控、軍事演練等領域得到廣泛關注。但是紅外圖像在一些特定環境 (如辦公廳、教學樓等光滑建筑環境)具有一定程度的反射現象,這直接干擾紅外圖像的后續處理過程。以紅外行人檢測為例,行人被鏡面反射的能量會被熱紅外成像儀再次接收并以各種形式呈現出來,檢測時誤認為是發熱物體導致不必要的工作。此外,反射回波具有與行人十分相似的輪廓和梯度信息,加上紅外圖像本身對比度低的特性,行人和對應的偽影往往具有十分相似的特征,無論是用人眼先驗還是用計算機判別都耗時耗力且并不準確,易混淆行人和行人偽影。紅外行人偽影檢測技術就是針對性的標記行人偽影區域,讓人們根據需求提取行人紅外圖像有用信息,方便后續使用。

紅外行人偽影圖像背景復雜,用傳統紅外目標檢測方法,如max-mean[3]、圖像分割[4]和偏微分方程[5]等受到單一場景的限制,難以分離偽影區域。而深度學習算法[6]具有對復雜上下文信息更好的特征表達能力,用來檢測偽影區域的適用性更高。總體來說,基于深度學習的目標檢測算法可分為兩大類:一類是基于區域的雙階段目標檢測算法,如R-CNN[7]( Region-based Convolution Neural Nedtwork)、Fast R-CNN[8]等。另外一類則是區域選擇和目標檢測統一的單階段目標檢測算法,典型的有SSD[9](Single Shot multibox Detector)和Redmon等提出的YOLO[10-14]系列算法。針對紅外圖像行人檢測,研究者們分別對現有的單階段和雙階段目標檢測算法進行了改進,如Xie H等人[15]構建了多種類型的Fast R-CNN模型,適用于不同需求下的紅外行人檢測任務。Wang X等人針對YOLOv4提出了一種新的紅外行人檢測算法(RepVGG-YOLOv4,Rep YOLO)[16],提高了檢測效率。Montenegro B等人[17]對YOLOv5s輕量算法進行了改進,使用2個YOLOv5s子網絡構建紅外行人檢測模型,彌補了輕量網絡檢測精度低的缺陷。

由于紅外行人偽影形態變化復雜,對比度低,使用單階段目標檢測算法檢測精度不高。因此,本文借鑒雙階段目標檢測算法的設計思想,使用兩個輕量YOLO分別用于區域選擇和紅外行人偽影目標提取。滿足檢測精度要求的同時,避免了雙階段網絡繁瑣、實時性差的問題,工作如下:

(1)針對行人偽影直接檢測容易出現的誤檢和漏檢現象,構建基于輕量YOLO的雙階段行人偽影檢測算法,先提取“行人-偽影”聯合區域,后行人偽影精準定位。

(2)針對輕量網絡檢測精度不高的問題,本文對YOLOv5s進行了改進。我們在網絡的主干部分使用改進的下采用模塊[2]LSM替換FOCUs模塊,增強低級語義信息提取能力,并減少浮點運算數。其次嵌入注意力模塊[18](Convolutional Block Attention Module,CBAM),使網絡更加關注有用區域,提高模型的檢測精度。

(3)針對雙階段網絡容易出現的模型繁瑣問題,設計只有兩個尺度輸出特征層的輕量網絡LS-YOLO,減少檢測框數量,保證檢測速度。

2 紅外行人偽影分析

在行人熱紅外圖像的拍攝場景中,紅外圖像的呈現效果取決于光敏元件捕捉的熱輻射強度,由于電磁波的反射效應,如果行人所處環境中存在發射率低的材料,例如光滑鏡面材料,它會反射行人及背景產生的熱輻射,使得紅外成像儀不僅僅接收到行人自身的熱輻射,也有來自鏡面反射的行人熱輻射,如圖1所示。最終成像中不僅包括行人本身部分,也有來自光滑鏡面反射行人熱輻射能量后的紅外成像。

圖1 行人偽影形成原理

行人所處環境復雜多變以及紅外圖像本身具有對比度低、分辨率差,使得同一行人在不同位置產生的偽影存在亮度、邊沿形狀以及尺度的巨大變化。如圖2(a)所示,一個行人在圖像中呈現多個形狀、尺度不同的偽影,給檢測帶來極大干擾;圖2(b)則展示了行人的部分偽影被背景塊遮擋,喪失了真實的行人特性,雖然這種圖能夠用人眼先驗判斷,但是對于神經網絡卻很難做到。綜上,一張行人紅外成像可能出現多個偽影區域,不同位置的偽影變化很大,有些偽影與行人本身十分相似,用神經網絡直接定位行人偽影復雜度較高。因此,本文提出一種基于聯合區域的雙階段輕量YOLO檢測算法,借鑒了雙階段網絡能有效提高準確率的思想,降低了網絡分離復雜背景環境和行人偽影的壓力,同時輕量結構的設計也能滿足實時檢測要求。

圖2 行人偽影

3 紅外行人偽影檢測算法設計

本文提出的雙階段紅外行人偽影檢測算法結構如圖3所示,第1階段使用LSM雙分支結構替換YOLOv5s網絡的FOCUs模塊,添加注意力感知使網絡更加關注具有行人和對應偽影的聯合區域,提高了檢測精度。第2階段,消除背景后行人和偽影信息相對突出,結合輕量YOLO思想設計行人偽影精準定位模型LS-YOLO,最后整合兩個輕量網絡完成紅外行人偽影檢測任務。下面將著重介紹我們的改進工作,關于YOLOv5s主干特征提取和多尺度特征融合的更多細節可以參考文獻[14]～[19],在這不再贅述。

圖3 紅外行人偽影檢測算法框圖

3.1 LSM模塊

Focus模塊是YOLOv5s模型在圖像進入主干特征提取網絡前的預處理部分。如圖4所示,將像素點與像素點進行步長為2的跳躍連接,原始輸入為640×640×3的圖像切片后變成320×320×12尺寸。

圖4 Focus切片操作

Focus的設計者認為通過切片再下采樣的方法能夠減少浮點運算數(FlOPs)。FlOPs在神經網絡中常用來衡量算法或模型的復雜度,表達式為:

(1)

(2)

在YOLOv5s中,輸入圖像經Focus切片操作后會進行兩次下采樣卷積得到160×160×64的特征圖,兩次卷積核大小都為3×3。由上述,可計算出YOLOv5s中使用FOCUs并將輸入圖像轉換為160×160×64的特征圖所需的浮點操作數和參數數量為:

FLOPs(Focus)=3202×32×12×32+1602×32×32×64=825753600

(3)

Params(Focus)=32×12×32+32×32×64=21888

(4)

實際上,Focus切片操作在沒有進行特征提取的情況下進行像素空間跳躍連接會損失部分空間信息。因此,本文使用LSM模塊替換原Focus結構,滿足減少浮點運算數的同時避免丟失信息,如圖5所示。

圖5 LSM結構

LSM模塊的特點在于通過雙分支結構使網絡映射不同感受野,由于3×3卷積和最大池化具有不同的特征表達,如最大池化更有利于紋理特征的提取,所以兩個分支分別通過3×3卷積和最大池化操作提取不同特征并壓縮圖像,再用1×1卷積整合特征,最后拼接兩個分支得到160×160×64的特征圖,綜上LSM模塊的復雜度為:

FLOPs(LSM)=3202×32×3×32+3202×12×32×16+1602×32×162+1602×12×16×32+1602×22×32+1602×12×32×32=242483200

(5)

Params(LSM)=32×32×3+12×32×16+32×16×16+12×16×32+12×32×32=5216

(6)

與Focus模塊相比,采用LSM的浮點運算數和參數量分別縮減約為原來的1/3,1/4,模型更為輕量,且LSM在特征提取之前不會損失信息,具有更好的特征表達能力。

3.2 添加注意力感知模塊CBAM

第一階段“行人-偽影”聯合區域的檢測是后續處理的基礎,因此,本文注重提升網絡的注意力焦點,使網絡更關注來自目標區域的特征點,提高檢測的準確率。添加空間-通道注意力感知模塊(CBAM)[18]是實現網絡自適應注意的一種方式,CBAM結構如圖6所示。

圖6 CBAM通道注意力和空間注意力結構

簡言之就是通過雙池化操作分別按通道和空間對特征映射進行壓縮,再通過全連接和卷積增強注意力模塊非線性表達的能力,使用sigmoid函數歸一化后獲得每個通道和空間的權重(0～1之間),最后以相乘形式把權重加權到輸入特征圖上,實現越重要的特征加權越多并抑制無用信息。CBAM是一個輕量級的通用模塊,如圖3所示,本文將注意力添加到YOLOv5s的主干特征提取網絡之后,對已經提取到的深層特征進行注意力加權,使第一階段網絡自適應的聚焦目標區域。

3.3 LS-YOLO網絡設計

第二階段的任務是從“行人-偽影”聯合區域中定位行人偽影,由于聯合區域消除了原本的復雜背景,因此這一階段需要減少模型復雜度,本文借鑒輕量YOLO的思想設計了LS-YOLO網絡,對于本身特征不充分的行人偽影具有很好的定位能力。

如圖3所示。LS-YOLO網絡首先使用LSM模塊提取淺層特征并將特征圖尺寸調整為160×160×64,主干部分由Resblock_body[14]殘差結構組成,如圖7所示,Resblock_body先用卷積對輸入特征進行整合,之后將整合后的特征層劃為兩部分,一部分作為大殘差邊route。另一部分的通道進行1∶1分割,取后者作為分割的主干部分,然后對主干部分進行3×3卷積并引出小殘差邊route_1,小殘差邊會與再次卷積后的主干部分相接調整通道,對相接的結果做1×1卷積處理,并與大殘差邊拼接,拼接后的特征圖通道數是之前2倍,最后經過最大池化操作將寬高縮減為原先的一半實現下采樣。在LS-YOLO網絡中,每一次Resblock_body后都會引出一個分支去構建特征金字塔[20](Feature Pyramid Network,FPN),將淺層邊緣細節特征和高層語義特征融合實現特征增強效果。具體為第一次Resblock_body后引出的特征圖經過一次下采樣卷積,尺寸調整為40×40×256,這個特征圖會與第二次Resblock_body的結果進行融合得到40×40×512的特征圖。第三次Resblock_body后引出的特征層經過兩次卷積對特征進行整合,整合后的特征圖一個分支為第一個尺度的特征輸出層,其尺寸為20×20×1024;另一分支首先經過卷積將通道數調整為512,再通過最鄰近上采樣后與上述40×40×512的特征圖有效融合作為第二個尺度的特征輸出層,尺寸為40×40×1024,最后預測頭部根據這兩個輸出特征層進行結果預測并輸出行人偽影的位置,預測頭部實現可參考文獻[13]。

圖7 Resblock_body結構

4 實驗及結果分析

4.1 實驗設計

為了評估雙階段算法的性能,實驗使用fluke公司發行的TiX640型長波紅外熱成像儀拍攝紅外行人圖像來構建一個新的紅外行人數據集,采集了包含不同類型反射物質的場景,如現代教學樓、辦公廳、和一些特定的戶外環境。收集到的圖像分為三類,分別為只有行人、某一種類型的偽影(如地面或者是墻面),以及混合地面和墻面偽影的紅外圖像,示例見圖8。在數據預處理階段,本文采用labelImg圖片標注工具分別對“行人-偽影”聯合區域模型和“行人偽影”模型按照7∶2∶1比例進行訓練集、測試集、驗證集的劃分,并使用mosaic-4[14]數據增強的方法對訓練集進行樣本擴充,增強后訓練集圖片共有4216張。

圖8 數據集部分紅外圖像示例

實驗使用的硬件配置信息如圖表1所示。算法檢測性能的評估由模型檢測速度和檢測精度衡量,檢測精度采用公信力最高的平均精度均值 (mean average precision,mAP)和模型訓練的最終損失值大小進行比較,精度的計算又由準確率(Precision)和召回率(Recall)來決定,當預測框與真實框的交并比(intersection over union,IOU)大于設定的某個值(本文設定0.5)時可認為預測正確,統計后可計算出準確率和召回率;檢測速度則通過模型每秒能夠處理并返回的畫面幀數(Frames Per Second,FPS)衡量。

表1 實驗環境信息

訓練時,由于網絡結構改變,從0開始訓練的模型權重過于隨機,引起網絡震蕩。本文先對模型預訓練10個迭代作為權重初始值,再分別訓練“行人-偽影”聯合區域模型以及偽影定位模型300和100個epoches,訓練時選擇Warmup=3的預熱學習率的方式,使得開始訓練的3個epoches內學習率較小,模型可以慢慢趨于穩定。預熱后初始學習率為0.01,其他為默認設置。

4.2 結果分析

本文使用YOLOv5s、YOLOv4、RepYOLO[16]、YOLOv3[12]、Faster R-CNN等算法模型與本文模型進行比較,其中,RepYOLO和YOLOv3是Montenegro B等人針對紅外圖像行人檢測提出的改進算法。結果表明雙階段輕量YOLO算法性能更加出色,能完成實際應用中針對特定場景行人偽影檢測的任務。

4.2.1 LSM+CDAM模塊解耦對比試驗

為驗證第一步中LSM和CDAM改進的有效性,實驗以YOLOv5s為基準模型,對“行人-偽影”聯合區域進行檢測。其中LSM替代原網絡的Focus下采樣模塊,CDAM添加到網絡的主干特征模塊后,其他參數均一樣。結果如表2、3所示,相較于YOLOv5s基準模型,LSM模塊替換原先的Focus模塊減少了浮點運算數,對于整個網絡運算數和參數減少不多,FPS有輕微提升,但是LSM能夠更有效的增強網絡低級特征提取能力,使得整個網絡精度提升2.69%;再添加CDAM模塊對提取的特征整合以及增加注意力,最終在滿足檢測速度不下降的同時整個網絡的精度提升了5.46%。表3展示了不同的模型在“行人-偽影”聯合區域的檢測性能,與紅外行人檢測算法RepYOLO以及原基準模型相比,本文改進后的模型由于整合了注意力,訓練時自適應聚焦于紅外行人圖像中具有行人和偽影的聯合區域,檢測效果最好。

表2 LSM+CDAM消融實驗

表3 不同模型檢測聯合框的結果

4.2.2 LS-YOLO實驗分析

本文提出的LS-YOLO是針對第2階段行人偽影精細定位設計的輕量模型,權重大小只有18.75M。為了驗證性能,我們與基準模型YOLOv4-tiny[13]做對比試驗,結果如圖8所示,可以看出模型改進后,可訓練性更強,且訓練效果更加出色,YOLOv4-tiny收斂后的損失值在4.6左右,而LS-YOLO則降低到了2.7附近,并且模型在測試集上的泛化能力較好,與訓練的損失值十分接近,說明沒有發生過擬合現象。圖9是測試時具有代表性的結果反饋,LS-YOLO的網絡損失比YOLOv4-tiny更低,對偽影的位置定位更準確。

圖9 LS-YOLO損失函數曲線對比圖

4.2.3 二步算法綜合性能分析

如表4所示,與其他模型結果對比可知,雙階段輕量YOLO行人偽影檢測算法相對于YOLOv5s,RepYOLO,YOLOv4,YOLOv3,SSD,Faster R-CNN直接檢測的網絡精度分別提升6.52 %,8.04 %,3.14 %,9.25 %,17.66 %,26.33 %。直接檢測法中YOLOv4的檢測效果最好,mAP達到92.33 %,但是YOLOv4網絡權重大小有240M,是LS-YOLO的10倍,模型過于復雜。檢測速度方面,YOLOv5s實時性能最好,精度卻相對一般。我們提出的模型結合了兩個超輕量的網絡,所以檢測速度比不過YOLOv5s,不過仍然能夠滿足實時檢測的要求。為了更直觀的比較不同模型的性能,圖10展示了我們從測試結果上挑選的一部分檢測實例,對于嚴重殘缺的行人偽影目標來說,直接檢測法效果不佳。如圖10的(a)、(d)所示,SSD和YOLOv3等算法無法有效識別目標。面對背景復雜,行人和偽影特征不突出的環境時易出現錯檢情況,如(c)中將行人誤檢為偽影,(f)目標漏檢。行人偽影檢測時,基于YOLOv4的模型對特征信息變化十分敏感,當背景特征與行人偽影特征相似時容易出現誤檢現象,如(h)和(i)所示。相比之下,本文算法從原理上降低錯檢、漏檢的風險,檢測精度高,并且模型輕量,滿足實時部署的要求。

表4 二步算法性能對比試驗結果

圖11 不同算法檢測效果圖

5 結 論

在分辨率差、背景不突出的紅外圖像中,由于鏡面回波形成的偽影具有與行人以及某些環境物體相似的特征信息,主觀先驗法無法判斷偽影位置,而深度學習領域的目標檢測算法依賴于對目標與環境背景的精細分離和信息整合、判斷,直接檢測法往往效果不佳。本文提出了一種基于“行人-行人偽影”聯合區域的二步檢測輕量算法,整個網絡模型大小只有41 M,平均精度均值達到95.45 %。第一步中只需要檢測“行人-行人偽影”聯合區域,從原理上增大了目標的面積,減少了誤檢和漏檢概率,并對基礎模型改進,提高準確率。第二步針對聯合區域的偽影檢測設計了一個僅包含兩個尺度特征輸出層的輕量網絡LS-YOLO,與原模型對比,該算法針對特征突出、背景環境單一的聯合區域具有較高的準確率,驗證了二步算法的可行性。綜上所述,本文提出的二步輕量算法在保證較高準確率的條件下也能達到實時檢測要求,解決了直接行人偽影檢測算法中偽影漏檢和定位不準確問題,對后續針對行人的處理有很大幫助。下一步,我們將針對紅外行人圖像環境中的通用物體進行檢測,進一步排除影響紅外圖像后處理過程的因素。