基于光照感知的多光譜融合行人檢測方法

彭沛然, 任術波, 李佳男, 周鴻偉, 許廷發*

(1.北京理工大學 光電學院, 北京 100081; 2.中國空間技術研究院 通信與導航衛星總體部, 北京 100094)

0 引言

行人檢測是計算機視覺領域的重要任務之一,其主要研究目標是準確識別和定位圖像中的行人目標。該技術已廣泛應用于自動駕駛[1]、無人機智能巡航[2]和機器人智能控制[3]等多種實際場景,并為人體行為識別和人體動作理解等研究提供了理論基礎[4]。然而,傳統基于可見光圖像的行人檢測方法受到光照、天氣變化或遮擋物等因素的干擾,從而降低了智能裝備的可靠性[5]。為了解決這一問題,熱紅外圖像被廣泛用作補充信息,以提高在低光照條件下的檢測精度。此外,將可見光與紅外圖像進行融合可以進一步提升在復雜光照環境下的檢測性能,使其具有全天候應用價值和重要的學術意義。韓國科學技術院(KAIST)提出了一個多光譜行人數據集[6],其包含大量完全重疊的可見光和熱紅外圖像對。因此,該數據集作為基準數據集,被廣泛使用于相關研究中[6-13]。

盡管現有方法在可見光圖像與熱紅外圖像融合任務上取得了一定進展,但大多數方法仍未能切實解決兩個顯著的挑戰。首先,可見光圖像和熱紅外圖像在目標屬性上存在內在差異,前者與顏色相關,后者與溫度相關。因此,如何準確、高效地利用兩種光譜特征表達仍然具有一定難度。其次,在可見光與熱紅外圖像中,普遍存在由于傳感器差異所引起的光譜特異性噪聲問題。當使用可見光傳感器采集圖像時,低照度環境會限制傳感器對光線的敏感度,從而產生傳感器噪聲。這種噪聲容易導致背景與目標之間提取的特征產生混淆。另一方面,使用熱成像傳感器進行圖像采集時,可能出現熱量與周圍環境相近所導致的目標與背景特征相混淆的情況,同時熱成像目標與可見光目標相比缺少大量的邊緣特征。因此,通過提取并融合兩種光譜圖像的內在獨特特征進行檢測,比單一光譜檢測具有更大的優勢。

針對上述問題,目前大多數方法主要集中在解決第一個問題。通常情況下,標準的融合網絡會使用兩個分支的卷積神經網絡(CNN)分別提取兩種光譜圖像的特征,并通過設計融合方法將這些特征信息直接合并。例如,文獻[12]和文獻[13]為確定最佳的融合階段,提出了在不同階段進行融合的網絡結構。文獻[11]提出了一個區域特征對齊模塊,通過對齊兩種光譜圖像中相應的特征區域,以提高融合的質量。文獻[14]針對模態不平衡的問題,提出了一種差異化模態感知融合模塊。雖然上述方法提出了各種合理的解決方案,但這些方法忽略了不同模態特征內在的相關聯系,限制了融合特征的表現潛力。同時,這些方法也沒有考慮到可見光與熱成像光譜圖像中存在光譜特異性噪聲的問題,這些噪聲會降低特征融合的性能。

為了解決上述問題,本文提出一種全新的光照感知跨光譜融合行人檢測網絡。該網絡能夠利用多光譜圖像中的特異性特征,同時輔助決策多光譜特征信息的選擇。本文方法包含三個部分:交叉注意力特征提取模塊、光照感知子網絡和檢測頭。首先,將兩種不同光譜的圖像輸入交叉注意力特征提取模塊中,通過注意力機制提取光譜間的全局共性特征,并得到兩組特征金字塔。其次,由于不同光照環境下兩種光譜特征的置信程度不同,將兩種光譜圖像輸入光照感知子網絡中,獲得兩種光譜特征的光譜權重,以實現自適應校正。最后,通過檢測頭得到具有兩種光譜特征優勢的檢測結果。本文提出的方法在行人檢測任務上表現出色,并且可擴展到其他跨光譜應用領域。

本文的主要貢獻有如下三方面:

1) 提出了一個新穎的光照感知跨光譜融合檢測網絡用于多光譜行人檢測。通過提出的交叉注意力特征提取模塊提取兩種光譜的全局共性信息,獲得表達更強的目標信息特征。

2) 提出了一個光照感知自網絡,通過提取兩種光譜的光照信息得到光譜權重,以根據光照條件的變化自適應校正融合特征。

3) 本文提出的光照感知跨光譜融合檢測網絡在KAIST多光譜行人檢測數據集上進行驗證,與多種現存網絡進行比較,取得了令人滿意的檢測性能。

1 相關工作

1.1 多光譜行人檢測

自從KAIST多光譜行人檢測數據集[6]被提出以來,基于多光譜數據的算法取得了飛速的進展[8-14]。最早的基線網絡由文獻[6]提出,它將聚合通道特征(ACF)[15]算法擴展到了可見-紅外圖像對上,并在特征提取的最后階段融合兩個子網絡進行檢測。隨后,Liu等[12]將兩個基于CNN的子網絡進行融合,并設計了4種不同的網絡結構,以探究最佳的融合階段。然而,由于可見光譜更容易受到光照條件的影響,Li等[9]提出了一種基于光照的權重分配機制,以更合理地融合兩個光譜子網絡。跨模態交互注意力網絡(CIAN)[16]為了提取可見光與紅外圖像的相同特征,設計了一個交叉模態交互模塊,以自適應地融合兩種光譜的特征。此外,為了解決可見光與紅外圖像對中位置偏移的問題,弱對齊卷積網絡(AR-CNN)[10]設計了一個區域特征對齊模塊,來對齊兩個光譜的區域特征。傳統的特征融合方法通常基于兩個獨立的分支分別提取不同光譜特征,然后直接將它們合并在一起。然而,這些方法未能充分考慮不同光譜之間的相互關系,即不同光譜對同一目標的多方位表達,從而限制了目標特征的表達潛力。因此,本文提出了一個光照感知子網絡,以實現在不同光照條件下的自適應調整,并進一步提升多光譜行人檢測性能。

1.2 注意力機制

注意力機制最初在自然語言處理領域提出[17],由于其出色的性能,在計算機視覺領域得到了廣泛應用,包括圖像分類[18]、語義分割[19]、圖像捕捉[20]等任務。例如,壓縮與激勵網絡(SENet)[18]通過利用通道特征之間的相關性,重新校準通道特征圖;選擇性卷積網絡(SKNet)[21]設計了不同的卷積核來自適應地融合不同分支的輸入信息;通道注意力模塊(CBAM)[22]則依次計算了通道和空間維度的注意力圖,以自適應地完善特征。對于多光譜行人檢測,其中一個關鍵的挑戰是如何在兩種模態之間存在本質區別的情況下,充分利用兩種模態以及它們各自的特定噪聲。為此,本文提出一種交叉注意力特征提取網絡,結合注意力機制,充分利用多光譜的特異性特征。

2 基于光照注意感知的跨光譜融合行人檢測方法

本文提出的行人檢測網絡以一組可見光和紅外圖像對作為輸入,通過交叉注意力特征提取模塊來利用兩種光譜的潛在關系互相輔助地提取特征。同時本文設計了一個光照感知子網絡,基于光照的差異提取目標的光譜特性來進一步提高檢測的精度。總體架構如圖1所示。圖1中,Fri和Fti(i=1～5)分別表示可見光和紅外第i層的特征圖,Cri和Ctji分別表示經過交叉注意力模塊融合后的可見光和熱成像第i層的特征圖(圖中未顯示第5個交叉注意力模塊),wr和wt分別表示輸入圖像被預測屬于白天或黑夜的概率。下面詳細解釋具體的網絡結構。

2.1 交叉注意力特征提取網絡

在行人檢測中,提取并融合有效的可見與紅外光譜特征,對于準確性至關重要。然而,由于兩種光譜內都存在不可避免的特異性噪聲,直接融合會對特征質量產生極大影響。具體地,可見光噪聲是傳感器噪聲,由復雜的光照條件所產生,例如低照度下傳感器只能采集微弱的圖像;紅外噪聲是溫度噪聲,通常由復雜的溫度環境所產生,例如與周圍環境相似的物體容易與周圍環境混淆。為了抑制光譜特異性噪聲并充分利用光譜特征之間的內在關聯性,本文提出了交叉注意力特征提取模塊。通過聚合并提煉兩種光譜的共性特征,該模塊可以抑制特異性噪聲并重新校準單一光譜特征提取,如圖1灰色區域所示。

由于可見光與紅外傳感器的成像機制,光譜特異性噪聲多表現為與目標亮度或熱量近似的背景環境,即容易導致目標與背景的混淆。因此,在每階段特征提取的過程中,需要對兩種光譜的中間特征進行聚合與重新標定。為防止特異性噪聲干擾另一光譜特征的提取,需要在特征聚合之前過濾置信度較低的特征。在實際操作中,如圖1灰色區域所示,將輸入的可見光與紅外圖像表示Ri∈RH×W×2(H為圖像的高,W為圖像的寬)和Ti∈RH×W×1,每一階段的光譜提取特征為Fri∈RHi×Wi×Ci(i為任一階段的序號)和Fti∈RHi×Wi×Ci,其中Hi=H/(4*2i),Wi=W/(4*2i),Ci為第i階段特征的通道數。將每一階段的光譜提取特征輸入交叉注意力模塊fcross中,得到兩種光譜的去噪特征Cri∈RHi×Wi×Ci和Cti∈RHi×Wi×Ci。

交叉注意力模塊如圖2所示,其中fmlpr1、fmlpt1、fmlpr2、fmlpt2分別為可見與紅外特征的轉化函數,softmax為歸一化指數函數。將輸入的兩種光譜特征Fri和Fti進行拼接并重置尺寸得到Fci∈R2HiWiCi×1×1,分別通過兩個不同的多層感知機(MLP)層后得到兩種光譜的噪聲權重wri∈RHiWiCi×1×1和wti∈RHiWiCi×1×1,將其分別與輸入光譜特征Fri和Fti相乘,得到兩種光譜的去噪特征Vri∈RHi×Wi×Ci和Vti∈RHi×Wi×Ci,公式如下:

圖2 交叉注意力模塊架構圖

Fci=reshape(Fri⊕Fti)

(1)

(2)

(3)

式中:reshape(·)表示矩陣變換操作;⊕表示拼接操作;?表示通道維乘法。

將兩種去噪特征進行拼接,對拼接特征Vci∈RHi×Wi×2Ci分別輸入到3個不同對卷積層中,分別得到Q∈RHi×Wi×2Ci,K∈RHi×Wi×2Ci和V∈RHi×Wi×2Ci,經過注意力操作,得到最終的增強特征Cri∈RHi×Wi×Ci,Cti∈RHi×Wi×Ci,公式如下:

Vci=Vri⊕Vti

(4)

(5)

(6)

(7)

最終的公式可以表示為

Fr1,Ft1=fca(Ri,Ti)

(8)

Cri,Cti=fca(Fri,Fti)

(9)

式中:fca表示交叉注意力模塊。

2.2 光照感知子網絡

針對可見光和紅外光譜傳感器的光譜特性不同以及晝夜光照情況明顯差異的特點,本文提出一種基于光照強度加權子網絡的檢測模型優化方法,如圖1所示。該方法在模型中引入橘色區域所示的自適應調整模塊,實現了在不同光照條件下的魯棒性提升和檢測精度的提高。

在實際操作中,選取第一階段的光譜提取特征Fr1和Ft1作為輸入圖像。這兩個特征分別經過兩層卷積,得到新的特征Fr2和Ft2。然后,將這兩個特征拼接起來,并通過一個調整過的S型生長曲線(Sigmoid)函數進行加權平均,以獲得最終的輸入圖像被預測屬于白天或黑夜的概率。該Sigmoid函數的參數是可學習的,因此它可以適應白天或夜晚的不同情況。預測輸入圖像屬于白天或夜晚的權重的運算公式如下:

(10)

式中:wd和wn分別為輸入圖像被預測屬于白天或黑夜的概率;wt、wr分別為紅外特征和可見光特征的權重。

光照感知子網絡的損失函數為

(11)

2.3 檢測頭網絡

通過擴展經典的聚焦網絡(RetinaNet)[23]檢測頭結構,得到檢測頭網絡,其中包括兩個并行分支,分別為分類分支和回歸分支。兩個分支中設置了不同數量的模塊。分類分支上有兩個模塊,回歸分支上有4個模塊,每個模塊包含一個卷積層、一個批處理歸一化層和一個線性整流(ReLU)層。將兩種光譜的特征金字塔Fri和Fti作為輸入,將結果與光照感知權重分別相乘并求和,得到最終的檢測結果S,公式如下:

(12)

S=∑(Sri×wr+Sti×wt)

(13)

式中:Head(·)表示RetinaNet中的檢測頭網絡層。則總損失函數L為

L=λL1+Lcls+Lreg

(14)

式中:λ為常量0.1;Lcls和Lreg分別為分類分支和回歸分支的損失函數。

3 實驗與結果分析

3.1 實驗環境配置

3.1.1 參數設置

本文的檢測網絡通過擴展RetinaNet網絡[23],并利用其在ImageNet上預訓練模型的前5個卷積層和批歸一化層作為可見光與紅外圖像分支的初始參數。其余卷積層按正態分布初始化,取標準差為0.01,模型其他參數采用Xavier方法初始化。因為絕大多數行人目標都可以用垂直邊界框來表示,所以本文將長寬比設為1/1和1/2,尺度設為[20,21/3,22/3],尺寸設為40、80、160和240。在4個Nvidia GTX 1080Ti上訓練網絡,每個批次大小設定為8。使用隨機梯度下降(SGD)作為優化器,初始學習率為1×10-4,動量為0.9,權值衰減為5×10-4。在數據增強方面,將輸入圖像的大小調整為512×640,并使用隨機水平翻轉、隨機裁剪和馬賽克增強來增加多樣性。

3.1.2 評價指標

使用標準漏檢率(MR-2)作為評估指標,這是行人檢測任務中最常用的指標,分數越低表示性能越好。由于MR-2只關注高精度區域,它更適合于評估模型的應用部署能力。此外,為了更好地說明本文方法的性能,還遵循漏檢率乘每幀圖像的假陽性(FPPI)[15]的標準評價,采樣范圍為[10-2,100]。

3.2 檢測結果分析

3.2.1 數據集分析

1) KAIST多光譜行人數據集

KAIST多光譜行人數據集[6]由95 328個在不同光照條件下完全重疊的可見光和紅外圖像組成。提供的真值框包含1 182個實例中的103 128個行人邊界框?？紤]到訓練數據集中標注錯誤,遵循文獻[10]提供的標準準則,共使用25 076幀進行訓練。為了進行評估,使用文獻[24]重新標注的注釋,它包含2 252幀,其中白天1 455幀,夜間797幀,這是與近期相關工作進行公平比較的標準。此外,訓練時僅考慮身高超過50像素的行人。

2) CVC-14行人數據集

CVC-14行人數據集[25]是一個用立體相機配置拍攝的多光譜行人數據集。該數據集包含可見光(灰度)和熱成像配對的圖像,其中7 085幀和1 433幀用于訓練和測試集,并在每種模式下提供單獨的注釋。然而,該數據集的作者公布了裁剪后的圖像對,但沒有公布非重疊區域。因此,將這個數據集視為一個完全重疊的(成對的)數據集,但仍然受到像素級錯位問題的影響。使用與KAIST數據集相同的參數配置進行實驗,并利用在KAIST數據集上訓練得到的模型作為CVC-14數據集的預訓練模型進行微調。

3.2.2 實驗結果分析

1) KAIST多光譜行人數據集實驗結果分析

本文提出的光照感知跨光譜融合檢測網絡在KAIST行人檢測數據集上進行了評估和比較,與目前流行的8種多光譜行人檢測方法進行了對比。根據表1的數據,發現在KAIST數據集中,光照感知跨光譜融合檢測網絡表現最佳,綜合性能排名第一。除了總漏檢率、白天漏檢率和夜晚漏檢率外,還對其他6個評估指標進行了比較,包括近距離、中距離、遠距離、無遮擋、部分遮擋和重度遮擋。在9個評估子集中,光照感知跨光譜融合檢測網絡占據7個第1名的位置。例如,在夜間子集中,光照感知跨光譜融合檢測網絡(5.99%)的準確率高于第2名MBNet(7.86%)1.87%,表明光照感知跨光譜融合檢測網絡在夜晚場景下具有優異的表現。此外,由于傳感器與目標之間的距離變化會引起光照變化,光照感知子網絡的有效性使得本文網絡在不同距離下的漏檢率最低。同時,本文的網絡表現也在存在行人遮擋情況的所有子集中處于領先地位,證明了本文網絡對遮擋問題具有顯著的處理能力。交叉注意力特征提取網絡能夠有效篩選光譜特異性噪聲,從而避免行人遮擋對檢測結果的影響。每幀圖像錯誤檢測數量(FPPI)和MR-2的對數平均曲線如圖3所示。

表1 KAIST多光譜行人數據集[6]的所有9個子集的漏檢率比較

圖3 在KAIST數據集上與8種方法FPPI曲線比較結果

2) CVC-14行人數據集實驗結果分析

在CVC-14數據集的訓練中,對KAIST預訓練模型進行微調。為了評估配對條件下的魯棒性,在該數據集上與5種其他方法進行比較。如表2所示,本文的方法仍然取得了有競爭力的結果,證明了本文的模型具有魯棒性,能夠在現實問題中有效應對。

表2 CVC-14行人數據集[25]的漏檢率比較

3.2.3 可視化分析

如表3所示,本文提出的光照感知跨光譜融合檢測網絡在白天和夜晚,都取得了優秀的檢測表現。

表3 在KAIST數據集上的行人檢測結果

尤其是在光照條件較差或者行人目標遮擋嚴重的情況下,該網絡能夠準確地定位行人位置。相比其他多光譜行人檢測方法,在復雜場景中,本文的方法具有更低的漏檢率和誤檢率。

3.2.4 檢測速度分析

光照感知跨光譜融合檢測網絡與其他多光譜行人檢測方法的檢測速度比較如表4所示。與其他探測器相比,本文的網絡在相同漏檢率水平下仍有令人滿意的速度表現,可以看出本文提出的方法在平衡漏檢率和速度方面表現出色。

表4 檢測速度比較

3.2.5 消融實驗

1) 模塊有效性驗證

本節在KAIST多光譜行人檢測數據集上進行

了消融實驗,旨在展示光照感知跨光譜融合檢測網絡中本文提出的各個子網絡的有效性。具體地,在表5中,選擇以殘差網絡(ResNet50)為骨干網絡,采用雙分支獨立提取特征,并使用簡單拼接作為融合特征的檢測網絡作為基線網絡。值得注意的是,使用能夠過濾光譜特異性噪聲并利用光譜內在關聯增強單光譜特征提取能力的交叉注意力特征提取網絡進行特征提取,可以顯著地提高檢測性能。實驗結果表明,本文提出的兩個子網絡都能使基線網絡的檢測性能有所提升,從而證明了本文提出的兩個子網絡的有效性。

表5 模塊有效性驗證的消融實驗

2) 交叉注意力模塊數量驗證

為了進一步驗證交叉注意力模塊在光照感知跨光譜融合檢測網絡中的有效性,進行了表6所示實驗,研究不同數量的交叉注意力模塊對網絡性能的影響。將加入交叉注意力模塊的ResNet50骨干網與基線網絡進行比較,發現增加交叉注意力模塊并不能保證更低的失誤率(失誤率越低越好)。適當的跨光譜交流可以消除特定光譜的噪聲,但過多的層可能會導致特定光譜信息的丟失,從而進一步降低網絡性能。特別是當應用4個交叉注意力模塊時,性能達到8.83%,比基線網絡高出3.85%。

表6 交叉注意力模塊數量驗證的消融實驗

3) 交叉注意力模塊的定性驗證

表7中直觀的注意力圖,定性驗證了交叉注意力模塊的有效性。通過比較使用和不使用注意力機制得出的特征圖可視化結果,顯式地展現了兩者之間的差別。這一對比結果直觀地展示了本文提出的方法在光譜特異性噪聲消除的有效性。

表7 交叉注意力模塊在不同光照條件下的定性驗證

4 結論

本文討論了如何將具有本質差異的可見光和紅外圖像兩種光譜特征進行融合,以及如何消除模態特異性遮擋的問題;提出了一種新穎的、適應性好的光照感知跨模態特征融合網絡,通過注意力機制提取光譜內在特征并消除光譜特異性噪聲。同時,提出了一個光照感知子網絡,以自適應調整光譜特征權重,應對變化的光照條件。

本文方法通過整合混合引導注意模塊和關聯模態注意模塊,使網絡能夠抑制模態特定的遮擋特征,并學習多模態特征的自適應融合。實驗結果表明,本文提出的光照感知跨模態特征融合網絡在精度和速度上均優于其他8種檢測方法。下一步,希望能將此工作應用于多模態語義表達等領域。