基于圖卷積網絡的偏振圖像偽裝人員檢測方法研究

黃啟恒 王勇

摘要：針對偽裝人員檢測中顏色紋理相似、姿態復雜、局部遮擋嚴重和傳統偏振特征參量存在干擾等問題，提出一種基于圖卷積網絡的偏振圖像偽裝人員檢測算法。首先，將圖映射模塊、圖卷積模塊和圖逆映射模塊等構建圖卷積偏振信息提取網絡，提取四方向偏振圖像的偽裝人員全局偏振特征表示；然后，設計金字塔池化網絡融合多尺度偏振特征，并采用分類檢測網絡對偽裝人員識別檢測；最后，自建三類偽裝模式人員數據集進行檢測研究。實驗結果表明，所提算法的檢測精度相比于經典檢測算法都取得明顯的提升，有效改善偽裝人員檢測效果。

關鍵詞：目標檢測；偏振成像；深度學習；偏振特征；圖卷積網絡

中圖分類號：TP391.41? ?文獻標識碼：A

文章編號：1009-3044（2023）36-0004-05

開放科學（資源服務）標識碼（OSID）

0 引言

偽裝人員檢測是一項新興的計算機視覺任務，其目的是識別通過偽裝技術隱藏于背景環境中的人員，并定位其在圖像中的位置。隨著多種多樣的偽裝方式應用于軍事領域，具有偽裝模式的目標檢測難度逐步增加，近年來，雖然通用目標檢測算法[1]取得了優異的檢測效果，但是在偽裝目標檢測研究中仍然存在許多挑戰，主要包括偽裝目標與周圍環境之間的邊緣相融和顏色高度相似等困難。針對此類困難，本文將主要研究基于軍事偽裝模式的人員檢測算法。

當前的偽裝目標檢測算法[2-6]主要基于可見光RGB圖像提出的，這些檢測算法可大致分為兩類：基于手工設計特征的偽裝目標檢測算法[2-4]和基于深度學習特征的偽裝目標檢測算法[5-6]。其中，由于受到偽裝目標固有的紋理特征與環境背景存在巨大差異的啟發，一部分基于手工設計特征的檢測算法主要集中于提取紋理特征表示偽裝目標。例如，SONG等人[2]提出一種包括亮度、紋理方向和熵組成的偽裝紋理描述子，再通過特征的權值結構相似度來衡量偽裝紋理的性能。文獻[3]提取局部的灰度共生矩陣表示紋理特征，然后采用分水嶺分割算法檢測偽裝目標。另一部分基于手工設計特征的檢測算法[4]則是提取多尺度的顏色、強度和LBP算子特征表示偽裝目標與背景，再計算并融合局部與全局的顯著性圖來評估偽裝目標檢測的性能。隨著深度學習網絡展現出優異的性能，已有部分偽裝目標檢測算法采用卷積神經網絡[5-6]等實現偽裝目標的特征表示。

由于可見光RGB圖像中偽裝目標與背景的顏色、紋理信息差異度甚小的局限性，并且偽裝人員相比靜態偽裝目標存在姿態復雜、局部遮擋嚴重等問題，使得現有的偽裝目標檢測器難以獲取偽裝目標區分性的特征表示。為了準確地檢測偽裝人員，受偏振光能反映物體固有屬性的啟發，本文利用偏振圖像中偽裝人員與背景的差異性，提取偏振特征信息來增強偽裝人員與背景的可具區分性表示。雖然現有的偏振特征信息提取方法能利用斯托克斯（stokes）參量有效提取偏振度參量、偏振角參量表示目標，但是由于偽裝人員在復雜的背景環境中的偏振度與偏振角信息較弱，如圖1所示，采用偏振度與偏振角特征信息表示偽裝人員不能有效提升偽裝人員檢測正確率。因此，受圖卷積神經網絡具有處理圖結構數據優勢的啟發，本文提出一種基于圖卷積網絡的偏振圖像偽裝人員檢測算法，獲取四個方向（0°，45°，90°和135°）原始偏振圖像之間的弱耦合關系，彌補偏振度與偏振角特征信息在非正交方向信息的丟失，提取偽裝人員豐富的全局偏振特征信息表示，從而提高偽裝人員檢測正確率。

綜上所述，本文研究工作的主要貢獻有：1）針對偽裝人員與背景環境的顏色紋理相似、姿態復雜、局部遮擋等問題，本文提出了一種基于圖卷積偏振特征提取網絡的偽裝人員檢測算法，學習偽裝人員的全局偏振特征信息，增強偽裝人員與背景的特征差異，提高偽裝人員檢測精度。2）針對偽裝目標數據集當前只集中于基于可見光RGB圖像，本文構建了基于偏振圖像的三類偽裝模式人員數據集（Multicam數據集、Woodland數據集和ACU數據集）用于偏振信息提取與偽裝人員檢測的研究。3）本文算法在三個偽裝人員數據集上進行大量的驗證對比實驗，實驗結果表明，本文算法的檢測精度AP50（%）在Multicam數據集、Woodland數據集和ACU數據集上分別達到90.6%、93.7%、94.5%，均優于大部分經典的檢測算法。

1 相關工作

1.1 偏振成像傳感器

隨著納米制造技術的發展，分焦平面偏振成像技術近年來取得了進步。圖2展示本文所用彩色偏振成像傳感器的像素排布。與傳統的彩色成像傳感器相比，這類偏振傳感器具有四個不同方向（0°，45°，90°和135°）的微偏振片均勻排列在表面，允許不同像素同時接收各種調制的光強度。在同一濾光片下由四個偏振片組成的像素為超級像素。通過選擇超級像素中接收具有相同方向的偏振光的像素值，可以獲取不同方向偏振光的四個原始偏振光強度圖。超級像素以拜爾模式排列，因此可以通過傳統的RGGB插值算法對這四個原始圖像進行去馬賽克，以獲得0°，45°，90°和135°偏振方向的RGB強度圖，圖像大小為1024×1024。

1.2 線偏振光計算

使用偏振成像相機可以獲得四個方向（0°，45°，90°和135°）偏振光強度分量：[I0]、[I45]、[I90]、[I135]，從而能計算斯托克斯參量為：

[S0=12（I0+I45+I90+I135）S1=I0-I90S2=I45-I135S3=Ilh-Irh]? ? ? ? ? ? ? ? ? ? （1）

其中，[S0]表示總光強度，[S1]表示0°和90°相互正交的線偏振光強度分量，[S2]表示45°和135°相互正交的線偏振光強度分量，[S3]表示圓偏振光，[Ilh]是左旋偏振光，[Irh]是右旋偏振光，由于人造目標的圓偏振特性并不明顯，可忽略[7]。

利用[S0]、[S1]、[S2]三個參量可以計算提取偏振信息的兩個常用參考度量，分別是偏振度（DoLP）和偏振角（AoP）：

[DoLP=S21+S22S0AoP=12tan-1（S2S1）]? ? ? ? ? ? ? ? ? ? ? ? ? ?（2）

其中，偏振度（DoLP）用于表示線偏振光強度在總光強中的比例，而偏振角（AoP）描述的是最強光矢量振動的方向。偏振度圖像和偏振角圖像可以通過對四個不同偏振方向的光強圖像進行像素運算來獲得。

1.3 偽裝目標檢測

早期的偽裝目標檢測集中于檢測具有紋理、顏色、梯度和運動[8]視覺特征的偽裝目標。在實際應用中，單一的視覺特征不能完全準確地表示偽裝目標。因此，集成多種特征以提高檢測性能[9]。此外，貝葉斯框架已被用于視頻中的運動偽裝目標檢測[10]。盡管這些算法展現出一定的優勢，但依靠現有的手工設計的特征表示檢測方法在現實應用中往往會檢測失敗，因為它們只能在相對簡單環境背景中實現檢測。為此，采用了深度學習特征，并以端到端方式進行訓練的模型來實現準確的偽裝目標檢測。例如，YAN等人[11]提出了一種稱為MirrorNet的雙流網絡，用于具有原始圖像和翻轉圖像的偽裝目標檢測，其潛在的動機在于翻轉的圖像可以為偽裝目標檢測提供有價值的信息。LAMDOUAR等人[12]通過深度學習框架利用運動信息從視頻中識別偽裝目標，該框架由兩個模塊組成，即可微分配準模塊和運動分割模塊。LI等人[13]提出了一種具有相似性測量模塊的對抗性學習網絡，用于對矛盾信息進行建模，增強了檢測顯著目標和偽裝目標的能力。不同于現有的方法，本文算法將提出一種基于圖卷積網絡的偏振圖像偽裝人員檢測方法，提取偽裝人員全局偏振特征信息表示。

2 基于圖卷積網絡的偏振圖像偽裝人員檢測方法

2.1 方法總述

本文檢測算法基于Faster-RCNN檢測算法[14]提出的，如圖3所示。其中，有效提取偏振圖像中的偏振信息是提升偽裝人員檢測正確率的關鍵。受偏振信息能反映物體材質固有屬性的啟發，結合偽裝人員與背景環境偏振信息存在巨大差異，本文提出一種基于圖卷積網絡的偏振信息提取與檢測算法，利用圖卷積網絡學習全局偏振特征信息，提高偽裝人員檢測正確率。本文檢測框架主要包括圖卷積偏振信息提取網絡、金字塔池化模塊與檢測器。四方向的偏振圖像作為輸入，經過圖卷積偏振信息提取網絡提取增強的全局偏振特征，然后輸入金字塔池化模塊進行多尺度融合得到特征圖，最后將融合的特征圖輸入由候選預測邊框子網絡（RPN）和分類檢測子網絡（ROI）組成的檢測器中進行偽裝人員的分類與檢測。

2.2 圖卷積偏振信息提取網絡

如圖4所示，圖卷積偏振信息提取網絡主要由特征提取網絡、圖映射模塊、圖卷積網絡模塊、圖逆映射模塊和殘差網絡（ResNet50）[15]組成。

1）特征提取網絡

特征提取網絡由四層1×1的卷積塊組成，卷積塊由卷積層，批歸一化層（BN層）和非線性激活函數ReLU函數組成。卷積塊操作如式（3）所示：

[Fi=fconv（ReLU（BN（conv1×1（xi））））]? ? ? ? ? ? ? ? ? ?（3）

式中[fconv（?）]表示卷積塊完整運算，[xi]表示輸入圖像，[conv1×1（?）]是1×1卷積運算，[BN（?）]表示批歸一化運算，[ReLU（?）]是非線性函數，[Fi]表示經過卷積塊運算后的輸出特征向量。本文的特征提取網絡的輸出特征向量是第四層卷積塊的輸出特征向量與第一層、第二層、第三層卷積塊的輸出特征向量進行像素相加操作而得到的。給定輸入的四個方向的偏振圖像表示為[x0，45，90，135]，經過特征提取網絡后得到輸出向量[Fc]，其運算過程如式（4）所示：

[F1=fconv（ReLU（BN（conv1×1（x0，45，90，135））））F2=fconv（ReLU（BN（conv1×1（F1））））F3=fconv（ReLU（BN（conv1×1（F2））））F4=fconv（ReLU（BN（conv1×1（F3））））Fc=F1⊕F2⊕F3⊕F4]? ? ? ? ? ? ? ? （4）

式中[F1，F2，F3]分別表示第一層、第二層、第三層卷積塊的輸出特征向量。

2）圖映射模塊

圖映射模塊由一層1×1的卷積層和圖映射表示操作組成。給定輸入特征向量為[Fc∈Rh×w×c]；首先，采用1×1的卷積層將特征向量轉換成低維特征，表示為[Flc∈Rh×w×c]；然后，利用圖映射表示操作將特征向量轉換為圖節點嵌入表示[Vc∈Rc×k]。采用文獻[16]的策略，將圖映射表示操作參數化為[W∈Rk×c]和[Σ∈Rk×c]。其中參數[W]中的每一列[wk]表示第[k]個節點的可學習中心參數，具體來看，每個節點表示可通過式（5）計算：

[vk=v′kv′k2，v′k=1iqikiqik（fi-wk）/σk]? ? ? ?（5）

其中[σk]是參數[Σ]的列向量，[v′k]是特征向量[fi]與[wk]殘差值的加權平均。[vk]是第[k]個節點的表示，并且構成節點特征矩陣[V]的第[k]列。[qik]是特征向量[fi]到[wk]的軟分配，可以用下式計算：

[qik=exp（-（fi-wk）/σk22/2）jexp（-（fi-wk）/σk22/2）]? ? ? ? ? ?（6）

其中“/”表示逐位相除。圖鄰接矩陣是通過測量類內節點表示之間的親和度來計算的：[Αintra=fnorm（VΤ×V）∈Rk×k]，其中[fnorm]表示歸一化運算。

3）圖卷積網絡模塊

本文將[Vc]輸入圖卷積網絡模塊中進行圖內推理來增強圖表示，從而得到偽裝人員的偏振特征表示。圖卷積運算[fgc]的實現與文獻[16]中相似：

[V′c=fgc（Vc）=g（AintracVcWc）∈Rc×k]? ? ? ? ? ? ? ? ? ? （7）

其中[g（?）]是非線性激活函數，[Wc]是圖卷積層可學習的參數，和[Aintrac]表示[Vc]圖鄰接矩陣。

4）圖逆映射模塊

為了把增強后的偏振信息圖表示映射回原始空間中，本文將重新訪問圖映射模塊步驟中的分配值。具體來看，假定基于偏振圖像偽裝人員特征表示的分配矩陣為[Qc=qkcK-1k=0]，其中[qkc=qic（h×w）-1i=0]。圖逆映射運算可以定義為式（8）：

[Fc=QcVΤc+Flc，Qc∈R（h×w）×k]? ? ? ? ? ? ? ? ? ? ?（8）

其中[Fc]表示的是增強后偽裝人員的偏振特征信息。最后，將[Fc]輸入ResNet50網絡中提取四個不同尺度的特征向量[F1c，F2c，F3c，F4c]。

2.3 金字塔池化模塊

金字塔池化模塊主要進行不同尺度特征向量的提取，從而克服偽裝人員姿態復雜的問題。在金字塔網絡（FPN）[14]的基礎上，本文設計了一種金字塔池化模塊，主要由四個自適應池化分支組成，如圖5所示。金字塔池化模塊的輸入向量為[F1c，F2c，F3c，F4c]，經過自適應池化操作[Avepool（?）]后，再分別經過1×1卷積層運算[conv1×1（?）]后得到特征向量，如式（9）所示：

[Fp1=conv1×1（Avepool（F1c））Fp2=conv1×1（Avepool（F2c））Fp3=conv1×1（Avepool（F3c））Fp4=conv1×1（Avepool（F4c））]? ? ? ? ? ? ? ? ? ? ? ? （9）

最后，輸入金字塔網絡中進行多尺度特征圖的融合，具體來說，使用上采樣操作將較高層級的特征圖進行插值得到與相應低層級特征圖尺寸相匹配的特征圖，然后通過逐元素相加的方式將它們進行融合。

3 實驗分析

為了驗證本文算法檢測偽裝人員的準確率，本文構建了三個基于偏振圖像的偽裝人員數據集，并與目前大部分檢測算法進行大量的對比實驗。同時，對圖卷積網絡提取偏振信息的有效性進行驗證實驗。

3.1 實驗設置

1）數據集

基于偏振圖像的偽裝人員數據集共由3類偽裝模式、4712張偏振圖像組成，其中可劃分為1 506張圖像的Woodland偽裝人員數據集（Woodland）、1 706張圖像的ACU偽裝人員數據集（ACU）和1 500張圖像的Multicam偽裝人員數據集（Multicam）。數據集中的偏振圖像由分焦平面彩色偏振相機（LUCID TRI050S-QC）采集得到，采用偏振圖像去馬賽克處理算法將原始偏振圖像處理為四個方向偏振圖像（0°，45°，90°，135°）。數據集中偽裝場景主要包括樹林、林地和灌木林等，季節包括春季、夏季和冬季等，偽裝人員姿態復雜多變，部分遮擋場景較多，檢測難度較大。訓練集與測試集按照9：1比例劃分，訓練集由4 242張偏振圖像組成，測試集由470張偏振圖像組成。采集得到的原始偏振圖像大小為2 048×2 048。

2）參數部署

本文所提算法基于Pytorch框架進行訓練，調整訓練階段網絡的輸入圖像（resize）寬高為640×640，訓練最大迭代輪次（epoch）為100，初始學習率設置為0.001，每次迭代數量為16，訓練時優化方法選擇隨機梯度下降法（SGD），在搭載8塊NVIDIA GTX 1080Ti的服務器上訓練本文所提出的網絡模型時長約18小時。

3）評價準則

本文采用檢測精度AP來評價模型算法，其表示偽裝人員的檢測正確率。檢測精度AP由精確率和召回率計算，精確率[P]計算公式為：

[P=TPTP+FP]? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（8）

召回率[R]計算公式為：

[R=TPTP+FN]? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（9）

其中TP表示被正確地預測為偽裝人員的個數，FP表示被正確地預測為非偽裝人員的個數，FN表示被錯誤地預測為非偽裝人員的個數。而檢測精度AP則為：

[AP=1μr∈μpin（r）]? ? ? ? ? ? ? ? ? ? ? ? ? （10）

式中，[μ]表示給定召回率[R]的個數，[pin（r）]表示大于給定召回率在所有召回率中對應的最大精確率。

3.2 對比實驗分析

為了驗證本文所提算法的偽裝人員檢測正確率，將本文算法與現有的經典目標檢測算法RetinaNet[17]、YOLOv5[18]、Faster R-CNN[14]和DERT[19]在Woodland數據集、ACU數據集和Multicam數據集上進行對比實驗。實驗結果如表1和圖6所示，表中為檢測精度AP（%）、AP50（%）和AP75（%），加粗數據為每一列中的檢測精度的最高值；圖6中紅色邊框表示在三個數據集上偽裝人員的檢測結果（為了便于讀者閱讀，本文將偏振圖像轉化為RGB圖像進行展示檢測結果）。

從表1中可以看出，本文算法的檢測精度AP（%）、AP50（%）和AP75（%）在三個數據集上均高于四種經典目標檢測算法檢測精度，其中，本文算法檢測精度AP（%）在Multicam數據集、Woodland數據集和ACU數據集分別高于DERT算法0.9%、4.1%和9.2%。雖然這四種算法在通用目標檢測精度較好，但是由于偽裝人員的顏色、紋理信息高度相似性，很難提取偽裝人員的可區分性特征表示，導致偽裝人員檢測精度不高。而本文算法將基于偏振圖像提取偽裝人員的差異性偏振特征，有效提升檢測精度。

3.3 消融實驗分析

為了驗證圖卷積網絡學習偏振圖像中偽裝人員的全局偏振信息的效果，將本文的圖卷積偏振信息提取網絡與傳統的偏振特征偏振度、偏振角等進行驗證對比實驗。如表2所示，表中第二行表示是將偏振度圖（DoLP）、偏振角圖（AoP）與總強度圖（[S0]）組合作為檢測器的輸入進行實驗的檢測精度AP（%）、AP50（%）和AP75（%）的結果。第三行是將斯托克斯參量[S0]、[S1]和[S2]組合作為檢測器的輸入進行實驗的檢測精度結果。第四行是沒有采用圖卷積網絡提取偏振特征，而是利用卷積神經網絡ResNet[15]提取偏振特征后進行偽裝人員檢測的精度結果。

從表中可以看出，本文算法的檢測精度AP（%）、AP50（%）和AP75（%）均高于傳統偏振特征參量圖像組合和斯托克斯參量圖像組合，同時，也優于利用卷積神經網絡ResNet[15]提取偏振特征的檢測精度。實驗結果表明，本文算法中的圖卷積網絡能有效利用非正交方向的偏振特性之間關系，學習獲得偽裝人員與背景的差異性特征表示，從而有效提高檢測精度。

4 結束語

為了解決和克服偽裝人員顏色紋理相似、姿態復雜、局部遮擋嚴重，以及傳統偏振特征參量在偽裝模式下的干擾性等問題，本文提出一種基于圖卷積網絡的偏振圖像偽裝人員檢測算法架構，該架構主要包括圖卷積偏振信息提取網絡、金字塔池化網絡和檢測器三部分組成。利用圖卷積網絡學習偏振圖像中的全局偏振特征表示，增強偽裝人員與背景的差異性信息。構建了三類偽裝模式的自建偽裝人員數據集，通過大量實驗表明，本文所提算法檢測精度均優于現有的經典檢測算法，有效提升偽裝人員檢測的正確率。

本文僅針對偽裝人員檢測進行了實驗驗證，在其他偽裝模式和偽裝目標中還應繼續研究。后續基于偏振圖像的偽裝人員檢測研究工作還將進一步探索更多偽裝模式下的偏振特性表示，對于算法模式的魯棒性與泛化能力還將繼續研究提升。

參考文獻：

[1] 史宇.利用深度學習進行目標檢測[J].電腦知識與技術，2022，18（24）：88-90.

[2] SONG L M，GENG W D.A new camouflage texture evaluation method based on WSSIM and nature image features[C]//2010 International Conference on Multimedia Technology.Ningbo，China.IEEE，2010：1-4.

[3] BHAJANTRI N U，NAGABHUSHAN P.Camouflage defect identification：a novel approach[C]//9th International Conference on Information Technology （ICIT'06）.Bhubaneswar，India.IEEE，2006：145-148.

[4] XUE F，CUI G Y，HONG R C，et al.Camouflage texture evaluation using a saliency map[J].Multimedia Systems，2015，21（2）：169-175.

[5] LE T N，NGUYEN T V，NIE Z L，et al.Anabranch network for camouflaged object segmentation[J].Computer Vision and Image Understanding，2019，184：45-56.

[6] FAN D P，JI G P，SUN G L，et al.Camouflaged object detection[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.Seattle，WA，USA.IEEE，2020：2774-2784.

[7] 曾恒亮，張孟偉，劉征，等.利用偏振特性因子的偏振成像目標探測實驗[J].光電工程，2016，43（2）：22-26.

[8] MONDAL A.Camouflaged object detection and tracking：a survey[J].International Journal of Image and Graphics，2020，20（4）：2050028.

[9] JIANG Z H.Object modelling and tracking in videos via multidimensional features[J].ISRN Signal Processing，2011，2011：173176.

[10] ZHANG X，ZHU C，WANG S，et al.A Bayesian approach to camouflaged moving object detection[J].IEEE Transactions on Circuits and Systems for Video Technology，2017，27（9）：2001-2013.

[11] ZHANG L，DAI J，LU H C，et al.A Bi-directional message passing model for salient object detection[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City，UT，USA.IEEE，2018：1741-1750.

[12] LAMDOUAR H，YANG C，XIE W D，et al.Betrayed by motion：camouflaged object discovery via motion segmentation[C]//Proceedings of the Asian Conference on Computer Vision，2020.

[13] LI A X，ZHANG J，LV Y Q，et al.Uncertainty-aware joint salient object and camouflaged object detection[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.Nashville，TN，USA.IEEE，2021：10066-10076.

[14] REN S Q，HE K M，GIRSHICK R，et al.Faster R-CNN：towards real-time object detection with region proposal networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（6）：1137-1149.

[15] HE K M，ZHANG X Y，REN S Q，et al.Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Las Vegas，NV，USA.IEEE，2016：770-778.

[16] KIPF T N，WELLING M.Semi-supervised classification with graph convolutional networks[EB/OL].[2022-10-20].https：//arxiv.org/abs/1609.02907.

[17] LIN T Y，GOYAL P，GIRSHICK R，et al.Focal loss for dense object detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2020，42（2）：318-327.

[18] 王楊，曹鐵勇，楊吉斌，等.基于YOLO v5算法的迷彩偽裝目標檢測技術研究[J].計算機科學，2021，48（10）：226-232.

[19] SIRISHA M，SUDHA S V.TOD-Net：an end-to-end transformer-based object detection network[J].Computers and Electrical Engineering，2023，108：108695.

【通聯編輯：謝媛媛】