基于被動毫米波圖像與光學圖像的人體隱匿物檢測

張露，龐蕾，苗俊剛

(1.北京建筑大學 測繪與城市空間信息學院，北京 100044；2.北京航空航天大學 電子信息工程學院，北京 100191)

0 引言

由于世界各地恐怖暴力事件的頻發，人們對公共場所的安全問題倍加關注。毫米波(millimeter-wave，MMW)由于其杰出的輻射特性被廣泛應用于人體安檢領域[1-5]。它對金屬具有較高反射率[6]，在穿過衣物等紡織品時能量衰減非常低，因此可以用于隱匿物的檢測。被動毫米波(passive millimeter-wave，PMMW)成像系統無需向人體發射電磁波，通過捕獲物體輻射的熱噪聲成像[7-8]，不會產生有害人體的電離輻射。目前使用的被動毫米波安檢系統需要受試者合作收集靜態單幀圖像以進行人體隱匿物檢測[9-11]，但單幀圖像提供的信息有限且無法滿足實時的要求。因此，研究人員開發了陣列式PMMW實時成像系統，極大地提高了成像速度和圖像質量。

根據PMMW成像的特點與方式，人體隱匿物檢測系統主要包括圖像預處理和目標與背景分割兩個方面。在圖像預處理方面，單幀PMMW圖像包含信息有限，研究人員通常利用圖像融合等方法增加圖像中包含的信息量、提高檢測結果與實際的相符度。例如多張相關毫米波圖像融合、特征融合、光學或紅外圖像和毫米波圖像融合[12-17]。其中，多張相關毫米波圖像融合雖然能增加隱匿物的信息量，但由于圖像分辨率低，無法精確判定隱匿物所在的人體位置；特征融合雖然計算量小，但檢測結果準確性不足；紅外圖像與毫米波圖像融合，雖然能獲得較高的圖像分辨率，但視覺效果不佳。在目標與背景分割方面，Yeom等[18]對PMMW圖像的隱匿物與背景進行了有效的分割，成功檢測出隱匿物；趙書占等[19]將遺傳算法與Otsu結合求解最優分割閾值，實現了被動毫米波影像中人體隱匿物和檢測背景的分割；杜琨等[20]采用人體區域分割與形態學結合的方法對毫米波圖像中的隱匿物進行了有效的檢測和提取。這些算法的成功實現有助于PMMW序列影像人體隱匿物檢測方法的研究。

綜上，研究人員目前主要針對單幀PMMW圖像中信噪比低、空間分辨率低、對比度低的問題提出了檢測算法，但針對序列影像的人體隱匿物檢測算法較少。并且，由于PMMW成像系統獲得的圖像分辨率較低，安檢人員無法在圖像上準確識別出隱匿物的位置，影響了安檢效率。基于上述問題，本文研究了序列PMMW圖像的人體隱匿物自動檢測方法，并在此基礎上探討了PMMW圖像與光學圖像的融合方法。

1 基本原理

1.1 被動毫米波成像原理

PMMW成像系統無需對目標物發射電磁波，通過探測場景、隱匿物與人體輻射亮溫的差異成像。它主要由天線、輻射計接收器、伺服控制裝置、信號處理器和顯示控制裝置組成。當成像系統工作時，天線接收輻射目標的毫米波輻射能量，通過輻射計接收器和信號處理器轉換并處理目標的毫米波輻射亮溫，然后將其發送到顯示器和控制設備存儲并顯示相應的毫米波圖像。

1.2 相關系數法

影像的相關程度可通過影像相關系數來定量表示。相關系數越大表示兩個影像相似度越大，即場景中的目標和背景的輻射相對越穩定。

1.3 圖像配準與圖像融合原理

1)圖像配準。圖像配準主要使用基于特征的方法，步驟為關鍵點檢測和特征描述、特征匹配、圖像變換。

2)小波融合。小波變換是一種基于頻率的圖像變換方法，其重新構建的能力較為完善。它能夠對原始圖像進行分解，得到一系列頻域特性和空間分辨率不同的子圖像，使原始圖像的細節特征和局部變化得以充分反應。其中，離散小波變換(discrete wavelet transform，DWT)[21]應用最為廣泛。

3)YIQ變換。YIQ色彩空間中，飽和度Q和色調I包含圖像色彩信息，而亮度Y則包含圖像的灰度信息。

YIQ顏色空間能夠將圖像中的亮度分量Y單獨提取存儲起來，并且YIQ與RGB色彩空間之間滿足線性變換，聚類特性好且數據量不大便于計算，即使是光照強度不斷變化的場合也能夠適應。所以，YIQ變換用于處理彩色圖像可以獲得較好的效果，能夠在復雜運動背景下采集目標物信息。

從RGB到YIQ的轉換關系如式(3)所示。

(1)

2 基于被動毫米波圖像與光學圖像的人體隱匿物檢測方法

2.1 基于被動毫米波圖像的人體隱匿物特征提取

復雜的成像環境和硬件設備的限制使得單幀被動毫米波影像質量較低，僅依靠單幀影像進行檢測有時會出現漏檢或誤檢隱匿物的情況。針對這一缺陷，本文采用同一場景的多幀影像提升信息量，并提出基于小波融合的多幀PMMW影像人體隱匿物檢測算法進行檢測。

被動毫米波人體隱藏物體檢測的步驟如下。

1)獲取數據。利用8 mm波段的PMMW實時成像人體安檢儀進行實驗，采集模擬的安檢序列影像。使用相關系數法選取兩幅最優相關影像。

2)對篩選出的被動毫米波影像進行小波融合。

3)對圖像進行濾波處理以去除噪聲。本文分別嘗試了利用3×3的均值濾波算子和高斯濾波算子對融合后的圖像進行去噪處理，對比分析后選取對被動毫米波圖像去噪效果較好的方法。

4)對去噪后的圖像進行閾值分割和邊緣檢測，獲得隱匿物特征圖像和人體與隱匿物輪廓圖。本文通過Canny算子實現隱匿物的邊緣檢測。

2.2 隱匿物特征圖像與光學圖像融合

PMMW圖像的低分辨率會導致人體輪廓有缺失，從而無法確定隱匿物在人體中的確切位置。因此，本文將檢測得到的隱匿物特征圖像與光學圖像進行配準與融合，以便安檢人員獲得更好的視覺效果，提升安檢速度及準確度。光學圖像與隱匿物特征圖像融合步驟如下。

1)對光學圖像進行YIQ變換，提取其灰色分量并存儲顏色信息。

2)將隱匿物特征圖像和光學圖像進行配準并調整為相同分辨率。

3)光學圖像灰度分量與隱匿物特征圖像融合。

4)融合后的隱匿物圖像與存儲的光學圖像顏色信息進行YIQ逆變換，得到假彩色隱匿物融合圖像。

2.3 技術流程

本文基于光學與毫米波圖像融合的人體隱匿物檢測總體技術流程如圖1所示。首先，輸入光學和毫米波原始影像數據，對毫米波影像進行相應的預處理(包括融合和去噪)；然后，對融合數據進行分割處理和邊緣檢測，得到隱匿物結果。對光學影像進行YIQ分解得到其灰度分量。光學圖像灰度分量作為參考圖像，將提取的隱匿物特征圖像與之配準。配準后將兩圖像融合，進行YIQ逆變換，最終獲取隱匿物在人體光學圖像的顯示和定位。

圖1 人體隱匿物檢測流程圖

3 實驗與結果分析

3.1 實驗數據

實驗數據是由8 mm波段的PMMW實時成像人體安檢儀采集到的模擬安檢圖像和相應的光學圖像。部分實驗數據如圖2所示。實驗中衣物遮擋的違禁品(隱匿物)是一個金屬手槍模型，如圖2(e)所示。

圖2 部分PMMW圖像與違禁品樣例

3.2 實驗結果分析

以相關系數為篩選指標，計算各影像間的相關系數，從序列PMMW圖像中選擇最相關的兩幀毫米波圖像。部分影像間相關系數如表1所示。

表1 部分毫米波影像間相關系數

因此，選擇相關系數r(圖像1，圖像2)=0.975 3的被動毫米波圖像即圖2(a)和圖2(b)進行融合。

將篩選出的兩幀影像進行小波變換，在頻率域中，被動毫米波圖像融合規則如式(2)所示。

c=a×(c1+c2)

(2)

式中：c1和c2分別為兩幀原始毫米波圖像；c為融合后的圖像頻率；a為一個小于1的系數，其值將影響融合后圖像隱匿物特征的檢測效果。通過實驗得出，被動毫米波圖像融合中，當a=0.7時，隱匿物特征提取效果最好。

融合結果如圖3(a)所示。通過與融合前圖像(圖2(a)，圖2(b))對比可以得出，融合后的被動毫米波圖像較好地保留了隱匿物的細節信息的同時也增強了隱匿物的信息量，這樣的融合處理更有利于后期毫米波圖像隱匿物的檢測。均值濾波和高斯濾波的結果分別如圖3(b)和圖3(c)所示。對比分析圖3(a)可以發現，兩種濾波方法都能在一定程度上抑制噪聲信息。相比之下，高斯濾波不僅能較好地去除被動毫米波圖像的噪聲，同時也較好地降低了隱匿物信息的抑制作用。此外，高斯濾波后得到的邊緣檢測圖像相比于均值濾波后得到的邊緣檢測圖像更為平滑。因此，本文最終選取高斯濾波濾除被動毫米波影像的噪聲。

對去噪后的PMMW圖像進行閾值分割、二值化。本文采用自適應閾值分割方法，自適應閾值=0.631 4，分割結果如圖3(d)所示，其中白色部分表示隱匿物，黑色部分表示人體。Canny算子對檢測目標輪廓較為敏感，采用Canny算子邊緣檢測的結果在圖3(e)中示出。該方法可以較好地自動檢測PMMW圖像中的隱匿物和人體輪廓，但對于檢測隱匿物的實際形狀還有待改善。

被動毫米波圖像分辨率低，圖像模糊，無法確定隱匿物在人體的具體位置。因此，將隱匿物特征圖像圖3(d)與對應的光學圖像圖2(d)融合，實現隱匿物在人體的精確定位。

圖3 PMMW圖像隱匿物特征提取檢測

由于光學圖與PMMW圖像具有不同的信息通道數，光學影像具有RGB三個通道，而毫米波圖像為單通道。因此，本文采用YIQ方法分解光學圖像，得到灰度分量的同時存儲了顏色信息，原始光學圖像及其灰度分量分別如圖4(a)和圖4(b)所示。通過對比可以看出，該方法較好地分離了光學圖像的灰度分量，較完善地保留了圖像的顏色信息。光學圖像灰度分量作為參考圖像，將提取的隱匿物特征圖像與之配準。將配準后兩幀影像采用小波變換的方法融合。在頻率域中，光學圖像灰度分量與隱匿物特征圖像融合規則如式(3)所示。

c=a×(b×c1+c2)

(3)

式中：c1為隱匿物特征圖像；c2為光學圖像；c為融合后的圖像頻率；a、b均為小于1的系數。通過實驗得出，當a=0.9，b=0.2時，融合后圖像人體信息保留更加完整，隱匿物位置更加明確。

融合結果如圖4(c)所示。圖4(d)是在YIQ逆變換之后獲得的融合的假彩色圖像，與原始的PMMW圖像對比可以看出，融合后的假彩色圖像較好地保留了光學影像豐富的人體信息，同時獲取了隱匿物的位置信息，有利于安檢人員更準確地判斷隱匿物所在的人體位置。

圖4 隱匿物PMMW圖像與光學圖像融合過程及結果

提取隱匿物特征圖像及光學圖像與隱匿物特征圖像融合所用時間如表2所示。

由表可知，兩幀原始PMMW圖像與對應的光學圖像檢測人體隱匿物共耗時1.923 s，基本滿足被動毫米波安檢儀器2～3 s/人的檢測需求。

4 結束語

本文研究了基于被動毫米波圖像與光學圖像的人體隱匿物檢測方法。被動毫米波圖像分辨率低，包含信息量少，視覺效果較差，因此，本文提出了一種將相關系數和小波融合相結合提取序列PMMW圖像中的人體隱匿物特征，利用YIQ變換與融合規則融合隱匿物特征圖像與光學圖像，進而實現人體隱匿物檢測的方法。實驗結果表明，該方法可以有效地檢測出被動毫米波圖像中隱匿物，解決了無法準確定位隱匿物所在人體位置的問題，提高了安檢效率。