近場毫米波三維成像與異物檢測方法

師 君 闕鈺佳 周澤南 周遠遠 張曉玲 孫銘芳

(電子科技大學信息與通信學院 成都 611731)

1 引言

近年來，對于人口流動性大以及人員密集區域，如車站，機場，海關等，如何有效地預防恐怖襲擊事件顯得尤其重要。穿透衣物、包裹發現隱藏的危險物品是安檢成像中的關鍵因素和難點，包括成像時間、清晰度、識別違規物品的準確率等都是安檢系統中的重要指標。傳統安檢安防手段，如X射線，存在電離輻射的風險，長期暴露在X射線下對于人體有相當大的危害[1]。而手持掃描探測器、安檢門則存在穿透性、準確性的問題。相比之下，高頻微波，如毫米波、太赫茲具備良好的安全性和穿透性，能夠對隱匿的可疑危險物品進行較為清晰地成像且對人體健康性危害較小，已經逐漸成為最主流的人體安檢成像方式[2]。毫米波成像安檢系統由于具備分辨率適中、成像清晰度和對比度合適、對人體影響較小等特點，成為具有極大潛力的新一代人體安檢系統，近些年以近場毫米波3維成像為代表的主動式毫米波安檢成像技術得到了高速發展[3–5]。

根據系統工作模式以及原理上的區別，毫米波成像又分為主動式毫米波成像和被動式毫米波成像系統。主動式毫米波成像系統通過布置收發陣元，發射電磁波信號到目標場景，并接收目標反射的回波信號，最后結合成像算法對目標場景進行3維重建，進而獲取較高精度的成像場景。主動式成像系統具備受環境因素影響小、能獲取豐富的3維場景成像信息、成像分辨率高等特點[6]，成為安檢成像技術研究的重要方向。主動式毫米波安檢成像算法主要包括后向投影(Back Projection,BP)算法以及距離多普勒(Range Doppler,RD)算法等。

在刀、槍等異物檢測方面，由于毫米波安檢成像質量受到系統指標、隱私等方面的約束，無法或不宜獲得過于高清晰度的圖像，如何從安檢圖像中檢測敏感目標成為毫米波安檢系統的關鍵問題。傳統檢測方法通過在圖像中提取特征(如，方向梯度直方圖(Histogram of Oriented Gradient,HOG)[7]、局部二值模式(Local Binary Patterns,LBP)[8]、Harr特征[9]等)并結合Adaboost、支持向量機(Support Vector Machine,SVM)等分類器進行異物檢測[10]。這些技術需要對毫米波圖像特點有較深的分析，且算法的通用性較差，當成像質量較差時尤其明顯。深度卷積神經網絡是目前圖像識別和檢測技術中的熱點技術，該技術通過大量樣本訓練，自動尋找圖像中的特征，并進行識別，具有算法通用性好、開發靈活等優點。

自從AlexNet[11]，VGG[12]等深度卷積神經網絡在圖片識別任務取得優異成績之后，卷積神經網絡開始廣泛應用在目標檢測算法中[13–17]。Girshick等人[15]提出了區域卷積網絡(Regional Convolutional Neural Network,RCNN)算法，先用選擇性搜索方法(selective search)提取候選區域，然后使用卷積神經網絡對候選區域進行特征提取，提取的特征由分類器進行分類，并通過邊框回歸(box regression)得到目標位置。文獻[14]在快速區域卷積網絡(Fast RCNN)[13]的基礎上提出了區域生成網絡(Region Proposal Network,RPN)，通過交替訓練的方式，該網絡可以與Fast RCNN共享網絡參數，提高了訓練效率，節省了訓練成本，檢測準確率也得到了進一步的提升。為了進一步減少提取候選框時間損耗，提高檢測速度，YOLO(You Only Look Once)算法[16]直接對待檢測(大)圖的特征圖進行邊框回歸，用單個神經網絡結構同時實現對輸入圖像中目標的位置和分類的預測。

針對近場毫米波3維成像與異物檢測中存在的問題，本文主要討論了基于BP算法的近場毫米波3維成像系統以及基于深度卷積網絡的異物檢測技術。第2節主要介紹了近場毫米波3維成像系統結構和信號模型，第3節討論了基于熱圖和YOLO算法的異物檢測方法，最后在第4節通過實測數據處理對本文所使用的方法進行驗證和性能分析。

2 近場毫米波3維成像介紹

2.1 工作模式

原理上，近場毫米波安檢系統通過控制線陣運動合成大尺寸天線獲得微波圖像。但在實現過程中，受到成本等方面的制約，具體的系統結構有所不同，主要分為垂直掃描模式和圓周掃描模式如圖1所示。

垂直掃描模式中，其線性陣元沿水平方向布設并以一定的速度往下掃描，分別經歷勻加速，勻速以及勻減速運動的過程，同時發射陣元通過一定的脈沖重復頻率發射線性調頻信號并由接收陣元負責接收場景中的人體反射回波信號，經過一個完整的合成孔徑時間，也即完成了一次對目標場景回波的采集工作，進而對目標回波信號實現基于3維BP成像算法便可對目標人體進行3維成像。通過在安檢儀的兩面各分別安置帶有線性陣列的掃描架，這樣便可以在一次掃描的過程中分別實現人體前、后兩面的成像圖。

圓柱掃描模式下，線性陣元沿垂直方向布設，通過控制該天線圍繞圓心做水平旋轉，合成圓柱形的陣列天線面[18]。與垂直掃描模式相比，該模式能夠實現對人體水平面內360°范圍內的等分辨率成像，且不存在人體側面無法照射的情況，整體性能優于垂直掃描模式。但垂直陣列尺寸一般遠長于水平陣列，因此該系統成本也相對較高。為了降低成本，在天線陣列設計時，可采用多入多出(Multiple-Input Multiple-Output,MIMO)技術，通過MIMO、單發多收(Single-Input Multiple-Output,SIMO)等設計降低系統成本。

2.2 回波信號模型

無論其具體工作模式，近場毫米波3維成像安檢系統信號模型相同，下面以垂直掃描模式為例進行推導。此時，水平布置天線陣列的掃描架平臺沿著x方向分別經歷勻加速、勻速以及勻減速運動的方式向下運動并對人體全身進行掃描，天線陣列水平安置在掃描架上且平行于y軸，其中，x為方位向即掃描架運動方向，y為陣列方向即天線布置的水平方向，z為距離向即檢測人體到掃描面陣的垂直距離。

對于近場毫米波3維成像系統，一般需要較大的信號帶寬，如3 GHz，采用匹配濾波技術難以實現，一般采用去斜率處理進行距離壓縮。假設近場毫米波3維成像系統發射陣元發射的線性調頻信號(Linear Frequency Modulation,LFM)為

其中，第1項對應運動合成的陣列天線，第2項為距離延遲對應的單頻信號，第3項為殘留相位，由于近場成像中距離的數值遠小于光速的數值，此項可以忽略(假設系統工作在Ka波段，最遠作用距離R=0.5 m，調頻斜率為殘留項產生的最大相位偏差為，遠小于Ka波段波長的1/8，故可忽略)。

從近場毫米波3維成像模型可以看出，與傳統SAR成像相比，近場3維成像系統等效陣列結構更為復雜，可能為2維平面陣列、圓柱陣列等，增加了信號處理難度。成像過程中，當聚焦深度大于一定值后會導致較嚴重的散焦現象，而安檢成像中人體的厚度較寬，這些因素都會導致回波處理和較高精度成像的困難。從系統角度考慮，還可能存在不同陣元接收回波串擾問題，且回波信號需要補償通道誤差，進一步增加了成像處理難度。

2.3 2維投影圖

對于近場3維成像而言，成像算法主要分為頻域成像算法和時域成像算法。兩類成像算法都在2維成像基礎上擴展到3維空間，其中典型近場3維成像算法有3維距離-多普勒算法以及3維后向投影算法。

后向投影算法是典型時域成像算法，通過對同一目標場景像素點距離壓縮后的回波進行多普勒相位補償以及相干累加得到該像素點后向散射系數，進而實現聚焦成像，詳細流程可參閱文獻[19]。

對于近場安檢成像應用，采用BP算法遍歷3維成像場景，即可得到目標區域的3維圖像。為了更好地呈現結果，需要將該3維圖像沿距離方向進行投影，得到符合人眼視覺的2維圖像。最典型的方法為“最大值投影法”。該方法遍歷方位向和陣列向，選擇距離向所有目標像素值中最大的點作為2維投影圖像對應點的像素值。如圖2所示為最大值投影后經過質量優化的成像圖，其中成像的垂直和水平方向分別對應方位向和陣列方向，且后續章節中所有成像結果橫縱坐標軸含義與該圖相同，所以不再贅述。假設3維空間每個場景點對應像素值函數為，則最大值投影至2維圖像的公式為

其中，g(x，y)為2維投影圖像，z表示距離向。

圖2 2維成像結果Fig.2 The 2D imaging result

3 基于深度神經網絡的目標檢測

3.1 卷積網絡

卷積神經網絡(Convolutional Neural Networks,CNN)屬于前饋神經網絡，通過權值共享和局部感受野的概念，將卷積運算引入到網絡結構中，在顯著擴展網絡結構的條件下，很好地控制了網絡參數維度，在圖像分類識別、自然語言處理等研究領域獲得了良好效果。

卷積神經網絡一般由交替出現的卷積層、池化層以及最后的全連接層組成，基本結構如圖3所示。

圖3 CNN結構Fig.3 The CNN structure

卷積層由多個特征圖組成，它的每個神經元通過卷積核(權值矩陣)與上一層特征面的局部區域相連接。卷積層通過卷積操作對輸入進行特征提取。第1層卷積層的輸入即為輸入圖像，提取如邊緣、線條等低級特征。更高層的輸入則為上一層的特征面，從中提取更高級的特征。

池化層緊隨在卷積層之后，是一種非線性的下采樣。它的每個神經元對局部接受區域進行池化操作，具有二次特征提取作用。最大池化(max pooling)、均值池化(mean pooling)以及隨機池化(stochastic pooling)等是常用的池化方法。其中最大池化取局部接受域中最大的點，均值池化取接受域中所有值的平均。

在經過多個卷積層和池化層后，連接著一個或者一個以上的全連接層。全連接層中的每個神經元與其前一層的所有神經元相連接，故而稱為全連接層。該層可以整合卷積層或池化層中具有類別區分性的局部信息。最后1個全連接層起到分類器作用，根據前層提取的特征信息對輸入進行分類處理，輸出目標的類別。

卷積網絡的標準模型主要用于分類任務，其輸入為標準尺寸圖像，輸出為該圖像的類屬編號。但是，在異物檢測任務中，異物圖像嵌于整幅圖像中，在做出類屬判斷前，還需要從圖像中框選出異物可能出現的區域。下面介紹基于熱圖的異物檢測方法和基于YOLO網絡模型的異物檢測方法。

3.2 基于熱圖的檢測方法

基于熱圖的目標檢測方法的基本策略類似于圖像濾波過程。首先，利用目標圖像(小圖)訓練出一個分類卷積網絡，其輸入為小圖，輸出為該圖像的類屬。然后，將該網絡在待檢測圖像中滑動，每個位置得到一個目標類屬的輸出構成了一張類屬/概率的圖像，稱之為熱圖。

圖4 基于熱圖的目標檢測結構Fig.4 The target detection structure based on heat map

基于熱圖的異物檢測過程如圖4所示。標準分類網絡按照一定的步長在待檢測大圖中滑動，每個位置網絡運行1次，得到1個概率輸出，遍歷整幅圖像后得到初始熱圖，如圖4(b)所示。

對于最后層以softmax為激活函數的分類網絡，其輸出在0～1之間。當相鄰小圖中均包含部分異物時，鄰近區域具有相似大小的概率輸出，所以通過尋找初始熱圖中能量最大值定位異物位置時會引入較大誤差。例如，熱圖4(b)橙色區域能量大小基本一致，每個點均可能判定為目標中心。為此，本文對原始輸出熱圖進行了后處理。使用值為1，尺寸大小為3×3的模板與熱圖做卷積運算，使能量進一步聚集在異物中心位置，得到一張處理后的熱圖，如圖4(c)。可以看出，只有一個能量最強點，即為待檢測異物中心。

熱圖檢測法原理簡單，但是，由于其需要遍歷整幅待檢測圖像，運算量龐大，且生成的檢測框尺寸固定，無法適應異物尺寸變化。為此，需要對熱圖法進行替換，引入更靈活、高效的異物檢測算法。

3.3 基于YOLO的檢測方法

傳統的目標檢測方法通常分為3個階段。首先通過不同尺寸的滑動窗口在圖像上選擇候選區域，其次對候選區域特征進行提取，最后通過分類器進行識別。傳統目標檢測基于滑窗進行區域選擇，由于缺乏針對性，窗口冗余多，時間復雜度高，手工選擇的候選框缺乏泛化能力，因此不適用于對實時性、準確率要求高的安檢應用。

隨著深度學習的高速發展，目標檢測算法不斷朝著高效率、高性能的方向發展。當前比較流行的算法主要可以分為兩大類，一類是基于候選區域(region proposal)的RCNN系算法，主要有RCNN,Fast RCNN和Faster RCNN。RCNN系算法是兩階段(two stage)檢測算法，需要先使用選擇性檢索(selective search)或RPN網絡產生候選區域，然后在候選區域上做分類與回歸。該類算法在生成候選區域時消耗較多時間，由輸入到檢測需要3 s左右。雖然RCNN系算法對于目標檢測耗時較多，但是在檢測精度上保持領先水平。另一類是YOLO和SSD這類單階段(one stage)算法，即本文使用的檢測算法。YOLO算法是一種端到端的目標檢測算法，每次檢測時將整張圖像輸入網絡，不同于RCNN系算法生成候選區域的方法，YOLO算法將圖像劃分為的網格，將目標檢測問題作為回歸問題解決，直接對網格中的目標中心點位置及邊框的高寬進行預測。因此YOLO算法僅僅使用一個CNN網絡就能直接預測不同目標的類別與位置。相比于傳統檢測網絡，YOLO算法在檢測精度得到了很大的提升；相對于RCNN系列的檢測網絡，YOLO算法檢測時間更短，效率得到了優化。這些特點說明了YOLO算法更適用于人流量多的實時安檢應用。

YOLO算法使用單個卷積網絡即可實現端到端(end to end)的目標檢測，其訓練流程如圖5所示。YOLO網絡使用過程簡單，首先將待檢測圖片(大圖)尺寸插值到合適的大小，然后送入訓練好的YOLO網絡，即可得到目標檢測結果。相比RCNN等常用檢測算法，YOLO速度更快，而且訓練過程也直接在包含標簽(ground truth)的待檢測(大)圖像中操作，過程更為簡單。

YOLO網絡設計主要包括特征提取、邊框回歸和非極大值抑制3個部分。

特征提取主要靠標準卷積網絡的卷積層實現，一般選擇GooLeNet模型，共包含24個卷積層和全連接神經網絡，且輸出為類屬數目。損失函數采用最小二乘準則，其公式為

圖5 YOLO的訓練流程Fig.5 The training process of YOLO

邊框回歸主要任務是從特征圖中預測出目標框的位置和尺寸。為了實現該任務，其在特征圖后串聯了一個5輸出網絡(分別為位置坐標、尺寸高寬和置信度)，并采用最小二乘準則對該神經網絡的參數進行訓練，代價函數為

分類和邊框預測使得該網絡訓練變為一個多目標最優化問題，為了簡化處理，將兩個損失函數合并寫為

非極大值抑制(Non Maximum Suppression,NMS)[20]主要用于解決同一個目標中出現多個候選框的問題。其基本策略是選擇所有候選框中，目標出現概率最大的一個作為目標框，而丟棄掉其它與該框存在很大重疊，且類屬相同的候選框。為了實現該目標，首先從所有的檢測框中找到置信度最大的框，然后逐個計算其與剩余框的交并比(Intersection Over Union,IOU)，如果其值大于一定閾值(重合度過高)，那么就將該框剔除；然后對剩余的檢測框重復上述過程，直到處理完所有的檢測框。如圖6所示，當IOU閾值過高時對knife識別了2次(圖6左)，降低閾值后去掉了重復的檢測框(圖6右)。

4 實驗數據處理與性能分析

4.1 圖像增強與成像處理

由于成像過程中存在不同陣元接收回波之間相互串擾、掃描元器件需要補償的固定通道誤差提前預估不精確等因素將會導致2維成像中出現較多干擾信息，這些因素降低了成像質量，并一定程度上影響了安檢識別。因此，需要使用圖像處理方法對圖像進行增強，如進行圖像銳化增加成像對比度，使用中值濾波、圖像平滑減小成像干擾噪聲等。

圖6 非極大值抑制算法去除重復預測框Fig.6 Removal of repeated prediction box by NMS algorithms

圖7、圖8為實測垂直掃描模式近場毫米波3維成像處理結果，系統工作于Ka波段，信號寬帶大于3 GHz，陣列長度大于0.5 m，系統陣列方向分辨率和方位向分辨率約為1 cm，距離向分辨率約為5 cm，但由于采用了最大值投影，所以該方向分辨率未在圖像中體現。

其中圖7為最大值投影后的2維成像結果，驗證了3維BP算法適用于近場安檢成像且圖像分辨率也較高，并證實了獲得3維成像后用最大值投影方法壓縮到2維平面的方法是有效的。但觀察發現，該成像結果仍存在較為明顯的柵瓣，影響圖像觀感及后續識別的有效性。

圖8為經過圖像處理方法后的成像效果。對于原始成像圖7首先進行中值濾波處理減小圖像噪聲信息，然后使用圖像平滑抑制原始圖的重影問題并使圖片顯得均勻，最后使用圖像銳化處理增加成像對比度使得異物更為明顯。經過以上一系列圖像后處理能夠有效減小干擾信息并增強圖像質量，處理后的圖像更為勻稱平滑，噪聲較少，并且成像中的重影問題得到了很好的抑制，對于安檢中識別率的提高起到了較好的作用。

圖7 原始實測成像圖Fig.7 The original measured image

圖8 圖像處理后成像圖Fig.8 The image after processing

圖9 訓練分類網絡的樣本Fig.9 Samples of training classification network

4.2 訓練過程及檢測結果

本文需要檢測的異物分別為：槍(gun)，手機(phone)和刀(knife)，訓練集原始圖像大小約為800×300。對基于熱圖的檢測網絡，需要從訓練圖像中剪裁包含目標(正樣本：刀、槍、手機)以及非目標(負樣本：噪聲背景以及身體各個部位成像結果)的小圖用于訓練分類網絡，小圖尺寸為128×128，見圖9。訓練過程中平均損失以及準確率如圖10所示，可以看出隨著迭代次數的增加，平均損失逐漸減小并趨近于0，而準確率則逐漸提升并接近于百分百準確預測。

而對于YOLO網絡，本文在實驗中將輸入網絡的訓練圖片尺寸由800×300插值到608×608。訓練過程中損失函數的變化過程如圖11所示，可以看出20000次訓練后已經完全收斂，訓練模型已經能夠擬合訓練樣本，此時，訓練集樣本準確率趨于平穩，測試集準確率開始有所下降。為了避免過擬合，本文使用“早停”(early stopping)技術提前結束訓練。對比兩種網絡的訓練過程可以看出，相比基于熱圖檢測的分類子網絡，由于復雜性更高，YOLO網絡的訓練過程需要更多的迭代次數以及更長的訓練時間。

圖10 分類網絡訓練過程中平均損失和準確率Fig.10 The average loss and accuracy in classification network training

圖11 YOLO網絡訓練過程中的平均損失Fig.11 The average loss in YOLO network training

在本文安檢成像及異物檢測的實驗過程，本文將異物歸結為刀、槍和手機3類并訓練YOLO網絡去實現異物分類檢測。為了得到檢測出異物并正確分類所需合適的尺寸大小，文中將幾組測試圖片輸入到訓練好的YOLO網絡檢測之前，對圖片的尺寸做了一次調整。如圖12所示為其中一組的檢測情況，可以看出隨著尺寸從416×416增加到608×608(從左到右尺寸依次為416×416,480×480,544×544,608×608)，檢測準確率也隨之提高并且當尺寸達到608×608時不存在漏檢的情況，驗證了測試圖像尺寸在一定范圍內越大則檢測準確率和預測框精度也隨之改善。而且本文在訓練YOLO網絡時也會將原始訓練集每一張圖像的尺寸調整為608×608，這種情況也說明了將測試圖像輸入訓練好的網絡前，調整圖像尺寸為訓練圖像的尺寸608×608檢測性能最好，因為在同樣像素比例的圖片中，測試圖片中異物形狀更加貼近訓練集圖像中對應類別的異物，所得到異物檢測準確率也會更高，所以本實驗中異物檢測最合適的尺寸大小為608×608。

圖13為連續經過1000,5000,10000,15000和20000(由左至右)次訓練后模型的測試結果。從圖中可以看出，隨著訓練次數增多，模型的檢測和識別能力逐漸提高，預測框范圍不斷調整并逼近目標的真實大小。在訓練YOLO網絡時本文對160張圖像進行了數據擴充，包括對圖像隨機旋轉、隨機裁剪、隨機調整亮度和引入不同噪聲等，共生成了3300張圖像，其中70%的圖像作為訓練集圖像，30%的圖像作為測試集圖像，經過實驗證明20000次訓練后檢測平均精確率在90%左右，詳細測試結果表1。在評測指標中，精確率可以理解為在預測結果中，正確被預測為正樣本的數量在所有預測為正樣本中的比例；召回率表示正確被預測為正樣本的數量占原始標簽正樣本中的比例。分別求得每個類別的精確率和召回率，利用PR曲線計算積分面積即為每一類的平均準確率(Average Precision,AP),mAP為各個類別AP的均值。

圖12 YOLO網絡檢測結果隨圖像尺寸變化情況Fig.12 YOLO network detection results of different image size

圖13 YOLO測試結果(不同訓練次數)Fig.13 YOLO test results (different training numbers)

表1 YOLO網絡檢測結果(%)Tab.1 The YOLO network detection results (%)

為了對比兩種方法在檢測過程中的效率，本文使用C程序對二者進行測試，并在Intel core i7-7800、GTX1060計算環境下完成。對于800×300的輸入圖像，基于熱圖的檢測方法用時約200 ms(主要開銷為卷積網絡部分，對于800×300輸入圖像，需調用約300次網絡)，而YOLO所需耗時不足50 ms，可見YOLO網絡在檢測效率要優于熱圖方法。

如圖14所示，從隨機取出兩張圖片的不同網絡檢測方法試驗結果來看，在檢測精度上，基于熱圖的檢測方法檢測框大小固定并且檢測范圍很大，相比之下YOLO方法能夠自適應調整檢測框大小并精準地框出刀、槍等異物，說明了檢測精度更高；在檢測的準確率上，從圖14中可以看出熱圖方法存在一定程度上的漏檢情況，準確率不如YOLO檢測方法；在檢測時間上，YOLO網絡的檢測時間遠小于熱圖方法，檢測效率更高。對于目前安檢應用，YOLO網絡的檢測時間很短，能夠更好地滿足人流量較大區域安檢實時性的要求，并且該方法較高精度和準確率的優點能夠有效地保障安檢區域的安全性，相比于熱圖方法，這些優點使得YOLO網絡成為更適合安檢的檢測算法。

5 結論

本文對主動式毫米波陣列3維系統成像及目標檢測問題進行了研究。研究表明，后向投影算法由于其靈活性，可用于近場毫米波3維成像處理。基于熱圖的檢測方法和基于YOLO的檢測方法均可實現成像中的異物檢測。基于熱圖的檢測方法網絡結構簡單、易訓練，但由于需要遍歷整幅待檢測圖像，運算時間長，且生成的檢測框尺寸固定，無法適應異物尺寸變化。基于YOLO的檢測算法網絡結構復雜、訓練耗時長，但該方法在檢測速度與檢測框精度上優勢明顯，更利于機場安檢等對實時性要求較高的異物檢測應用。

圖14 基于熱圖和YOLO檢測結果Fig.14 Test results based on heat map and YOLO