拋撒地雷的夜視智能探測方法研究

王 馳，于明坤，楊辰燁，李思遠，李富迪，李金輝，方 東，欒信群 *

（1. 上海大學 精密機械工程系，上海 200444；2. 近地面探測技術重點實驗室，江蘇 無錫 214035）

1 引 言

利用投射的方式將地雷散布在預定區域（即拋撒地雷），具有快速、靈活、機動性高等優點，易于實現大規模大面積雷場的高效布設，是現代夜戰防御性的一種常用的雷場布設手段。另外，現代地雷配備的新型引信可使目標靠近到一定距離時即可觸發，而一般常用的地雷探測設備僅在與地雷近距離接觸時才可有效報警，因此對拋撒地雷進行遠距離快速檢測是現代雷場安全探測的一個重要研究方向。目前對于拋撒地雷的遠距離探測技術主要有兩種：成像技術檢測和非成像技術檢測。成像技術主要包括紅外、雷達、多光譜技術和衛星遙感等[1-9]，然而到目前為止，大面積雷場探測技術還未達到快速、高效的要求，而且易受天氣、拋撒地雷周圍環境噪聲的影響，探測精度及穩定性較差。典型非成像技術如脈沖雷達技術[10-11]，通過主動、被動的工作方式獲取拋撒地雷的輻射信號，再利用信號處理技術和模式識別技術對目標信號進行檢測，由于該技術受拋撒地雷周圍環境影響較大且存在通信傳輸繁雜等問題，對夜間拋撒地雷的探測難度較大。目前的主流成像技術在夜間光線強度很弱時成像效果也較不理想，其存在受周圍環境干擾大、隱蔽性差、成像不清晰等缺點。目前，微光夜視儀能夠實現在夜視場景中對拋撒地雷遠距離清晰成像[12-15]，且具有隱蔽性強、受環境影響小的特點，可獲得細節豐富的圖像，為基于機器學習的拋撒地雷夜間智能檢測提供了技術基礎。

近幾年，隨著深度學習相關理論的快速發展及計算能力的提升，深度卷積網絡在目標檢測方面的研究取得了很大進展，深度學習作為機器學習的重要部分，通過端到端的訓練，自動學習與任務相關的特征，通過多層的非線性變換獲得圖像的高層次抽象表示，基于深度學習的目標檢測算法極大地提高了目標檢測效果，且具有更高的實時性。目前，基于深度學習的目標檢測方法[13]主要分為兩類：一類是基于區域生成的卷積神經網絡，代表性的網絡為RCNN、Faster-RCNN[5,16-17]；另一類是基于回歸的目標檢測算法，代表性的網絡為SSD、YOLO[18-19]等。基于深度學習的目標檢測在工業檢測、醫學、交通監控、機器人視覺等領域有著廣泛應用[20-25]，機器學習在地雷探測方面的應用具有檢測精度高、穩定性強等特點[26-29]。

針對拋撒地雷在夜視情況下的遠距離智能化探測需求，本文選用性能良好、應用廣泛且對目標檢測快速的YOLO算法[30-32]，構建拋撒地雷智能探測模型，以實現拋撒地雷的實時性檢測，同時返回探測到的拋撒地雷目標的像素坐標值；采用幾何光學的相似性原理，建立拋撒式地雷的測距模型，將返回的像素坐標值映射到實際坐標系，快速確定目標地雷到相機的距離。另外結合微光夜視儀技術，實現拋撒地雷的完全被動式夜視智能探測。

2 拋撒地雷智能探測方法

本文設計了基于拋撒地雷智能探測網絡模型的拋撒地雷智能探測方法。首先根據YOLO算法構建拋撒地雷智能探測網絡模型，建立拋撒地雷圖像數據集并將其作為訓練樣本，再將獲得的拋撒地雷數據集輸入到網絡模型中進行訓練，最后對訓練完成的網絡模型進行性能測試并進行評估、優化。

拋撒地雷智能探測網絡模型依據YOLO（V2）算法進行構建，將Darknet-19作為拋撒地雷智能探測網絡模型的基本架構，該架構由19個卷積層和5個最大池化層組成，Darknet-19網絡使用了3×3的卷積核，使用了全局平均池化，將1×1的卷積核置于3×3的卷積核之間，用來壓縮特征；在每一個卷積層后使用批量歸一化方法穩定網絡模型訓練，加速收斂并泛化網絡模型。YOLO（V2）是一個全卷積神經網絡模型，能直接對拋撒地雷目標物體的邊框、邊框置信度以及目標物體的類別進行回歸，因此檢測速度較快。本文應用的YOLO（V2）網絡結構如圖1所示。

在圖1所示的YOLO（V2）網絡結構中，將輸入的拋撒地雷圖片歸一化為832 pixel×832 pixel、3通道的標準輸入圖片，此時具有832×832×3個數值，經過13層卷積和4次池化將圖片轉換為52 pixel×52 pixel、512通道的特征圖。隨后從兩個方向處理特征圖：第一個方向是將52×52×512個數值重新組合成26 pixel×26 pixel和2048通道的特征圖，第2個方向是經過1層池化和7層卷積將特征圖轉換為26 pixel×26 pixel和1024通道的特征圖。再將兩個處理方向的結果進行融合，得到26 pixel×26 pixel和3072通道 的特 征圖，最后經過2層卷積得到最終的特征圖。

圖 1 YOLO(V2)網絡結構圖Fig. 1 YOLO(V2) network structure diagram

建立拋撒地雷數據集，采集不同氣候、不同時間、不同角度、不同場景、不同種類的地雷圖像共3845張，為獲取性能良好的拋撒地雷智能檢測網絡模型提供基礎。通過實驗研究，在數據采集過程中，地雷目標的裸露面積從最大變化到最小，對于每一種裸露面積，地雷在平行于地面的平面上以10°為間隔順時針從0°變化到360°，在垂直地面的平面上，地雷與地面的夾角以10°為間隔逆時針從0°變化到180°，最大限度保證樣本的完備性。將采集到的3845張拋撒地雷的圖像按照9:1的比例，將拋撒地雷圖像分為訓練集與測試集，并按照PASCAL VOC 2007格式制作拋撒地雷數據集，該拋撒地雷數據集包含4個文件：（1）Annotations文件夾，該文件下存放的是xml格式的標簽文件，每個xml文件都對應于JPEGImages文件夾中的一張圖片；（2）JPEGImages文件夾，該文件夾下存放的是數據集圖片，包括訓練和測試圖片；（3）ImageSets文件夾，該文件夾下存放了一個文件夾Main，Main文件夾下主要存放trainval.txt和val.txt兩種文件，是對訓練集和測試集的劃分，每個txt文件中每行一張圖片的名稱，不帶后綴；（4）labels文件夾，該文件夾是為適應YOLO（V2）訓練而對文件進行轉化得到的文件，其中將上述Annotations文件夾中的每個xml文件轉化為對應的txt標注，并生成trainval.txt和val.txt兩個文件。拋撒地雷數據集建立完成后，將訓練集里面的3458張圖片導入模型，對網絡模型進行訓練，采用動量參數使訓練過程加速收斂。為防止過擬合，設置權重衰減系數，提高模型的泛化能力，經過約19 h的訓練，每次迭代時間為0.68 s，獲取了迭代100200次之后的參數權重，得到了拋撒地雷智能檢測網絡模型，其具體訓練參數見表1。

表 1 訓練參數Tab. 1 Training parameters

拋撒地雷智能探測模型構建完成后，采用召回率、精確度和均值平均精度指標對網絡模型進行評估。首先定義4種變量：TureMines、TureNMines、FalseMines、FalseNMines。其中：TureMines表示目標為拋撒地雷，且被正確檢測為拋撒地雷；TureNMines表示目標不為拋撒地雷，且未被誤檢為拋撒地雷；FalseMines表示目標不為拋撒地雷，但被誤檢為拋撒地雷；FalseNMines表示目標為拋撒地雷，但未被檢測為拋撒地雷。召回率指的是被正確檢測出的拋撒地雷占測試集中所有拋撒地雷的比例，精確度指的是被正確檢測出的拋撒地雷占檢測出的拋撒地雷的比例，其公式分別為：

用測試集387張圖片進行驗證，并利用式（1）和式（2）及網絡模型的均值平均精度(Map)指標對該模型進行評估，并對拋撒地雷智能探測網絡進行優化：對拋撒地雷智能探測網絡模型的每一層參數進行統計，根據其分布規律自定義每一層的裁剪比例，選擇較小比例的數據進行剪裁，比例為0~50%不等，剪枝前模型參數數量為193M，剪枝后模型參數數量為133M，剪掉31.088%的參數量；采用動態定點的權值精簡方式對拋撒地雷智能探測網絡模型進行量化處理，確定一個定點后的固定數據位寬，然后通過分析數據集合的特點，確定定點位置，將數據轉換為定點數，將多余位寬數據截斷，完成量化處理；將剪枝和量化處理后的模型重新利用式（1）和式（2）、網絡模型的均值平均精度(Map)指標進行評估。模型優化前后的拋撒地雷圖像測試集的相關指標對比如表2所示，拋撒地雷圖像測試集的PR曲線如圖2所示。測試集測試結果顯示：模型優化前，測試集的召回率為96.64%，精確率為97.14%，均值平均精確度為95.286%；模型優化后，測試集的召回率為99.22%，精確率為98.97%，均值平均精確度為99.2%。可見，模型優化后，測試集相關指標明顯提高，由于使用剪枝對模型進行了精調，糾正不準確的檢測框，降低漏檢率，從而大幅度提高了Map和拋撒地雷的探測精度。標，以精確率（precision）為縱坐標，繪制出的PR曲線。該圖右下角為虛線框部分的放大圖，該放大圖中，縱坐標范圍（精確率范圍）為0.98~1，橫坐標取值范圍（召回率）為0~1。

表 2 測試集測試時相關指標Tab. 2 Relevant indexes during test set testing

圖 2 模型測試集的PR曲線Fig. 2 PR curves of the model’s test set

3 拋撒地雷距離測量方法

上圖中，PR（Precision-Recall curve）為準確率-召回率曲線圖，指的是以召回率（recall）為橫坐選擇測距環境為地面，根據幾何光學的三角形相似性原理，實現對拋撒地雷距離的測算[33]。將采集到的拋撒地雷圖像中拋撒地雷目標的像素坐標轉化為實際坐標，從而在探測出地雷目標后，確定目標地雷到相機的實際距離。其垂直距離測量原理和水平距離測量原理如圖3（彩圖見期刊電子版）所示。圖3（a）表示拋撒地雷目標在與相機垂直方向的示意圖，其中紅色線條部分為相機的探測區域，藍色線條表示探測區域在圖像中的成像高度，U-V表示像素坐標系，X-Y表示實際坐標系，θ為相機的垂直視場角，△θ為拋撒地雷像素坐標與最大像素坐標形成的夾角，H′表示圖像高度，v表示拋撒地雷的像素縱坐標值；圖3（b）表示拋撒地雷在相機水平方向的示意圖，其中灰色區域表示相機的探測區域，x為拋撒地雷目標與中心軸線的距離，u為U軸上的像素坐標值，W表示拋撒地雷的圖像寬度。

圖 3 距離測量原理示意圖Fig. 3 Schematic diagram of the distance measurement principle

根據幾何光學成像原理和相似三角形的比例關系，將拋撒地雷像素坐標值轉化為實際坐標值，確定拋撒地雷到相機的實際距離，拋撒地雷與相機垂直距離的測算公式為：

式中，（u,v）為拋撒地雷的像素坐標值，(x,y)為拋撒地雷的實際坐標值，H為相機的離地高度。

根據幾何光學成像原理測算出拋撒地雷與相機的實際垂直距離y，將圖像像素的水平坐標轉化為拋撒地雷距離相機的實際水平距離，其測算公式為：

式中，l為實際坐標（0，y）到相機的實際距離，β為相機的水平視場角。

將利用以上模型測算出的拋撒地雷垂直距離y、水平距離x帶入式（9），求出拋撒地雷到相機的實際距離L，即

開始對拋撒地雷測距之前，需要測量相機的近視場角α、離地面高度H。根據相機已有參數求出垂直視場角和水平視場角，其水平半視場角公式和垂直視場角公式分別為：

式中，γ為水平半視場角，W為圖像寬度，L為圖像高度，d為像素長度，f為相機焦距。

本文利用德國元奧儀器公司（PCO）的PCO.edge 4.2高速相機，鏡頭為尼克爾（Nikkor）D型定焦鏡頭，相機輸出分辨率為2060 pixel×2048 pixel，成像波段為0.3~1.0 μm，像元尺寸為6.5 μm×6.5 μm，F數為1.8，物鏡焦距為50 mm。本文用到的拋撒地雷為72式防坦克金屬地雷（直徑為31 cm）、69式防坦克塑料地雷（直徑為28 cm）、58式防步兵橡膠地雷（直徑為15 cm），直徑為120~300 mm，厚度為30~50 mm，如圖4所示。將以上已知量和檢測出的拋撒地雷像素坐標值帶入式（3）、式（4）和式（5）中，求出垂直距離。帶入式（6）、式（7）和式（8）中求出物體的水平距離，通過式（9）測算出拋撒地雷到相機的實際距離。

圖 4 實驗用拋撒地雷Fig. 4 Scatterable landmines used in the experiment

4 實驗方案

為保證拋撒地雷探測的快速性，本研究采用嵌入式端的機器學習進行硬件設計，將拋撒地雷智能探測網絡模型與拋撒地雷測距模型移植到FPGA硬件開發板中，組成26 cm×33 cm×15 cm的工控機，將微光相機放置于相機支撐架上并通過CameraLink數據傳輸線將相機與工控機連接，工控機通過數據線連接顯示屏，拋撒地雷智能檢測系統如圖5所示。

圖 5 拋撒地雷智能探測系統圖Fig. 5 Diagram of the intelligent detection system of scatterable landmines

拋撒地雷智能探測系統搭建完成之后，選擇戶外路面作為實驗場地，實驗時間分別選為19:30、20:00、20:30、21:00、21:30、22:00 6個不同時間點；實驗采用的測試地雷如上文。放置拋撒地雷時選擇多種背景，包括水泥路面、矮小灌木叢、雜草叢、樹林等；在測試地雷距離相機為5，10，15，18，21 m等情況下進行測距實驗。

實驗過程中，根據周圍環境調節相機的曝光時間，手動調節定焦鏡頭光圈，使探測區域能夠在相機中清晰成像，相機采集到的圖像通過Camera Link數據傳輸線傳輸到工控機，利用拋撒地雷智能探測網絡模型對采集到的圖像進行檢測，若探測到拋撒地雷目標，將其進行標注并返回拋撒地雷目標的像素坐標值。將構建的拋撒地雷測距模型利用C++編程語言編寫為程序，輸入的像素橫坐標為拋撒地雷目標像素橫坐標的平均值，輸入的像素縱坐標為拋撒地雷目標中最大的縱坐標值，通過拋撒地雷測距模型進行計算，得到拋撒地雷的實際距離。

5 實驗結果與討論

首先在拋撒地雷的測試集中進行測試，驗證該模型的召回率和準確性；然后在不同環境（樹林、矮小灌木叢、草叢、路面等）、不同時間（6~8月 份 的19:30, 20:00, 20:30, 21:00, 21:30,22:00）、不同天氣（晴天、雨天、陰天等）的夜間戶外壞境中進行測試，驗證該模型的實時性與精確度；最后將測距模型測量出的拋撒地雷距離與利用激光測距儀測量的數據進行對比分析。利用拋撒地雷數據集中的訓練集訓練網絡模型之后，得到不同背景下的測試結果，如圖6~8所示。

圖 6 72式防坦克金屬地雷Fig. 6 Type 72 anti-tank metal landmine

該測試集共含有387張照片，其中能檢測出拋撒地雷的照片數量為383張。圖像中的拋撒地雷距離相機15~30 m，在夜間無主動照明條件下，人眼無法檢測到遠距離處是否有地雷，采用拋撒地雷智能檢測模型可以快速檢測出地雷位置。實驗過程中使用的鏡頭的圖像像素為2060 pixel×2048 pixel，像 元 大 小 為6.5 μm×6.5 μm，代 入式（10）和式（11）。另外，本文提出的成像系統中，相機的水平視場角γ=15.2531°，垂直視場角θ=15.1653°，近視場點與豎直方向的夾角α=73.3°，相機安裝高度為H=1.29 m。本文將激光測距儀測量的數據作為實際距離并作為對照組，計算本文測距模型的測量數據誤差，利用本文提出的測距模型測出的拋撒地雷的距離如表3所示。

圖 7 背景為平坦地面的地雷Fig. 7 Scatterable landmines with flat background

圖 8 背景為草叢的58式防步兵橡膠地雷Fig. 8 Type 58 anti-infantry rubber landmine with grass in the background

由表3可知，該算法存在明顯缺點：在靜態理想測量環境中，拋撒地雷距離相機越遠，測量精度越低，測量誤差越大。究其原因，由圖3(a)可知，目標距離相機較遠時，圖像上的目標像素很小的變化就會引起較大的距離誤差。

表 3 拋撒地雷測距實驗數據Tab. 3 Experimental data of distance measurement for scatterable landmines

為修正本文測距過程過大的距離誤差，對以上算法進一步優化，將α=73.3°，相機距離地面H=1.29 m時采集到的距離數據利用Matlab進行高斯擬合，得到實際距離與本文測算距離的擬合曲線如圖9（彩圖見期刊電子版）所示。

圖 9 高斯擬合曲線圖Fig. 9 Gaussian fitting curves

利用高斯擬合進行算法修正后得到的拋撒地雷測量距離與算法修正前得到的拋撒地雷測量距離間滿足以下函數關系：

式中，LR表 示修正之后的算法測量距離，LM為修正前的算法測量距離。

利用式（12）進行算法修正之后，在4.66~22 m測距范圍內，測量出拋撒地雷距離相機的距離如表4所示。

表 4 優化算法后拋撒地雷測距實驗數據Tab. 4 Experimental data of the distance between the scatterable landmine and the camera after optimizing the algorithm

由表4可知，當拋撒地雷距離相機在600~2300 cm范圍內時，優化算法后所得到的測量誤差值在±10 cm之內，表明優化后的測距算法對拋撒地雷的測距精度較高。忽略手動操作誤差，本文設計優化后的測距模型在600~2300 cm探測范圍內滿足拋撒地雷距離探測需求，適合應用于對拋撒地雷距離的測算。

6 結 論

本文提出的拋撒地雷夜視智能探測方法，運用YOLO（V2）算法構建拋撒地雷智能探測網絡模型，實現對拋撒地雷的快速探測。利用幾何光學成像的三角形相似性原理，實現對拋撒地雷距離的測算。設計并搭建了拋撒地雷智能探測系統，對不同類型的拋撒地雷在不同環境下進行檢測與測距實驗，得出如下結論：

（1）不同類型的拋撒地雷放置于不同背景環境下，在6~23 m范圍內均可有效探測，且實時性強、檢測精確度高、隱蔽性強；

（2）基于幾何光學成像的三角形相似性原理，利用設計并優化后的拋撒地雷測距模型，在6~23 m測距范圍內，測距誤差在±10 cm之內；

（3）設計并搭建的拋撒地雷夜視智能探測系統在實驗過程中體現了實時性好、穩定性高的特點，該系統中的成像模型可選用微光相機，能夠在夜間被動式清晰成像，具有隱蔽性高、抗干擾性強等特點。