基于深度神經網絡的低空弱小無人機目標檢測研究

王靖宇, 王霰禹, 張科, 蔡宜倫, 劉越

(1.航天飛行動力學技術重點實驗室, 陜西 西安 710072; 2.西北工業大學 航天學院, 陜西 西安 710072)

隨著無人機使用門檻的不斷降低，由于缺乏統一的行業標準和規范，導致無人機的“黑飛”問題日益突出，使得無人機被濫用的可能性在顯著增加，低空空域內無人機的非合作入侵飛行事件在國內外已屢見不鮮，不僅對公民隱私和生命財產安全造成了危害，嚴重制約了無人機產業化的發展，更是對公共安全和國家安全帶來了十分巨大的威脅[1-2]。因此，需要采用視頻圖像信息對低空無人機目標進行有效檢測，以實現后續的防護壓制。

近年來，隨著以深度學習為代表的人工智能方法在圖像處理領域的不斷發展，大量目標檢測方法都采用深度神經網絡來完成任務。文獻[3]針對利用圖像數據與深度信息進行目標識別時，存在信息融合不一致、特征設計不統一等問題，研究了基于卷積神經網絡的多模信息融合識別方法，使得特征學習可以根據目標特性自動進行。然而，無人機在遠距離上的視覺特性較弱、尺寸較小，是較為典型的弱小視覺目標。目前，基于深度神經網絡的弱小目標檢測方法研究主要針對交通標志、空中飛鳥等弱小目標。其中，文獻[4]提出了一種基于深度神經網絡的小尺寸道路標示識別框架，通過采用全卷積網絡來提供道路標識的位置線索，并采用深度卷積神經網絡來實現對標識的檢測。文獻[5]針對圖像中鳥類弱小目標的檢測問題，提出了一種基于卷積神經網絡和全卷積網絡的檢測識別方法，通過提取多尺度特征來有效區分鳥和背景區域，從而實現對鳥類弱小目標的檢測與識別。

此外，蔣兆軍等人[6]針對基于深度學習的無人機檢測方法進行了研究，提出通過訓練卷積神經網絡來實現對無人機的識別。文獻[7]則將無人機目標的檢測任務簡化為檢測問題，通過對背景圖像和前景運動區域進行建模，利用幀間差分原理實現了對弱小無人機目標的檢測和識別。然而，上述研究工作只采用了不包含其他運動目標的視頻和圖像數據進行測試實驗，并且訓練樣本所覆蓋的目標尺度較為固定，基本沒有考慮無人機的尺度變化問題，使得上述方法在用于實際弱小無人機目標檢測時具有較大局限性。與此同時，由于采用深度學習方法進行目標檢測時，訓練數據的數量與質量對提高檢測模型的精度和泛化能力來說較為關鍵。但由于無人機目標較為特殊，當前還尚未有較為成熟的大型圖像數據庫可以用來進行模型訓練，使得現有研究工作受到了一定限制。針對上述問題，本文首先建立了由15 000張無人機圖像組成的低空無人機目標圖像數據庫，其中包含了不同大小、角度、顏色、紋理和背景的無人機目標。其次，建立了由多個隱含層組成的深度神經網絡模型，通過對輸入無人機圖像進行卷積、池化等操作，分析目標圖像各像素間的空間關系，并有效提取目標的圖像特征信息，同時，通過將較大尺寸的二維的圖像信息轉換為較小尺寸下的多通道特征圖，以克服目標變尺度檢測問題。最后，利用云臺式光電探測系統在室外采集的無人機目標飛行視頻進行了實驗驗證。結果表明，本文提出的深度神經網絡模型能夠有效檢測空中弱小無人機目標，并在視場內有其他干擾物存在時具有較好的魯棒性。

1 低空無人機目標數據庫建立

由于現有研究工作中還尚未有較為成熟的無人機目標圖像數據庫，會對面向無人機目標檢測的深度神經網絡模型訓練帶來較大困難。文獻[6]在深度神經網絡的訓練過程中雖然建立并使用了一個具有3 560張圖像的無人機目標圖像數據庫，但其訓練樣本的數量仍較小，難以保證深度神經網絡模型在訓練過程中能夠快速收斂。為了提高深度神經網絡模型的檢測精度和泛化能力，本文首先建立了一個由15 000張無人機目標圖像組成的訓練數據庫。

圖1 無人機目標圖像數據庫中的樣本示例

具體而言，先是通過在大型網絡圖像數據庫中進行搜索和在包含無人機目標的視頻中截取圖像幀，采集了約20 000張、包含約30種無人機目標的圖像樣本。隨后，采用圖像去噪、尺寸歸一化等手段對圖像進行預處理，得到約16 000張質量較好的無人機目標圖像。最后，利用人工在圖像中對目標進行標注，并去除目標特性較差的圖像，得到15 000張含有無人機目標的圖像樣本來組成訓練數據庫。本文所建立的無人機目標圖像數據庫中的樣本示例如圖1所示，可以看出數據庫中的樣本圖像包含了藍天、草地、陰天、樹林等不同環境背景，并且無人機目標的形狀、大小和顏色均各不相同，從而提高訓練數據庫的樣本質量。

2 基于深度神經網絡的無人機目標檢測模型

2.1 多隱含層深度神經網絡結構設計

深度神經網絡在圖像目標檢測領域已有廣泛應用，并有著非常優異的效果[8]。但現有研究較少考慮待檢測目標尺寸，現有用于目標檢測的深度神經網絡的輸入尺寸都大于100×100像素，而待檢測的原圖像尺寸更是大于神經網絡的輸入尺寸，使得神經網絡有充足的數據進行檢測。在無人機目標檢測過程中，捕捉到的無人機圖像通常只有不到40×40像素，可用于檢測的數據非常有限，因此現有研究提出的深度神經網絡并不適用于這類問題。

圖2 多隱含層深度神經網絡結構

本文提出并建立的深度神經網絡模型結構如圖2所示，神經網絡包括共23層，其中21層為隱含層，包含5層卷積層，3層全連接層，7層ReLU層，3層歸一化層和3個池化層；深度神經網絡的輸入層接受的數據為65×65像素的RGB彩色圖像，第一層卷積層的卷積核尺寸為5×5×3，共64個，進行步長為2的卷積操作，隨后經過步長為2、尺寸為3×3像素的池化層和一個正則化層后，輸出一組尺寸為17×17×64的數據。利用小尺度卷積核對數據進行細致的濾波處理，充分提取輸入圖像中弱小無人機目標的多層次視覺特征。從而使得所建立的深度神經網絡能夠較好地適應弱小尺度視覺目標，

第二層卷積層由128個尺寸為3×3×64的卷積核構成，對第一層輸出的數據進行步長為1的卷積運算, 通過提高卷積核個數來增加圖像通道數量，從而為后續的特征提取和檢測提供更多數據支持，在經過一次正則化操作后輸入第三層卷積層，包含64個尺寸為3×3×128的卷積核，僅進行一次步長為1的卷積操作，輸出尺寸為17×17×64的數據。在這2次卷積后未進行最大池化操作，從而使得本文所提出的深度神經網絡能夠充分地保留輸入目標的圖像細節信息。

第四層卷積層包含128個尺寸為3×3×64個卷積核，對第三層的輸出數據進行步長為2的卷積操作，隨后進行尺寸為3×3像素的池化操作并再一次對所得數據進行一次卷積操作，卷積核尺寸為3×3×128，共128個，最后對數據進行一次步長為2、尺寸為3×3的池化操作，將數據尺寸縮減為5×5×128。通過對圖像進行5次卷積操作，將其視覺特征抽象成多通道的小尺度特征圖，包含了原圖像中不同尺度下的信息，從而能實現對不同尺度目標的準確檢測。將這組數據輸入由2組512個神經元構成的全連接層，輸出層為2個神經元，分別代表“是”和“不是”2個判斷結果。

2.2 基于深度神經網絡的目標檢測方法

深度神經網絡模型的訓練采用的是傳統的反向傳播算法，模型的參數通過隨機數進行初始化。利用建立的無人機圖像數據庫作為訓練數據，對圖像進行判斷，通過將判斷結果與標準結果的差反饋到各參數，對參數數值進行微調使其逐漸逼近最佳值。

首先將訓練數據通過網絡輸入層輸入深度神經網絡，經過每一層的前向傳播最終得到判斷結果，對于l層的前向傳播公式為：

z(l)=w(l)a(l-1)+b(l)

a(l)=f(z(l))

J(w,b)=1m∑mi=1J(w,b;x(i),y(i))

J(w,b;x(i),y(i))=12(y(i)-hw,b(x(i)))2

式中，hw,b(x(i))為第i個分類的計算值;y(i)表示第i個分類的真實值;m表示類別數。此處我們要得到最佳的w和b,以使代價值J(w,b)最小,即達到分類的目的。

通過反向傳播算法計算誤差相對各參數的梯度,并通過梯度下降法對各參數進行微調

在本文所建立的深度神經網絡訓練過程中,網絡各參數經過反復微調,逐漸逼近提取和描述無人機目標圖像的最佳模型參數,利用上節中所建立的大樣本目標圖像數據庫進行訓練,采用較小的學習速度可以使參數更精準擬合多尺度無人機目標的視覺表征模型,使所建立的深度神經網絡模型能夠更加準確地適用于對不同無人機目標的檢測。

但深度神經網絡仍存在算法時間復雜度較高的不足,直接利用深度神經網絡在視頻中進行無人機目標的檢測無法滿足實時性的需求。深度神經網絡時間復雜度的計算公式為:

式中，D為神經網絡中卷積層數,Ml為第l層輸出特征圖的邊長,Kl為第l層卷積核的邊長,Cl為卷積層的輸出通道數。經計算,本文提出的神經網絡完成一次識別需要進行超過6.5×107次運算。

因此本文利用一種時間復雜度較低的運動目標檢測算法提取可能存在的無人機目標,本方法通過對傳統Haar特征進行隨機投影降維,描述圖像中的局部信息,可以快速準確地表征圖像中的弱小目標,通過對比臨近幀間的局部信息相似性,提取圖像中產生明顯變化的區域,實現快速的運動目標檢測。深度神經網絡僅對圖中的運動目標進行檢測,從而減少深度神經網絡的計算量,提高算法的整體檢測速度。

3 仿真驗證與分析

為了驗證本文所提出無人機目標檢測模型在實際場景中的有效性和準確率,本文建立了一套基于云臺式可見光攝像頭的低空光電探測系統,其系統組成如圖3所示。

圖3 云臺式可見光攝像頭(左)及視頻畫面(右)

其中,圖3左側為低空光電探測系統所采用的云臺式可見光攝像頭,圖3右側圖像為該系統在實驗環境下所獲取的原始視頻畫面。同時,在測試實驗中采用了2款國內消費級無人機市場上的主流機型作為無人機目標,其外觀如圖4所示。

圖4 測試飛行無人機示例

如圖4所示,實驗采用了2款國內消費級無人機市場上的主流機型作為低空無人機目標,其實際尺寸分別為438 mm×451 mm×301 mm(左)和221 mm×205 mm×117mm(右)。在實驗測試過程中,選擇攝像頭的視場場景(見圖3右)為飛行測試環境并保持當前視場不變,當攝像頭實際成像焦距設置為近焦端(f=100 mm)且視頻圖像分辨率為1 920×1 080時,圖4中的2種無人機目標在水平方向600 m距離處的成像尺寸約為15×15像素。

同時,根據低空光電探測系統的可能部署區域,選擇了城區和郊區2種環境進行低空無人機目標的探測檢測實驗。其中,城區環境位于城市的中心區域,高層建筑較多,且攝像頭視場中時常出現飛鳥、雜物等其他干擾物體。郊區環境則位于城區和山區相鄰交界處的野外區域,無高層建筑但存在較多飛鳥、蚊蟲等飛行干擾物體。為了避免無人機飛行對周圍環境產生負面影響,實驗中無人機目標的飛行高度不低于50 m但未超過150 m,城區環境下水平最遠飛行距離約為800 m,郊區環境下水平最遠飛行距離約為2 200 m,2架無人機的最大橫向機動飛行速度約為10 m/s。

在城區環境實驗中,為了使飛行中的無人機目標能夠位于攝像頭的視場中央,調整云臺在垂直方向上抬高了約15°視角并帶有約2倍左右的光學變焦。在實驗中,我們采用了移動計算終端對光電攝像頭的視頻流進行獲取和處理,其處理器為i7-7700HQ,內存為16G,圖形計算卡為GeForce GTX1050,對視頻中每一幀輸入圖像的處理時間約為250 ms。需要注意的是,受拍攝時間、太陽位置、空氣質量等實驗條件變化的影響,圖3右側中視頻圖像的畫質與實驗結果(見圖5～圖9)中所采集到圖像的畫質存在視覺上的差異。

圖5至圖9為采用本文所建立的深度神經網絡對低空無人機目標進行檢測的結果。其中,圖5和圖6分別為視頻畫面的第50幀和第150幀,圖中左側無人機目標為懸停狀態,右側無人機為飛行運動狀態。從圖中可以看出,綠色方框顯示本文算法對2個無人機目標都能進行準確檢測,并且當右側無人機進行機動飛行時仍然能夠準確地對運動中的無人機目標進行正確檢測。

圖5 實驗視頻圖像第50幀結果(2個目標懸停) 圖6 實驗視頻圖像第150幀結果(左側無人機目標懸停,右側無人機目標機動) 圖7 實驗視頻圖像第300幀結果(2個目標同時機動)

圖7給出了2個無人機目標同時進行機動時的檢測結果,為原視頻圖像的第300幀。可以看出,本文算法所產生的綠色滑動窗口具有99%的檢測概率,能夠準確地定位無人機目標的圖像所在區域。在圖5至圖7中,雖然視頻中無人機目標所在區域的背景圖像是僅有天空和云層的簡單背景,但由于攝像頭成像質量較差,實際采集到的視頻圖像在上述區域仍有大量的圖像噪點和毛刺,是較為明顯的干擾。

圖7中右側無人機目標處的藍色窗口即為算法產生的其他滑動窗口,但通過采用本文所建立的深度神經網絡進行目標檢測,實現了對右側飛行無人機的正確檢測(綠色框)。

圖8 郊區實驗視頻圖像第50幀結果

圖9 郊區實驗視頻圖像第200幀結果

圖8和圖9顯示了在郊區環境下,利用本文所建立深度神經網絡檢測模型得到實驗結果的第50幀和第200幀。其中,無人機在視頻中正進行由左向右的快速飛行機動。在該實驗環境條件下,無人機目標距離攝像頭最遠約為2 200 m,攝像頭為25倍光學變焦,藍色和綠色框均為本文算法所產生的檢測滑動窗口。可以看出,雖然攝像頭已經為25倍光學變焦,但由于無人機目標距離較遠,其視覺尺寸僅有約20×20像素,利用傳統算法已經無法將其與其他干擾目標區分。受實驗采用的移動計算終端計算能力限制,本文算法的檢測結果由綠色窗口表示,但其檢測概率為99%,說明本文所建立的深度神經網絡檢測模型能夠有效實現對遠距離弱小無人機目標的檢測。

此外,為了充分驗證本文所建立深度神經網絡模型的檢測精度,還采用基于特征和分類器組合的經典檢測方法對靜態圖片中的無人機目標檢測進行了對比實驗。其中,采用了基于Dense-SIFT的強特征對局部圖像塊進行描述,通過結合3種不同的編碼策略:詞袋(bag of visual words,BoVW),費舍爾向量(Fisher vector,FV)和局部特征聚合描述符(vector of locally aggregated descriptors,VLAD),并利用支持向量機(support vector machine,SVM)作為分類器來得到最終的結果。同時,為了有效驗證深度神經網絡在處理含噪聲數據時的魯棒性,實驗數據不僅含有無噪聲的樣本,還含有添加了10 dB和20 dB高斯噪聲的圖像樣本,其實驗結果如表1所示。

表1 對比實驗的檢測結果

其中,ACC表示精度(accuracy),而mAP則表示平均正確率均值(mean average accuracy)。可以看出,采用本文提出的深度神經網絡進行分類檢測時,其ACC和mAP指標都要優于采用特征和分類器組合的傳統方法。同時,在處理含有不同強度噪聲的圖像數據時,本文所建立的深度神經網絡模型仍能取得較高的總體精度和平均精度,顯示出本文方法具有較好的魯棒性。

3 結 論

本文針對低空弱小無人機目標存在機動飛行和其他視覺干擾物體情況下的檢測問題,提出了一種基于多隱含層深度神經網絡的目標檢測模型。在建立無人機目標大樣本數據庫的基礎上,提出并設計了一個具有多隱含層的無人機深度神經網絡檢測模型,通過對無人機目標多尺度視覺特性的深度表征與抽取,有效提高了檢測模型的泛化能力,實現了對遠距離弱小無人機目標的準確檢測。實驗結果表明,本文所設計的深度檢測模型具有較好的變尺度檢測能力和抗干擾效果,能夠完成對多個無人機目標的實時檢測,在工程應用上具有一定參考價值。

參考文獻：

[1] 蔡亞梅,姜宇航,趙霜. 國外反無人機系統發展動態與趨勢分析[J]. 航天電子對抗,2017,33(2):59-64

Cai Yamei, Jiang Yuhang, Zhao Shuang. Development Status and Trend Analysis of Counter UAV Systems[J]. Aerospace Electronic Warfare, 2017,33(2): 59-64 (in Chinese)

[2] 李國軍. 民用無人機恐怖襲擊風險評估與防御策略研究[J]. 中國人民公安大學學報:社會科學版,2017,33(3):9-14

Li Guojun. Study on Risk Assessment and Defensive Strategy of Terrorist Attacks on Civil UAV [J]. Journal of People′s Public Security University of China, Social Sciences Edition, 2017, 33(3):9-14 (in Chinese)

[3] Wang A, Lu J, Cai J, et al, Large-Margin Multi-Modal Deep Learning for RGB-D Object Recognition[J]. IEEE Trans on Multimedia, 2015, 17(11): 1887-1898

[4] Zhu Yingying, Zhang Chengquan, Zhou Duoyou, et al. Traffic Sign Detection and Recognition Using Fully Convolutional Network Guided Proposals[J]. Neurocomputing, 2016, 214 (suppl C): 758-766

[5] Takeki, Akito, Tu Tuan Trinh, Ryota Yoshihashi, et al. Combining Deep Features for Object Detection at Various Scales: Finding Small Birds in Landscape Images[J]. IPSJ Trans on Computer Vision and Applications 2016 8(1):5

[6] 蔣兆軍,成孝剛,彭雅琴,等. 基于深度學習的無人機識別算法研究[J]. 電子技術應用,2017,43(7):84-87

Jiang Zhaojun, Cheng Xiaogang, Peng Yaqin, et al. A Novel UAV Recognition Algorithm Based on Deep Learning Approach[J]. Application of Electronic Technique, 2017,43(7): 84-87 (in Chinese)

[7] Rozantsev, Artem, Vincent Lepetit, Pascal Fua. Detecting Flying Objects Using a Single Moving Camera.[J]. IEEE Trans on Pattern Analysis and Machine Intelligence 2017, 39(5): 879-92

[8] Rawat W, Wang Z. Deep Convolutional Neural Networks for Image Classification: A Comprehensive Review[J]. Neural Computation, 2017, 29(9): 2352-2449