基于卷積神經網絡的無人機識別方法仿真研究

甄然　于佳興　趙國花　吳學禮

摘 要：為了提高卷積神經網絡（CNN）的泛化性和魯棒性，改善無人機航行時識別目標圖像的精度，提出了一種CNN與概率神經網絡（PNN）相結合的混合模型。利用CNN提取多層圖像表示，使用PNN提取特征對圖像進行分類以替代CNN內部的BP神經網絡，采用均方差和降梯度法訓練模型，通過將預處理的圖像傳輸到CNN-PNN模型，對圖像紋理和輪廓進行分類識別，并將此模型的仿真結果與卷積神經網絡模型、卷積神經網絡-支持向量機模型的結果進行對比。仿真結果表明，與其他兩種模型相比，CNN-PNN模型具有更好的精準度，識別率高達96.30%。因此，CNN-PNN模型能夠快速有效地識別圖像，準確度和實時性較高，在圖像識別等方面具有很好的應用前景。

關鍵詞：圖像識別;無人機識別;降梯度法;概率神經網絡;卷積神經網絡

中圖分類號：TP391.41 文獻標志碼：A

doi：10.7535/hbkd.2019yx05004

Simulation research on UAV recognition method

based on convolutional neural network

ZHEN Ran1，2， YU Jiaxing1， ZHAO Guohua1， WU Xueli1，2

（1.School of Electrical Engineering， Hebei University of Science and Technology， Shijiazhuang， Hebei 050018， China;2.Hebei Provincial Research Center for Technologies in Process Engineering Automation， Shijiazhuang， Hebei? 050018， China）

Abstract：In order to improve the accuracy of identifying the target image while the drone is sailing， a hybrid model combining convolutional neural network （CNN） and probabilistic neural network （PNN） is proposed. The model uses CNN to extract multi-layer image representations and uses PNN extraction features to classify images. In order to improve the generalization and robustness of CNN， CNN-PNN model replaces BP neural network inside CNN with PNN， and trains the model by mean square error and gradient reduction method. The pre-processed image is transmitted to the CNN-PNN model to classify and identify the texture and contour of the image， and the simulation results of this model are compared with the results of convolutional neural network model and convolutional neural network-support vector machine model. The simulation results show that the CNN-PNN model has better accuracy compared with the two models， and the recognition rate is as high as 96.30%. The improved model improves the generalization and robustness of CNN， and can enhance the accuracy of image recognition in all aspects， and has high real-time performance.

Keywords：image identification; UAV recognition; falling gradient method; probabilistic neural network; convolutional neural network

目標識別是當前人工智能領域不可或缺的一部分，而無人機識別作為目標識別的重要部分，在現代戰(zhàn)爭乃至生活等方面都有著重要的應用[1-4]。隨著人工智能的迅速發(fā)展，無人機識別系統將會扮演重要的角色。

但是，無人機識別的準確率一直是影響該技術應用的重要因素[5-6]，如何充分利用已有信息，使設計出的無人機識別準確率更高，是當前該領域的重要研究方向。

CIRESAN等[7]提出了一種利用Hu不變矩進行特征值提取和交通標志檢測的方法，該方法快速可靠，識別率高，但它所提取的是低維特征，沒有層次信息。SHEN等[8]提出了一種利用灰度一致性（GLCM）進行拼接圖像偽造檢測的方法，該算法采用灰度共生方法提取圖像的紋理信息，并利用學習到的表示進行識別。該方法雖優(yōu)于僅從圖像中提取低維特征向量的方法，但只能手工提取低維特征作為Hu不變矩，需要與其他方法相結合對其進行改進。YIN等[9]提出了一種利用神經網絡模型進行視覺模式識別的方法，該網絡被命名為“新認知”。實驗結果表明，該網絡在沒有任何類別指令的情況下運行良好。QIU等[10]提出了一種利用誤差梯度訓練CNN的方法，取得了較好的效果。該方法利用CNN模型提取圖像表示，利用CNN內部的BP神經網絡分類器對圖像進行分類。這種方法幾乎是第一次使用網絡本身只學習圖像的特征與圖像標簽。事實證明，CNN的學習能力是強大的。由于CNN內部的BP神經網絡存在一定的局限性，NIU等[11]提出了適用于手寫體數字識別的CNN-SVM模型，在CNN模型中用支持向量機（support vecto machine，SVM）代替BP神經網絡分類器。ZHENG等[12]提出了一種利用多注意卷積神經網絡（MA-CNN）進行精細圖像識別的局部學習方法，重點研究了零件定位和細粒度特征學習。PORIA等[13]提出了一種CNN-SVM與主成分分析（PCA）相結合的方法，取得了良好的效果，該方法旨在提高支持向量機的性能，不再局限于手寫數字，在紋理、圖像分類、圖像識別等方面有很好的應用前景。以上模型和方法在圖像識別領域都取得了不錯的效果。在上述方法的啟發(fā)下，筆者提出了一種CNN-PNN混合模型。

1 問題建模

1.1 CNN-PNN模型的構建

本文對原始CNN圖像分類模型進行改進，使用一個簡單的CNN模型進行圖像特征提取，利用PNN模型進行分類，在仍以CNN為特征提取器的情況下，用性能較好的PNN代替BP神經網絡。PNN具有結構簡單、收斂速度快、應用范圍廣等優(yōu)點，與其他圖像識別方法相比，可以提高識別精度，擴大卷積神經網絡的應用范圍。

整個模型由CNN特征提取器和PNN分類器組成。首先，將樣本圖像輸入到CNN-PNN的輸入層，經過多次卷積和下采樣，得到大量的特征圖像。然后，由模型將圖像擴展為列向量，即從樣本圖像中提取特征向量，同時保留與特征向量完全連接的輸出層，用于CNN特征提取器的訓練。最后，分類器根據特征向量輸出最終結果。CNN-PNN結構圖見圖1。

1.2 特征提取器工作原理

在所提出的方法中CNN充當特征提取器，包括輸入層、隱含層、隱含單元和輸出層4個部分[14]。

1）輸入層 利用原始CNN模型進行特征提取，將樣本圖像輸入至模型的輸入層即可。

2）隱含層 由卷積層和降采樣層組成，用于對輸入層圖像進行卷積濾波和降采樣操作。卷積層進行特征提取，其計算形式為

Xlj=f（∑[DD（X]i∈Mj[DD）]Xl-1i·klij+Bl）。（1）

式中：所在層數用l表示;卷積核用k表示;Mj為輸入層的感受野; B為偏置項;f為激活函數，采用Sigmoid 函數。圖像尺寸會根據降采樣窗口的步長發(fā)生相應改變，采樣層的計算形式為

Xlj=f（βljp（Xl-1j）+Blj）。（2）

式中：p為采樣函數;β為權重系數。

3）隱含單元 將一系列操作后得到的特征圖像變換為一列向量，即是提取到的最終特征向量。

4）輸出層 輸出層的作用為訓練CNN的特征提取。

1.3 分類器工作原理

該模型采用PNN作為圖像分類器。PNN是由SPEEHT博士首先提出的一種人工神經網絡，具有訓練容易、收斂速度快、適用于實時處理等優(yōu)點，且其隱含層采用徑向基的非線性映射函數，考慮了不同類別模式樣本的交錯影響，具有很強的容錯性[15-16]。在樣本數據的支撐下，概率神經網絡能收斂到貝葉斯（Bayes）分類器，沒有BP網絡的局部極小值問題[17]。

概率神經網絡是由徑向基函數網絡發(fā)展起來的前饋神經網絡，其理論基礎是貝葉斯決策理論。網絡結構由輸入層、模式層、求和層和輸出層組成[18]，結構如圖2所示。

輸入層將訓練樣本傳遞到輸入層網絡中，輸入特征向量與訓練集中各模型之間的匹配關系在模式層中計算，其個數等于樣本向量的維數，根據式（3）得到各模式單元層的輸出。

ij=[SX（]1[]2πd/2[SX）]exp[-[SX（]（x-xij）τ（x-xij）[]2σ2[SX）]]。（3）

式中：d為模式向量的維數;σ為平滑參數;xij為神經元向量。

求和層是得到的每個模式的概率密度估計，其輸出與基于核的各單元概率密度估計成正比。求和層神經元通過總結和平均屬于同一類的所有神經元的輸出，來計算模式x被劃分為Ci的最大可能性。

Pi=[SX（]1[]（2π）d/2σd[SX）][SX（]1[]Ni[SX）]∑[DD（]Ni[]j=1[DD）]exp[-[SX（]（x-xij）τ（x-xij）[]2σ2[SX）]]。（4）

Ci類的樣本總數為Ni，如果每個類的先驗概率相同，且每個類的錯誤決策損失相同，則決策層單元根據所有求和層神經元輸出的Bayes決策規(guī)則對模式x進行分類。

輸出層是在概率密度估計中選擇一個神經元最大后驗概率密度作為整個系統的輸出。輸出層神經元是一種競爭神經元，每個神經元對應一種數據類型，這是一種分類[19]。

1.4 CNN-PNN模型訓練方法

CNN提取器的訓練方式與傳統CNN訓練方式相同，流程如圖3所示。

首先將所有卷積核中的權值和偏差進行初始化。通過訓練集的前向傳播得到輸出o。然后，CNN可以通過比較輸出o和標簽y來了解誤差E。假設樣本集的目錄是N，樣本類型的數目是c，則可以根據式（5）計算誤差E。

Ep=[SX（]1[]2[SX）]‖yp-op‖2=[SX（]1[]2[SX）]∑[DD（]m[]j=1[DD）]（ypj-opj）2。（5）

CNN根據E值判斷模型收斂與否。如果收斂，則訓練完成;如果沒有，則計算輸出層的殘差δ。給定激活函數f，可以從式（6）得到殘差。

δ（nl）=[SX（][]z（nl）i[SX）][SX（]1[]2[SX）]‖op-yp‖2=-（y-a（nl））·f′（z（nl））。（6）

每一層的權值和偏重是通過學習率α的更新來完成的。

W（l）=W（l）-α[SX（][]W（l）[SX）]J（ω，b）=W（l）-α·δ（l+1）（α（l））T，（7）

bi=b（l）i-α[SX（][]b（l）i[SX）]J（ω，b）=bli-α·δ（l+1）。（8）

PNN分類器的訓練過程如圖4所示。將訓練的圖像送入訓練完畢的CNN特征提取器，然后將得到的特征向量與其對應的標簽一同送入未訓練的PNN分類器中，得到最終訓練完畢的PNN分類器。

2 仿真結果及分析

2.1 仿真設置

通過識別各個類型的飛機樣本來測試CNN-PNN的性能。實驗是在Matlab2016a平臺上運行的，計算機配置為Intel（R）Cores（TM）2.8 GHz，內存8 GB，Windows7 64 位操作系統。數據集所用圖像和標簽采集于FGVC-Aircraft數據集，共采集6 000張飛機圖像，其中包含3類不同的飛機，每種包含2 000個樣本，其中1 500個樣本用來培訓，4 500個樣本用于測試。飛機輪廓樣本共含有3種，每類抽取1 000張圖像組成含有3 000幅的數據集，其中1 000幅用來培訓，2 000幅用來測試。在此之前做一些預處理的工作來保證實驗的準確性。

2.2 圖像預處理

飛機數據集包含3類不同類別的飛機，利用1 500張樣本訓練集對CNN-PNN模型進行訓練，圖像分辨率為1 200*800。

將選取的4 500個樣本圖像作為測試集，對訓練好的CNN-PNN模型進行測試。考慮到模型的處理能力有限，將原始的RGB圖像轉換為灰度圖像，如圖5所示。

有時候Matlab圖像數據必須是浮點型才能處理，而數據圖像自身是由0～255的UNIT型數據構成的，所以需要將灰度圖片進行歸一化處理。通過歸一化，可以提高訓練網絡的收斂性，歸納統一樣本的統計分布性。將處理后的圖像作為訓練集和測試集對CNN-PNN模型進行測試，詳見圖6。

2.3 結果分析

首先將迭代次數固定到100，將學習率固定到0.5，然后在數據集上進行實驗，精度如圖7所示。當平滑參數設置為0.01時，該模型可以得到最優(yōu)性能。

將CNN-PNN模型與CNN模型、CNN-SVM模型進行對比，分別在飛機集和飛機輪廓集中進行仿真，最終識別率取多次仿真結果的平均值，結果如圖8所示。其中CNN-SVM模型的平滑參數選用與CNN-PNN模型相同的0.01，其

分類器參數通過經驗法設置。該模型采用神經網絡作為表示提取器，迭代次數將影響平滑參數σ的識別精度。考慮到上述實驗結果，將擴展參數設為0.01，然后在數據集上進行不同迭代次數的實驗。除此之外，還分別用CNN，CNN-SVM重復上述實驗。如圖8所示，當迭代次數達到100時，識別率變得穩(wěn)定。由表1和表2可以看出，CNN-PNN在分類方面明顯優(yōu)于BP神經網絡和CNN-SVM。

3 結 語

1）針對無人機航行時識別目標圖像精度問題提出新的識別模型，提高了原本模型的泛化性和魯棒性，CNN-PNN模型用PNN代替CNN內部的BP神經網絡，通過均方差和降梯度法訓練模型。

2）將通過預處理的圖像傳輸到CNN-PNN模型，分別對圖像的紋理和輪廓進行分類識別，將此模型的仿真結果與卷積神經網絡模型、卷積神經網絡-支持向量機模型的結果進行了對比，結果表明CNN-PNN模型能夠有效識別圖像，準確率和實時性較高。

3）由于CNN模型中含有大量權值，訓練時需經過大量迭代計算，因而會消耗較多的時間，優(yōu)化模型的訓練過程將是下一步的研究方向。

參考文獻/References：

[1]侯宇超， 白艷萍， 郝巖，等. 面向SAR目標分類的卷積神經網絡算法研究[J]. 重慶理工大學學報（自然科學）， 2018， 32（7）：195-200.

HOU Yuchao， BAI Yanping， HAO Yan， et al. Research on SAR target classification oriented convolutional neural network algorithm[J]. Journal of Chongqing University of Technology （Natural Science）， 2018， 32（7）：195-200.

[2]ZHANG Luming， HAN Yahong， YANG Yi， et al. Discovering discriminative graphlets for aerial image categories recognition[J]. IEEE Transactions on Image Processing， 2013， 22（12）：5071-5084.

[3]LI Haoxiang， LIN Zhe， SHEN Xiaohui， et al. A convolutional neural network cascade for face detection[C]// 2015 IEEE Conference on Computer Vision and? Pattern Recognition（CVPR）.[S.l.]：[s.n.]， 2015：7299170.

[4]DONG C， LOY C C， TANG X. Accelerating the super-resolution convolutional neural network[C]//ECCV：European Conference on Computer Vision.[S.l.]：[s.n.]， 2016：391-407.

[5]朱旭鋒， 馬彩文. 基于多不變量和多分類器融合的飛機識別[J]. 儀器儀表學報， 2011， 32（7）：1621-1626.

ZHU Xufeng， MA Caiwen. Aircraft recognition based on multiple classifier fusion with multiple invariants [J]. Chinese Journal of Scientific Instrument， 2011， 32（7）：1621-1626.

[6]唐小佩， 楊小岡， 劉云峰， 等. 基于深度卷積神經網絡的飛機識別研究[J]. 電光與控制， 2018， 25（5）：72-76.

TANG Xiaopei， YANG Xiaogang， LIU Yunfeng， et al. Aircraft recognition based on deep convolutional neural network[J]. Electro Optical & Control， 2018， 25（5）：72-76.

[7]CIRESAN D C， MEIER U， GAMBARDELLA L M， et al. Convolutional neural network committees for handwritten character classification[C]// Proceedings of the 2011 International Conference on Document Analysis and Recognition. Washington DC：IEEE， 2011：1135-1139.

[8]SHI Zenan， CHEN Haipang， SHEN Xuanjing. Splicing image forgery detection using textural features based on the gray level cooccurrence matrices[J]. IET Image Processing， 2017，11（1）：44-53.

[9]YIN Wenpeng， SCHTZE H， XIANG B， et al. ABCNN： Attention-based convolutional neural network for modeling sentence pairs[J]. Transactions of? the Association for Computational Linguistics， 2016，4：259-272.

[10]QIU Jiantao， WANG Jie， YAO Song， et al. Going deeper with embedded fpga platform for convolutional neural network[C]//Proceedings of the 2016 ACM/SIGDA International Symposium on Field Programmable Gate Arrays.New York：ACM， 2016：26-35.

[11]NIU Xiaoxiao， SUEN C Y.A novel hybrid CNN-SVM classifier for recognizing handwritten digits[J].Patern Recognition，2012，45（4）：1318-1325.

[12]ZHENG Heliang， FU Jianlong， MEI Tao， et al. Learning multi-attention convolutional neural network for fine-grained image recognition[C]// 2017 IEEE International Conference on Computer Vision （ICCV）. [S.l.]：IEEE， 2017：5209-5217.

[13]PORIA S， CAMBRIA E， GELBUKH A. Aspect extraction for opinion mining with a deep convolutional neural network[J]. Knowledge-Based Systems， 2016， 108：42-49.

[14]PROF A . High accuracy arabic handwritten characters recognition using error back propagation artificial neural networks[J]. International Journal of Advanced Computer Science and Applications， 2015， 6（2）：145-152.

[15]MANGAYARKARASI T， JAMAL D N. PNN-based analysis system to classify renal pathologies in kidney ultrasound images[C]// International Conference on Computing & Communications Technologies.[S.l.]：[s.n.]， 2017：29-32.

[16]OH S K， PEDRYCZ W. The design of self-organizing polynomial neural networks[J]. Information Sciences， 2002， 141（3/4）：237-258.

[17]公茂法， 接怡冰， 李美蓉， 等. 基于小波包與改進的PSO-PNN變壓器勵磁涌流識別算法研究[J]. 電測與儀表， 2018， 55（8）：17-23.

GONG Maofa， JIE Yibing， LI Meirong， et al， Research on algorithm of transformer inrush current identification based on wavelet packet and improved PSO-PNN[J]. Electrical Measurement and Instrumentation， 2018， 55（8）：17-23.

[18]黃元植， 黃銳敏， 莫冰， 等. 利用GRNN和PNN對運動姿態(tài)的識別研究[J]. 電腦知識與技術， 2018，14（1）：264-267.

HUANG Yuanzhi， HUANG Ruimin， MO Bing， et al. Research on human motion recognition based on GRNN and PNN [J]. Computer Knowledge and Technology， 2018，14（1）：264-267.

[19]WANG S L， LI X， ZHANG S， et al. Tumor classification by combining PNN classifier ensemble with neighborhood rough set based gene reduction[J]. Computers in Biology & Medicine， 2010， 40（2）：179-189.