改進Inception-Resnet-V2網絡的無人機航向識別

成 怡，田文斌，鄭騰龍

1.天津工業大學 控制科學與工程學院，天津 300387

2.天津工業大學 天津市電氣裝備智能控制重點實驗室，天津 300387

我國電力供電系統中，電力輸送主要由高壓架空輸電方式實現。高壓架空線路由大型基桿塔搭建，基桿塔與線路的巡檢是保障高壓輸電網絡安全運行的基本技術保證。輸電線路所處地形一般復雜、惡劣，人工巡檢時存在安全風險、效率低下等諸多不利因素。因此，無人機逐漸成為電力巡檢的主力軍[1]。無人機在目前電力巡檢工作時，普遍采用人工遙控方式巡檢，在某些復雜惡劣的地形情況下難以避障，且人工操作巡檢時，不穩定因素較多、危險性高，容易導致巡檢過程中無人機與基桿塔發生碰撞或電擊穿，為此，基于圖像處理的深度學習智能無人機在避障與航向識別方面的研究越來越受到重視[2]。

在深度學習的圖像識別與檢測領域，Inception-Resnet-V2網絡結構優秀、精度較高，被國內外學者廣泛研究和應用。北京科技大學鄧能輝等[3]在表面缺陷檢測的研究中，用Inception-Resnet-V2模型進行遷移學習，提出的檢測方法在中厚板表面常見缺陷實現了大于98%的檢出率，平均識別率也大于88%。南京農業大學袁培森等[4]利用Inception-Resnet-V2網絡的特征提取能力，結合雙線性回合操作，開發了基于Flask框架的在線菌類識別系統，實現了較高精度的細粒度菌類表型在線識別。復旦大學王云軍等[5]在一次大規模的初步研究中，使用深度卷積神經網絡通過組織病理學對甲狀腺腫瘤進行多分類。其中Inception-Resnet-V2網絡模型可以達到94.42%的平均診斷準確率。華北電力大學朱有產等[6]在一種基于改進的NIC算法的圖像字幕生成研究中，利用Inception-Resnet-V2網絡更好的特征提取能力和避免網絡深化所造成的性能退化的特點，改進后的算法具有良好的圖像描述生成效果。

Inception-Resnet-V2網絡雖然圖像識別精度較高，但網絡參數、計算量較大、實時性較差。而無人機在復雜環境下進行電力巡檢作業的過程中，避障和航向預測功能對圖像識別的精度、時效性都有較高的要求。因此，本文引入深度可分離卷積，研究并優化了Inception-Resnet-V2網絡，改進后的網絡保證了在對基桿塔圖像識別精度基本不變的情況下降低了計算量。在實際電力巡檢實驗中，驗證了提出的無人機航向識別方法的有效性。

1 Inception-Resnet-V2網絡結構及其改進

Inception網絡[7]通過將稀疏矩陣聚類成相對密集的子矩陣來提高計算性能。使用1×1的卷積把相關性高、同一空間位置不同通道的特征連接在一起，構建出符合Hebbian原理的高效稀疏網絡結構[8-9]。

結構更深的網絡往往有更好的表現，但普遍存在梯度彌散的問題，且網絡結構的參數與計算量較大，消耗計算成本并不利于模型在集成芯片上的搭載。Google提出在Inception模塊中加入殘差結構的Inception-Resnet-V2網絡[10]，充分利用了Resnet網絡結構恒等映射的特性，提高了網絡的精度并解決了網絡退化和梯度消失的問題[11]，因此可以拓展成更深的模型。為保證網絡模型的優越性并進一步降低網絡的計算復雜度，本文基于可分離卷積核的卷積形式，引用三層Resnet卷積模塊的卷積結構，對Inception-Resnet-V2網絡結構中Stem、Inception-Resnet-A、Reduction的各網絡模塊3×3的卷積層進行卷積核和卷積結構的改進。

當網絡結構中的3×3卷積核進行卷積運算時，對應圖像區域內的所有通道同時參與運算。深度可分卷積對不同的輸入通道采用不同的卷積核，通過先深度卷積后逐點卷積的方法降低了計算復雜度[12]。Inception-Resnet-A模塊的部分3×3卷積輸入尺寸為h×w×c，卷積層有k個3×3卷積核，輸出為h×w×k。計算量為h×w×k×3×3，參數量為c×3×3×k。本文將3×3卷積核改進為深度可分離卷積核，將普通卷積操作分解為深度卷積和逐點卷積兩個過程[13]，將Inception-Resnet-V2網絡結構中3×3卷積層的計算量壓縮為：

改進后的卷積模塊如圖1所示。在可分離卷積核卷積操作之前，使用1×1的卷積核將該卷積層輸入進行降維，可分離卷積操作后再次使用1×1的卷積核還原維度，優化了時間復雜度和空間復雜度，并進一步減少計算成本、加深網絡結構。

圖1 改進后卷積結構Fig.1 Improved convolution

本文的提出的卷積層計算量壓縮為：

本文用提出的卷積層代替了Inception-Resnet-V2網絡中Inception-Resnet-A模塊的3×3卷積層，并在Resnet-A模塊中，通過添加layer-add，將layer2中改進3×3卷積層卷積后的特征進行融合，增加圖像特征下的信息量，再進行layer3改進3×3卷積層的卷積操作，加深網絡結構、減小計算量，從而有利于網絡模型的識別效果。

2 改進網絡的性能測試與分析

為驗證改進后的Inception-Resnet-V2網絡模型的特性，本文選取VGG的Fine-Grain Recognition Datasets數據集中的四個類別進行圖像識別，其中每個類別由800張圖片組成，驗證集每個類別160張圖片，測試集每個類別160張圖片，共計3 200個樣本。Inception-Resnet-V2網絡模型定義的輸入尺寸大小為299×299，故本文將數據集中的所有樣本像素大小預處理為299×299。將預處理后的數據作為輸入數據，訓練改進的網絡模型。訓練網絡策略中關鍵的參數設置及其說明，如表1所示。

表1 訓練網絡策略中關鍵的參數設置及其說明Table 1 Key parameters and instructions

訓練結果如圖2所示。改進后的網絡在迭代次數達到一定數量時訓練和驗證的精度都開始大幅提升，經過多次迭代后網絡最終收斂。模型在驗證集上的損失值逐漸衰減，最后穩定在0.69，驗證精度最終達到0.88，訓練精度達到1.0。

圖2 改進網絡模型訓練結果Fig.2 Improved training results

訓練后的改進Inception-Resnet-V2網絡模型，在Fine-Grain Recognition Datasets測試集中的樣本識別結果示例如圖3、圖4所示。

圖3 對房屋樣本數據的識別Fig.3 Recognition of housing sample data

圖4 對雕塑樣本數據的識別Fig.4 Recognition of sculpture sample data

由圖3可知，改進后Inception-Resnet-V2網絡模型對測試集中房屋測試樣本能夠準確地預測標簽值，得分約為0.86。圖4中改進的網絡模型能正確地識別測試集中雕塑類別，預測得分約為0.99。改進后的模型對測試集其他樣本類別也成功識別并獲得了較高的預測得分。

為了測試與分析改進網絡結構與其他網絡結構的識別結果，本文采用準確率、召回率、F1_score、參數量、計算量指標對網絡模型的識別性能進行分析。其中準確率為識別正確的樣本數與總樣本數之比，召回率的公式為：

其中，TP表示預測為正且判斷正確，FP表示預測為負且判斷錯誤。

F1_score是模型精確率和召回率的一種加權平均數，F1_score的計算公式為：

其中，FN表示預測為負且判斷錯誤。本文選取Alexnet[14]、VGG[15]、Inception-V4、Inception-Resnet-V2、X-ception[16]網絡與改進后的Inception-Resnet-V2網絡進行對比。在同一數據集下，各網絡模型的性能評價結果如表2所示。

在表2中，改進的Inception-Resnet-V2網絡模型在測試集中準確率為92.50%，召回率達到92.52%，F1_score達到了92.51%，綜合性能做到了平衡。改進后的網絡模型精度高于Alexnet、VGG等經典網絡模型的精度，與X-ception網絡模型精度相同，但參數量與計算量得到了進一步降低且具有其優良的網絡結構。與Inception-Resnet-V2網絡模型相比，在保證達到92%以上高精度的同時，只損失了3個百分點的精度，卻降低了參數量和計算量。故對比本文所選的其他經典網絡模型，改進的Inception-Resnet-V2網絡模型能夠在保證較高精確度與優越網絡結構的同時，減少網絡模型的參數量與計算量，提高時效性。

表2 改進Inception-Resnet-V2與其他網絡模型的對比Table 2 Comparison of performance between improved network and other network models

Inception-Resnet-V2網絡模型的計算總量為9.06 GFlops，參數總量為2.752×107。改進后的網絡模型的計算總量為6.25 GFlops，參數總量為2.228×107。改進后的網絡模型stem模塊中的參數總量約為1.2×105，而Inception-Resnet-A、Reduction-A和Reduction-B模塊的參數總量分別約為3.4×104、5.3×105和1.42×106。在Incepon-Resnet-V2網絡中，stem模塊中的參數總量約為6.0×105，Inception-Resnet-A、Reduction-A和Reduction-B模塊的參數總量分別約為8.8×104、2.9×106和3.54×106。改進后網絡模型和原網絡各組成模塊的參數量對比如圖5所示，改進后的網絡模型在stem層、Inception-Resnet-A以及Reduction-A、B層的參數量明顯降低。

圖5 改進網絡模型與原網絡各模塊參數量的對比Fig.5 Comparison of parameters between improved network and original network

改進后網絡模型各模塊的卷積計算量如表3所示。綜合網絡的識別精度與計算復雜度，改進后的網絡模型與其他網絡模型相比得到了有效的提升。

表3 改進Inception-Resnet-V2網絡模型各模塊的卷積計算量Table 3 Convolutional computation for each module of improved Inception-Resnet-V2 network

為直觀地展現改進后網絡模型的優越性，繪制了Improved Inception-Resnet-V2網絡 與VGG網絡基于測試集實驗結果的ROC曲線。該曲線根據網絡模型的預測結果，從閾值選取的角度評價網絡模型的泛化性能與精度。ROC曲線的縱軸是真正例率TPR，是指正確預測為正例的樣本占所有正例的比例。橫軸是假正例率FPR，是指錯誤預測為正例的樣本占所有負例的比例。兩者分別定義為：

ROC曲線將真正例率和假正例率以圖示方法結合在一起，可準確反映改進Inception-Resnet-V2真正例率和假正例率的關系，是檢測網絡模型準確性的綜合代表。通過該曲線可以簡單、直觀地分析網絡模型的準確性。本文將測試集中各樣本數據的預測得分值，從小到大依次排列作為閾值，計算FPR、TPR并繪制了各類別的ROC曲線，如圖6、圖7所示。

由圖6、圖7所示的ROC曲線分析可知，在同一測試集下，改進的Inception-Resnet-V2網絡對應于測試集中各類別的ROC曲線，比VGG網絡對應類別的ROC曲線，更靠近坐標系的左上角，這一特性表明了改進的Inception-Resnet-V2網絡比VGG網絡有更高的準確性。綜上可知，改進后的Inception-Resnet-V2網絡在參數量與MACC計算總量縮減的同時仍具有較好的識別效果。

圖6 改進的Inception-Resnet-V2的ROC曲線Fig.6 ROC curve of improved Inception-Resnet-V2

圖7 VGG網絡模型的ROC曲線Fig.7 ROC curve of VGG network model

3 改進網絡在電力巡檢航向識別中的應用

為驗證無人機搭載改進后網絡模型進行實際電力巡檢時航向識別的效果，本文采用大疆無人機M210RTK進行實驗。實驗的操作環境為64位Windows7操作系統、GTX 1080Ti GPU、Pycharm2018、MagicEXIFv1.08、Visual Studio2017。

首先對復雜環境下的基塔圖像進行采集，對其預處理并制作數據集。數據集共有1 600個樣本，其中包含訓練集1 280個樣本、驗證集160個樣本、測試集160個樣本。使用MagicEXIF元數據編輯器分析樣本圖像，得到訓練集中每個樣本圖像數據標題的標簽值，從而獲得位置信息。無人機航向下行偏移量、左下偏移量、左偏移量、左上偏移量、右下偏移量、右偏移量、右上偏移量、上升偏移量的標值分別設置為0~7。測試集中左右標題的樣本圖像如圖8、圖9所示。

圖8 無人機左偏移航向數據集樣本Fig.8 Sample of left offset heading dataset

圖9 無人機右偏移航向數據集樣本Fig.9 Sample of right offset heading dataset

為了直觀地體現出改進卷積結構的效果，將改進后的卷積層卷積操作后得到的特征圖可視化。圖8、圖9所示的樣本圖像分別被改進后Inception-Resnet-V2網絡的Stem層第一層3×3的卷積層卷積操作后，得到的特征圖如圖10、圖11所示。可見輸出特征圖的紋理、細節特征都很清晰，便于后續深層網絡的卷積運算。

圖10 圖8的特征圖Fig.10 Feature map of Fig.8

圖11 圖9的特征圖Fig.11 Feature map of Fig.9

無人機搭載訓練后的網絡，在對有方向標簽的圖像進行識別后，輸出的航向預測結果如圖12、圖13所示。其中圖8的測試樣本實際方向為左偏移航向，圖12中對應的預測結果標簽值為2，航向為Left，預測概率約為0.99。圖9中實際方向是右偏移航向，圖11中對應的預測結果的標簽值為5，航向為Right，預測概率約為0.99，準確預測了無人機的航向。測試集中其他樣本也具有較高精度的預測結果，可見本文提出的方法能使無人機在復雜環境下電力巡檢時高精度的識別出基桿塔，并且以較高預測分數進行航向識別。

圖12 左偏移航向數據集樣本的預測結果Fig.12 Prediction results for offset heading dataset sample

圖13 右偏移航向數據集樣本的預測結果Fig.13 Prediction results for right offset heading dataset sample

將測試集的預測結果用混淆矩陣表示，圖像橫軸為航向的預測結果，縱軸為真實的航向，其中0~7分別表示8個方向的標簽值，分別為垂直下降、左下偏移、左下偏移、左上偏移、右下偏移、右上偏移和垂直上升。在混淆矩陣中，正確的預測結果都在對角線上，預測錯誤的數據量呈現在對角線外面。當混淆矩陣的預測結果大量集中于混淆矩陣的對角線時，航向識別的預測結果較好。

針對不同的航向，本文共進行20次無人機實驗。航向預測的混淆矩陣如圖14所示，圖中右側為樣本數量與混淆矩陣色圖顏色對應示意，樣本最大值20對應圖中最深顏色，樣本最小值0對應圖中最淺顏色。其中，對下左偏移量、左偏移量、右偏移量、垂直上升量的樣本數據進行了正確預測。對于垂直下降、左上偏移和右下偏移的樣本數據，每類中有兩個樣本數據的預測是錯誤的，左上偏移航向中的一個樣本數據的預測是錯誤的。

圖14 測試集的預測結果混淆矩陣Fig.14 Confusion matrix of test set prediction results

對混淆矩陣進行分析可得各航向的精度，如圖15所示。各航向的預測準確率都較高，其中最高預測準確率為100%，最低預測準確率為90%。在實際飛行實驗中，共對160幅樣本圖像進行預測，其中正確預測了153幅圖像，平均預測準確率為95.63%，召回率為96.31%。

圖15 各航向的預測精度Fig.15 Prediction accuracy of each heading

因此，改進后的Inception-Resnet-V2網絡模型在實際復雜的環境下進行電力巡檢時，可以高精度地識別基桿塔并能夠較好地預測無人機的飛行航向。在實際應用中表明，改進的網絡模型不僅具有Inception優秀的網絡結構，而且能夠較好地兼顧航向識別精度與實時性。

4 結論

本文基于Inception-Resnet-V2網絡，引入深度可分離卷積，對其結構中Stem層以及各網絡模塊中3×3卷積層進行改進。優化了Inception-Resnet-V2網絡結構，降低了參數量與計算量，在保持網絡模型對圖像高精度識別的同時提高了運行的實時性。通過在標準數據集上與其他同類網絡的性能進行對比，取得了明顯的優勢。在實際復雜環境下電力巡檢的實驗中能夠準確識別基桿塔，依據識別后的圖像信息還原位置信息從而預測出無人機航向，預測精度高達95.63%。因此，本文提出的基于改進Inception-Resnet-V2網絡的無人機航向識別方法具有實際應用價值。