基于AI技術的無人機機載前端智能識別技術研究

劉軍杰 朱建收 盛雨笛 胡永輝 盛從兵

摘 要：將無人機高精度定位技術與視覺跟蹤技術融合，可以實現輸電線路設備高清影像的精準采集。因此，有必要建立基于無人機機載前端的巡檢圖像智能識別前端系統模型，實現輸電線路設備缺陷、通道隱患的實時識別。其間可以將人工智能（AI）技術應用到無人機機載前端智能識別中，結合目標檢測算法，獲得智能識別結果。現場應用后，無人機視角下的微小目標檢測符合應用要求。本研究成果可在一定程度上提升無人機巡檢應用效果。

關鍵詞：無人機巡檢;智能識別;檢測算法;YOLO v3網絡

中圖分類號：V279;TP391.41文獻標識碼：A 文章編號：1003-5168（2021）14-0008-03

Abstract： The integration of UAV high-precision positioning technology and visual tracking technology can achieve accurate collection of high-definition images of transmission line equipment. Therefore， it is necessary to establish? a front-end system model for the intelligent identification of inspection images based on the airborne front-end of the UAV to realize the real-time identification of transmission line equipment defects and channel hidden dangers. In the meantime， artificial intelligence （AI） technology can be applied to the intelligent recognition of the airborne front-end of the UAV， combined with the target detection algorithm， to obtain the intelligent recognition result. After the field application， the detection of small targets under the UAV's perspective meets the application requirements. The research results can improve the application effect of UAV inspection to a certain extent.

Keywords： UAV inspection;intelligent identification;detection algorithm;YOLO v3 network

無人機高精度定位以網絡實時差分定位（RTK）為基礎，融合視覺導航跟蹤技術，可以實現絕緣子串、防振錘、間隔棒、均壓環和桿塔等關鍵部位的捕捉和精準拍攝，而視覺追蹤是其需要解決的主要問題之一[1-2]。本文采用深度學習的方法，利用卷積神經網絡進行目標檢測，同時使用深度學習框架Darknet，選用YOLO系列網絡模型，對無人機視覺拍攝的數據集進行訓練，然后運用所得模型參數來進行前向推理，從而實現無人機的目標檢測。

1 目標檢測算法

Darknet是一個用C語言和CUDA運算平臺編寫的開源神經網絡框架，具有以下優點：易于安裝，結構明晰，源代碼查看、修改方便，沒有任何依賴項。模型訓練采用基于Caffe深度學習框架的TensorRT加速的YOLO算法。配置環境使用cuda8.0.61、cudnn7.0、opencv2.4.8、Python2.7.6、Keras2.1.1、Numpy1.14.2、TensorFlow1.0.0、pip19.0.3、setuptools-40.8.0和cmake3.5.1等工具，使用JetPack3.3軟件將TX2嵌入式開發板刷機，即可自動安裝TensorRT加速工具，方便在TX2上部署[3]。

YOLO v3網絡模型借鑒了殘差網絡（Residual Network）的做法，在一些層之間設置了快捷鏈路，采用Darknet-53網絡結構，如圖1所示[4-5]。

YOLO v3網絡模型使用聚類算法，得到9種不同寬與高的先驗框，前面輸出三種不同尺寸的特征圖，每個特征圖上的一個點只需要預測三個先驗框。根據圖中信息，確定9個尺寸的anchors（錨點）值。anchors值取8、13、19、29、45、35、28、65、84、60、51、117、144、110、90、211、208和271。

YOLO v3網絡模型采用3個不同尺度的特征圖來進行對象檢測，由于下采樣倍數高，這里特征圖的感受野比較大，因此其適合檢測圖像中尺寸比較大的對象。

YOLO v3網絡模型本來使用Darknet框架，雖然易于部署但是無法應用其他加速方法，在用Pytorch軟件改寫后可以使用TensorRT加速。也就是說，先通過運行YOLO v3_to_onnx.py腳本程序將Darknet模型轉為ONNX格式，再運行onnx_to_tensorrt.py腳本程序將ONNX轉為TensorRT model，即可用TensrorRT加速CNN（卷積神經網絡）部分。用20類缺陷樣本做測試，在TX2嵌入式開發板上運行模型，其平均準確率超過85%，召回率超過90%，每張圖片的處理速度為62 ms。

2 目標檢測應用

2.1 數據集統計

連接金具訓練集與測試數據集，統計結果如表1、表2所示。

2.2 模型優化

由于連接金具模型需要部署在TX2嵌入式開發板上進行實時目標檢測，因此要采用輕量小模型對連接金具進行精確識別與定位。在YOLO v3網絡模型的基礎上對其進行輕量處理，去掉一些特征層，保留3個獨立預測分支，構建了一個適合在資源受限環境下運行的Tiny-YOLO v3檢測模型，該模型的檢測流程如圖2所示。

從圖2可知，在Tiny-YOLO v3檢測模型中，原YOLO v3網絡模型的主干架構DarkNet-53被簡化成一個包含7個網絡層的CNN，它由一系列的卷積層（Convolutional）及最大池化層（Max Pooling）組成，其中的卷積層用于提取特征，步幅為2的池化層則對卷積層輸出的特征圖進行下采樣。

除主干架構之外，后續的多尺度預測過程也利用CNN最后輸出的大小及第5個卷積層輸出的大小的特征圖來輸出兩組預測結果，得到兩個張量。其間只需要進行一次上采樣，采樣前只使用少量的卷積層來進行維度壓縮。

2.3 模型測試結果

一是測試硬件，包括嵌入式NVIDIA JETSON TX2和1080TI服務器。二是測試環境，服務器有Cuda10.0、Cudnn7.6、Opencv3.4.0、Python3.6和Darknet。嵌入式使用JetPack3.3對嵌入式TX2進行刷機，即可自動安裝相關運行環境，方便在TX2上進行部署。

在關鍵部位目標測試結果中，首先根據關鍵部位（如絕緣子串、防振錘、間隔棒、均壓環和桿塔等）建立樣本庫。目前，針對電力巡線，訓練了包含五類目標的模型，分別是絕緣子、連接金具、連接掛點、防震錘及鳥巢。其次，由于實時性要求較高，選取YOLO v3網絡模型作為訓練框架。最后，基于YOLO v3目標識別算法進行各類別模型訓練，訓練精度如表3所示。

在連接金具測試中，將連接金具分為insulatorlinkline、linelinktower和insulatorlinktower三類，采集實際巡檢環境圖像并進行標記，共制作了5萬多張標記圖像樣本進行訓練，同時制作4 364張圖像數據進行測試，在測試閾值設置為0.5的情況下，平均檢測精度達到0.507 014。經測試，將該模型部署于無人機平臺上實際飛行時，輸入視頻分辨率為1 080 Pixel，其檢測速度可達到30幀/s，檢測效果很好，可滿足實時檢測需求。具體連接金具的檢測結果如圖3所示。

在導線數據測試結果中，導線檢測類別僅為導線一類目標。采集實際飛行環境中的導線圖像并進行標記，共制作5 000多張標記圖像樣本進行訓練，同時制作441張圖像數據進行測試，在測試閾值設置為0.25的情況下，平均檢測精度達到0.78。經測試，將該模型部署于無人機平臺上實際飛行時，輸入視頻分辨率為1 080 Pixel，其檢測速度可達到4幀/s，檢測效果較好，可滿足實時導線檢測和跟蹤需求。此外，將該模型部署于1080TI服務器上，檢測速度可達到49幀/s。

3 結語

在無人機場景下，本文應用目標檢測，使用機載TX2運行YOLO v3網絡模型，由DAC數據集訓練獲得網絡模型權重。由現場應用結果可以看出，無人機視角下的微小目標檢測基本符合應用要求，但依然存在一些問題，比如，過小的物體無法識別，其根本原因在于數據集不夠完善，從而出現一些誤檢與漏檢。

參考文獻：

[1]胡志坤，趙超越，王振東，等.基于邊緣計算和無人機巡檢圖像的輸電桿塔關鍵部位隱患智能識別[J].浙江電力，2020（10）：21-27.

[2]任海波，王水，黃遲，等.一種智能化巡檢無人機系統的設計研究[J].中國新通信，2020（19）：70-71.

[3]孫雙春，張玲艷，楊濤，等.智能識別技術在無人機電力巡檢中的應用[J].新型工業化，2020（5）：87-88.

[4]邵瑰瑋，劉壯，付晶，等.架空輸電線路無人機巡檢技術研究進展[J].高電壓技術，2020（1）：14-22.

[5]劉文華，劉洋，李寧.智能識別算法在無人機巡線中的應用研究[J].中國管理信息化，2018（11）：128-133.