基于遷移學習的無人機桿塔巡檢圖像異常識別技術及實驗對比

摘 要：針對無人機進行電路巡檢過程中，由于得到的桿塔圖像背景復雜，正負樣本分布不均而導致的桿塔異常檢測準確度不高的問題，提出了一種基于遷移學習的無人機電力桿塔巡檢圖像異常檢測技術。設計了一種基于多元特征混合提取的目標檢測架構，用于模型的預訓練，之后基于預訓練模型進行微調，以適應下游桿塔異常圖像的檢測任務，它能夠通過小樣本數據來構建高效的桿塔異常圖像檢測模型。結果表明：該方法較其他方法在異常檢測準確率方面提升了約2%，驗證了所提出的無人機桿塔巡檢圖像異常檢測的有效性。

關鍵詞：圖像處理；深度學習；特征提取；異常檢測；圖像識別

中圖分類號：TM711;TP391文獻標志碼：A文章編號：1001-5922（2023）06-0136-04

Experimental comparison of image anomaly recognition techniques by unmanned aerial vehicle （UAV） tower inspection? based on transfer learning

HU Minghui

（EPTC （Beijing） Electic Power Research Institute，Beijing 100055，China）

Abstract：In order to solve the problem that the abnormal detection accuracy of tower anomalies is not high due to the complex background of the obtained tower image and the uneven distribution of positive and negative samples during the circuit inspection process of the UAV，an anomaly detection technique based on transfer learning for inspection image of UAV power tower is proposed.This technology designs a target detection architecture based on multivariate feature hybrid extraction （DME） for model pre-training，and then fine-tunes based on the pre-trained model to adapt to the detection of abnormal images of downstream towers.It can build an efficient tower anomaly image detection model with small sample data.The experimental results showed that this method improved the anomaly detection accuracy by about 2% compared with other methods，which fully enabled the effectiveness of the proposed UAV tower inspection image anomaly detection.

Key words：image processing;deep learning;feature extraction;abnormal detection;image recognition

電力桿塔是電力傳輸系統中的重要環節之一，但受到自然災害的影響，電力桿塔常常出現傾斜，倒塌等異常情況，嚴重影響電力的安全運輸。為了避免這種情況，現在多使用無人機來進行快速數據采集和檢測，雖然無人機的引入大大降低了人力開支，但是產生大量圖像數據仍然需要進行快速處理，從而定位出異常區域。因此，結合圖像目標檢測技術的電力桿塔異常區域的自動化識別方法成為無人機巡檢過程中的重要應用方法。

由于用于電力桿塔異常檢測的無人機圖像數據集的正負樣本極不均衡，并且異常情況下的數據樣本較少而缺乏普適性，因而使用現有的深度學習目標檢測網絡結構難以訓練出有效的目標檢測模型。

基于上述分析，研究提出了一種基于遷移學習的無人機電力桿塔巡檢圖像異常檢測技術。該技術通過構建基于多元特征混合提取目標檢測網絡結構來獲取預訓練模型，在通過參數微調來適應下游任務，進而實現基于小樣本圖像數據來構建高效高精度的無人機電力桿塔巡檢圖像異常檢測模型。

1 方法及原理

基于遷移學習的無人機電力桿塔巡檢圖像異常檢測技術主要包含基于多元特征混合提取的目標檢測架構的構建以及基于無人機電力桿塔巡檢圖像異常檢測任務的微調2個部分。由于用于電力桿塔檢測的圖像數據集極少，因此本文還收集了224張無人機電力桿塔檢測圖像并對異常區域進行了標注，構建了數據集適應后面的微調任務，得到更加準確的電力桿塔巡檢圖像異常檢測模型。

1.1 基于多元特征混合提取目標檢測結構的預訓練模型構建

卷積神經網絡模型多應用于圖像數據上下文特征的提取，而現有的transformer中提出的自注意力機制［5-6］則更加關注于圖像長距特征的挖掘，研究創新性的結合以上2種方法，提出了一種基于多元特征混合提取的目標檢測架構用于模型的預訓練，以達到更好的檢測效果。

2.2 實驗流程

實驗過程中選擇了Faster-Rcnn［9］、Swin-transformer［10］、SPPNet［11］、ResNet［12］、P-RetinaNet［13］等深度學習算法與本文提出的方法進行了實驗對比驗證。實驗過程均在裝有nvidia 2080Ti單卡的服務器上進行，模型訓練次數為100，學習率設置為1e-4，并且使用Adam優化器［14］來加快模型收斂。實驗過程中，將數據集按照2∶1∶1劃分訓練集；測試集以及驗證集。

2.3 實驗設計以及效果評估

首先，將基于遷移學習的無人機電力桿塔巡檢圖像異常檢測技術與不同對比方法進行了實驗驗證。在此期間，我們通過減少數據集樣本數，來驗證小樣本數據集對于不同方法性能的影響。其實驗結果數據如表1所示。

通過對表1中的數據進行分析可知，研究提出的基于遷移學習的無人機電力桿塔巡檢圖像異常檢測技術在進行預訓練（Ours+pretrain）與沒有進行預訓練（Ours）2種情況下，其識別準確率較之效果較為突出的P-RetinaNet最少提升了2%，IoU提升了1.3%，Reall提升了1.5%，其識別效率也較為突出。不僅如此，隨著數據集數量的減少，基于遷移學習的無人機電力桿塔巡檢圖像異常檢測技術仍然具備最優的性能，表現出了強大的泛化能力。

此外，我們對實驗過程中基于遷移學習的無人機電力桿塔巡檢圖像異常檢測技術與部分對比方法的異常檢測結果進行了部分展示。

最后，我們對多元融合策略（MSF）進行了消融實驗。基于數據集，在基于多元特征混合提取的目標檢測架構（DME）中，將去除多元融合策略的單一卷積模型與添加多元融合策略的模型結構進行了實驗對比，以驗證多元融合策略的有效性。其實驗數據如表2所示：

由表2對比分析可知，多元融合策略的添加使得DME的檢測準確度分別提升了3.9%和3.1%，充分證明了這2個模塊的有效性。

接下來我們對基于遷移學習的無人機電力桿塔巡檢圖像異常檢測技術有無預訓練對模型的檢測準確率影響進行了對比，如圖1所示。

從圖1可以看出，添加了預訓練的目標檢測模型將持續提升模型的檢測準確率，說明了遷移學習方式帶來的先驗知識可有效提升電力桿塔圖像異常區域的檢測效果。

不僅如此，我們還對模型訓練過程中的Loss和Precision數值變化進行了統計，結果如圖2所示。

從圖2可以看出，隨著模型訓練次數的疊加，研究提出的基于遷移學習的無人機電力桿塔巡檢圖像異常檢測技術在相同的訓練次數下，比其他方法具備更高的Precision值和更低的Loss值，收斂速度更快，充分驗證了方法的有效性。

通過一系列對比實驗驗證可以得出，提出的基于遷移學習的無人機電力桿塔巡檢圖像異常檢測技術可以通過小樣本遷移學習的方式有效實現對電力桿塔圖像異常區域的檢測，與其他對比方法相比較，在識別性能方面具備一定優勢。

3 結語

研究提出了一種基于遷移學習的無人機電力桿塔巡檢圖像異常檢測技術。通過結合Transformer，搭建了一種基于多元特征混合提取目標檢測架構，實現了對預訓練模型的有效獲取，并通過遷移學習的方式，在小樣本數據集上大大提升了電力桿塔圖像異常區域的識別準確率。在實驗驗證部分，不僅將該技術與一系列方法進行了實驗對比驗證，而且對其中的模塊進行了單獨的測試。實驗結果表明，基于遷移學習的無人機電力桿塔巡檢圖像異常檢測技術與對比方法相比較具備更好的性能優勢。在接下來的研究工作中，將致力于構建輕量型的目標檢測模型，使其能夠大大降低無人機的能耗，提升其持續性監測能力。

【參考文獻】

［1］馬騫.基于圖像視頻的景區人流密度估計方法研究［J］.信息技術，2020，44（8）：34-38.

［2］張艷邦，張芬，張姣姣.基于SVM和背景模型的顯著性目標檢測算法［J］.電子設計工程，2022，30（5）：17-21.

［3］楊小艷.基于圖像處理技術的包裝表面缺陷檢測［J］.微型電腦應用，2021，37（8）：63-66.

［4］魯家皓，張捷，胡國勝，等.基于多特征融合的圖像匹配研究［J］.微型電腦應用，2022，38（3）：1-3.

［5］魏冬梅.基于卷積神經網絡的移動網絡目標跟蹤與控制[J].沈陽工業大學學報，2023，45（3）：342-347.

［6］楊禮吉，王家祺，景麗萍，等.基于張量計算的卷積神經網絡語義表示學習[J].計算機學報，2023，46（3）：568-578.

［7］ZHAO Z，LI Q，ZHANG Z，et al.Combining a parallel 2D CNN with a self-attention dilated residual network for CTC-based discrete speech emotion recognition［J］.Neural Networks，2021，141： 52-60.

[8］S. MEFTAH，B. H. M. TAN，C. F. MUN，K. M. M. AUNG，B. Veeravalli and V. Chandrasekhar. Toward Efficient Deep Convolutional Neural Networks with Fully Homomorphic Encryption，IEEE Transactions on Information Forensics and Security[J]，vol. 16，pp. 3740-3752.

［9］吳昌隆，儲劍波.永磁輔助同步磁阻電機改進型滑模觀測器無位置傳感器控制［J］.電機與控制應用，2021，48（7）：26-33.

［10］王妤，陳秀新，袁和金.基于改進Faster RCNN的變電站紅外圖像多目標識別［J］.傳感技術學報，2021，34（4）：522-530.

［11］VALTCHANOV I，HOPWOOD R，POLEHAMPTON E，et al.Relative pointing offset analysis of calibration targets with repeated observations with Herschel-SPIRE Fourier-transform spectrometer［J］.Experimental Astronomy，2014，37（2）：207-223.

［12］WANG X，WANG S，CAO J，et al.Data-driven based tiny-YOLOv3 method for front vehicle detection inducing SPP-net［J］.IEEE Access，2020，32 （7）：1-15.

[13］ELPELTA Gy，M.，and H. Sallam. "Automatic prediction of COVID19 from chest images using modified ResNet50." Multimedia Tools and Applications[J］（2021）：1-13.

［14］羅月童，江佩峰，段昶，等.面向小目標檢測的改進RetinaNet模型及其應用［J］.計算機科學，2021，48（10）：233-238.

［15］BARAKAT A，BIANCHI P.Convergence and dynamical behavior of the ADAM algorithm for nonconvex stochastic optimization［J］.SIAM Journal on Optimization，2021，31（1）： 244-274.

收稿日期：2023-02-12；修回日期：2023-05-26

作者簡介：胡明輝（1988-），男，碩士，工程師，主要從事輸配電技術研究、技術咨詢與技術成果轉化等；E-mail：215747172@qq.com。

引文格式：胡明輝.基于遷移學習的無人機桿塔巡檢圖像異常識別技術及實驗對比[J].粘接，2023，50（6）：136-139.