基于遷移學(xué)習(xí)的無人機桿塔巡檢圖像異常識別技術(shù)及實驗對比

摘 要：針對無人機進行電路巡檢過程中，由于得到的桿塔圖像背景復(fù)雜，正負樣本分布不均而導(dǎo)致的桿塔異常檢測準確度不高的問題，提出了一種基于遷移學(xué)習(xí)的無人機電力桿塔巡檢圖像異常檢測技術(shù)。設(shè)計了一種基于多元特征混合提取的目標檢測架構(gòu)，用于模型的預(yù)訓(xùn)練，之后基于預(yù)訓(xùn)練模型進行微調(diào)，以適應(yīng)下游桿塔異常圖像的檢測任務(wù)，它能夠通過小樣本數(shù)據(jù)來構(gòu)建高效的桿塔異常圖像檢測模型。結(jié)果表明：該方法較其他方法在異常檢測準確率方面提升了約2%，驗證了所提出的無人機桿塔巡檢圖像異常檢測的有效性。

關(guān)鍵詞：圖像處理；深度學(xué)習(xí)；特征提取；異常檢測；圖像識別

中圖分類號：TM711;TP391文獻標志碼：A文章編號：1001-5922（2023）06-0136-04

Experimental comparison of image anomaly recognition techniques by unmanned aerial vehicle （UAV） tower inspection? based on transfer learning

HU Minghui

（EPTC （Beijing） Electic Power Research Institute，Beijing 100055，China）

Abstract：In order to solve the problem that the abnormal detection accuracy of tower anomalies is not high due to the complex background of the obtained tower image and the uneven distribution of positive and negative samples during the circuit inspection process of the UAV，an anomaly detection technique based on transfer learning for inspection image of UAV power tower is proposed.This technology designs a target detection architecture based on multivariate feature hybrid extraction （DME） for model pre-training，and then fine-tunes based on the pre-trained model to adapt to the detection of abnormal images of downstream towers.It can build an efficient tower anomaly image detection model with small sample data.The experimental results showed that this method improved the anomaly detection accuracy by about 2% compared with other methods，which fully enabled the effectiveness of the proposed UAV tower inspection image anomaly detection.

Key words：image processing;deep learning;feature extraction;abnormal detection;image recognition

電力桿塔是電力傳輸系統(tǒng)中的重要環(huán)節(jié)之一，但受到自然災(zāi)害的影響，電力桿塔常常出現(xiàn)傾斜，倒塌等異常情況，嚴重影響電力的安全運輸。為了避免這種情況，現(xiàn)在多使用無人機來進行快速數(shù)據(jù)采集和檢測，雖然無人機的引入大大降低了人力開支，但是產(chǎn)生大量圖像數(shù)據(jù)仍然需要進行快速處理，從而定位出異常區(qū)域。因此，結(jié)合圖像目標檢測技術(shù)的電力桿塔異常區(qū)域的自動化識別方法成為無人機巡檢過程中的重要應(yīng)用方法。

由于用于電力桿塔異常檢測的無人機圖像數(shù)據(jù)集的正負樣本極不均衡，并且異常情況下的數(shù)據(jù)樣本較少而缺乏普適性，因而使用現(xiàn)有的深度學(xué)習(xí)目標檢測網(wǎng)絡(luò)結(jié)構(gòu)難以訓(xùn)練出有效的目標檢測模型。

基于上述分析，研究提出了一種基于遷移學(xué)習(xí)的無人機電力桿塔巡檢圖像異常檢測技術(shù)。該技術(shù)通過構(gòu)建基于多元特征混合提取目標檢測網(wǎng)絡(luò)結(jié)構(gòu)來獲取預(yù)訓(xùn)練模型，在通過參數(shù)微調(diào)來適應(yīng)下游任務(wù)，進而實現(xiàn)基于小樣本圖像數(shù)據(jù)來構(gòu)建高效高精度的無人機電力桿塔巡檢圖像異常檢測模型。

1 方法及原理

基于遷移學(xué)習(xí)的無人機電力桿塔巡檢圖像異常檢測技術(shù)主要包含基于多元特征混合提取的目標檢測架構(gòu)的構(gòu)建以及基于無人機電力桿塔巡檢圖像異常檢測任務(wù)的微調(diào)2個部分。由于用于電力桿塔檢測的圖像數(shù)據(jù)集極少，因此本文還收集了224張無人機電力桿塔檢測圖像并對異常區(qū)域進行了標注，構(gòu)建了數(shù)據(jù)集適應(yīng)后面的微調(diào)任務(wù)，得到更加準確的電力桿塔巡檢圖像異常檢測模型。

1.1 基于多元特征混合提取目標檢測結(jié)構(gòu)的預(yù)訓(xùn)練模型構(gòu)建

卷積神經(jīng)網(wǎng)絡(luò)模型多應(yīng)用于圖像數(shù)據(jù)上下文特征的提取，而現(xiàn)有的transformer中提出的自注意力機制［5-6］則更加關(guān)注于圖像長距特征的挖掘，研究創(chuàng)新性的結(jié)合以上2種方法，提出了一種基于多元特征混合提取的目標檢測架構(gòu)用于模型的預(yù)訓(xùn)練，以達到更好的檢測效果。

2.2 實驗流程

實驗過程中選擇了Faster-Rcnn［9］、Swin-transformer［10］、SPPNet［11］、ResNet［12］、P-RetinaNet［13］等深度學(xué)習(xí)算法與本文提出的方法進行了實驗對比驗證。實驗過程均在裝有nvidia 2080Ti單卡的服務(wù)器上進行，模型訓(xùn)練次數(shù)為100，學(xué)習(xí)率設(shè)置為1e-4，并且使用Adam優(yōu)化器［14］來加快模型收斂。實驗過程中，將數(shù)據(jù)集按照2∶1∶1劃分訓(xùn)練集；測試集以及驗證集。

2.3 實驗設(shè)計以及效果評估

首先，將基于遷移學(xué)習(xí)的無人機電力桿塔巡檢圖像異常檢測技術(shù)與不同對比方法進行了實驗驗證。在此期間，我們通過減少數(shù)據(jù)集樣本數(shù)，來驗證小樣本數(shù)據(jù)集對于不同方法性能的影響。其實驗結(jié)果數(shù)據(jù)如表1所示。

通過對表1中的數(shù)據(jù)進行分析可知，研究提出的基于遷移學(xué)習(xí)的無人機電力桿塔巡檢圖像異常檢測技術(shù)在進行預(yù)訓(xùn)練（Ours+pretrain）與沒有進行預(yù)訓(xùn)練（Ours）2種情況下，其識別準確率較之效果較為突出的P-RetinaNet最少提升了2%，IoU提升了1.3%，Reall提升了1.5%，其識別效率也較為突出。不僅如此，隨著數(shù)據(jù)集數(shù)量的減少，基于遷移學(xué)習(xí)的無人機電力桿塔巡檢圖像異常檢測技術(shù)仍然具備最優(yōu)的性能，表現(xiàn)出了強大的泛化能力。

此外，我們對實驗過程中基于遷移學(xué)習(xí)的無人機電力桿塔巡檢圖像異常檢測技術(shù)與部分對比方法的異常檢測結(jié)果進行了部分展示。

最后，我們對多元融合策略（MSF）進行了消融實驗。基于數(shù)據(jù)集，在基于多元特征混合提取的目標檢測架構(gòu)（DME）中，將去除多元融合策略的單一卷積模型與添加多元融合策略的模型結(jié)構(gòu)進行了實驗對比，以驗證多元融合策略的有效性。其實驗數(shù)據(jù)如表2所示：

由表2對比分析可知，多元融合策略的添加使得DME的檢測準確度分別提升了3.9%和3.1%，充分證明了這2個模塊的有效性。

接下來我們對基于遷移學(xué)習(xí)的無人機電力桿塔巡檢圖像異常檢測技術(shù)有無預(yù)訓(xùn)練對模型的檢測準確率影響進行了對比，如圖1所示。

從圖1可以看出，添加了預(yù)訓(xùn)練的目標檢測模型將持續(xù)提升模型的檢測準確率，說明了遷移學(xué)習(xí)方式帶來的先驗知識可有效提升電力桿塔圖像異常區(qū)域的檢測效果。

不僅如此，我們還對模型訓(xùn)練過程中的Loss和Precision數(shù)值變化進行了統(tǒng)計，結(jié)果如圖2所示。

從圖2可以看出，隨著模型訓(xùn)練次數(shù)的疊加，研究提出的基于遷移學(xué)習(xí)的無人機電力桿塔巡檢圖像異常檢測技術(shù)在相同的訓(xùn)練次數(shù)下，比其他方法具備更高的Precision值和更低的Loss值，收斂速度更快，充分驗證了方法的有效性。

通過一系列對比實驗驗證可以得出，提出的基于遷移學(xué)習(xí)的無人機電力桿塔巡檢圖像異常檢測技術(shù)可以通過小樣本遷移學(xué)習(xí)的方式有效實現(xiàn)對電力桿塔圖像異常區(qū)域的檢測，與其他對比方法相比較，在識別性能方面具備一定優(yōu)勢。

3 結(jié)語

研究提出了一種基于遷移學(xué)習(xí)的無人機電力桿塔巡檢圖像異常檢測技術(shù)。通過結(jié)合Transformer，搭建了一種基于多元特征混合提取目標檢測架構(gòu)，實現(xiàn)了對預(yù)訓(xùn)練模型的有效獲取，并通過遷移學(xué)習(xí)的方式，在小樣本數(shù)據(jù)集上大大提升了電力桿塔圖像異常區(qū)域的識別準確率。在實驗驗證部分，不僅將該技術(shù)與一系列方法進行了實驗對比驗證，而且對其中的模塊進行了單獨的測試。實驗結(jié)果表明，基于遷移學(xué)習(xí)的無人機電力桿塔巡檢圖像異常檢測技術(shù)與對比方法相比較具備更好的性能優(yōu)勢。在接下來的研究工作中，將致力于構(gòu)建輕量型的目標檢測模型，使其能夠大大降低無人機的能耗，提升其持續(xù)性監(jiān)測能力。

【參考文獻】

［1］馬騫.基于圖像視頻的景區(qū)人流密度估計方法研究［J］.信息技術(shù)，2020，44（8）：34-38.

［2］張艷邦，張芬，張姣姣.基于SVM和背景模型的顯著性目標檢測算法［J］.電子設(shè)計工程，2022，30（5）：17-21.

［3］楊小艷.基于圖像處理技術(shù)的包裝表面缺陷檢測［J］.微型電腦應(yīng)用，2021，37（8）：63-66.

［4］魯家皓，張捷，胡國勝，等.基于多特征融合的圖像匹配研究［J］.微型電腦應(yīng)用，2022，38（3）：1-3.

［5］魏冬梅.基于卷積神經(jīng)網(wǎng)絡(luò)的移動網(wǎng)絡(luò)目標跟蹤與控制[J].沈陽工業(yè)大學(xué)學(xué)報，2023，45（3）：342-347.

［6］楊禮吉，王家祺，景麗萍，等.基于張量計算的卷積神經(jīng)網(wǎng)絡(luò)語義表示學(xué)習(xí)[J].計算機學(xué)報，2023，46（3）：568-578.

［7］ZHAO Z，LI Q，ZHANG Z，et al.Combining a parallel 2D CNN with a self-attention dilated residual network for CTC-based discrete speech emotion recognition［J］.Neural Networks，2021，141： 52-60.

[8］S. MEFTAH，B. H. M. TAN，C. F. MUN，K. M. M. AUNG，B. Veeravalli and V. Chandrasekhar. Toward Efficient Deep Convolutional Neural Networks with Fully Homomorphic Encryption，IEEE Transactions on Information Forensics and Security[J]，vol. 16，pp. 3740-3752.

［9］吳昌隆，儲劍波.永磁輔助同步磁阻電機改進型滑模觀測器無位置傳感器控制［J］.電機與控制應(yīng)用，2021，48（7）：26-33.

［10］王妤，陳秀新，袁和金.基于改進Faster RCNN的變電站紅外圖像多目標識別［J］.傳感技術(shù)學(xué)報，2021，34（4）：522-530.

［11］VALTCHANOV I，HOPWOOD R，POLEHAMPTON E，et al.Relative pointing offset analysis of calibration targets with repeated observations with Herschel-SPIRE Fourier-transform spectrometer［J］.Experimental Astronomy，2014，37（2）：207-223.

［12］WANG X，WANG S，CAO J，et al.Data-driven based tiny-YOLOv3 method for front vehicle detection inducing SPP-net［J］.IEEE Access，2020，32 （7）：1-15.

[13］ELPELTA Gy，M.，and H. Sallam. "Automatic prediction of COVID19 from chest images using modified ResNet50." Multimedia Tools and Applications[J］（2021）：1-13.

［14］羅月童，江佩峰，段昶，等.面向小目標檢測的改進RetinaNet模型及其應(yīng)用［J］.計算機科學(xué)，2021，48（10）：233-238.

［15］BARAKAT A，BIANCHI P.Convergence and dynamical behavior of the ADAM algorithm for nonconvex stochastic optimization［J］.SIAM Journal on Optimization，2021，31（1）： 244-274.

收稿日期：2023-02-12；修回日期：2023-05-26

作者簡介：胡明輝（1988-），男，碩士，工程師，主要從事輸配電技術(shù)研究、技術(shù)咨詢與技術(shù)成果轉(zhuǎn)化等；E-mail：215747172@qq.com。

引文格式：胡明輝.基于遷移學(xué)習(xí)的無人機桿塔巡檢圖像異常識別技術(shù)及實驗對比[J].粘接，2023，50（6）：136-139.