999精品在线视频,手机成人午夜在线视频,久久不卡国产精品无码,中日无码在线观看,成人av手机在线观看,日韩精品亚洲一区中文字幕,亚洲av无码人妻,四虎国产在线观看 ?

嵌入式智慧電網絕緣子缺失檢測系統設計與實現

2022-02-10 08:42:14焦雙健宮中飛
電視技術 2022年12期
關鍵詞:特征融合檢測

焦雙健,宮中飛

(中國海洋大學 工程學院,山東 青島 266100)

0 引 言

絕緣子對于架空輸電線路的保護起到不可或缺的作用。由于絕緣子長期暴露在自然環境中,不可避免地受到風雨雷電等惡劣自然環境的侵擾,進而可能發生爆炸。為了保護輸電線路的正常工作及運行,對缺失的絕緣子進行及時檢測并維修,有著非常重要的意義[1]。傳統的人工巡檢方式需要投入大量的人力及物力。隨著計算機視覺技術的快速發展以及GPU大規模的應用,圖像識別技術得到了快速的發展。通過計算機視覺結合嵌入式系統實現無人機在線巡檢,相對于傳統的人工巡檢,能夠有效降低成本并提高檢測效率。

在目標檢測領域,深度學習技術近幾年發展迅速,逐漸替代了機器學習算法。其中,兩階段目標檢測算法的代表為R-CNN[2]、Fast R-CNN[3]以及Faster R-CNN[4],主要原理是首先生成候選區域進而對候選區域進行分類定位,相比較傳統的機器學習檢測算法提升了檢測精度,但檢測速度較慢。張弢[6]針對目前目標檢測算法對絕緣子部分遮擋以及檢測準確度較低這一問題,提出了一種改進Faster R-CNN的絕緣子檢測算法,檢測精度相比原檢測模型提升了4.48%,但檢測速度過慢無法做到實時性檢測。以SSD[6]、YOLO[7]為代表的一階段檢測算法可以直接在網絡中提取特征值來分類目標和定位,無需生成候選區域。張青華[8]提出一種基于SSD檢測網絡改進的MFPSSD網絡(Multidirectional Feature Pyramid Single Shot Detector,MFPSSD),實現絕緣子目標的檢測識別,檢測精度較高,但對于小目標的檢測效果一般。李磊為了解決在檢測中小型絕緣子時容易出現漏檢、錯檢等問題,提出了一種改進YOLOv4算法的中小型絕緣子檢測方法,提升了對于小目標絕緣子的檢測效果,但總體的檢測精度仍然較低。隨著YOLO系列算法的不斷迭代進化,YOLOv5s算法不僅檢測速度很快,檢測精度相對于Faster R-CNN以及YOLOv3算法也具有顯著優勢,因此本文選用YOLOv5s作為基線算法。為了提升模型檢測小目標的精度,在原算法基礎上融合了CBAM注意力機制,并且改進特征融合網絡(PANet)為加權雙向特征金字塔網絡(BiFPN)進而形成了CBBi-YOLOv5s算法。將訓練后的模型部署到NVIDIA Jetson TX2中,最后搭載在無人機中對絕緣子缺失進行在線巡檢。

1 YOLOv5s算法介紹

幀改進的特點。在數據傳輸到網絡之前,采用一種Mosaic數據增強方法來提高網絡的性能。Mosaic數據增強通過隨機縮放、裁剪和排列混合多個圖像,將4個原始圖像隨機裁剪混合為一個新的拼接圖像作為訓練數據,以增強網絡的魯棒性和性能。隨著結構深度和通道寬度的增加,YOLOv5網絡包括 YOLOv5s、YOLOv5m、YOLOv5l和 YOLOv5x。YOLOv5s網絡的架構如圖1所示。

圖1 YOLOv5s網絡結構圖

YOLOv5s的網絡架構可分為Backbone、Neck和Head。Backbone由Conv、C3模塊以及SPPF模塊組成。Conv由卷積層、批量歸一化(BN)層以及Leaky-Relu激活函數組成。C3模塊的主要作用是提取圖像語義信息或融合不同尺度的特征圖。它采用卷積運算和n次重復瓶頸運算兩種方式分割圖像特征,通過Concat層拼接保證輸入輸出的圖像大小保持一致。SPPF模塊是SPP的優化后版本,可以在不犧牲精度的情況下提高速度。Neck部分包括特征金字塔網絡(Feature Pyramid Network,FPN)和路徑聚合網絡(Path Aggregation Network,PAN),它們執行上采樣操作以增強語義信息,而PAN通過下采樣將特征傳輸到頂層,從而提高網絡特征聚合的能力[9]。Head主要包括CIOU損失函數及NMS(non_max_suppression)。NMS旨在對多個目標框進行篩選,保留檢測效果最好的目標框。

YOLOv5算法是目前目標檢測領域應用效果最好的算法之一,具有運行速度快、數據增強和錨

2 CBBi-YOLOv5s算法介紹

CBBi-YOLOv5s算法由YOLOv5s算法改進而來。算法在Backbone中融合了CBAM注意力機制,并且在Neck中將PANet改進為BiFPN。

2.1 CBAM注意力機制

CBAM由通道注意力機制(channel)和空間注意力機制(spatial)組成[10]。傳統的注意力機制更多的是只關注對通道域的分析,較少考慮特征圖通道之間的作用關系。CBAM注意力機制從channel和spatial兩個作用域出發,引入空間注意力和通道注意力兩個分析維度,相關公式如式(1)、式(2)所示。

式中:Fcmax表示對特征圖通道維度上使用的平均池化及最大池化,Fsavg,Fsmax表示對特征圖空間維度上使用的平均池化及最大池化,σ為sigmoid函數;MLP為多層感知層,MLP的權重為W1及W0,由平均池化特征和最大池化特征這兩個輸入共享;f7×7表示一個卷積核尺寸為7×7的卷積操作。

CBAM的總體流程如圖2所示,特征圖在輸入后首先經過channel,與通道權重進行相乘后送入spatial中,將歸一化后的空間權重與輸入的特征圖相乘,得到最終加權后的特征圖。相比于只融合了通道注意力機制的SE-Net注意力機制,CBAM同時融合了空間、通道注意力機制,可以幫助目標檢測網絡在復雜環境下更高效地檢測目標,進而提升模型的泛化能力。

圖2 CBAM總體流程圖

2.2 BiFPN

在目標檢測領域,往往通過構建FPN來融合不同級別的語義信息,以處理多尺度變化問題。FPN把具有低分辨率但有豐富語義信息的高層特征以及分辨率較高但語義信息較少的低層特征進行自上而下的橫向連接,將語義信息從高層傳至底層,使得所有尺度的特征都具有豐富的語義信息,以避免因網絡層數加深而導致圖像特征丟失。YOLOv5s的Neck中使用的是PANet結構。PANet結構在FPN基礎上加入了Bottom-up path augmentation 結構,通過融合高低層特征提升了小目標檢測的效果。但PANet結構對來自不同路徑且尺寸相同的特征圖在通道維度上只是進行了簡單相加,這種加和方式認為所有的輸入特征對于輸出特征的貢獻完全相同。針對于此,谷歌團隊提出了BiFPN結構。BiFPN與PANet、FPN的架構對比如圖3所示。相比于PANet,BiFPN增加了殘差連接,通過簡單的殘差操作,增強了特征的表示能力,并且,BiFPN移除了單輸入邊的結點權值融合,可以有效減少模型計算量。最重要的是,BiFPN于融合的各個尺度特征都賦予了權重,調整了每個尺度的貢獻度,可以有效提高檢測速度。

圖3 FPN、PANet與BiFPN的架構圖

2.3 CIOU損失函數

Head通過CIOU_Loss來作為Bounding box的損失函數。相比于GIOU_Loss,CIOU_Loss不僅考慮了邊框重合問題,而且考慮了預測框與真實框的長寬比例問題,使得預測框的檢測精度更高[11]。具體公式如式(3)、式(4)所示:

式中:IOU表示預測框和真實框的交疊率,c表示預測框與真實框外接矩形的對角線距離。v表示衡量長寬比的參數,w,h,w gt,hgt分別代表預測框的高寬和真實框的高寬。表示真實框長寬比,表示預測框的長寬比,ρ2(b,bgt)表示待檢測目標預測框與真實框之間的歐氏距離。

3 實驗分析

3.1 數據集準備

通過網絡爬蟲、實地拍攝、開源數據集以及視頻截取的方式,獲取了2 000張背景不同的圖像,通過翻轉、旋轉、裁剪、變形、縮放、顏色更改轉換、添加高斯噪聲、馬賽克增強、飽和度及色調變換等數據增強方式對圖像進行擴充。擴充后的圖片數量為6 000張。隨后使用LabelImg標注軟件對圖片進行手動標注得到標簽文件。標簽文件與圖片共同構成本文的實驗數據集,并使用算法對數據集按照6∶2∶2的比例隨機劃分為訓練集、驗證集、測試集。數據集示例如圖4所示。

圖4 數據集示例圖片

3.2 訓練模塊設計

本文使用較為簡潔高效的Pytorch作為模型的訓練框架,學習率設置為0.001。實驗采取的epoch=100,batch_size=4,可以根據計算機配置及實驗要求設置不同的數值。最后將訓練結束后的最優權重部署到英偉達的嵌入式設備Jetson TX2中,搭載在無人機上對絕緣子自爆缺失進行在線巡檢。

3.3 實驗結果分析

一般從準確度(Accuracy)、精確率(Precision)、召回率(Recall rate)、AP、mAP、PR曲線、F1-score、FPS等幾個指標對模型檢測效果進行評價。準確度、精確率、召回率以及F1-score的計算公式分別如式(5)、式(6)、式(7)、式(8)所示。

式中:TP分別表示預測為正且實際為正的樣本數量,TN為預測為負且實際為負的樣本數量,FP為預測為正但實際為負的樣本數量,FN為預測為負實際為正的樣本數量。

精確率與召回率往往是此消彼長的。精確率高的時候往往召回率較低,反之精確率較低。AP是一個能平衡這兩者的更優評價指標,以Recall為橫軸,Precision為縱軸,就可以畫出一條PR曲線。PR曲線下的面積就定義為AP,mAP是各類AP的平均。

本文分別使用Faster-RCNN、YOLOv3、YOLOv5s以及改進后的CBBi-YOLOv5s算法進行實驗并對比,具體訓練結果如表1所示。根據實驗結果可以得知,Faster-RCNN在本實驗中檢測效果較差,mAP只有85.5%且fps<30,無法做到實時性檢測;YOLOv3算法相比較Faster-RCNN檢測效果有所提升,mAP值達到了87.5%;而YOLOv5s算法作為目前目標檢測領域最為熱門的算法,在本實驗中有著很好的檢測效果,檢測mAP值為90.6%,相比較YOLOv3算法提升了3.1%,并且檢測速度提升了近一倍。本文提出的改進YOLOv5s的CBBi-YOLOv5s模型相比YOLOv5s模型檢測速度有所降低但檢測精度提升了3.5%,召回率提升了5%,F1-score提升了5.5%,mAP提升了4.6%,且降低的檢測速度并不會影響模型的實時性。改進前后算法的mAP對比以及模型檢測效果分別如圖5、圖6所示。

圖6 模型檢測效果圖

表1 模型訓練結果

圖5 改進前后算法mAP對比圖

4 結 語

針對電力工人人工檢測絕緣子缺失效率低以及現有的絕緣子目標檢測模型精度較低等問題,本文提出了一種基于計算機視覺的智慧電網嵌入式檢測系統設計,相比于人工檢測可以節省高額人工費用并降低電力工人從桿塔摔落的風險。同時,本文對Faster-RCNN、YOLOv3以及YOLOv5s算法進行實驗對比,根據實驗結果可知YOLOv5s算法是目前檢測效果較好的算法。為了進一步提升模型對于復雜環境檢測的泛化能力以及對小目標檢測的精度,對YOLOv5s算法融合CBAM注意力機制,并且將特征融合網絡改進為加權雙向特征金字塔網絡。改進后的模型檢測mAP相較于YOLOv5s提升了4.6%。將訓練好的最優模型部署至英偉達TX2中,通過無人機自動檢測絕緣子缺失,并將檢測結果傳輸至電力系統維護部門,實現了輸電線路絕緣子缺失的自動化巡檢。在后續的工作研究中,需要進一步提升嵌入式設備的配置以提升模型檢測速度,并對算法做進一步的改進以提升檢測精度。

猜你喜歡
特征融合檢測
村企黨建聯建融合共贏
今日農業(2021年19期)2022-01-12 06:16:36
“不等式”檢測題
“一元一次不等式”檢測題
“一元一次不等式組”檢測題
融合菜
從創新出發,與高考數列相遇、融合
《融合》
現代出版(2020年3期)2020-06-20 07:10:34
如何表達“特征”
不忠誠的四個特征
當代陜西(2019年10期)2019-06-03 10:12:04
抓住特征巧觀察
主站蜘蛛池模板: 欧美日韩在线第一页| 日韩AV无码免费一二三区| 伊人久久大线影院首页| 热久久这里是精品6免费观看| 亚洲中文字幕在线精品一区| 国产麻豆91网在线看| 成人av专区精品无码国产| 欧美中文字幕在线二区| 另类重口100页在线播放| 玖玖精品视频在线观看| 亚洲第一页在线观看| 黄色一级视频欧美| 日本www在线视频| 免费人成视频在线观看网站| 亚洲精品你懂的| 黄片一区二区三区| 高潮毛片免费观看| 97国产在线视频| 色婷婷丁香| 天天综合天天综合| 国产美女自慰在线观看| 国产免费网址| a毛片免费在线观看| 伊人久久婷婷| 久久久久国色AV免费观看性色| 欧美、日韩、国产综合一区| 亚洲91精品视频| 国产成人凹凸视频在线| 99久久婷婷国产综合精| 国产欧美在线观看精品一区污| 波多野结衣亚洲一区| 欧美第二区| 亚洲毛片一级带毛片基地| 亚洲精品视频免费看| 九九热精品视频在线| 婷婷久久综合九色综合88| 天堂成人在线| 性欧美精品xxxx| 国产全黄a一级毛片| 欧美精品不卡| 国产精品爽爽va在线无码观看 | 91精品亚洲| 久草视频中文| 国产9191精品免费观看| 国产精欧美一区二区三区| 欧日韩在线不卡视频| 国产H片无码不卡在线视频 | 国产成人精品高清不卡在线| 高清不卡毛片| 国产97视频在线观看| 欧美区一区| 国产人人射| 中国国语毛片免费观看视频| 国产超碰在线观看| 国产在线精彩视频二区| 国产精品.com| 99人体免费视频| 东京热一区二区三区无码视频| 色综合天天操| 欧美色图第一页| 区国产精品搜索视频| 一区二区三区四区在线| 免费人成视网站在线不卡| 国产永久免费视频m3u8| 午夜免费视频网站| 久久精品嫩草研究院| 91久久夜色精品国产网站| 色成人综合| 欧美日韩国产精品va| 国产亚洲高清在线精品99| 色成人综合| 18黑白丝水手服自慰喷水网站| 亚洲乱伦视频| 色婷婷色丁香| 最新国产午夜精品视频成人| 免费无遮挡AV| 91免费精品国偷自产在线在线| 国模私拍一区二区| 免费无遮挡AV| 亚洲a级在线观看| 亚洲成A人V欧美综合天堂| 亚洲资源站av无码网址|