999精品在线视频,手机成人午夜在线视频,久久不卡国产精品无码,中日无码在线观看,成人av手机在线观看,日韩精品亚洲一区中文字幕,亚洲av无码人妻,四虎国产在线观看 ?

改進(jìn)的YOLOv3睺iny網(wǎng)絡(luò)在風(fēng)機(jī)葉片損傷檢測(cè)中的應(yīng)用

2021-09-18 09:49:24武宇平,劉海旭,吳勁芳,賈洪巖,刁嘉,朱董軍
河北工業(yè)科技 2021年5期
關(guān)鍵詞:深度學(xué)習(xí)

武宇平,劉海旭,吳勁芳,賈洪巖,刁嘉,朱董軍

摘要:為了解決YOLOv3-Tiny對(duì)無人機(jī)采集的風(fēng)機(jī)葉片圖像損傷檢測(cè)精度不高的問題,提出一種基于深度學(xué)習(xí)的風(fēng)機(jī)葉片圖像損傷檢測(cè)方法。首先提出一種跨越式特征聯(lián)合網(wǎng)絡(luò)結(jié)構(gòu),由卷積層和拼接層構(gòu)成,將不同深度的特征信息進(jìn)行融合再學(xué)習(xí),提取目標(biāo)多層級(jí)特征信息;其次引入Inception模塊結(jié)構(gòu),其中4個(gè)平行通道的多個(gè)卷積核對(duì)輸入的特征圖進(jìn)行組合和壓縮,在減少網(wǎng)絡(luò)的學(xué)習(xí)參數(shù)的同時(shí)更好地表征圖像特征信息,提高小目標(biāo)的檢測(cè)精度。實(shí)驗(yàn)表明,改進(jìn)后算法的檢測(cè)精度提高了2.69%,在自制的數(shù)據(jù)集中mAP可以達(dá)到88.58%,并且模型的參數(shù)縮小了4倍。因此,改進(jìn)的方法比傳統(tǒng)的YOLOv3-Tiny網(wǎng)絡(luò)具有更好的檢測(cè)效果。研究結(jié)果可為基于圖像的損傷檢測(cè)和風(fēng)機(jī)葉片損傷智能識(shí)別提供參考。

關(guān)鍵詞:計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò);缺陷檢測(cè);深度學(xué)習(xí);風(fēng)機(jī)葉片;YOLOv3-Tiny

中圖分類號(hào):TP391文獻(xiàn)標(biāo)識(shí)碼:ADOI: 10.7535/hbgykj.2021yx05008

Application of improved YOLOv3-Tiny network

in fan blade damage detection

WU Yuping,LIU Haixu,WU Jinfang,JIA Hongyan,DIAO Jia,ZHU Dongjun

(Zhangjiakou Wind and Solar Power Energy Demonstration Station Company Limited.,State Grid Xin Yuan Company,Equipment Maintenance Center,Zhangjiakou,Hebei 075000,China)

Abstract:In order to solve the low precision of damage detection using YOLOv3-Tiny network for UAV collected fan blade images,a deep learning-based damage detection algorithm was proposed.Firstly,a leaping feature joint network structure was proposed,which was composed of a convolutional layer and a splicing layer.The feature information of different depths was fused and learned to extract the information of the target multi-level feature.Secondly,the inception module structure was introduced,and the input feature maps were compressed by multiple convolution kernels with 4 parallel channels,which reduced the learning parameters of the network and better characterized the image feature information.Then the detection accuracy of small targets was improved.Experiments show that the detection accuracy of the improved algorithm is increased by 2.69%,the mAP reaches 88.58% in the self-made dataset,and the parameters of the model are reduced by 4 times.The detect precision of this method is better than that of YOLOv3-Tiny network in the task of wind turbine blade damage detection.The results provide reference for image-based damage detection and intelligent identification work of fan blade damage.

Keywords:computer neural network;defect detection;deep learning;fan blade;YOLOv3-Tiny

隨著風(fēng)能等清潔能源的發(fā)展,風(fēng)力發(fā)電設(shè)備越來越普遍,但是由于風(fēng)機(jī)設(shè)備所處的環(huán)境復(fù)雜、變化多樣,以及風(fēng)機(jī)自身的應(yīng)力耦合作用,極易發(fā)生故障和損壞[1]。為了保障風(fēng)機(jī)葉片的正常運(yùn)行,提高經(jīng)濟(jì)效益,風(fēng)機(jī)葉片缺陷檢測(cè)的質(zhì)量越來越受到重視。隨著人工智能的發(fā)展,智能化檢測(cè)更加快速、便捷。利用無人機(jī)采集風(fēng)機(jī)葉片的影像信息,并對(duì)采集到的信息進(jìn)行算法檢測(cè),可以快速有效地識(shí)別葉片的損傷部位,達(dá)到節(jié)省人力、物力、財(cái)力的效果。

要想精準(zhǔn)地檢測(cè)到風(fēng)機(jī)葉片損傷部位,首先必須了解風(fēng)機(jī)葉片的缺陷成因以及損傷種類。除了生產(chǎn)葉片過程中的質(zhì)量損傷外,引發(fā)風(fēng)機(jī)葉片缺陷的外部因素還有很多。例如,在安裝風(fēng)機(jī)葉片的過程中,由于其體積大、結(jié)構(gòu)復(fù)雜,易受到外力擠壓而損壞;另外,風(fēng)機(jī)葉片所處的外部環(huán)境復(fù)雜且變化多樣,受風(fēng)沙、雨水、結(jié)冰[2]的侵蝕,以及外力的沖擊,導(dǎo)致風(fēng)機(jī)葉片出現(xiàn)裂縫缺陷、斷裂和老化[3]等損壞形式。

顧桂梅等[4]利用果蠅優(yōu)化算法結(jié)合SVM進(jìn)行損傷識(shí)別,但是對(duì)環(huán)境的魯棒性較差;張超等[5]提出一種改進(jìn)的Mask R-CNN方法,在提高檢測(cè)精度的同時(shí)也提高了檢測(cè)速度,但是仍然存在檢測(cè)速度較慢的問題;曹錦綱等[6]提出一種利用RPCA和視覺顯著性方法,考慮超像素的空間關(guān)系,檢測(cè)葉片表面缺陷,但是超像素對(duì)于微小缺陷的分割效果欠佳;劉艷霞等[7]提出一種利用遷移學(xué)習(xí)的方法進(jìn)行裂縫識(shí)別,雖然提高了訓(xùn)練速度,但是需要大量的裂縫圖片進(jìn)行預(yù)先訓(xùn)練;顧桂梅等[8]采用深度信念網(wǎng)絡(luò)提取風(fēng)機(jī)葉片結(jié)構(gòu)模態(tài)參數(shù)來識(shí)別葉片結(jié)構(gòu)損傷,但是該方法不適用于戶外復(fù)雜環(huán)境的檢測(cè);毛希瑋等[9]提出一種利用無人機(jī)技術(shù)結(jié)合彩色閾值處理技術(shù)和形態(tài)學(xué)方法進(jìn)行缺陷檢測(cè),但是該方法對(duì)環(huán)境的魯棒性較差;賀斌等[10]、趙春溢等 [11]介紹了無人機(jī)在風(fēng)機(jī)葉片檢測(cè)中具有操作簡單、維修方便、效率高等優(yōu)點(diǎn)。

基于深度學(xué)習(xí)的方法在圖像目標(biāo)檢測(cè)中越來越受歡迎,利用深度學(xué)習(xí)的目標(biāo)檢測(cè)技術(shù)一般分為2種:一種是Two-stage方法,先生成目標(biāo)的候選框,再對(duì)候選框進(jìn)行分類;另一種是One-stage方法,即直接檢測(cè)到目標(biāo)并進(jìn)行識(shí)別分類[12]。

Two-stage的目標(biāo)檢測(cè)算法通常識(shí)別錯(cuò)誤率低,漏識(shí)別率也較低,但是由于網(wǎng)絡(luò)層數(shù)的加深以及Two-stage作用,導(dǎo)致測(cè)試圖片的速度較低。R-CNN[13],F(xiàn)ast R-CNN[14],以及Faster R-CNN[15]均不能達(dá)到實(shí)時(shí)檢測(cè)要求。One-stage的目標(biāo)檢測(cè)算法以YOLO系列和SSD為代表,One-stage的算法經(jīng)過單次檢測(cè)就可以直接產(chǎn)生物體的坐標(biāo)位置和類別概率值,得到最終的結(jié)果,因此One-stage算法有著更快的檢測(cè)速度。YOLO算法從YOLOv1到Y(jié)OLOv4[16-19],模型越來越小,在公開數(shù)據(jù)集coco上的mAP值也依次提升。SSD網(wǎng)絡(luò)采取One-stage的思想[20],網(wǎng)絡(luò)中融入了Faster R-CNN中的anchors思想,并且對(duì)特征進(jìn)行分層提取由此可以適應(yīng)多種尺度目標(biāo)的訓(xùn)練和檢測(cè)任務(wù)。

傳統(tǒng)的風(fēng)機(jī)葉片檢測(cè)方法對(duì)于實(shí)際場(chǎng)景中多變的復(fù)雜環(huán)境檢測(cè)的魯棒性較差,現(xiàn)有的深度學(xué)習(xí)算法通常對(duì)環(huán)境具有良好的魯棒性,目標(biāo)檢測(cè)效果較好[21],但是隨著網(wǎng)絡(luò)深度的加深其檢測(cè)速度也會(huì)降低。本文針對(duì)原YOLOv3-Tiny檢測(cè)精度不高的問題,提出一種新的骨干網(wǎng)絡(luò),旨在利用較少的參數(shù)達(dá)到更高的檢測(cè)精度,在提升模型精度的同時(shí)提高檢測(cè)速度。

1YOLOv3-Tiny網(wǎng)絡(luò)檢測(cè)原理

YOLOv3-Tiny是YOLOv3網(wǎng)絡(luò)的簡化版本[18],相比于YOLOv3具有參數(shù)少、速度快的特點(diǎn)。YOLOv3-Tiny網(wǎng)絡(luò)的輸入圖片的大小是固定的,一般為416×416,經(jīng)過主干網(wǎng)絡(luò)對(duì)輸入圖片進(jìn)行深度特征提取,獲得圖像信息深層次的多尺度特征,在13×13和26×26的特征圖上進(jìn)行多尺度預(yù)測(cè)。YOLOv3-Tiny的網(wǎng)絡(luò)結(jié)構(gòu)比較簡單同時(shí)速度也快,易于移植到嵌入式設(shè)備中,但其缺點(diǎn)是網(wǎng)絡(luò)的識(shí)別精度也相應(yīng)下降。

YOLOv3-Tiny利用卷積神經(jīng)網(wǎng)絡(luò)來進(jìn)行端到端的檢測(cè),將整個(gè)圖片分成S×S個(gè)區(qū)域并逐區(qū)域檢測(cè)。每次檢測(cè)時(shí)有4個(gè)坐標(biāo)參數(shù),分別是預(yù)測(cè)框中心坐標(biāo)(x,y)、寬度w、高度h和一個(gè)置信度。圖1中每個(gè)邊界框用(x,y)表示選框中心相對(duì)于單元格的坐標(biāo),w和h分別表示邊界框的寬度和高度,IoU表示算法預(yù)測(cè)框與真實(shí)框的交并比,用式(1)來表示。其中Bop表示預(yù)測(cè)框,Bgt表示真實(shí)框,IoU的值就相當(dāng)于預(yù)測(cè)框區(qū)域與真實(shí)框區(qū)域重疊的部分除以2個(gè)部分集合得出的結(jié)果。

IoU=area(Bop∩Bgt)area(Bop∪Bgt)。(1)

算法得出一個(gè)目標(biāo)的邊界框通常有很多,需要經(jīng)過過濾。假設(shè)YOLO有M個(gè)檢測(cè)層,每個(gè)檢測(cè)層有B個(gè)anchor box(圖1中為3個(gè)),每個(gè)檢測(cè)層都要對(duì)每個(gè)網(wǎng)格進(jìn)行檢測(cè),最終一幅圖片會(huì)得到S×S×M×B個(gè)檢測(cè)框。但是通常希望最后看到一個(gè)目標(biāo)只對(duì)應(yīng)一個(gè)檢測(cè)框,于是YOLOv3使用了非極大值抑制算法來抑制多余的檢測(cè)框,用式(2)表示,使得每個(gè)檢測(cè)目標(biāo)只顯示一個(gè)檢測(cè)框。

Si=Si, IoU(M,bi)

0, IoU(M,bi)≥Nt。(2)

式中:Si表示候選框i的得分;M表示所有生成的候選框的最高得分;IoU(M,bi)表示候選框bi與M的交并比,當(dāng)交并比大于等于超參數(shù)設(shè)定的重疊閾值Nt時(shí),候選框i的得分便直接設(shè)定為0,就相當(dāng)于直接刪除。這樣同一個(gè)目標(biāo)得到多個(gè)多余的檢測(cè)框就得到了抑制。

YOLOv3-Tiny的損失函數(shù)由3個(gè)部分組成,分別是坐標(biāo)誤差、置信度誤差和分類誤差。坐標(biāo)誤差如式(3)所示,Iobjij表示第i個(gè)網(wǎng)絡(luò)的第j先驗(yàn)框是否負(fù)責(zé)這個(gè)目標(biāo)物體,如果負(fù)責(zé),Iobjij的值為1,否則為0。當(dāng)負(fù)責(zé)這個(gè)目標(biāo)時(shí),這個(gè)先驗(yàn)框所產(chǎn)生的檢測(cè)框與真實(shí)框進(jìn)行比較,計(jì)算中心坐標(biāo)誤差和寬高誤差。loss1=λcoord∑s2i=0∑Bj=0Iobjijxi-x-ji2+yi-y-ji2+

λcoord∑s2i=0∑Bj=0Iobjijwi-w-ji2+hi-h-ji2。(3)

置信度誤差如式(4)所示,置信度參數(shù)C-ji表示網(wǎng)格的檢測(cè)框有沒有負(fù)責(zé)預(yù)測(cè)某個(gè)對(duì)象決定,若負(fù)責(zé)該對(duì)象,C-ji的值為1否則為0。不論先驗(yàn)框是否負(fù)責(zé)某個(gè)物體,都會(huì)計(jì)算置信度。loss2=-∑s2i=0∑Bj=0IobjijC-jilog(Cji)+(1-C-ji)log(1-C-ji)-

λnoobj∑s2i=0∑Bj=0Inoobjij[C-jilog(Cji)+(1-C-ji)log(1-C-ji)]。(4)

分類誤差如式(5)所示,當(dāng)Iobjij的值為1時(shí),先驗(yàn)框所產(chǎn)生的檢測(cè)框才會(huì)計(jì)算分類誤差。loss3=-∑s2i=0Iobjij∑C∈classP-jilog(P-ji)+(1+P-ji)log(1-P-ji)。(5)

總的損失函數(shù)為

loss=loss1+loss2+loss3。(6)

2基于YOLOv3-Tiny的網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)

為了提高風(fēng)機(jī)葉片的檢測(cè)精度,主要對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn),提出了一種跨越式特征聯(lián)合網(wǎng)絡(luò)結(jié)構(gòu),提取深層次的特征,為了擴(kuò)大卷積核的感受野,增強(qiáng)較小目標(biāo)的檢測(cè)精度,引入Inception模塊,實(shí)驗(yàn)結(jié)果表明改進(jìn)后的算法精度更高并且模型參數(shù)更少。

2.1改進(jìn)后的網(wǎng)絡(luò)整體結(jié)構(gòu)

如圖2所示,提出一種全新的YOLO骨干網(wǎng)絡(luò)結(jié)構(gòu)。主要包括跨越式特征聯(lián)合網(wǎng)絡(luò)模塊和Inception模塊。跨越式特征聯(lián)合網(wǎng)絡(luò)模塊可以提取輸入圖像的深層次特征,Inception模塊中尺寸不同的卷積核可以增強(qiáng)圖片的感受野大小,有利于對(duì)較小目標(biāo)的探測(cè)和識(shí)別。

2.2跨越式特征聯(lián)合網(wǎng)絡(luò)結(jié)構(gòu)

本文提出一種跨越式特征聯(lián)合網(wǎng)絡(luò)結(jié)構(gòu),該結(jié)構(gòu)主要包括卷積層和拼接層。卷積層每層都由若干個(gè)卷積單元組成,卷積運(yùn)算的目的是提取輸入的不同特征,拼接層是將指定的不同卷積層進(jìn)行維度相加,以獲得不同卷積層更豐富的語義特征,有利于下一卷積層重復(fù)學(xué)習(xí)不同卷積層的深度特征。卷積層跨越式的拼接方式,分別取用5×5和3×3不同大小的卷積核,將不同深度的特征信息進(jìn)行融合再學(xué)習(xí),如圖3中的拼接層1和拼接層2,分別是對(duì)前向卷積層的特征拼接,最后拼接層3對(duì)原始卷積層和

拼接層2再進(jìn)行拼接。第一層中的base layer可以是網(wǎng)絡(luò)中的任意層,該結(jié)構(gòu)可以連接到網(wǎng)絡(luò)中的任意層之后,是一種即插即用的結(jié)構(gòu)。

跨越式特征聯(lián)合網(wǎng)絡(luò)結(jié)構(gòu)通過對(duì)前向卷積層的多個(gè)拼接,使網(wǎng)絡(luò)在前向傳播的過程中多個(gè)層次的特征被多次聯(lián)合使用,在反向傳播的過程中多級(jí)特征被重復(fù)性學(xué)習(xí),同時(shí)盡量減少每層網(wǎng)絡(luò)的卷積核的數(shù)量,使網(wǎng)絡(luò)盡量用更少的參數(shù)達(dá)到更高的精度。這樣一方面可以加強(qiáng)特征圖的學(xué)習(xí)效率,另一方面能夠減少網(wǎng)絡(luò)的參數(shù),減少網(wǎng)絡(luò)的計(jì)算量。

2.3Inception模塊結(jié)構(gòu)

Inception首次提出于GoogleNet中[22],GoogleNet在2014年ImageNet競(jìng)賽上獲得冠軍。文獻(xiàn)[23]在Inception中加入了BN層,精度得到了提高。文獻(xiàn)[24]提出了Inception v3,n×n的卷積核被拆分成n×1和1×n兩種卷積核,降低了網(wǎng)絡(luò)的參數(shù)量。Inception的提出與改進(jìn)大大提升了深度網(wǎng)絡(luò)的識(shí)別性能。

本文用到的Inception模塊結(jié)構(gòu)由4個(gè)平行的通道共同輸入到下一級(jí)的特征組,4個(gè)平行的通道分別包括1×1的卷積和其他尺度大小的卷積核相結(jié)合[21]。1×1的卷積核不能很好地學(xué)習(xí)到特征圖中的臨近像素的信息,但是1×1的卷積核可以將輸入的特征圖壓縮成較少的特征圖組合,再經(jīng)過3×3或者5×5不同的感受野卷積對(duì)特征圖信息進(jìn)一步進(jìn)行學(xué)習(xí),獲得更豐富的特征信息組合。

Inception結(jié)構(gòu)的1×1卷積核的加入可以大大減少網(wǎng)絡(luò)的學(xué)習(xí)參數(shù),同時(shí)不同通道中具有豐富感受野的圖像信息最終匯聚成一組,可以得到更好的圖像表征信息。Inception模塊結(jié)構(gòu)如圖4所示。

3實(shí)驗(yàn)結(jié)果與分析

3.1實(shí)驗(yàn)數(shù)據(jù)集與實(shí)驗(yàn)環(huán)境

針對(duì)山地中的風(fēng)機(jī)葉片的裂紋、裂縫、斷裂、老化等缺陷進(jìn)行檢測(cè),本文使用的數(shù)據(jù)集全部通過實(shí)地采集獲得,主要包括裂縫的風(fēng)機(jī)葉片圖片和有磨損、老化現(xiàn)象的風(fēng)機(jī)葉片圖片約450張。由于含有缺陷的真實(shí)數(shù)據(jù)較少,在輸入檢測(cè)網(wǎng)絡(luò)之前首先對(duì)圖片進(jìn)行數(shù)據(jù)增廣,主要包括加噪聲、圖像旋轉(zhuǎn)、亮度變化等,得到最終的數(shù)據(jù)集為1 500張,其中1 000張作為訓(xùn)練集,200張作為驗(yàn)證集,300張用于測(cè)試。由于風(fēng)機(jī)葉片不同類型的損傷在圖像上差異較大,因此將損傷類型分成2種。一是以裂縫、裂紋為代表的較小目標(biāo)的缺陷,二是以磨損、老化為代表的較大目標(biāo)的缺陷。

使用開源標(biāo)注工具LabelImg對(duì)缺陷部位進(jìn)行標(biāo)注,將數(shù)據(jù)集中的圖像標(biāo)注為.xml文件,標(biāo)注結(jié)果會(huì)保存圖像中每個(gè)目標(biāo)的類別、大小和位置信息。

所有的實(shí)驗(yàn)均在配置為i7-9750H@2.60 GHz CPU,16 GB RAM,G5 5590的PC上實(shí)現(xiàn)訓(xùn)練和測(cè)試,以保證結(jié)果的公平性。

軟件環(huán)境:操作系統(tǒng)為64位的Windows 10;深度學(xué)習(xí)框架:Darknet,CUDA 10.0,Cudnn 7.6;可視化軟件:OpenCV。

本次實(shí)驗(yàn)迭代次數(shù)均設(shè)置為10 000次,學(xué)習(xí)率設(shè)置為0.001,輸入圖像大小設(shè)置為416×416,batch設(shè)置為64,subdivisions設(shè)置為8,每訓(xùn)練1 000次保存一次權(quán)重并篩選出最佳權(quán)重保存。

3.2模型結(jié)果比較

3.2.1模型精度

在NIVIDIA RTX2070的顯卡上對(duì)數(shù)據(jù)集進(jìn)行訓(xùn)練。本文訓(xùn)練所得到的模型采用mAP(mean average precision)進(jìn)行目標(biāo)檢測(cè)精度的描述。mAP的計(jì)算是通過精確率P與召回率R計(jì)算得到的。如式(7)所示,精確率P是指檢測(cè)結(jié)果中檢測(cè)正確的樣本數(shù)所占的比例,Tp表示檢測(cè)正確的個(gè)數(shù),F(xiàn)p表示未被檢測(cè)出的個(gè)數(shù),F(xiàn)n表示檢測(cè)錯(cuò)誤的個(gè)數(shù)。召回率R是指檢測(cè)正確的樣本數(shù)占待檢測(cè)樣本總數(shù)的比例。計(jì)算出所有類別的AP值,取得平均值即為mAP。mAP的值越大表示該算法的精度越高。

P=TpFp+Tp,(7)

R=TpFp+Fn。(8)

本文改進(jìn)的YOLOv3-Tiny算法的mAP相比于原來的YOLOv3-Tiny提高了2.69%,如表1所示,改進(jìn)的YOLOv3-Tiny中較小目標(biāo)的裂紋、裂縫的精度提升明顯,磨損、老化的檢測(cè)也有提升。改進(jìn)1表示YOLOv3-Tiny的骨干網(wǎng)絡(luò)只引入跨越式特征聯(lián)合網(wǎng)絡(luò)結(jié)構(gòu),相比于改進(jìn)的YOLOv3-Tiny(同時(shí)引入跨越式特征聯(lián)合網(wǎng)絡(luò)結(jié)構(gòu)和Inception模塊結(jié)構(gòu))精度低1.33%,相比于YOLOv3-Tiny精度高1.36%,此外改進(jìn)的YOLOv3-Tiny比YOLOv4-Tiny的精度高0.26%。

3.2.2損失曲線

如圖5所示,改進(jìn)后的YOLOv3-Tiny的損失函數(shù)曲線與原YOLOv3-Tiny的損失函數(shù)曲線相似,都是收斂的,說明改進(jìn)后的模型訓(xùn)練穩(wěn)定。

3.2.3模型速度與模型參數(shù)

本文提出的跨越式特征聯(lián)合網(wǎng)絡(luò)結(jié)構(gòu)能夠重復(fù)學(xué)習(xí)不同級(jí)層的網(wǎng)絡(luò)結(jié)構(gòu),因此需要較少的參數(shù)就能達(dá)到更高的精度。如表2所示,改進(jìn)后的YOLOv3-Tiny模型大小只有7.34 MB,相比于原YOLOv3-Tiny參數(shù)量縮小了4倍,同時(shí)精度卻高于原YOLOv3-Tiny。

在模型速度上,在NIVIDIA RTX2070的顯卡上對(duì)數(shù)據(jù)集進(jìn)行測(cè)試,由表2可知,平均檢測(cè)一幅圖像YOLOv3-Tiny用時(shí)最短為4.32 ms,改進(jìn)1用時(shí)4.51 ms,YOLOv4-Tiny用時(shí)3.56 ms,而提出的改進(jìn)的YOLOv3-Tiny用時(shí)5.01 ms,由于網(wǎng)絡(luò)的寬度增加,雖然改進(jìn)后的模型參數(shù)較少但是速度略有降低。平均一幅圖像的檢測(cè)時(shí)間與YOLOv3-Tiny相差僅0.69 ms,本模型在基本不影響檢測(cè)速度的同時(shí)提高了檢測(cè)精度。

3.3檢測(cè)結(jié)果與分析

通過訓(xùn)練得到3種模型,YOLOv2-Tiny,YOLOv3-Tiny和改進(jìn)的YOLOv3-Tiny,使用相同的測(cè)試集進(jìn)行測(cè)試對(duì)比,結(jié)果如圖6所示。由圖6中a1)—c1)可知,對(duì)于風(fēng)機(jī)葉片中較大的磨損、老化缺陷,3種模型均能達(dá)到較好的檢測(cè)效果。由a2)—c2)可以看出,對(duì)于目標(biāo)較小的磨損、老化,改進(jìn)后的YOLOv3-Tiny檢測(cè)效果最佳,其他則存在漏檢測(cè)現(xiàn)象。由圖6中a3)—c3)可以看出,風(fēng)機(jī)葉片上的裂縫、裂紋,改進(jìn)后的YOLOv3-Tiny檢測(cè)效果好于其他2個(gè)模型。

由上可知,跨越式特征聯(lián)合網(wǎng)絡(luò)結(jié)構(gòu)連同Inception模塊結(jié)構(gòu)作為YOLOv3-Tiny新的骨干網(wǎng)絡(luò)起到了較好的作用,使整個(gè)模型用更少的參數(shù)就能得到更好的效果。

4結(jié)語

提出了一種改進(jìn)的YOLOv3-Tiny風(fēng)機(jī)葉片損傷檢測(cè)算法,提出跨越式特征聯(lián)合網(wǎng)絡(luò)結(jié)構(gòu)并引入Inception模塊結(jié)構(gòu),擴(kuò)大感受野并提升較小損傷的檢測(cè)能力,實(shí)驗(yàn)結(jié)果表明改進(jìn)后的算法精度更高并且模型參數(shù)更少,對(duì)于較小目標(biāo)的缺陷檢測(cè)效果更加出色。

本文提出的跨越式特征聯(lián)合網(wǎng)絡(luò)結(jié)構(gòu)與YOLOv3-Tiny相比,其精度提升了1.36%,引入的Inception模塊結(jié)構(gòu)提升精度1.33%。算法相較于YOLOv3-Tiny,在不影響速度的情況下精度提高了2.69%,達(dá)到88.58%。利用深度學(xué)習(xí)的方法進(jìn)行目標(biāo)檢測(cè),比傳統(tǒng)方法的魯棒性更強(qiáng),更能適應(yīng)外部復(fù)雜環(huán)境的變化。該方法在風(fēng)機(jī)葉片損傷檢測(cè)中的應(yīng)用可以及時(shí)快速發(fā)現(xiàn)葉片損傷問題,有效提升葉片檢修效率。此外,本文提出的算法模型較小,也適用于對(duì)實(shí)時(shí)性要求較高和需要微型計(jì)算平臺(tái)的應(yīng)用場(chǎng)景。

本文算法模型未開展在NVIDIA Jetson TX2等微型嵌入式深度學(xué)習(xí)平臺(tái)中應(yīng)用的研究。未來可將本算法模型進(jìn)一步優(yōu)化,開展模型裁剪研究,將其應(yīng)用于微型嵌入式深度學(xué)習(xí)平臺(tái),并集成在多旋翼無人機(jī)中,實(shí)現(xiàn)風(fēng)機(jī)葉片的無人機(jī)在線智能識(shí)別作業(yè)。

參考文獻(xiàn)/References:

[1]楊家歡,宗哲英,王禎,等.風(fēng)機(jī)葉片檢測(cè)的研究現(xiàn)狀及進(jìn)展[J].復(fù)合材料科學(xué)與工程,2020(6):109-113.

YANG Jiahuan,ZONG Zheying,WANG Zhen,et al.Areview of research on detecting the wind turbine blades[J].Composites Science and Engineering,2020(6):109-113.

[2]程杰,來永斌,王龍,等.典型風(fēng)力機(jī)翼型結(jié)冰特性分析[J].河北科技大學(xué)學(xué)報(bào),2019,40(1):9-14.

CHENG Jie,LAI Yongbin,WANG Long,et al.Study on the icing characteristics of typical wind turbine[J].Journal of Hebei University of Science and Technology,2019,40(1):9-14.

[3]劉雙,胡斌,賀鑄,等.風(fēng)機(jī)葉片缺陷的無損檢測(cè)方法比較與評(píng)價(jià)[J].無損檢測(cè),2015,37(3):47-51.

LIU Shuang,HU Bin,HE Zhu,et al.Comparison and evaluation on the non-destructive testing methods for the wind turbine blades defects[J].Nondestructive Testing,2015,37(3):47-51.

[4]顧桂梅,胡讓,李遠(yuǎn)遠(yuǎn).果蠅優(yōu)化算法融合SVM的風(fēng)機(jī)葉片損傷識(shí)別研究[J].自動(dòng)化儀表,2016,37(2):9-12.

GU Guimei,HU Rang,LI Yuanyuan.Study on identification of damage for wind turbine blade by fusing FOA and SVM[J].Process Automation Instrumentation,2016,37(2):9-12.

[5]張超,文傳博.基于改進(jìn)Mask R-CNN的風(fēng)機(jī)葉片缺陷檢測(cè)[J].可再生能源,2020,38(9):1181-1186.

ZHANG Chao,WEN Chuanbo.Fault detection of wind turbine blade based on improved Mask R-CNN[J].Renewable Energy Resources,2020,38(9):1181-1186.

[6]曹錦綱,楊國田,楊錫運(yùn).基于RPCA和視覺顯著性的風(fēng)機(jī)葉片表面缺陷檢測(cè)[J].圖學(xué)學(xué)報(bào),2019,40(4):704-710.

CAO Jingang,YANG Guotian,YANG Xiyun.Surface defect detection of wind turbine blades based on RPCA and visual saliency[J].Journal of Graphics,2019,40(4):704-710.

[7]劉艷霞,丁小燕,方建軍.基于遷移學(xué)習(xí)的風(fēng)力發(fā)電機(jī)葉片裂縫識(shí)別[J].傳感器與微系統(tǒng),2019,38(8):107-110.

LIU Yanxia,DING Xiaoyan,F(xiàn)ANG Jianjun.Wind turbine blade crack identification based on migration learning[J].Transducer and Microsystem Technologies,2019,38(8):107-110.

[8]顧桂梅,張?chǎng)?基于深度信念網(wǎng)絡(luò)的風(fēng)機(jī)葉片結(jié)構(gòu)損傷識(shí)別研究[J].甘肅農(nóng)業(yè)大學(xué)學(xué)報(bào),2016,51(4):134-138.

GU Guimei,ZHANG Xin.Structural damage identification of wind turbine blade based on deep belief networks[J].Journal of Gansu Agricultural University,2016,51(4):134-138.

[9]毛希瑋,徐瑩瑩.基于無人機(jī)的風(fēng)機(jī)葉片缺陷自動(dòng)檢測(cè)技術(shù)[J].復(fù)合材料科學(xué)與工程,2020(9):85-89.

MAO Xiwei,XU Yingying.Automatic defect detection of wind blade surface via UAV[J].Composites Science and Engineering,2020(9):85-89.

[10]賀斌,賈建華,趙峰,等.無人機(jī)在風(fēng)機(jī)葉片檢測(cè)中的應(yīng)用[J].電工技術(shù),2019(13):64-65.

HE Bin,JIA Jianhua,ZHAO Feng,et al.Application of UAV in detection of wind turbine blades[J].Electric Engineering,2019(13):64-65.

[11]趙春溢,郭洪濤,郭濤,等.一種風(fēng)機(jī)葉片圖像采集及缺陷檢測(cè)系統(tǒng)[J].紅外技術(shù),2020,42(12):1203-1210.

ZHAO Chunyi,GUO Hongtao,GUO Tao,et al.Defect detection system based on UAV images for wind turbine blades[J].Infrared Technology,2020,42(12):1203-1210.

[12]趙永強(qiáng),饒?jiān)砾i,等.深度學(xué)習(xí)目標(biāo)檢測(cè)方法綜述[J].中國圖象圖形學(xué)報(bào),2020,25(4):629-654.

ZHAO Yongqiang,RAO Yuan,DONG Shipeng,et al.Survey on deep learning object detection[J].Journal of Image and Graphics,2020,25(4):629-654.

[13]GIRSHICK R,DONAHUE J,DARRELL T,et al.Rich feature hierarchies for accurate object detection and semantic segmentation[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition.Columbus:IEEE,2014:580-587.

[14]GIRSHICK R.Fast R-CNN[C]//2015 IEEE International Conference on Computer Vision (ICCV).Santiago:IEEE,2015:1440-1448.

[15]REN Shaoqing,HE Kaiming,GIRSHICK R,et al.Faster R-CNN:Towardsreal-time object detection with region proposal networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39(6):1137-1149.

[16]REDMON J,DIVVALA S,GIRSHICK R,et al.You only look once:Unified,real-timeobject detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).Las Vegas:IEEE,2016:779-788.

[17]REDMON J,F(xiàn)ARHADI A.YOLO9000:Better,faster,stronger[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).Honolulu:IEEE,2017:6517-6525.

[18]REDMON J,F(xiàn)ARHADI A.YOLOv3:An incremental improvement[EB/OL].[2018-04-08].http://arxiv.org/pdf/1804.02767.pdf.

[19]BOCHKOVSKIY A,WANG C Y,LIAO H Y M.Yolov4:Optimal speed and accuracy of object detection[EB/OL].[2020-04-23].http://arxiv.org/pdf/2004.10934.pdf.

[20]LIU Wei,ANGUELOV D,ERHAN D,et al.SSD:Single shot MultiBox detector[C]//Computer Vision-ECCV 2016.Cham:Springer International Publishing,2016:21-37.

[21]ZENG Yiliang,ZHANG Lihao,ZHAO Jiahong,et al.JRL-YOLO:A novel jump-join repetitious learning structure for real-time dangerous object detection[J].Computational Intelligence and Neuroscience,2021:5536152.

[22]SZEGEDY C,LIU Wei,JIA Yangqing,et al.Going deeper with convolutions[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).Boston:IEEE,2015:1-9.

[23]IOFFE S,SZEGEDY C.Batchnormalization:Accelerating deep network training by reducing internal covariate shift[C]//Proceedings of the 32nd International Conference on International Conference on Machine Learning.Lille:PMLR,2015:448-456.

[24]SZEGEDY C,VANHOUCKE V,IOFFE S,et al.Rethinking the inception architecture for computer vision[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Las Vegas:IEEE,2016:2818-2826.

猜你喜歡
深度學(xué)習(xí)
從合坐走向合學(xué):淺議新學(xué)習(xí)模式的構(gòu)建
面向大數(shù)據(jù)遠(yuǎn)程開放實(shí)驗(yàn)平臺(tái)構(gòu)建研究
基于自動(dòng)智能分類器的圖書館亂架圖書檢測(cè)
搭建深度學(xué)習(xí)的三級(jí)階梯
有體驗(yàn)的學(xué)習(xí)才是有意義的學(xué)習(xí)
電子商務(wù)中基于深度學(xué)習(xí)的虛假交易識(shí)別研究
利用網(wǎng)絡(luò)技術(shù)促進(jìn)學(xué)生深度學(xué)習(xí)的幾大策略
考試周刊(2016年94期)2016-12-12 12:15:04
MOOC與翻轉(zhuǎn)課堂融合的深度學(xué)習(xí)場(chǎng)域建構(gòu)
大數(shù)據(jù)技術(shù)在反恐怖主義中的應(yīng)用展望
深度學(xué)習(xí)算法應(yīng)用于巖石圖像處理的可行性研究
主站蜘蛛池模板: 18黑白丝水手服自慰喷水网站| 一本大道视频精品人妻| jijzzizz老师出水喷水喷出| 成年人视频一区二区| 色综合成人| 曰韩人妻一区二区三区| 久久精品最新免费国产成人| 国产又爽又黄无遮挡免费观看| 99久久性生片| 制服丝袜 91视频| 国产精品网曝门免费视频| av天堂最新版在线| 国产精品久久久免费视频| 亚洲手机在线| 亚洲视频二| 亚洲人成网站观看在线观看| 欧美日本中文| 日韩av电影一区二区三区四区 | 国产在线拍偷自揄拍精品| 国内精品九九久久久精品 | 久热精品免费| 亚洲aaa视频| 美臀人妻中出中文字幕在线| 中文字幕欧美日韩高清| 欧美在线国产| 91精品视频在线播放| 青青青视频91在线 | 久久激情影院| 国产精品99久久久久久董美香| 精品人妻一区二区三区蜜桃AⅤ| 亚洲第一香蕉视频| 最新国产精品第1页| 婷婷亚洲最大| 国产精品手机在线播放| 男女男免费视频网站国产| 亚洲国产成人久久精品软件| 欧美激情视频一区| 免费观看三级毛片| 久久中文电影| 亚洲自偷自拍另类小说| 亚洲无码精彩视频在线观看| 中文字幕资源站| 日本国产精品| 乱人伦中文视频在线观看免费| 福利姬国产精品一区在线| 91在线一9|永久视频在线| 欧美高清国产| 九九九精品视频| 久久99国产综合精品女同| 亚洲无码高清免费视频亚洲 | 一本大道香蕉久中文在线播放 | 狼友视频国产精品首页| 国产精品自在线天天看片| 天堂久久久久久中文字幕| 亚洲嫩模喷白浆| 亚洲中文字幕手机在线第一页| 亚洲欧美不卡| 999在线免费视频| av一区二区三区在线观看 | 欧美成人h精品网站| 萌白酱国产一区二区| 嫩草国产在线| 波多野一区| 国产拍在线| 欧美一级在线| 亚洲精品不卡午夜精品| 国产情精品嫩草影院88av| 中文字幕亚洲专区第19页| 国产肉感大码AV无码| 国产在线一二三区| 久久网欧美| 尤物成AV人片在线观看| 欧美激情视频一区| 国产乱人激情H在线观看| 日韩在线第三页| 国产亚洲男人的天堂在线观看| 午夜性刺激在线观看免费| 国产91小视频在线观看| 第九色区aⅴ天堂久久香| 精品少妇人妻无码久久| 国产一区二区三区视频| 久草国产在线观看|