基于改進(jìn)Faster R-CNN的電力作業(yè)安全預(yù)警研究

岳 雷,朱程杰,張 毅,楊 輝

(1.銅陵銅能電力工程有限責(zé)任公司,安徽 銅陵 244002;2.國(guó)網(wǎng)安徽省電力有限公司銅陵供電公司,安徽 銅陵 244002)

0 引言

電力作業(yè)中事故頻發(fā)是當(dāng)前電力基建和檢修維護(hù)中的典型問(wèn)題,也是亟需解決的問(wèn)題。調(diào)查發(fā)現(xiàn),電力作業(yè)中超過(guò)80%的安全事故與電力作業(yè)人員相關(guān),因此,電力作業(yè)人員的安全行為規(guī)范尤為重要[1]。傳統(tǒng)的電力作業(yè)監(jiān)督主要依靠視頻監(jiān)控等進(jìn)行安全作業(yè)管理。但是視頻監(jiān)控有一定的滯后性,往往在作業(yè)現(xiàn)場(chǎng)事故已經(jīng)發(fā)生之后,才能發(fā)現(xiàn)和糾正所存在的不安全行為。這種滯后行為并不能阻止電力現(xiàn)場(chǎng)事故的發(fā)生,存在著較大的安全隱患[2]。一般而言,電力作業(yè)中的不安全行為主要源于作業(yè)人員自身的安全意識(shí)薄弱、主觀操作習(xí)慣難以改變。一些日常作業(yè)中的細(xì)節(jié)疏忽帶來(lái)了極大的安全隱患[3]。如電力作業(yè)中的未佩戴安全帽、未穿戴絕緣手套、未按規(guī)定進(jìn)行操作等都是高危行為。在日常的電力作業(yè)中,應(yīng)避免此類(lèi)行為的發(fā)生。

隨著深度學(xué)習(xí)技術(shù)的不斷迭代,眾多學(xué)者將研究重點(diǎn)放在了人員的行為識(shí)別上。早期的典型物體檢測(cè)算法是在傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上進(jìn)行改進(jìn)的、基于候選區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)(region convolutional neural network,R-CNN)算法[4-5]。R-CNN算法具有較好的特征提取能力和分類(lèi)識(shí)別能力。為了解決R-CNN算法處理時(shí)間效率不高的問(wèn)題,有學(xué)者在此基礎(chǔ)上提出了Fast R-CNN算法[6]。該算法在實(shí)際解決問(wèn)題中具有更高的效率,但在候選區(qū)域提取與特征分類(lèi)的時(shí)間消耗上不相匹配,無(wú)法滿足檢測(cè)中高效分類(lèi)的需求。隨著Faster R-CNN算法[7]的出現(xiàn),深度學(xué)習(xí)算法在物體檢測(cè)上得到了很大的性能提升。該算法的流程均由神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn),極大地提高了算法的運(yùn)算效率和準(zhǔn)確率,故使用較為廣泛。但該算法無(wú)法保證小物體目標(biāo)的識(shí)別準(zhǔn)確率。

本文基于特征網(wǎng)絡(luò)的改進(jìn)提高了小目標(biāo)的識(shí)別率,使得Faster R-CNN算法具有更好的適用性,進(jìn)一步保障了電力作業(yè)的安全性。

1 算法概述

1.1 R-CNN算法

R-CNN算法作為物體檢測(cè)的經(jīng)典算法,是檢測(cè)算法的一大進(jìn)步。R-CNN算法的基本結(jié)構(gòu)如圖1所示。

圖1 R-CNN算法的基本結(jié)構(gòu)

R-CNN算法主要包括目標(biāo)建議框生成、圖像特征提取以及分類(lèi)與修正這3個(gè)關(guān)鍵部分[8]。

①目標(biāo)建議框生成。目標(biāo)建議框生成主要在所輸入的圖片中框選可能是目標(biāo)的點(diǎn)。為保證框選目標(biāo)的精確,在所輸入圖片進(jìn)行歸一化后,通過(guò)分析、辨識(shí)圖片的不同像素、顏色和輪廓,使得用較少的目標(biāo)建議框就可以達(dá)到較高的準(zhǔn)確率。此部分所采用的算法是常用的選擇查詢(xún)算法。選擇查詢(xún)算法通過(guò)對(duì)所輸入的圖片進(jìn)行聚類(lèi)、生成區(qū)域塊,依據(jù)每個(gè)區(qū)域塊之間的相似度不斷合并以形成目標(biāo)建議框。

②圖像特征提取。圖像特征提取采用深度學(xué)習(xí)網(wǎng)絡(luò)。R-CNN算法的特征提取使用較多的是AlexNet網(wǎng)絡(luò)。其包含5個(gè)卷積層、2個(gè)全連接層和1個(gè)輸出層。其中,每個(gè)上層卷積層的輸出都是下層卷積層的輸入。

③分類(lèi)與修正。分類(lèi)與修正部分首先經(jīng)過(guò)圖像的特征提取并輸出特征圖,然后使用支持向量機(jī)算法對(duì)特征圖進(jìn)行分類(lèi),再不斷對(duì)特征框的邊緣和局部進(jìn)行修正,使得最終的識(shí)別結(jié)果準(zhǔn)確率更高。

1.2 Fast R-CNN算法

雖然R-CNN算法在對(duì)物體檢測(cè)上有了很大的突破,但其還存在內(nèi)存占用較大、處理效率不高的問(wèn)題。有學(xué)者在此基礎(chǔ)上提出了Fast R-CNN算法。該算法在解決實(shí)際問(wèn)題中具有更高的效率[5,9]。

Fast R-CNN算法的一般流程主要包括四大部分。

①以要識(shí)別的圖像作為算法的輸入,通過(guò)選擇查詢(xún)算法確定目標(biāo)建議區(qū)域。

②將要識(shí)別的圖像輸入卷積神經(jīng)網(wǎng)絡(luò),得到輸出的特征圖。

③將所有的目標(biāo)建議區(qū)域,通過(guò)感興趣區(qū)域(region of interest,ROI)層進(jìn)行池化,得到ROI特征模塊。

④將特征模塊通過(guò)全連接層,分別得到分類(lèi)器輸出和分類(lèi)修正的偏差值。

Fast R-CNN算法的基本結(jié)構(gòu)如圖2所示。

圖2 Fast R-CNN算法的基本結(jié)構(gòu)

2 改進(jìn)的Faster R-CNN算法

Fast R-CNN算法在候選區(qū)提取與特征分類(lèi)的時(shí)間消耗上非常不匹配,無(wú)法滿足檢測(cè)需求。所以有學(xué)者在此基礎(chǔ)上又作了改進(jìn),提出了當(dāng)前物體檢測(cè)使用較為廣泛的Faster R-CNN算法。Faster R-CNN算法對(duì)網(wǎng)絡(luò)進(jìn)行了優(yōu)化,將目標(biāo)建議框生成、圖像特征提取、分類(lèi)與修正都融合于同一網(wǎng)絡(luò)中。該算法流程均由神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn),極大地提高了算法的運(yùn)算效率和準(zhǔn)確率[10]。本文采用Faster R-CNN算法作為電力作業(yè)中行為識(shí)別的主要算法,并在其基礎(chǔ)上作了改進(jìn),使得算法適用于各種尺寸的目標(biāo)。這進(jìn)一步提高了識(shí)別效率,保障了電力作業(yè)的安全。

Faster R-CNN算法的基本結(jié)構(gòu)如圖3所示。

圖3 Faster R-CNN算法的基本結(jié)構(gòu)

Faster R-CNN算法的一般步驟如下。

①對(duì)輸入的圖像進(jìn)行均一化和灰度化處理,使得圖像的尺寸和顏色保持一致,以免由于圖片的色差和尺寸不同而對(duì)圖片的識(shí)別造成干擾。

②將歸一化的圖片輸入到卷積網(wǎng)絡(luò)中進(jìn)行圖片的特征提取。本文選用殘差網(wǎng)絡(luò)(residual network,ResNet)[11]作為特征提取網(wǎng)絡(luò),通過(guò)卷積和池化操作生成特征圖。

③以生成的特征圖作為區(qū)域建議網(wǎng)絡(luò)(region proposal network,RPN)[12]輸入,并經(jīng)滑動(dòng)窗口形成特征集合,進(jìn)而進(jìn)入全連接層進(jìn)行分類(lèi)與修正。同時(shí),將生成的特征圖與目標(biāo)建議輸入ROI池化層,以輸出統(tǒng)一大小的特征圖像,再通過(guò)損失函數(shù)進(jìn)行分類(lèi)與修正,從而生成預(yù)測(cè)結(jié)果。

2.1 基于ResNet的特征提取

Faster R-CNN算法的特征提取在整個(gè)流程中非常關(guān)鍵。為了高效、全面地提取圖像的特征,本文選取ResNet-50作為算法的特征提取網(wǎng)絡(luò)。相較于基于塊的視覺(jué)幾何組(visual geometry group,VGG)[13]網(wǎng)絡(luò)等特征提取網(wǎng)絡(luò),ResNet對(duì)于特征提取的優(yōu)勢(shì)主要在于對(duì)圖像的深層信息提取的效果。ResNet使得圖像特征的提取更為準(zhǔn)確。

ResNet-50的優(yōu)勢(shì)如下。ResNet-50可以簡(jiǎn)單認(rèn)為新增了一些快捷連接。這些快捷連接會(huì)跳過(guò)某些層直接將原始數(shù)據(jù)傳到后面的層。新增的連接并不影響模型的效率和占用內(nèi)存。這是因?yàn)槠洳粫?huì)增加網(wǎng)絡(luò)的參數(shù)和復(fù)雜度[14]。新增的連接會(huì)通過(guò)恒等映射跳轉(zhuǎn)到疊加層的輸出,使得網(wǎng)絡(luò)仍保持性能最優(yōu)狀態(tài)。

殘差計(jì)算如式(1)所示。

Sc=Sr+F(Sr,Jr)

(1)

式中:Sr為輸入特征值;Sc為輸出特征值;F(Sr,Jr)為殘差函數(shù)。

ResNet基本結(jié)構(gòu)如圖4所示。

圖4 ResNet基本結(jié)構(gòu)

對(duì)于一個(gè)更深層的Ln,其與r層的關(guān)系如式(2)所示。

(2)

式中:SLn為輸出特征值。

設(shè)損失函數(shù)為α,則α關(guān)于Sr的梯度為:

(3)

ResNet通過(guò)卷積層可以不斷地提升網(wǎng)絡(luò)性能、適時(shí)調(diào)整網(wǎng)絡(luò)的維度。這使得ResNet在不斷增加深度的同時(shí),減少了網(wǎng)絡(luò)的參數(shù)和復(fù)雜度,從而提高了效率。

2.2 RPN

RPN整體是1個(gè)卷積神經(jīng)網(wǎng)絡(luò),在Faster R-CNN算法中是較為關(guān)鍵的環(huán)節(jié)。將特征圖輸入到RPN中,可獲得對(duì)應(yīng)的目標(biāo)建議結(jié)果,以此可判斷所選擇的目標(biāo)建議是正向建議還是反向建議。

RPN基本結(jié)構(gòu)如圖5所示。

圖5 RPN基本結(jié)構(gòu)

在特征圖上生成1個(gè)滑動(dòng)向量塊,向量塊以3×3像素不斷移動(dòng)并生成一維向量,通過(guò)全連接層生成目標(biāo)回歸參數(shù)。2k分類(lèi)得分主要是k個(gè)錨框的前景分類(lèi)得分和背景分類(lèi)得分。4k個(gè)坐標(biāo)值是k個(gè)錨框生成的目標(biāo)框回歸值坐標(biāo)。特征圖還可以被看成多個(gè)向量,每個(gè)向量是512維。

為了使得RPN的結(jié)果更為可靠,需要對(duì)損失函數(shù)進(jìn)行計(jì)算和訓(xùn)練。RPN的損失函數(shù)包含2個(gè)部分,分別為分類(lèi)層的損失值和修正回歸層的損失值。

RPN的損失值如式(4)所示。

R=Rc+Rm

(4)

式中:Rc為分類(lèi)層的損失值;Rm為修正回歸層的損失值;R為RPN的損失值。

Rc和Rm的計(jì)算分別如式(5)和式(6)所示。

(5)

(6)

(7)

RPN在輸入特征圖像后,對(duì)特征圖像的前景區(qū)域進(jìn)行提取,并進(jìn)行分類(lèi)與修正,以識(shí)別目標(biāo)圖像。

2.3 ResNet-50的改進(jìn)

在傳統(tǒng)的Faster R-CNN算法中,輸入的目標(biāo)圖像在進(jìn)行多次特征提取和目標(biāo)卷積池化后,一些目標(biāo)特征比較小的區(qū)域會(huì)逐漸模糊甚至丟失。這就造成了部分的圖像特征未能被識(shí)別和提取,降低了圖像的識(shí)別準(zhǔn)確性[15-16]。為了使得Faster R-CNN算法具有更高的識(shí)別性能,本文對(duì)算法進(jìn)行了改進(jìn),以適應(yīng)各種目標(biāo)的識(shí)別,從而提高精度和效率。

在實(shí)際的圖像特征提取中,由于圖像的顏色、像素等因素影響,提取的特征的深度和清晰度各不相同。因此,本文對(duì)生成不同深度的特征進(jìn)行融合,并再次進(jìn)行特征提取和檢測(cè),從而進(jìn)一步提高模糊目標(biāo)的識(shí)別度。本文在ResNet-50的基礎(chǔ)上融合了RPN,形成RPN-ResNet。其一般原理主要是:首先將不同子網(wǎng)絡(luò)的特征圖自上而下進(jìn)行疊加操作,然后將生成的特征圖片進(jìn)行區(qū)域建議操作,再輸出到卷積神經(jīng)網(wǎng)絡(luò),最后進(jìn)行分類(lèi)和回歸修正。這樣就可以保證圖片在經(jīng)過(guò)不斷特征提取和池化操作后,仍能識(shí)別較小的不安全電力作業(yè)目標(biāo),使得檢測(cè)范圍有了較大提高。

改進(jìn)后的RPN-ResNet對(duì)目標(biāo)物體檢測(cè)的基本流程如下。①對(duì)圖片進(jìn)行預(yù)處理操作,包括均一化和灰度化處理后,生成待檢測(cè)圖片。②將待檢測(cè)的圖片作為輸入,由改進(jìn)的ResNet-50子網(wǎng)絡(luò)進(jìn)行卷積和池化操作,以形成特征圖。③提取與特征圖對(duì)應(yīng)的RPN,進(jìn)行拼接后生成區(qū)域建議框。④將區(qū)域建議框和特征圖的ROI輸入到卷積網(wǎng)絡(luò)R-CNN進(jìn)行ROI Pooling,以輸出統(tǒng)一大小的特征圖像。通過(guò)損失函數(shù)對(duì)這些特征圖像進(jìn)行分類(lèi)與修正,輸出識(shí)別后的圖片。這就實(shí)現(xiàn)了電力作業(yè)目標(biāo)的實(shí)時(shí)檢測(cè)。

改進(jìn)的ResNet-50檢測(cè)流程如圖6所示。

圖6 改進(jìn)的ResNet-50檢測(cè)流程

圖6中:subnet1、 subnet2、subnet3分別為ResNet-50的3個(gè)子網(wǎng)絡(luò)結(jié)構(gòu);Feature P1、Feature P2、Feature P3分別為對(duì)應(yīng)子網(wǎng)絡(luò)提取的特征圖;RPN P1、RPN P2、RPN P3分別為3個(gè)對(duì)應(yīng)特征圖的RPN。

2.4 檢測(cè)結(jié)果及響應(yīng)

在對(duì)目標(biāo)圖像進(jìn)行特征提取和識(shí)別后,本文模型對(duì)作業(yè)中未佩戴安全帽、未穿戴手套等行為進(jìn)行紅框表示并閃爍,同時(shí)通過(guò)作業(yè)現(xiàn)場(chǎng)安裝的報(bào)警器進(jìn)行實(shí)時(shí)報(bào)警,以及時(shí)提醒電力作業(yè)人員安全作業(yè),避免事故的發(fā)生。

3 試驗(yàn)和結(jié)果

3.1 數(shù)據(jù)集獲取

電力安全作業(yè)預(yù)警技術(shù)的數(shù)據(jù)集來(lái)源主要是施工作業(yè)現(xiàn)場(chǎng)的視頻監(jiān)控?cái)?shù)據(jù)。獲取數(shù)據(jù)后通過(guò)篩選、裁剪和歸一化后形成樣本數(shù)據(jù)集。數(shù)據(jù)集包含5 000張電力工人現(xiàn)場(chǎng)施工圖片。其中,訓(xùn)練集圖片2 600張、驗(yàn)證集圖片1 200張、測(cè)試集圖片1 200張。除此之外,本文算法設(shè)置RPN的批處理大小為256、基礎(chǔ)學(xué)習(xí)速率為0.001、迭代次數(shù)為12 000次。

本文模型數(shù)據(jù)采用自建數(shù)據(jù)庫(kù)。本文試驗(yàn)平臺(tái)采用Intel Core(TM)i7 3.6 GHz主頻和16 GB內(nèi)存的計(jì)算機(jī)。運(yùn)行操作系統(tǒng)為Ubuntu16.04。仿真使用 Python軟件。

3.2 算法精度分析

算法改進(jìn)對(duì)于提取小目標(biāo)物體具有更高的檢測(cè)效率。試驗(yàn)主要針對(duì)電力不安全作業(yè)中的大小目標(biāo)進(jìn)行檢測(cè),在保證大目標(biāo)檢測(cè)精度的前提下,有效保障了小目標(biāo)的檢測(cè)效率。本文將改進(jìn)后的RPN-ResNet與ResNet-50、ResNet-101、VGG-16等網(wǎng)絡(luò)進(jìn)行目標(biāo)檢測(cè)的對(duì)比。檢測(cè)的對(duì)象選取2類(lèi),分別為大目標(biāo)物體和小目標(biāo)物體。其中,大目標(biāo)物體以安全帽為檢測(cè)對(duì)象,小目標(biāo)物體以絕緣手套為檢測(cè)對(duì)象。對(duì)比的指標(biāo)主要包括模型的平均檢測(cè)精度、平均精度均值。本文特征網(wǎng)絡(luò)的RPN大小范圍設(shè)定為[16,512]。不同特征網(wǎng)絡(luò)的模型檢測(cè)結(jié)果對(duì)比如表1所示。

表1 不同特征網(wǎng)絡(luò)的模型檢測(cè)結(jié)果對(duì)比

由表1可知,本文提出的RPN-ResNet特征網(wǎng)絡(luò)在Faster R-CNN算法上的平均檢測(cè)精度相比較ResNet-50、ResNet-101、VGG-16等網(wǎng)絡(luò)更高,檢測(cè)效果更好。RPN-ResNet對(duì)于大目標(biāo)安全帽的識(shí)別精度達(dá)到了95.43%,對(duì)比ResNet-50、ResNet-101、VGG-16等網(wǎng)絡(luò)分別提升了2.46%、3.91%、3.59%。這說(shuō)明本文改進(jìn)的算法在檢測(cè)大目標(biāo)物體精度方面保持了較高的水平。RPN-ResNet對(duì)于小目標(biāo)絕緣手套佩戴的檢測(cè)精度雖然較安全帽有所下降,但整體水平仍然較高,對(duì)比ResNet-50、ResNet-101、VGG-16等網(wǎng)絡(luò)分別提升了4.41%、2.63%、5.15%,提升的幅度較大。這說(shuō)明本文改進(jìn)算法在小目標(biāo)物體的檢測(cè)上依然保持較優(yōu)的準(zhǔn)確率。總體平均檢測(cè)精度上,本文RPN-ResNet特征網(wǎng)絡(luò)識(shí)別的精度對(duì)比其他算法提升了3%以上。因此,本文改進(jìn)算法識(shí)別效果較優(yōu)。

3.3 時(shí)間效率分析

深度學(xué)習(xí)網(wǎng)絡(luò)檢測(cè)表現(xiàn)是否優(yōu)異的第二個(gè)評(píng)價(jià)維度是網(wǎng)絡(luò)的時(shí)間效率。本文選用RPN-ResNet與ResNet-50、ResNet-101、VGG-16等網(wǎng)絡(luò)進(jìn)行檢測(cè)效率的對(duì)比。不同特征網(wǎng)絡(luò)的時(shí)間對(duì)比結(jié)果如表2所示。

表2 不同特征網(wǎng)絡(luò)的時(shí)間對(duì)比結(jié)果

由表2可知,隨著算法網(wǎng)絡(luò)的復(fù)雜度不斷提升,算法的平均檢測(cè)時(shí)間也有所提高。在經(jīng)過(guò)有效的訓(xùn)練后,本文的RPN-ResNet特征網(wǎng)絡(luò)在Faster R-CNN算法上的平均檢測(cè)時(shí)間為0.236 s。與其他網(wǎng)絡(luò)相比,其檢測(cè)時(shí)間增加不到0.1 s,實(shí)時(shí)性仍較高。同時(shí),其檢測(cè)的精度提升較明顯。綜上所述,本文在Faster R-CNN深度學(xué)習(xí)網(wǎng)絡(luò)中改進(jìn)的RPN-ResNet特征提取網(wǎng)絡(luò)總體提高了算法的識(shí)別精度和效率。

本文提出的RPN-ResNet特征網(wǎng)絡(luò)能夠高效地進(jìn)行檢測(cè)目標(biāo)的識(shí)別。其不僅能夠高效識(shí)別日常佩戴安全帽、手套的工人樣本,還能夠準(zhǔn)確識(shí)別未佩戴安全帽或未穿戴手套的工人樣本,并進(jìn)行預(yù)警。這有效地保障了電力作業(yè)的安全性。

改進(jìn)的RPN-ResNet既適用于大目標(biāo)物體檢測(cè),又適用于小目標(biāo)物體檢測(cè)。但考慮到安全因素,往往電力作業(yè)均在光線較好的場(chǎng)景下。因此,本文對(duì)于電力作業(yè)現(xiàn)場(chǎng)的復(fù)雜場(chǎng)景研究較少,使得模型在光線較暗、更小目標(biāo)物體的檢測(cè)方面存在一定的不穩(wěn)定性,檢測(cè)性能有待進(jìn)一步提升。

4 結(jié)論

電力作業(yè)安全保障是電力作業(yè)開(kāi)展的必要前提,電力作業(yè)中事故的頻繁發(fā)生也給電力安全運(yùn)行造成了很大的影響。隨著深度學(xué)習(xí)模型的不斷發(fā)展和改進(jìn),其在電力作業(yè)行為和目標(biāo)識(shí)別中的應(yīng)用效果也不斷提高。傳統(tǒng)的電力作業(yè)監(jiān)督主要依賴(lài)人工現(xiàn)場(chǎng)監(jiān)督和視頻監(jiān)控監(jiān)督。由于人工的主觀性和視頻監(jiān)控的滯后性,難以避免事故的發(fā)生。鑒于此,本文選取目標(biāo)檢測(cè)較為廣泛的Faster R-CNN算法作為研究對(duì)象,并在此基礎(chǔ)上作出改進(jìn),形成基于特征網(wǎng)絡(luò)RPN-ResNet的卷積神經(jīng)網(wǎng)絡(luò)算法。此算法在電力作業(yè)中的安全帽及絕緣手套的規(guī)范佩戴方面具有很好的檢測(cè)精度和效率。試驗(yàn)結(jié)果表明,該算法在對(duì)大目標(biāo)的安全帽以及小目標(biāo)的絕緣手套在識(shí)別精度和識(shí)別效率上都有優(yōu)異的表現(xiàn),具有較高可靠性,能夠識(shí)別作業(yè)現(xiàn)場(chǎng)中的不安全行為并實(shí)時(shí)預(yù)警,適用性較好。但由于電力作業(yè)現(xiàn)場(chǎng)的環(huán)境設(shè)備比較復(fù)雜,目前電力作業(yè)一般工作場(chǎng)景均在光線較高的環(huán)境中。因此,本文試驗(yàn)的現(xiàn)場(chǎng)識(shí)別中也存在著光線較暗場(chǎng)景的檢測(cè)穩(wěn)定性問(wèn)題。隨著不安全行為的增加,對(duì)于現(xiàn)場(chǎng)作業(yè)中更小目標(biāo)物體檢測(cè)的場(chǎng)景還有待進(jìn)一步研究。