基于深度學(xué)習(xí)與邊緣計(jì)算的變電站安全管控技術(shù)研究

劉子豪,趙智龍,楊世博,孟 榮,孟延輝

(國(guó)網(wǎng)河北省電力有限公司超高壓分公司,河北 石家莊 050000)

0 引言

在當(dāng)前變電站實(shí)際生產(chǎn)作業(yè)中,巡檢作業(yè)人員安全意識(shí)不強(qiáng),忽視電力系統(tǒng)規(guī)章制度的違章作業(yè)行為(如未規(guī)范佩戴安全帽、未穿著工作服等)較為常見,給巡檢人員的人身安全以及電力系統(tǒng)的安全穩(wěn)定運(yùn)行都會(huì)帶來極大的隱患[1-2]。目前,針對(duì)工況下巡檢人員安全問題主要依賴人工監(jiān)督檢查,存在工作量大、效率低、安全隱患高等缺點(diǎn),無法實(shí)現(xiàn)對(duì)整個(gè)變電站工況現(xiàn)場(chǎng)作業(yè)人員安全的實(shí)時(shí)、高效、全局管控[3]。因此,提升對(duì)變電站工況現(xiàn)場(chǎng)的安全管控水平,對(duì)于保障變電站安全與電力系統(tǒng)的安全穩(wěn)定運(yùn)行具有重要意義。

在變電站安全施工監(jiān)測(cè)管控方面,國(guó)內(nèi)外學(xué)者已進(jìn)行了相關(guān)研究[4-6]。結(jié)合物聯(lián)網(wǎng)技術(shù),文獻(xiàn)[4]提出了一種“傳統(tǒng)安全+物聯(lián)網(wǎng)安全”的創(chuàng)新管控模式,建立可移動(dòng)電子圍欄系統(tǒng)、人員行為軌跡監(jiān)控系統(tǒng)、車輛定位監(jiān)控系統(tǒng)以及一體化智慧監(jiān)管云平臺(tái)等,實(shí)現(xiàn)了對(duì)作業(yè)現(xiàn)場(chǎng)全方位、一體化的遠(yuǎn)程管控;文獻(xiàn)[5]利用可穿戴設(shè)備無線傳感自組網(wǎng)技術(shù),實(shí)現(xiàn)了人體與環(huán)境的信息反饋以及工作人員的精準(zhǔn)定位,提升了電力施工安全性。但上述方法大都只能完成對(duì)變電站巡檢人員行動(dòng)軌跡及位置信息的管理,無法實(shí)現(xiàn)對(duì)變電站施工現(xiàn)場(chǎng)護(hù)具佩戴情況的有效監(jiān)管,且無法滿足變電站安全管控的實(shí)時(shí)可視化。

隨著人工智能技術(shù)的發(fā)展,將計(jì)算機(jī)視覺和深度學(xué)習(xí)等技術(shù)應(yīng)用于變電站內(nèi)人員安全管控成為了可能。基于傳統(tǒng)機(jī)器視覺技術(shù),文獻(xiàn)[7]提出了一種施工區(qū)安全帽智能識(shí)別方法,該方法采用混合高斯模型進(jìn)行前景檢測(cè),通過對(duì)連通區(qū)域人體邊緣的檢測(cè)處理,實(shí)現(xiàn)對(duì)作業(yè)人員的自動(dòng)判別和跟蹤,最后對(duì)估測(cè)矩形內(nèi)的像素進(jìn)行統(tǒng)計(jì)分析,實(shí)現(xiàn)了安全帽佩戴情況的自動(dòng)識(shí)別檢測(cè),但該方法較為復(fù)雜,計(jì)算量大,無法滿足復(fù)雜施工場(chǎng)景下的實(shí)時(shí)檢測(cè)。

近年來,深度學(xué)習(xí)目標(biāo)檢測(cè)算法日益成熟,相關(guān)學(xué)者也逐漸將深度學(xué)習(xí)算法應(yīng)用于變電站管控場(chǎng)景中[8-10]。針對(duì)小目標(biāo)安全帽識(shí)別、數(shù)據(jù)集中類別不平衡以及安全帽預(yù)測(cè)區(qū)域不匹配等問題,文獻(xiàn)[8]對(duì)Faster R-CNN 網(wǎng)絡(luò)框架進(jìn)行改進(jìn),提升了對(duì)施工現(xiàn)場(chǎng)個(gè)人防護(hù)用品佩戴情況的有效監(jiān)管;文獻(xiàn)[9]運(yùn)用SSD 目標(biāo)檢測(cè)框架和自注意力機(jī)制,通過對(duì)原始SSD 目標(biāo)檢測(cè)框架進(jìn)行調(diào)參并添加自注意力模塊,提升了小目標(biāo)檢測(cè)的準(zhǔn)確率;文獻(xiàn)[10]利用人體關(guān)鍵點(diǎn)檢測(cè)模型從攝像頭拍攝視頻中提取現(xiàn)場(chǎng)人員圖像,而后利用YOLOv3算法完成對(duì)現(xiàn)場(chǎng)作業(yè)人員安全帽佩戴情況的檢測(cè);但上述方法大都只針對(duì)安全帽佩戴情況進(jìn)行離線檢測(cè),無法實(shí)現(xiàn)對(duì)“未穿著工作服”、“未佩戴絕緣手套”等違規(guī)施工行為的有效檢測(cè),且無法實(shí)現(xiàn)變電站復(fù)雜施工場(chǎng)景下的算法部署應(yīng)用與在線實(shí)時(shí)安全管控。

針對(duì)變電站安全管控現(xiàn)狀的不足以及管控的實(shí)時(shí)性和準(zhǔn)確性需求,提出一種“深度學(xué)習(xí)+邊緣計(jì)算”變電站安全管控方法。通過在變電站實(shí)地拍攝,構(gòu)建變電站巡檢人員行為數(shù)據(jù)集,將深度學(xué)習(xí)算法模型在服務(wù)器計(jì)算平臺(tái)進(jìn)行訓(xùn)練以及測(cè)試;開發(fā)變電站安監(jiān)邊緣計(jì)算設(shè)備,并部署所訓(xùn)練的深度學(xué)習(xí)算法模型,從而實(shí)現(xiàn)變電站復(fù)雜施工場(chǎng)景下巡檢人員違規(guī)施工行為的實(shí)時(shí)精準(zhǔn)識(shí)別檢測(cè)與預(yù)警。

1 深度學(xué)習(xí)理論依據(jù)

隨著深度學(xué)習(xí)理論的發(fā)展,目標(biāo)檢測(cè)算法日益成熟。以R-CNN 系列算法為代表的基于區(qū)域建議網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法精準(zhǔn)度較高,但速度較慢,無法滿足目標(biāo)檢測(cè)的實(shí)時(shí)性需求;以YOLO系列算法為代表的one-stage目標(biāo)檢測(cè)算法,沒有使用區(qū)域建議網(wǎng)絡(luò)(Region Proposal Network,RPN),檢測(cè)速度較快,可應(yīng)用于變電站工作人員安全的實(shí)時(shí)管控。

1.1 YOLO 系列網(wǎng)絡(luò)模型

YOLO 系列算法為典型one-stage目標(biāo)檢測(cè)算法。2015年,one-stage目標(biāo)檢測(cè)算法的開山之作YOLOv1正式發(fā)布,大大提升了目標(biāo)檢測(cè)的速度;YOLOv2算法的提出從識(shí)別準(zhǔn)確率、速度、識(shí)別類別數(shù)3個(gè)角度對(duì)YOLOv1算法進(jìn)行了改進(jìn);YOLOv3算法利用殘差模型Darknet-53 實(shí)現(xiàn)了對(duì)特征的提取,并利用特征金字塔FPN 網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)了多尺度檢測(cè);YOLOv4在YOLOv3的基礎(chǔ)上,針對(duì)數(shù)據(jù)處理、主干網(wǎng)絡(luò)、網(wǎng)絡(luò)訓(xùn)練、激活函數(shù)、損失函數(shù)等方面進(jìn)行優(yōu)化,實(shí)現(xiàn)了檢測(cè)速度與精度的最佳權(quán)衡,此外,YOLOv4 較前幾代YOLO 算法更適合在單GPU 上部署應(yīng)用。

1.2 YOLOv4網(wǎng)絡(luò)模型

YOLOv4[11]網(wǎng) 絡(luò) 是Alexey Bochkovskiy 在YOLOv3網(wǎng)絡(luò)模型上進(jìn)行的改進(jìn)。YOLOv4 網(wǎng)絡(luò)模型結(jié)構(gòu)主要由輸入端Input、特征提取骨干網(wǎng)絡(luò)Backbone、進(jìn)行特征融合的Neck 部分和檢測(cè)頭Head四部分組成[12],如圖1所示。在輸入端,YOLOv4網(wǎng)絡(luò)引入Mosaic數(shù)據(jù)增強(qiáng)技術(shù)[13],增加了小目標(biāo)圖像數(shù)據(jù),豐富了檢測(cè)數(shù)據(jù)集,提升了網(wǎng)絡(luò)的魯棒性,且減少了對(duì)GPU 的性能需求。

圖1 YOLOv4網(wǎng)絡(luò)框架

在YOLOv3主干網(wǎng)絡(luò)Darknet53的基礎(chǔ)上,YOLOv4借鑒跨階段局部網(wǎng)絡(luò)(Cross Stage Paritial Network,CSPNet)思想,形成準(zhǔn)確性高、計(jì)算瓶頸小、內(nèi)存成本低的主干網(wǎng)絡(luò)CSPDarknet53。CSPDarknet53結(jié)構(gòu)包含5個(gè)CSP模塊,可以減少網(wǎng)絡(luò)計(jì)算量,同時(shí)可以保證準(zhǔn)確率。

YOLOv4的Neck部分由空間金字塔池化網(wǎng)絡(luò)[14](Spatial Pyramid Pooling,SPP)、特征金字塔網(wǎng)絡(luò)(Feature Pyramid Network,FPN)和路徑聚合網(wǎng)絡(luò)(Path Aggregation Network,PAN)組成。SPP網(wǎng)絡(luò)可增加網(wǎng)絡(luò)的感受野,在FPN 網(wǎng)絡(luò)基礎(chǔ)上通過PAN 網(wǎng)絡(luò)加入自下向上的路徑增強(qiáng),有效避免了路徑丟失的問題,可實(shí)現(xiàn)骨干網(wǎng)絡(luò)深層特征與淺層特征的融合。

YOLOv4檢測(cè)頭Head 部分沿用YOLOv3檢測(cè)頭,進(jìn)行兩次卷積完成檢測(cè)。FPN+PAN 網(wǎng)絡(luò)如圖2所示。

圖2 FPN+PAN網(wǎng)絡(luò)

2 模型訓(xùn)練與測(cè)試

2.1 變電站巡檢人員行為數(shù)據(jù)集構(gòu)建

變電站巡檢人員行為數(shù)據(jù)集拍攝的地點(diǎn)為國(guó)家電網(wǎng)有限公司某變電站。采用高清相機(jī)對(duì)變電站室內(nèi)室外不同場(chǎng)景以及不同光照條件、攝像頭角度下的巡檢人員施工行為進(jìn)行拍攝存儲(chǔ),構(gòu)建了一個(gè)包含“違規(guī)施工行為”和“正常施工行為”共計(jì)8 000張的變電站巡檢人員施工行為數(shù)據(jù)集,變電站巡檢人員施工行為樣圖如圖3所示。

圖3 變電站巡檢人員行為數(shù)據(jù)集樣圖

2.2 數(shù)據(jù)集劃分與數(shù)據(jù)標(biāo)注

變電站巡檢人員施工行為數(shù)據(jù)集中6 400張圖像用于模型訓(xùn)練,剩余1 600張圖像用于模型的測(cè)試與評(píng)價(jià)。采用LabelImg圖像標(biāo)注工具對(duì)數(shù)據(jù)集進(jìn)行標(biāo)注,其中bounding box標(biāo)簽YesHelmet表示佩戴施工安全帽、No Helmet表示未佩戴施工安全帽、YesClothes表示穿著工作服、NoClothes表示未穿著工作服、YesGlove表示佩戴絕緣手套、NoGlove表示未佩戴絕緣手套、Body表示人體、ElectricPole表示驗(yàn)電桿、EarthedPole表示接地桿、BlackoutPole表示絕緣桿。變電站巡檢人員行為數(shù)據(jù)集標(biāo)注樣如圖4所示。

圖4 變電站巡檢人員行為數(shù)據(jù)集標(biāo)注樣

2.3 模型訓(xùn)練

選用服務(wù)器作為目標(biāo)檢測(cè)模型的訓(xùn)練測(cè)試計(jì)算平臺(tái),其相關(guān)性能參數(shù)如表1所示。選用具有12 G 顯存的NVIDA GeForce1080Ti顯卡來滿足模型訓(xùn)練對(duì)GPU 計(jì)算力的需求。

表1 服務(wù)器計(jì)算平臺(tái)參數(shù)

在Ubuntu系統(tǒng)中采用Darknet深度學(xué)習(xí)框架分別搭建YOLOv4、YOLOv4-Tiny、YOLOv3、YOLOv3-Tiny 4種代表性YOLO 網(wǎng)絡(luò)模型。根據(jù)變電站巡檢人員施工行為數(shù)據(jù)集對(duì)預(yù)訓(xùn)練模型參數(shù)進(jìn)行微調(diào),并通過調(diào)整訓(xùn)練過程中的學(xué)習(xí)率(learning_rate)、動(dòng)量常數(shù)(momentum)、權(quán)值衰減系數(shù)(decay)等參數(shù),使各網(wǎng)絡(luò)模型訓(xùn)練效果良好。

2.4 檢測(cè)結(jié)果及分析

YOLOv4、YOLOv4-Tiny、YOLOv3、YOLOv3-Tiny模型的識(shí)別準(zhǔn)確率對(duì)比結(jié)果如圖5所示。

圖5 迭代次數(shù)與準(zhǔn)確率關(guān)系

由圖5可知,YOLOv4、YOLOv3模型與輕量化的YOLOv4-Tiny、YOLOv3-Tiny模型相比,擁有較高的準(zhǔn)確率,且YOLOv4網(wǎng)絡(luò)模型的準(zhǔn)確率要高于YOLOv3。YOLOv4 模型在迭代了前2 000次后,識(shí)別準(zhǔn)確率上升到0.8左右,最終穩(wěn)定在93.80%。

測(cè)試集中,YOLOv4、YOLOv4-Tiny、YOLOv3、YOLOv3-Tiny模型對(duì)不同目標(biāo)類別的檢測(cè)準(zhǔn)確率與平均檢測(cè)準(zhǔn)確率對(duì)比見表2。

表2 __模型準(zhǔn)確率對(duì)比 %

由表2可知,YOLOv4模型針對(duì)不同目標(biāo)類別的檢測(cè)準(zhǔn)確率以及平均檢測(cè)準(zhǔn)確率高于其他3種模型。YOLOv4模型針對(duì)復(fù)雜施工背景下大目標(biāo)類別(Helmet類、Clothes類、Body類)的檢測(cè)準(zhǔn)確率與YOLOv4-Tiny和YOLOv3模型相近,但針對(duì)小目標(biāo)類別(Glove類、ElectricPole等)的檢測(cè)準(zhǔn)確率要明顯高于其他模型;YOLOv3-Tiny模型除Clothes類和Body類目標(biāo)檢測(cè)準(zhǔn)確率與其他算法相近外,其他目標(biāo)類別的檢測(cè)準(zhǔn)確率明顯低于其他3種模型。

YOLOv4模型檢測(cè)結(jié)果如圖6所示。

圖6 YOLOv4檢測(cè)結(jié)果

3 現(xiàn)場(chǎng)應(yīng)用

3.1 變電站安監(jiān)裝置設(shè)計(jì)

變電站安監(jiān)裝置為監(jiān)督變電站施工作業(yè)的邊緣計(jì)算終端設(shè)備,可部署深度學(xué)習(xí)算法,實(shí)現(xiàn)對(duì)現(xiàn)場(chǎng)施工情況的本地端記錄以及違規(guī)施工行為的實(shí)時(shí)識(shí)別預(yù)警。變電站安監(jiān)裝置的核心處理器為NVIDIA Jetson XAVIER NX 模塊,其體積小巧、接口資源豐富、計(jì)算功能強(qiáng)大,且擁有NVIDIA 深度學(xué)習(xí)加速器引擎,可滿足深度學(xué)習(xí)算法的嵌入以及邊緣端計(jì)算的需要;本裝置采用STM32F103RBT6單片機(jī)模塊作為協(xié)處理器,其為一款基于ARM 架構(gòu)的32 位微處理器,支持I2C、USART、SPI、CAN、USB 等通信;本裝置選用螢石無極巡航系列互聯(lián)網(wǎng)攝像機(jī)作為第三視角攝像頭,搭配3D 數(shù)字降噪算法,畫質(zhì)清晰,攝像頭云臺(tái)支持水平360°循環(huán)轉(zhuǎn)動(dòng),垂直俯仰轉(zhuǎn)動(dòng),且攝像頭模塊支持本地存儲(chǔ)、云存儲(chǔ)等功能;本裝置選用10.1英寸電容式可觸控IPS屏幕,分辨率高,亮度可達(dá)500 cd/m2;本裝置選用鋰電池供電方案,鋰電池容量為6 000 m Ah,滿電狀態(tài)下裝置續(xù)航時(shí)間可達(dá)5 h。

3.2 模型部署與應(yīng)用驗(yàn)證

上述變電站安監(jiān)邊緣計(jì)算設(shè)備的核心處理器為NVIDIA Jetson XAVIER NX,在該計(jì)算平臺(tái)下進(jìn)行OpenCV 的編譯,開啟DNN[15](Deep Neural Networks)模塊,可以實(shí)現(xiàn)深度學(xué)習(xí)網(wǎng)絡(luò)的正向推理加速。

將 訓(xùn) 練 好 的 YOLOv4、YOLOv4-Tiny、YOLOv3、YOLOv3-Tiny模型部署在變電站安監(jiān)邊緣計(jì)算設(shè)備,并開啟OpenCV DNN 推理加速進(jìn)行模型的應(yīng)用測(cè)試;YOLOv4等模型在NVIDIA Jetson XAVIER NX上的正向推理速度如表3所示。

表3 模型正向推理速度對(duì)比

由表3可見,YOLOv4模型的正向推理速度為28.12 FPS,雖低于其他3種模型的正向推理速度,但YOLOv4模型的檢測(cè)準(zhǔn)確率相對(duì)較高,且該推理速度可滿足實(shí)時(shí)檢測(cè)的應(yīng)用需求,因此YOLOv4模型相比于其他3種模型可實(shí)現(xiàn)邊緣端識(shí)別定位準(zhǔn)確度與推理速度的最優(yōu)平衡,滿足變電站巡檢人員安全的管控需求。

4 結(jié)論

本文提出了一種基于“深度學(xué)習(xí)+邊緣計(jì)算”的變電站安全管控方法。通過在服務(wù)器計(jì)算平臺(tái)對(duì)YOLOv4、YOLOv4-Tiny、YOLOv3、YOLOv3-Tiny模型進(jìn)行訓(xùn)練與測(cè)試,并將其部署到開發(fā)的變電站安監(jiān)邊緣計(jì)算終端設(shè)備進(jìn)行應(yīng)用對(duì)比分析,得出YOLOv4 模型檢測(cè)準(zhǔn)確率最高,可達(dá)93.80%,在邊緣端的正向平均推理速度為28.12 FPS,可實(shí)現(xiàn)邊緣端識(shí)別定位準(zhǔn)確度與推理速度的最優(yōu)平衡。針對(duì)變電站復(fù)雜施工場(chǎng)景下巡檢人員違規(guī)施工行為的實(shí)時(shí)精準(zhǔn)識(shí)別檢測(cè)與預(yù)警,具有一定的推廣應(yīng)用價(jià)值,為深度學(xué)習(xí)與邊緣計(jì)算在變電站安全管控中的綜合應(yīng)用提供了參考。在后續(xù)的研究工作中,可嘗試加強(qiáng)安監(jiān)邊緣計(jì)算終端設(shè)備與工況現(xiàn)場(chǎng)視頻監(jiān)控設(shè)備的通信連接,并實(shí)現(xiàn)與電力系統(tǒng)內(nèi)網(wǎng)運(yùn)維系統(tǒng)之間的數(shù)據(jù)共享與融合應(yīng)用。