基于視覺(jué)AI的移動(dòng)安全監(jiān)控系統(tǒng)在電力臨時(shí)高危作業(yè)場(chǎng)景的應(yīng)用研究

閆印強(qiáng)，姚興仁，趙子剛

（長(zhǎng)揚(yáng)科技（北京）有限公司，北京 100195）

0 引言

在電力臨時(shí)和特殊作業(yè)中，常見(jiàn)動(dòng)火作業(yè)、升壓站和充電房的巡檢、高處/吊裝及受限空間等作業(yè)，安全監(jiān)控僅僅依賴于制度條例進(jìn)行安全管理，杜邦百年統(tǒng)計(jì)96%的安全事故由人為因素造成。在臨時(shí)作業(yè)中，作業(yè)過(guò)程基本由承包商完成，承包商員工流動(dòng)性大，人崗不匹，人員素質(zhì)不高，安全意識(shí)淡薄，制度執(zhí)行不嚴(yán)，存在“少投入、趕工期、多回報(bào)”的潛意識(shí)和“事故不一定發(fā)生”的僥幸心理。同時(shí)臨時(shí)作業(yè)具有臨時(shí)性、機(jī)動(dòng)性、人員變動(dòng)大等特點(diǎn)。

目前傳統(tǒng)視頻安全監(jiān)控系統(tǒng)普通存在著以下問(wèn)題：（1）針對(duì)臨時(shí)作業(yè)，監(jiān)控系統(tǒng)不能實(shí)時(shí)監(jiān)控的現(xiàn)場(chǎng)作業(yè)。電廠傳統(tǒng)視頻安全監(jiān)控系統(tǒng)是通過(guò)安裝固定位置的攝像機(jī)來(lái)監(jiān)控現(xiàn)場(chǎng)的，同時(shí)由于資金、設(shè)備、場(chǎng)地變遷等歷史原因，并沒(méi)有在所有區(qū)域安裝攝像機(jī)，也沒(méi)有實(shí)現(xiàn)全方位無(wú)死角的監(jiān)控，這樣，當(dāng)發(fā)生臨時(shí)和特殊高危作業(yè)時(shí)，就不能臨時(shí)快速地部署安全監(jiān)控裝置，來(lái)實(shí)時(shí)監(jiān)控人員的作業(yè)安全違規(guī)行為，因而不能滿足臨時(shí)作業(yè)對(duì)安全監(jiān)控裝置的便捷性、移動(dòng)性的要求。（2）監(jiān)控系統(tǒng)不能實(shí)現(xiàn)事前預(yù)警。電廠傳統(tǒng)視頻安全監(jiān)控系統(tǒng)對(duì)故障的診斷和分析是事后的，主要通過(guò)人工來(lái)分析判斷的，也沒(méi)有引入人工智能機(jī)器視覺(jué)技術(shù)來(lái)實(shí)現(xiàn)故障診斷的智能分析和事前預(yù)警。

針對(duì)電力生產(chǎn)中臨時(shí)高危作業(yè)進(jìn)行無(wú)死角全程監(jiān)控和承包商人員的安全管理的挑戰(zhàn)，本文提出基于AI視覺(jué)技術(shù)的智能視頻監(jiān)控系統(tǒng)，通過(guò)深度學(xué)習(xí)技術(shù)及移動(dòng)監(jiān)控設(shè)備的快速臨活部署，不僅實(shí)現(xiàn)了實(shí)時(shí)監(jiān)控人員的作業(yè)安全違規(guī)行為，滿足臨時(shí)作業(yè)對(duì)裝置的便捷性、移動(dòng)性的要求；而且實(shí)現(xiàn)了安全監(jiān)控的無(wú)人值守，節(jié)省人力物力；還能進(jìn)行故障的遠(yuǎn)程診斷和事前預(yù)警，及早及時(shí)發(fā)現(xiàn)問(wèn)題，避免引起重大傷亡或停產(chǎn)事故，造成重大經(jīng)濟(jì)損失[1-2]。

1 相關(guān)技術(shù)

1.1 AI機(jī)器視覺(jué)技術(shù)

深度學(xué)習(xí)技術(shù)的應(yīng)用是移動(dòng)視覺(jué)AI安全監(jiān)控裝置實(shí)現(xiàn)安全行為診斷的關(guān)鍵，計(jì)算機(jī)視覺(jué)在人工智能領(lǐng)域的高速發(fā)展，通過(guò)深度學(xué)習(xí)技術(shù)獲得了自主學(xué)習(xí)能力，從而為移動(dòng)視覺(jué)AI安全監(jiān)控裝置智能預(yù)警提供了技術(shù)保障。圖像、視頻流識(shí)別和紅外成像分析等技術(shù)本質(zhì)上都采用了人工智能的AI深度學(xué)習(xí)技術(shù)，通過(guò)大量的圖像、視頻的樣本數(shù)據(jù)，提取了電力行業(yè)業(yè)務(wù)領(lǐng)域的圖像、視頻的典型特征，并構(gòu)建專業(yè)診斷模型，再通過(guò)對(duì)模型的長(zhǎng)期訓(xùn)練學(xué)習(xí)，來(lái)不斷提高算法的準(zhǔn)確率和識(shí)別準(zhǔn)確率。

深度學(xué)習(xí)的理念源于人工神經(jīng)網(wǎng)絡(luò)的研究，深度學(xué)習(xí)結(jié)構(gòu)是包含多個(gè)隱藏層的多層感知器。屬性類別或特征是通過(guò)組合低層特征形成更加抽象的高層來(lái)表示，用以發(fā)掘和表示數(shù)據(jù)的分布式特征。深度學(xué)習(xí)的研究目的是模擬人腦來(lái)構(gòu)建進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，模仿人腦的機(jī)制來(lái)解釋數(shù)據(jù)，例如視頻、圖像、聲音和文本等。

1.2 目標(biāo)檢測(cè)算法

基于深度神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法目前已經(jīng)非常成熟，在工業(yè)界已經(jīng)有很多應(yīng)用場(chǎng)景落地[2]。經(jīng)典的目標(biāo)檢測(cè)算法模型有faster-rcnn系列[3-4]、SSD[5]、YOLO系列[6-8]、ViT系列[9]等，本文煙火檢測(cè)、動(dòng)火設(shè)備檢測(cè)、入侵檢測(cè)等目標(biāo)檢測(cè)場(chǎng)景中，使用了其中一些模型。本文挑選其中工業(yè)界普遍使用的YOLOV3版本模型進(jìn)行介紹。

圖1 darknet53 結(jié)構(gòu)[8]

YOLO系列網(wǎng)絡(luò)是目標(biāo)檢測(cè)網(wǎng)絡(luò)中端到端檢測(cè)架構(gòu)網(wǎng)絡(luò)的典型代表。YOLOv3版本的backbone使用Darknet-53來(lái)進(jìn)行圖片特征提取，比YOLOv2時(shí)期的Darknet-19加深了網(wǎng)絡(luò)層數(shù)，并借鑒引入了ResNet的跨層加和連接，保證網(wǎng)絡(luò)加深后不會(huì)出現(xiàn)特征消失。Darknet-53的網(wǎng)絡(luò)結(jié)構(gòu)如下圖1。

如圖1所示，Darknet-53網(wǎng)絡(luò)采用256×256×3作為輸入，最左側(cè)那一列的1、2、8等數(shù)字表示重復(fù)的殘差組件的個(gè)數(shù)。Darknet-53與其他網(wǎng)絡(luò)的性能對(duì)比如下圖2。

圖2 backbone 網(wǎng)絡(luò)性能對(duì)比[8]

由圖2所示，盡管Darknet-53速度比Darknet-19慢了很多，但是Darknet-53的Top-1和Top-5精度與ResNet接近的情況下，F(xiàn)PS比ResNet高了很多。

YOLOv3吸取了ResNet、Densenet、FPN的精髓，融合了目標(biāo)檢測(cè)當(dāng)前業(yè)界各種優(yōu)秀網(wǎng)絡(luò)模型的技巧。（1）借鑒了特征金字塔的原理，使用3個(gè)尺寸的特征圖來(lái)檢測(cè)大小不同的目標(biāo)。（2）借鑒了ResNet的跨層連接加和操作來(lái)進(jìn)行特征融合。（3）借鑒了Densenet的concat操作來(lái)進(jìn)行特征融合。YOLOv3的網(wǎng)絡(luò)架構(gòu)圖如下圖3所示。

圖3 YOLOv3 網(wǎng)絡(luò)架構(gòu)圖[8]

由圖3可知，YOLOv3有3個(gè)特征圖層，小尺寸特征圖用于檢測(cè)大尺寸物體，而大尺寸特征圖檢測(cè)小尺寸物體。對(duì)每個(gè)特征圖層有3個(gè)Anchor框，總共輸出9個(gè)先驗(yàn)框。YOLOv3的Loss函數(shù)可分為3個(gè)特征圖的Loss之和。第1個(gè)特征層的loss函數(shù)N1如下式（1）所示。

YOLOv3的Loss函數(shù)如下式（2）所示：

其中，λ為權(quán)重常數(shù)，控制檢測(cè)框Loss、obj置信度Loss、noobj置信度Loss之間的比例，通常負(fù)例的個(gè)數(shù)是正例的幾十倍以上，可以通過(guò)權(quán)重超參控制檢測(cè)效果。表示若是正例則輸出1，否則為0；表示若是負(fù)例則輸出1，否則為0；忽略樣例都輸出0。x、y、w、h使用MSE作為損失函數(shù)，也可以使用smooth L1 loss[4]作為損失函數(shù)。smooth L1可以使訓(xùn)練更加平滑。置信度、類別標(biāo)簽由于是0，1二分類，所以使用交叉熵作為損失函數(shù)。

2 基于視覺(jué)AI的移動(dòng)安全監(jiān)控系統(tǒng)的設(shè)計(jì)研究

2.1 移動(dòng)安全監(jiān)控系統(tǒng)總體設(shè)計(jì)

基于視覺(jué)AI技術(shù)的移動(dòng)監(jiān)控系統(tǒng)包括軟件系統(tǒng)和硬件設(shè)備。

軟件系統(tǒng)是一套完整的視頻監(jiān)控體系，包括視頻數(shù)據(jù)采集、視頻流解析、算法模型推理、結(jié)果生成、告警展示、分析統(tǒng)計(jì)以及校驗(yàn)處理等功能。其核心在于利用深度學(xué)習(xí)技術(shù)，根據(jù)不同的應(yīng)用場(chǎng)景定制化構(gòu)建的一系列智能作業(yè)區(qū)域入侵監(jiān)控及安全生產(chǎn)預(yù)警模型，能及時(shí)發(fā)現(xiàn)臨時(shí)高危作業(yè)中的安全隱患，避免安全事故的發(fā)生，為安全作業(yè)保駕護(hù)航。

硬件設(shè)備是搭載軟件系統(tǒng)的載體，同時(shí)需要能適應(yīng)實(shí)際應(yīng)用場(chǎng)景的“剛性”需求。本文設(shè)計(jì)提出硬件設(shè)備包括電源設(shè)備、搭載GPU推理芯片的邊緣分析器、DC穩(wěn)壓系統(tǒng)、自然光和熱成像的攝像設(shè)備、光纖交換機(jī)等硬件設(shè)備，既能支撐AI模型的推理分析所需求的算力要求，又能解決臨時(shí)高危作業(yè)過(guò)程中的機(jī)動(dòng)性、敏捷性、實(shí)時(shí)性、高效性等應(yīng)用需求難點(diǎn)，真正的實(shí)現(xiàn)了AI智能監(jiān)控系統(tǒng)的落地應(yīng)用。

本文設(shè)計(jì)提出的AI移動(dòng)安全監(jiān)控系統(tǒng)針對(duì)電力臨時(shí)高危作業(yè)場(chǎng)景的安全智能監(jiān)控，軟硬件整體結(jié)構(gòu)流程圖如下圖4所示，從攝像機(jī)采集到的實(shí)時(shí)視頻畫(huà)面，經(jīng)過(guò)無(wú)限網(wǎng)絡(luò)及交換機(jī)轉(zhuǎn)發(fā)到自給供電的AI邊緣分析器，視覺(jué)AI模型解析視頻流并進(jìn)行安全檢測(cè)和分析，并將分析結(jié)果以無(wú)限網(wǎng)絡(luò)的方式發(fā)送到云端平臺(tái)進(jìn)行展示。

圖4 軟硬件結(jié)構(gòu)流程圖

2.2 移動(dòng)安全監(jiān)控系統(tǒng)硬件設(shè)計(jì)

移動(dòng)安全監(jiān)控系統(tǒng)硬件設(shè)計(jì)需要滿足臨時(shí)移動(dòng)作業(yè)場(chǎng)景的客觀需求，即臨時(shí)性、機(jī)動(dòng)性、便捷性等需求，同時(shí)又要能穩(wěn)定支撐AI軟件系統(tǒng)的持續(xù)運(yùn)行服務(wù)，應(yīng)具備如下表1特性：

表1 移動(dòng)安全監(jiān)控系統(tǒng)硬件功能特性

由表1可知，移動(dòng)安全監(jiān)控系統(tǒng)硬件設(shè)備具備了各種功能特性，能適應(yīng)多種臨時(shí)作業(yè)場(chǎng)景的苛刻條件，具備高可用性和強(qiáng)適應(yīng)性。本文提出的移動(dòng)視覺(jué)AI安全監(jiān)控系統(tǒng)硬件設(shè)備如下圖5所示：

2.3 視覺(jué)AI安全場(chǎng)景模型設(shè)計(jì)

圖5 移動(dòng)視覺(jué)AI 安全監(jiān)控系統(tǒng)硬件

視覺(jué)AI安全模型的構(gòu)建流程是，多種圖像視頻數(shù)據(jù)流經(jīng)過(guò)實(shí)時(shí)數(shù)據(jù)處理，存儲(chǔ)至特征工程并生成離線的原始樣本。在離線系統(tǒng)，對(duì)原始樣本進(jìn)行專業(yè)化針對(duì)性的數(shù)據(jù)處理、特征提取、特征映射，從而生成訓(xùn)練樣本；根據(jù)電力業(yè)務(wù)場(chǎng)景，選擇不同的算法模型，進(jìn)行模型訓(xùn)練、預(yù)測(cè)、測(cè)試和評(píng)估；待模型迭代滿足業(yè)務(wù)要求后，通過(guò)云中心自動(dòng)部署將模型文件部署上線。線上系統(tǒng)根據(jù)業(yè)務(wù)規(guī)則邏輯，對(duì)攝像頭捕獲的視頻流信息進(jìn)行實(shí)時(shí)檢測(cè)，最終將預(yù)測(cè)結(jié)果輸出，供線上服務(wù)調(diào)用。本文針對(duì)臨時(shí)高危作業(yè)設(shè)計(jì)安全模型如下表2所示：

表2 視覺(jué)AI 安全模型描述

3 AI移動(dòng)安全監(jiān)控系統(tǒng)在電力臨時(shí)高危場(chǎng)景的應(yīng)用研究

本文將基于視覺(jué)AI的移動(dòng)安全監(jiān)控系統(tǒng)實(shí)際運(yùn)用到電力行業(yè)臨時(shí)高危作業(yè)場(chǎng)景中，在實(shí)際應(yīng)用中驗(yàn)證了AI移動(dòng)安全監(jiān)控系統(tǒng)的可用性、便捷性、高效性、智能性等優(yōu)勢(shì)及特性。本文在電力行業(yè)臨時(shí)高危作業(yè)中驗(yàn)證AI移動(dòng)安全場(chǎng)景如下。

3.1 電力臨時(shí)高危作業(yè)區(qū)域入侵檢測(cè)

在電力行業(yè)臨時(shí)作業(yè)中，將AI移動(dòng)安全監(jiān)控系統(tǒng)裝置固定在臨時(shí)作業(yè)區(qū)域邊緣，例如場(chǎng)區(qū)閘門(mén)、油庫(kù)、鍋爐汽機(jī)生產(chǎn)、升壓站、風(fēng)電/光伏子陣、風(fēng)機(jī)塔筒平臺(tái)、充電房等區(qū)域，調(diào)整好監(jiān)控角度，配置啟動(dòng)對(duì)應(yīng)的入侵檢測(cè)AI安全監(jiān)控服務(wù)，劃定一個(gè)或多個(gè)電子警戒區(qū)。當(dāng)作業(yè)過(guò)程中，警戒區(qū)內(nèi)出現(xiàn)行人時(shí)，AI移動(dòng)安全監(jiān)控系統(tǒng)會(huì)立即告警，發(fā)出帶告警事件的圖片信息，立即推送給相關(guān)管理人員，并啟動(dòng)喇叭，發(fā)出聲音告警，提示闖入人員立即撤離危險(xiǎn)預(yù)警區(qū)域。警戒區(qū)域邊界入侵示意圖如下圖6所示：

3.2 電力臨時(shí)作業(yè)區(qū)域人員資質(zhì)稽核

將AI移動(dòng)安全監(jiān)控系統(tǒng)設(shè)備固定安置在臨時(shí)作業(yè)區(qū)域邊緣，調(diào)整攝像機(jī)監(jiān)控高度和角度，使用近距離攝像機(jī)拍攝作業(yè)人員臉部特征，配置并啟動(dòng)人臉識(shí)別模型，通過(guò)人臉識(shí)別技術(shù)針對(duì)臨時(shí)作業(yè)區(qū)域的作業(yè)人員進(jìn)行點(diǎn)名與統(tǒng)計(jì)、人證稽核，若發(fā)現(xiàn)非工作人員進(jìn)入臨時(shí)作業(yè)區(qū)域，立即發(fā)出告警，推送相關(guān)管理人員，并現(xiàn)場(chǎng)喇叭提示非工作人員離開(kāi)作業(yè)區(qū)域，避免臨時(shí)作業(yè)中私自替換作業(yè)人員、非專業(yè)作業(yè)人員違規(guī)作業(yè)等帶來(lái)的安全隱患，減小人員管理方面存在漏洞導(dǎo)致的安全事故發(fā)生概率。

圖6 警戒區(qū)域邊界入侵告警示意圖

3.3 電力臨時(shí)作業(yè)現(xiàn)場(chǎng)煙火、動(dòng)火設(shè)備檢測(cè)

將AI移動(dòng)安全監(jiān)控系統(tǒng)設(shè)備固定安置在臨時(shí)作業(yè)區(qū)域邊緣，調(diào)整攝像機(jī)監(jiān)控高度和角度，使攝像機(jī)能拍攝到整個(gè)臨時(shí)作業(yè)現(xiàn)場(chǎng)，配置并啟動(dòng)火煙、滅火器等動(dòng)火設(shè)備實(shí)時(shí)檢測(cè)模型，若臨時(shí)作業(yè)中檢測(cè)到明火、煙霧，同時(shí)未能檢測(cè)到相應(yīng)的滅火器等動(dòng)火設(shè)備，立即告警，推送相關(guān)管理人員，并提示作業(yè)人員檢查配備，避免違規(guī)作業(yè)，降低安全事故發(fā)生概率。AI移動(dòng)安全監(jiān)控系統(tǒng)設(shè)備在臨時(shí)作業(yè)動(dòng)火設(shè)備檢測(cè)場(chǎng)景的應(yīng)用示例如下圖7所示：

4 實(shí)驗(yàn)結(jié)果及分析

圖7 臨時(shí)動(dòng)火作業(yè)監(jiān)控應(yīng)用場(chǎng)景示例

為了驗(yàn)證AI移動(dòng)安全監(jiān)控系統(tǒng)在電力行業(yè)臨時(shí)作業(yè)實(shí)際應(yīng)用場(chǎng)景的優(yōu)勢(shì)和特性，本文選擇了邊界入侵、人員資質(zhì)稽核和動(dòng)火設(shè)備安全檢測(cè)這三個(gè)應(yīng)用場(chǎng)景作為實(shí)驗(yàn)驗(yàn)證場(chǎng)景，主要驗(yàn)證AI移動(dòng)安全監(jiān)控系統(tǒng)設(shè)備的部署時(shí)間、FPS、AI檢測(cè)精度、事件響應(yīng)時(shí)間等指標(biāo)，并與不使用移動(dòng)安全監(jiān)控系統(tǒng)設(shè)備下的安全監(jiān)控實(shí)驗(yàn)進(jìn)行對(duì)比，實(shí)驗(yàn)中采用的攝像頭為普通家用高清攝像頭，像素為1080P，型號(hào)是DS-IPC-E12H-IWT，實(shí)驗(yàn)結(jié)果如下表3所示：

其中，表3部署模型均為本文針對(duì)臨時(shí)作業(yè)移動(dòng)安全監(jiān)控系統(tǒng)應(yīng)用訓(xùn)練的AI模型，表中“非移動(dòng)監(jiān)控”場(chǎng)景是指在臨時(shí)作業(yè)場(chǎng)景安裝臨時(shí)攝像頭監(jiān)控，并使用AI模型進(jìn)行監(jiān)控的場(chǎng)景，表中“傳統(tǒng)監(jiān)控”場(chǎng)景是模擬部署臨時(shí)攝像頭監(jiān)控監(jiān)控，人員值守監(jiān)控實(shí)驗(yàn)。

表3 AI 移動(dòng)安全監(jiān)控系統(tǒng)應(yīng)用場(chǎng)景實(shí)驗(yàn)結(jié)果

由表3實(shí)驗(yàn)可知，本文設(shè)計(jì)的AI移動(dòng)安全監(jiān)控系統(tǒng)在臨時(shí)作業(yè)場(chǎng)景應(yīng)用實(shí)驗(yàn)中，使用AI監(jiān)控的場(chǎng)景能達(dá)到實(shí)時(shí)檢測(cè)的效果，本文AI移動(dòng)安全監(jiān)控系統(tǒng)設(shè)備能在“秒級(jí)別”迅速產(chǎn)生事件響應(yīng)，而使用傳統(tǒng)監(jiān)控技術(shù)只能依靠值守人員來(lái)進(jìn)行事件響應(yīng)，只能在“分鐘級(jí)別”。另外，本文提出的移動(dòng)安全檢測(cè)系統(tǒng)設(shè)備能在10分鐘內(nèi)快速部署檢測(cè)，而傳統(tǒng)布控方式只能以小時(shí)計(jì)算。綜上所述，本文提出的AI移動(dòng)安全監(jiān)控系統(tǒng)能實(shí)現(xiàn)快速布控、精準(zhǔn)實(shí)時(shí)檢測(cè)、及時(shí)告警響應(yīng)的目標(biāo)，相對(duì)于“傳統(tǒng)監(jiān)控+AI”和“傳統(tǒng)人工監(jiān)控”的方式，大大提高了臨時(shí)作業(yè)監(jiān)控的便捷性、移動(dòng)性和準(zhǔn)確性，改善了人工耗時(shí)耗力且低效的臨時(shí)作業(yè)監(jiān)控現(xiàn)狀。

5 結(jié)語(yǔ)

本文提出的基于視覺(jué)AI移動(dòng)安全監(jiān)控系統(tǒng)充分利用了視覺(jué)AI技術(shù)的實(shí)時(shí)性和可靠性，構(gòu)建臨時(shí)高危作業(yè)場(chǎng)景下環(huán)境、人員、行為的安全分析模型，由被動(dòng)監(jiān)控轉(zhuǎn)換為主動(dòng)智能分析，針對(duì)臨時(shí)作業(yè)場(chǎng)景實(shí)現(xiàn)實(shí)時(shí)監(jiān)控，第一時(shí)間感知風(fēng)險(xiǎn)、第一時(shí)間處置，彌補(bǔ)臨時(shí)高危作業(yè)場(chǎng)景安全管控的空白，實(shí)現(xiàn)了臨時(shí)作業(yè)區(qū)全程監(jiān)管，減少安全違規(guī)，降低安全事故風(fēng)險(xiǎn)的目標(biāo)。另外，文本提出的基于視覺(jué)AI移動(dòng)安全系統(tǒng)的整套軟硬件系統(tǒng)可實(shí)現(xiàn)便捷快速部署和移動(dòng)，能滿足電力行業(yè)臨時(shí)高危作業(yè)場(chǎng)景的環(huán)境需求，加速工業(yè)AI應(yīng)用場(chǎng)景落地化進(jìn)程。