基于改進Mask RCNN的電力檢修違規操作檢測①

沈茂東,周 偉,宋曉東,裴 健,鄧 昊,馬 超,房 凱

1(國網山東省電力公司,濟南 250001)

2(山東魯能軟件技術有限公司,濟南 250001)

3(中國石油大學(華東)計算機科學與技術學院,青島 266580)

1 引言

在電力檢修行業中施工行為是否規范關系到工作人員的人身安全,對于電力行業的發展至關重要[1].人員行為分析是當前深度學習領域的一個重要的研究方向,目前在電力行業的檢修工作中已經基本實現了視頻監控全覆蓋,通過對這些視頻進行分析可以獲得工作人員施工的相關信息.針對電力檢修工作人員的違規操作問題,本文于從計算機視覺的角度對電力檢修現場的違規行為進行檢測,基于Mask RCNN[2]計了一種多任務多分支違規行為檢測網絡,綜合目標檢測、關鍵點檢測與實例分割任務,以獲得違規行為檢測所需的目標坐標、mask 掩碼與關鍵點信息.同時為了避免實際應用中由于訓練數據不足的過擬合問題,設計了生成式數據增強與傳統幾何變換相結合的數據增強[3]策略來擴充數據集并通過交叉驗證實驗選取了最佳的超參數.實驗結果表明,相對于原先的Mask RCNN,基于改進Mask RCNN的電力維修違規檢測方法具有更高的準確性和魯棒性,滿足實際部署的精度要求.

2 相關工作

自從Hinton 等[4]在2012年提出深度學習的概念,深度學習便逐漸取代了傳統算法成為目標檢測領域的主流方法.到目前為止,深度學習在圖像處理領域已經取得了令人矚目的成就.近年來深度學習的發展為違規行為檢測提供了新的方案,卷積神經網絡對于目標的幾何變換、形變、光照等因素適應性較強,有效克服了由于目標外觀的多樣性帶來的識別阻力.它可根據輸入到網絡的數據自動地生成相應特征的描述,具有較高的靈活性和普適性[4,5].目前圖像中的目標檢測主要分為單步檢測方法(如SSD,YOLO和CornerNet[6–8])和兩步檢測方法(如R-CNN、Fast R-CNN、Faster R-CNN[9–11]和Mask R-CNN[2])兩種.單步檢測方法直接在圖像上經過計算生成檢測結果.兩步檢測方法先在圖像上提取候選區域,再基于候選區域進行特征提取然后再進行預測.單步檢測算法的主要思想就是直接從輸入圖像得到目標物體的類別和具體位置,不再像兩步檢測算法系列那樣產生候選區域.單步檢測方法最顯著的優勢就是效率,在檢測精度上相對于兩步檢測方法則稍遜一籌.

語義分割是計算機視覺領域中的一個典型問題,一般將其視作按照圖像的語義來將圖像進行分割,即將圖像中的每一個像素進行分類.實例分割則比語義分割更進一步,首先在圖像中框出不同的實例,然后再用語義分割的方法在不同的實例框中為每個區域的像素進行標記,可將其視為目標檢測與語義分割的結合體.FCN[12]是圖像分割領域的里程碑式的突破,FCN全名為全卷積網絡,顧名思義,即不包含全連接層的網絡.FCN 將CNN 中的全連接層用1×1 卷積代替,可適應任意尺寸的輸入,并利用反卷積(DeConvolution)來實現對特征圖的上采用,最終得到具有較高準確性的分割圖像.FCN 實現了圖像的端到端分割,但是仍存在一定的缺陷,如效率不夠高、分割不夠精細等.U-Net[13]是最近提出的應用于生物醫學圖像分割的卷積網絡,與FCN 網絡不同的是,U-Net的上采樣階段與下采樣階段采用了相同數量層次的卷積操作,且使用skip connection 結構將下采樣層與上采樣層相連,使得下采樣層提取道的特征可以直接傳遞到上采樣層,這使得U-Net 網絡的像素定位更加準確,分割精度更高.

深度學習在關鍵點檢測方向上的應用主要涉及人臉關鍵點檢測以及用于姿態估計的人體關鍵點檢測.Openface[14]是當前較為流行的一個人臉關鍵點檢測框架,基于Schroff 等在CVPR2015 上提出的Facenet[15],該算法首先使用Dlib 或者OpenCV 檢測到人的面部,然后利用仿射變換使眼睛等標志點的位置固定,具有較高的檢測速度.CVPR2017 上提出的PAF(Part Affinity Fields)[16]以一種自底向上的方式實現了在一整張圖像中對其中的多人進行關鍵點檢測.該網絡分為兩大部分:一部分根據特征圖進行關鍵點預測;另一部分獲得每個關鍵點的PAF.將這兩部分進行聯合學習和預測,將這些關鍵點進行兩兩連接,進而轉化為圖論問題.

何愷明在2017年提出的Mask RCNN是當前工業界最為流行的目標檢測與分割框架之一,既能準確檢測出圖像中的目標,又能為一個目標生成具有較高質量的mask.Mask RCNN 實際上是FasterRCNN的一個拓展,相對于FasterRCNN,MaskRCNN 做了如下改進:

1)用AoIAlign 代替RoIPooling,實現了特征圖的像素級對齊;

2)在Faster RCNN 每個RoI 類標簽和坐標兩個輸出的基礎上添加了第三個Mask 分支,在每個RoI 上利用FCN 以pix2pix的方式實現Mask 分割;

3)Mask 分割分支易于向關鍵點檢測分支拓展.

但是上述方法均為一個或者兩個任務并行檢測,無法同時實現目標檢測、實例分割和關鍵點檢測任務,在對人與物體有交互行為的電力檢修違規檢測問題上變得不再適用.因此需要根據電力檢修的實際需要,結合現實中人與物體交互中的違規操作,對Mask RCNN算法進行改進,設計一種可以并行實現目標檢測、實例分割與關鍵點檢測的多任務多分支檢測算法.

3 基于改進Mask RCNN的電力檢修違規行為檢測

針對電力檢修現場施工中的違規行為檢測問題,本文對Mask RCNN 進行改進提出了一種多任務多分支的違規行為檢測網絡,該方法在Mask RCNN的基礎上將目標檢測、關鍵點檢測與實例分割在一個網絡中整合,實現了一種端到端的多任務檢測算法;同時,將實例分割從目標檢測分支中分離出來,消除由目標檢測邊界框偏差帶來的實例分割偏差;對于分類誤差、邊框誤差、實例分割誤差和關鍵點檢測誤差,設計了新的損失函數;相對應用場景,所得到的數據集偏少,為避免實際應用中的過擬合問題,設計了生成式數據增強與傳統幾何變換相結合的數據增強[3]策略來擴充數據集.

3.1 數據增強

由于可以獲得的數據集樣本較少,采用傳統圖像幾何變換數據增強和利用GAN[17]進行生成式數據增強相結合的方法對數據集進行擴充.對于傳統的圖像幾何變換方法,采用隨機裁剪、水平翻轉、圖像傾斜、添加噪聲、圖像縮放和mixup[18]的方式對數據集進行了擴充,圖1為添加高斯噪聲的圖像.

圖1 添加高斯噪聲圖像示例

在用GAN 對數據集進行擴充時,采用DCGAN 來生成新的圖像[19].DCGAN是比GAN 擁有更多隱藏層的一種特殊GAN 結構,它與GAN 在結構上的不同在于:一是DCGAN 中沒有池化層(pooling 層),并且在生成器中使用轉置卷積進行上采用而在判別器中使用微步幅卷積;二是DCGAN 去掉了全連接層從而使網絡變成了全卷積網絡,這樣的做法提高了輸出圖像的質量并且提高了模型的收斂速度.

如圖2是本文采用的基于DCGAN的圖像生成模型結構示意圖.其中生成器有15 層,判別器有16 層,在卷積層后使用了批歸一化處理,在生成器和判別器中均采用Leaky-ReLU 作為激活函數.

圖2 圖像生成模型結構示意圖

考慮計算機顯存的限制,在訓練時統一將圖像在800×600的尺寸上進行訓練,每16 張圖像為一個批次,在生成器和判別器中均采用Adam 作為優化器.訓練過程中生成的圖像樣本如圖3所示.

圖3 生成圖像示例

3.2 改進的Mask RCNN 網絡結構

經過改進的Mask RCNN 實現了多個計算機視覺任務的并行處理,該網絡主要包括兩個階段:第1 階段主要利用區域建議網絡(RPN)生成可能存在目標的候選區域邊界框;在第2 階段中對第1 階段生成的每個候選區域利用RoIAlign 進行對齊,然后分別完成分類、邊框回歸、Mask 預測及關鍵點預測.

如圖4所示,輸入圖像經過縮放以后輸入特征提取骨架網絡,生成更具有更高階特征的特征圖,以實現后面多個分支與RPN的特征共享.在此選擇的是ResNet101,同時添加FPN 以解決目標的多尺寸問題.多個尺寸的特征圖經過RPN 生成多個無類別的候選區域,并利用非極大值抑制(NMS)消除大量冗余候選區域,這些候選區域經過RoIAlign 在每一個分支上歸一化成同一尺寸的特征圖.在RPN 部分,對于每一個三通道的圖像中的每一個位置,都會生成9 個候選窗口:3 個縱橫比{1:1,1:2,2:1}×3 種尺寸{128,256,512}.考慮到實際應用中瓷瓶、人體等目標的大小和比例,對上述縱橫比指標進行了相應的調整,將原來的縱橫比調整為{1:2,2:1,1:3,3:1},以此實現前景與背景的精準區分.

圖4 改進的Mask RCNN 網絡結構圖

對于分類和邊框回歸,經過歸一化的特征圖通過全連接層預測每個RoI的所屬類別,并對其坐標進行回歸.

對于Mask 預測,與Mask RCNN 不同的是,在改進的Mask RCNN 網絡中Mask 預測獨立進行,而不是依賴于目標的邊框坐標,以此消除由坐標偏差導致的實例分割誤差.Mask 預測分支將Mask 預測分為兩個部分,類別預測和Mask 回歸,由于在Mask 類別預測上要與第一個分支一致,在此可以直接引用第一個分支的類別信息而專注于Mask的回歸.因此需要對Mask的質量設計一個新的評估指標MaskIoU,即真實Mask與預測Mask的交并比.

最后,與Mask 分支類似,關鍵點檢測分支在特征圖上利用線性回歸得到對應的預測位置.

3.3 損失函數設計

對于各個分支中的各個任務而言,其重要性是相同的,但是在多任務學習中,往往不同任務的學習難易程度不同,若采用相同的損失權重,會導致訓練難以收斂.如式(1),針對各個任務,分別設計獨立的損失函數,加權相加作為最終損失,即損失=分類誤差+坐標誤差+分割誤差+關鍵點誤差,δ、ε、θ均為加權系數.

Lcls、Lbbox即全連接層預測出的每個RoI的所屬類別及其矩形框坐標值誤差.類別損失函數如式(2)所示,其中pi表示預測為目標的概率,用0和1 表示是否為真實目標.

目標坐標的損失函數如式(3)所示,其中(xi,yi)表示第i預測結果的中心點坐標,為真實的中心點坐標.相應地,(wi,hi)和分別代表預測目標和真實目標的寬高.

Mask 損失函數的設計主要側重為:將Mask 劃分至正確的類別,并對前景對象類別的Mask 進行回歸.但是在一個損失函數中難以同時實現兩個功能,并且Mask 類別與目標分類分支的類別是一致的.為了簡化Mask 類別損失可以直接取分類損失Lcls,而邊界損失則可以用真實Mask與經過某一閾值二值化的預測Mask的交并比表示.此時Mask 損失函數可如下所示:

其中,MaskIoU有如下定義:

而關鍵點檢測的損失函數則較為簡單,只需計算真實值與預測值之間的L1 損失,為了使損失函數更加平滑,在此使用時SmoothL1作為關鍵點檢測的損失函數.

其中,

4 實驗與分析

本次實驗以檢測人員在瓷瓶上掛安全帶為例,訓練集圖像共有3000 張,通過數據增強將訓練集擴充至20 000 張.在模型訓練與測試時采取的是10 折交叉驗證的方式,即將數據均分為10 份,每次訓練集取其中9 份,留1 份作為測試集,最終結果為10 次平均值.

實驗顯卡配置NVIDIA GeForce GTX TITAN X,處理器為Intel i7.

在本實驗中,以目標檢測任務為例.首先,我們要先對所有的檢測結果排序,得分越高的排序越靠前,然后依次判斷檢測是否成功.將排序后的所有結果定義為DTs (預測框),所有同類別的真實目標定義為GTs(真實框).先依序遍歷一遍DTs 中的所有DT,每個DT和全部GT 都計算一個IoU (bbox的交并比),作為檢測任務性能的評價指標,如果最大的IOU 超過了給定的閾值,那么視為檢測成功,算作TP (True Positive);如果該DT與所有GT的IOU 都沒超過閾值,自然就是FP (False Positive).同理,實例分割及關鍵點檢測任務性能的評價與目標檢測類似.

實驗過程中,對于目標檢測、實例分割、關鍵點檢測分別有各自的評價指標,并分別設置了相對應的閾值,具體指標如表1所示.

表1 評價指標

4.1 改進的MaskRCNN 效果測試

如圖5為Mask RCNN 檢測算法測試效果圖,從圖中可以看出,在此場景下存在人員漏檢的情況.

圖5 Mask RCNN 檢測算法測試效果圖

圖6為改進的Mask RCNN 多任務檢測算法測試效果圖.從圖中可以看出,使用改進后的Mask RCNN多任務檢測算法可以更為準確地檢測出相關目標信息,綜合了目標檢測、關鍵點檢測與實例分割任務,并且可以通過施加額外的判斷邏輯對瓷瓶上掛安全帶這一違規行為準確檢測.其中紅框為瓷瓶上安全帶的檢測結果,藍框則表示存在人員在瓷瓶上掛安全帶的違規行為.表2為檢測效果對比.

圖6 改進的Mask RCNN 多任務檢測算法測試效果圖

表2 改進的Mask RCNN與Mask RCNN 檢測效果對比

4.2 測試超參數選擇

在模型測試時,發現電力檢修現場中由于遮擋或者各種檢修設備的干擾,存在一定的誤檢或者將一個目標檢測為兩個的現象.為了解決此類問題,可以采用NMS的方法對檢測到的冗余目標進行消除,不同的NMS 數值與準確率(Precision)、召回率(Recall)的關系如表3所示中準確率和召回率有如下定義,其中TP 代表檢測正確的結果數量,FN 表示漏檢的數量,FP 表示誤檢測結果數量.

從表中可以看出,隨著NMS的遞增,誤檢逐步增加,而漏檢逐步遞減.原因在于NMS 越小,兩個檢測框交并比在較小的時候就視為同一個目標,這樣就會盡可能地消除冗余框.經過對準確率和召回率進行權衡,最終在實際應用中選擇0.4 作為NMS 值.

4.3 數據增強

為了測試該方法所采用的數據增強技術對準確率的影響,對無數據增強、傳統的圖像幾何變換、GAN、GAN與圖形變換相結合的方式進行了對照實驗,其中原始圖像3000 張,傳統的圖像幾何變換生成新的圖像7000 張,GAN 生成新圖像10 000 張.實驗結果如表4所示,可以看出,GAN與傳統圖像幾何變換相結合的方式可以極大地提高模型的準確率.

表3 NMS 對測試結果影響(%)

表4 對照實驗(%)

5 結論與展望

針對電力檢修工作中的違規行為檢測問題,本文對Mask RCNN 算法進行了改進,主要貢獻包括實現了目標檢測、實例分割、關鍵點檢測的多任務端到端檢測;將實例分割分支與目標檢測分支相分離,避免由于目標檢測分支誤差給實例分割帶來的負面影響;針對數據集不足的問題采用多種方式進行數據擴充;結合實際應用情況,利用交叉驗證選取了最優的NMS 超參數.實驗結果表明,相對于原來的Mask RCNN,該算法在準確性上有了顯著的提升,具有更高的準確性和魯棒性,在電力檢修違規檢測方面滿足實際部署的精度要求.在未來還將考慮將人與物體的交互賦予可學習的判斷邏輯,實現端到端的違規操作檢測.