基于Faster R-CNN的設備故障檢測與識別①

高 露,馬元婧

(中國科學院大學,北京 100049)

(中國科學院 沈陽計算技術研究所,沈陽 110168)

1 引言

我國環境監測設備行業起步較晚,且環境監測設備多是中小型企業生產,產品基本集中在中低檔的環境監測設備,還遠遠不能適應我國環境監測工作發展的需要,主要表現為產品質量不高、使用壽命短、性能不穩定、故障高等方面,這導致環境監測頻次低、采樣誤差大、監測數據不準確,不能及時反映環境質量狀況.因此,加強設備的故障監測力度,保障設備的正常運轉,提高設備的安全性與可靠性具有非凡的意義[1].

目前,對設備故障檢測的研究主要集中在對設備的紅外熱圖像的分析.在檢測電力設備熱故障中,根據設備的形狀特征識別熱圖像中的電力設備,計算設備區域內的最高溫度值,并對各種影響因素進行修正后作出診斷,取得了令人滿意的結果[2].還可以通過紅外圖像配準區域的溫度信息,憑借溫度信息相互對比獲取的結果,實現電力設備熱故障檢測,具有較高的檢測精度和魯棒性[3].由于環境溫度等因素對紅外熱圖像的影響較大,這些方法仍然存在很大的局限性.

隨著深度學習在目標檢測領域的廣泛應用,Faster R-CNN[4]算法作為該領域的經典算法之一,具有較高的識別準確率的同時,也具有較快的檢測速度,已經廣泛應用于車輛檢測[5]、靜態飛機檢測[6]、商品圖像檢測[7]等方面.

本文提出了一種基于Faster R-CNN 的環境監測設備故障檢測與識別方法,將Faster R-CNN 應用于環境監測設備的故障檢測上,通過收集環境監測設備周圍的視頻監控,有間隔地提取其中關于設備運行時狀態的圖像,對這些圖像數據進行離線訓練,獲得相對應的故障檢測模型,然后通過設備故障在線檢測系統實現在線實時監測,從而及時有效地獲取到設備是否出現故障的信息,并通知相關的工作人員.本文主要從設備開關狀態識別、設備指示燈異常識別、設備顯示異常數據識別三個方面驗證了深度學習在環境監測設備故障識別上的可行性,有效地解決了對環境監測設備的故障檢測問題,節省了人力物力,進一步實現了設備的自動化檢測.

2 Faster R-CNN 算法

目標檢測是計算機視覺的實際應用中重要的一個領域,不僅包括對目標物體的分類,還包含對目標物體的定位,Faster R-CNN 算法就是該領域的一個經典之作,與另一個目標檢測算法Fast R-CNN[8]相比,Faster R-CNN在PASCA VOC 2007 數據集上的準確率略有提高,圖像的處理速度大幅度提高.在測試上,Faster R-CNN 比Fast R-CNN 快10 倍,圖像處理速度基本可以達到17fps(每秒可處理17 幀圖像),能達到準實時處理的能力.

Faster R-CNN 算法的整體結構如圖1所示,可將其分為四個部分：VOC 數據集、特征提取器、RPN(區域建議網絡)和Fast R-CNN 網絡.

2.1 VOC 數據集

數據集指的是用來訓練和測試模型的圖片數據,將其處理成符合要求的數據格式,目前Faster RCNN 算法常用的數據集是VOC,將收集到的圖片數據按照PASCAL VOC 2007 數據集的格式存儲即可.

將VOC 數據集作為Faster R-CNN 算法的輸入數據,經過相應的輸入層處理,返回三個值作為后面模型訓練的輸入,這三個值分別是：圖片信息img、邊界框信息bbox 和標簽信息label,如圖1所示.

圖1 Faster R-CNN 結構圖

2.2 特征提取器

在圖像中,目標事物的特征主要體現在像素與像素之間的關系,如區分一張圖片中是否有一條直線的依據是該直線上的像素與直線相鄰像素的區別.在這里,依賴卷積運算可以找到像素與像素之間的關系,對目標事物的特征進行提取,從而區分目標事物與周圍的背景.

本文采用的特征提取器是用于大規模圖像識別的卷積神經網絡VGG16,整個結構包含13 個卷積層,按照“2+2+3+3+3”的模式分成5 段,每段卷積層后面都緊跟著一個最大池化層.這里的卷積層可以從輸入的一小塊數據中學習到圖像的特征,并且可以保留像素的空間關系.在實際應用中,使用的卷積層數越多,提取到的圖像特征就越多,網絡在未知圖像上識別效果越好,VGG16 網絡的13 個卷積層能夠很好的提取到圖像中目標的有用特征,獲得其對應的特征圖,用于后面的模型訓練.在這里,最大池化層主要是在保持大部分特征的基礎上控制卷積層提取出的特征圖的維度,使網絡對輸入圖像的變化不敏感,從而最大程度上保持圖像的尺度不變性.

2.3 區域建議網絡(RPN)

RPN 網絡是全卷積的網絡結構,它能同時預測輸入圖片產生的目標候選框的位置和該目標屬于真實目標的概率,同時,在訓練網絡的過程中,通過對RPN 網絡和Fast R-CNN 網絡交替訓練的方式,在訓練時可以共享卷積特征,大大地減少了訓練時需要的參數量,提高了訓練效率.Faster R-CNN 的核心貢獻就在于提出了RPN 網絡代替傳統的選擇性搜索(Selective Search)方法,從而將候選區域提取的時間開銷幾乎降為 0(由2 s 下降為0.01 s).

RPN 網絡的優勢主要體現在RPN 網絡能預測出質量高、數量少的建議框,并且RPN 的預測絕大部分在GPU 中完成,能大幅度地加快目標檢測的速度.

首先,RPN 網絡采用了3 種不同類型的滑動窗口(稱為錨點),長寬比分別為1：1、2：1、1：2,并用3 種尺度縮放滑動窗口,一共采用了9 種類型的錨點.利用這些滑動窗口在特征圖上自左到右、從上向下移動,對于一張圖片,大約有20 000 個錨點,這有點類似于暴力窮舉,能保證包含了絕大部分目標的真實邊界框.

接下來RPN 要做的事情就是從20000 多個候選的錨點中選出256 個錨點進行分類和回歸位置,選擇算法如下：

另一方面,RPN 在自身訓練的同時,還會提供感興趣區域作為Fast R-CNN 的訓練樣本.RPN 網絡生成感興趣區域的算法如下：

2.4 Fast R-CNN

該部分負責對感興趣區域進行類別分類和位置邊框微調,判斷RPN 找出的感興趣區域是否包含目標以及該目標的類別,并修正框的位置坐標.RPN 只是給出了2000 個候選框,Fast R-CNN 網絡需要在給出的2000 個候選框上繼續進行分類和位置參數的回歸.

首先挑選出128 個樣本感興趣區域,然后使用RoI-Pooling 層將這些不同尺寸的區域全部下采樣到同一個尺度上.這里,RoI-Pooling 是一種特殊的下采樣操作,給定一張圖片的特征圖,假設該特征圖的維度是512×(H/16)×(W/16),以及128 個候選區域的坐標(其維度為128×4),RoI-Pooling 層將這些候選區域的維度統一下采樣成512×7×7 的維度,最終可以得到維度為128×512×7×7 的向量,可以將其看成是一個批處理尺寸為128、通道數為512、尺寸為7×7 的特征圖.簡而言之,這整個過程是為了將挑選出的感興趣區域全部下采樣成7×7 尺寸,從而實現權重共享.當所有的感興趣區域都被下采樣成512×7×7 的特征圖后,將它重塑成一個一維的向量,就可以利用VGG16 預訓練的權重,初始化前兩層全連接,最后再接上用來分類的全連接層和用來回歸位置的全連接層.

3 設備故障檢測與識別

環境監測設備是用來收集評定環境質量的各種數據,比如大氣中含有SO2、NOx 等污染物的濃度、溫濕度范圍等等,通過這些數據,研究人員可以分析當前的環境質量.監測到的各種數據是否準確是這個過程中的關鍵,而設備發生故障是影響監測數據是否準確的重要因素.因此,能否及時地檢測到設備故障與準確地監測環境質量有著密切聯系.

3.1 圖像采集

由于人力物力的限制,環境監測設備的工作站會安裝許多的監控攝像頭,用于實時地監控設備的運行狀況.通過熟悉工作站設備擺放位置的工作人員,挑選出相關設備運行狀況的監控視頻,從這些視頻中提取出設備運行時狀態的視頻幀,包含正常運行時圖像和發生故障時圖像,將其作為Faster R-CNN 算法訓練模型的樣本集.通常情況下,環境監測設備的工作站會安排技術人員定期檢查工作站中設備是否正常工作,而人工檢查時間過長、效率過低,同時也受技術人員工作經驗、工作狀態等主觀因素影響較大,利用監控視頻提取相關設備的狀態圖像,既能節省人力物力,也能有效地保證信息的正確性.

3.2 算法實現流程

環境監測設備種類繁多,會導致收集到的圖像數據量巨大,通過工作人員逐個排查的方法困難重重.本文將深度學習算法應用于環境監測設備故障的檢測問題,在Caffe 平臺的基礎上,提供Faster R-CNN 目標檢測和識別算法訓練該識別模型.首先配置Caffe 平臺的運行環境,并在該平臺上搭建Faster R-CNN 算法,然后將篩選出的樣本集按照PASCAL VOC 2007 數據集的標準進行數據標注和存儲,基于VGG16 預訓練模型進行參數微調,使得最終模型適用于環境監測設備的故障檢測和識別問題,算法流程如圖2所示.

圖2 基于Faster R-CNN 設備故障檢測算法流程圖

簡單來說,訓練模型的過程就是先初始化一個幾乎什么也不能做的模型,然后抓取一些有標注的數據集,修改模型使得它在抓取的數據集上能夠更準確的執行任務,一直重復上面的步驟,直到模型看起來不錯.Faster R-CNN 算法使用預先標注好的VOC 數據集進行模型訓練,通過對這些有標注的數據進行分析提取微調模型,從而使得最終得到的模型適用于設備故障檢測和識別任務.

Faster R-CNN 算法使用了RPN 和Fast R-CNN 兩種網絡,由于直接使用BP (Back Propagation,反向傳播)算法進行訓練比較繁瑣,訓練模型時,采用16 層的VGG16 卷積神經網絡提取圖片的特征,使用RPN 網絡和Fast R-CNN 網絡交叉訓練的方式,由于訓練時共享卷積特征,既減少了訓練時的參數量,又提高了訓練效率,基本達到了準實時的檢測性能.

4 實驗結果與分析

本次實驗主要是為了驗證Faster R-CNN 算法在環境監測設備故障檢測與識別任務上的有效性和優越性,將該算法應用在開關、指示燈、數字儀器三種設備的故障檢測上,能夠及時有效地檢測到該設備發生了故障,然后通知相關的工作人員采取有效的解決方法,從而有效的提高了設備故障監測的效率.

4.1 數據集

樣本數據來源于環境檢測設備周圍的監控視頻,抽取最近7 天內的全部監控視頻,每間隔15 分鐘,從中截取一幀圖像,然后通過人工的方式,從最后截取的視頻幀中挑選出6000 張環境監測設備開關狀態相關的圖像、6000 張環境監測設備指示燈異常狀態相關的圖像和6000 張環境監測設備數字顯示異常的圖像,將其作為訓練樣本.這樣,對于開關、指示燈、數字這三種設備,每種設備的樣本圖像集均為6000 張,其中訓練集與測試集的比例為2：1.對整個數據集中每張圖像里設備的狀態進行人工標記,將所有的樣本圖像集按照PASAL VOC2007 樣本集的格式處理并存儲,然后利用隨機函數將數據集隨機的分成訓練集和數據集(數量比例為1：1),對于開關、指示燈、數字這三種設備,每類的訓練集和測試集的數據量均為3000 張,其中每個類別中訓練集和測試集的正負樣本比例基本達到了1：1.

4.2 評價指標

目標檢測中衡量檢測精度的指標是mAP(mean Average Precision),指的是多個類別的平均準確率的平均值.AP 指的是單個類別的平均準確率,衡量的是模型在該類別上識別效果的好壞,而mAP 衡量的是模型在所有類別上識別效果的好壞,實際上,mAP 就是求所有AP 的平均值.mAP 的值介于0-1 之間,且越大表示該模型的識別準確率越好.本次實驗中,用mAP 來評判模型識別的效果.

4.3 實驗結果

本次試驗的服務器操作系統是Ubuntu16.04,顯卡型號為GeForce GTX 960,顯卡內存為2 GB,在該服務器上搭建深度學習框架Caffe,并配置Faster R-CNN 的運行環境.然后將標定完成后的樣本數據集使用Faster R-CNN 進行訓練,基礎特征提取網絡選用VGG16 網絡,使用輪流訓練的方式訓練模型.

Faster R-CNN 在訓練網絡模型的過程中,為了能夠使得梯度下降法有較好的性能,需要把學習率的值設定在合適的范圍內.太大的學習速率導致學習的不穩定,太小值又導致極長的訓練時間.訓練模型的學習速率、衰減系數和動量參數的選取直接影響到最終檢測模型的訓練速度和結果,本文選取一些較常用的學習速率和衰減系數作為候選值,如表1所示.將衰減系數確定為0.1,學習速率的選取值有0.1、0.01、0.001,動量參數的選取值有0.5 和0.9,在衰減系數不變的情況下,首先確定了學習速率,然后確定動量的大小.其中,當學習率為0.1 時,訓練無法收斂,可能是學習速率初始值設置過大的原因.由表可知,最終確定衰減系數為0.1,初始學習速率為0.001,動量參數大小為0.9.

Faster R-CNN 輪流訓練的方式,其實質是對RPN 網絡和Fast R-CNN 網絡的兩次輪流訓練,即“RPN-Fast RCNN-RPN-Fast R-CNN”的方式.使用實驗確定的訓練參數,改變Faster R-CNN 的第一階段的RPN 網絡和Fast R-CNN 網絡的迭代次數,分布計算器對應的損失函數值,如圖3所示,當RPN 網絡和Fast R-CNN 網絡分別迭代到80 000 和40 000 時,損失函數值趨于平緩.

表1 不同參數對應的測試精度

圖3 Faster R-CNN 訓練階段損失值變化情況

由于RPN 網絡是Faster R-CNN 的核心網絡,大大提高了獲取候選建議框的效率,而Fast R-CNN 算法是通過選擇性搜索方法獲取候選建議框,分別將這兩種算法運用在環境檢測設備的開關、指示燈和數字儀器的故障識別任務上,實驗結果如表2所示.

由表2可知,Faster R-CNN 在不同的基礎特征提取網絡上的檢測效果差異很大.ZF 網絡相對于VGG16來說,是一種小型的卷積網絡,將其作為Faster R-CNN 的基礎特征提取網絡,分別對開關、指示燈、數字儀器三種設備的故障狀態進行檢測識別,VGG16 網絡的mAP 基本能達到90%以上,而ZF 的mAP 在85%左右,但是,ZF 對圖像的處理速度明顯比VGG16 大約快3 倍左右.在實際的環境設備故障檢測場景中,VGG16 對每幅圖像處理時間為0.2s 左右仍然是可以接受的,因此,綜合考慮識別準確率和處理速率兩個因素,VGG16 仍然優于ZF 網絡.另一方面,將同樣以VGG16 作為特征提取網絡的Faster R-CNN 和Fast RCNN 算法做對比試驗.結果顯示,Faster R-CNN 算法的平均識別準確率明顯優于Fast R-CNN 算法,至于圖像的處理速度,Faster R-CNN 比Fast R-CNN 算法快了8 倍.因此,在環境檢測設備故障檢測的復雜場景中,Faster R-CNN 有著明顯的優勢.

表2 Faster R-CNN 與Fast R-CNN 的對比結果

如圖4、圖5和圖6所示,對不同拍攝角度、有部分遮擋物、不同光照條件下的圖片,Faster R-CNN 算法都能得到較好的檢測效果.由實驗結果可以得出,本文方法在開關、指示燈、數字儀表三種設備故障檢測上都能得到較好的結果.同時可以分析得到,在設備機房監控獲得的圖像中,由于監控角度多變、設備種類多、場景的復雜度大、監控視頻的清晰度等問題,使得設備目標的檢測難度增加,識別的準確率相對于單一場景的目標識別有了一定程度的下降,而本文提出的方法,在一定程度上緩解了這些問題,對于不同的拍攝角度、不同程度的遮擋條件下的設備故障檢測仍能夠得到較好的檢測效果.

5 總結

針對環境檢測設備故障檢測中,由于設備故障頻發、人工排查工作量大等因素,同時需要保障設備機房的特定監測環境,提出了基于深度學習算法的設備故障檢測與識別的方法.與其他方法的對比試驗表明,本文使用的方法在環境監測設備故障檢測和識別上能夠取得較好的檢測效果,提升了復雜環境場景下模板檢測的準確率,對不同拍攝角度的設備、有部分遮擋的設備、不同光照條件下的設備檢測都有較好的效果.但是,本文的方法對于部分密集目標的檢測效果并不好,出現了部分目標誤檢或漏檢的情況.由于設備機房監控設備的限制,對某些放置比較緊密的小型設備的拍攝圖像比較模型,難以提取到有效的設備狀態特征圖,從而無法對最終的檢測模型進行有效的優化.因此,在以后的研究中,將重點解決環境監測設備機房中密集小設備的檢測問題,從圖像特征提取、目標定位等方面對其進行改進,以獲得更高的準確率和檢測效果.

圖4 開關儀器檢測結果

圖5 指示燈檢測結果

圖6 數字儀表檢測結果