基于機器視覺的工業巡檢過程監控分析系統①

賈金明,宋煥生,梁浩翔,云 旭,戴 喆

(長安大學 信息工程學院,西安 710064)

目前工業生產設備缺乏巡檢人員定期維護、排查異常現象和隱患,導致設備頻繁損壞,造成巨大的損失.因此完整的巡檢過程監控分析在巡檢人員對設備維護管理中起著重要的作用.工業現場巡檢過程監控分析是未來人工智能的一個重要研究領域,也是計算機視覺中的一個熱門研究課題.工業現場巡檢過程監控分析是對工業生產場景巡檢過程視頻中巡檢人員的行為進行監控與分析,判斷其行為是否符合規范與標準.現有的行為監控分析方法主要分為基于視頻和圖像兩種方式.其中基于視頻的行為監控分析方法使用視頻序列之間的時空、姿態等信息做處理.根據實現方式不同,主要分為基于馬爾可夫鏈狀態轉移圖[1],基于模板匹配[2]與基于深度學習的方法.而基于圖像的行為監控分析方法則分別判斷每一幀圖像中人員的行為狀態信息,此方法并未結合視頻的時空信息進行綜合分析.本文根據先前的研究,設計了基于計算機視覺的工業現場巡檢過程監控分析系統.

巡檢過程監控分析系統包含對場景下人員的檢測,隨著深度學習技術[3]的飛速發展,卷積神經網絡在計算機視覺領域的應用更加廣泛,目標檢測作為計算機視覺領域的研究熱點之一,已經應用于軍用、民用各個領域,包括智能交通[4,5]、智能監控[6–8]、圖像分割[9,10]等,其中智能監控下的人員檢測[11,12]取得了巨大的成功.首先提出的目標檢測[13]方法是兩級目標檢測算法,其中R-CNN[10]由Girshick 等在2014年提出,該算法首次將卷積神經網絡應用于目標檢測.同年SPP-Net被提出[12],其可對整張圖像僅進行一次卷積操作,避免了R-CNN 中對所有候選區域分別提取特征的重復操作.接著Fast R-CNN[14]仿照SPP-Net 在R-CNN 的基礎上進行了改進,提高了檢測精度和速度.2016年,Ren等提出了Faster R-CNN[15],真正實現了網絡的端到端訓練.隨后出現的R-FCN 沿用Faster R-CNN 的框架,使用全卷積神經網絡,但是計算量仍較大,針對此情況出現了Mask R-CNN[16]網絡,實現了對實例的分割.2016年,Redmon 等深入分析目標檢測算法速度差的原因,提出了一級目標檢測算法YOLOv1[17].YOLOv1使用網格預測的形式代替生成候選區域網絡,提高了網絡的檢測速度.YOLOv2 在YOLOv1 的基礎上進行改進,引入批量歸一化操作.YOLOv3[18]繼續改進,增加了多尺度預測方法,可以得到較高的檢測精度.

1 系統總體結構

巡檢人員在進入本文所述巡檢系統前,首先需經過一套人臉識別系統,以保證進入巡檢系統的人員唯一性.由于該系統并不屬于本文重點研究內容,因此文章內部不進行討論.如圖1所示,本系統將多相機下的實時視頻流數據通過RTSP 協議傳輸至服務器,讀取巡檢路線中每個相機視角下的單幀圖像進行巡檢預設置.巡檢預設置結束后,將視頻流數據輸入深度學習網絡中進行人員檢測.對巡檢人員行為進行分析,得到人員實時位置信息并記錄,分析記錄結果進行干擾的剔除以及評估結果的獲取,獲取的評估結果包括實際巡檢路線,巡檢路線完成度,每個巡檢區域對應的實際巡檢時長,巡檢區域完成度與巡檢總完成度.最后將評估結果與通過分析結果得出的巡檢事件存儲并在網頁端發布與顯示.

圖1 系統結構

本系統的特色及優勢有以下幾個方面:

(1)系統使用YOLOv3 網絡進行人員的檢測,檢測精度高且速度快,對復雜多變的實際環境檢測能力強.

(2)系統設計了一種基于人員檢測結果的巡檢人員行為分析算法,該算法可以同時綁定多相機下的多個巡檢區域,算法精度高、速度快且有效地剔除了干擾.

(3)系統采用數據庫存儲模式對數據進行存儲,并將圖像壓縮編碼成Base64 的形式快速通信,減少了網絡傳輸量.

(4)系統包含一套完整的人機交互界面與可以長期穩定運行的系統,操作方便快捷.

2 系統算法

2.1 預設置

如圖2所示,n為巡檢路線所包含的相機總數,為巡檢路線下的巡檢區域總數.本系統首先要進行相機名稱的綁定,綁定結果如圖2中Camera 1,Camera 2,…,Cameran所示,并對應相機進行巡檢預設置.系統調用相機讀取當前待配置相機下的圖像作為巡檢預設置背景,通過本系統設計的人機交互界面進行巡檢區域的繪制,將巡檢區域位置信息保存至數據庫,區域繪制結果如圖2中Area 1,Area 2,…,Area (m+ 1)所示.隨后對應巡檢區域設置最小逗留時長,并保存至數據庫中,結果如圖2中Stay time 1,Stay time 2,…,Stay time (m+ 1)所示.再配置巡檢路線下的相機順序,根據配置的相機順序以及繪制各個相機下的巡檢區域順序進行整體巡檢區域順序的自動更新,將結果保存至數據庫.最后按照巡檢區域順序進行相鄰巡檢區域之間行進時長的設置,設置結果保存至數據庫中,結果如圖2中Travel time 1,Travel time 2,…,Travel time (m+ 1)所示.

圖2 巡檢預設置說明圖

2.2 目標檢測算法

本系統中對于人員的檢測,選擇采用COCO 數據集訓練YOLOv3 網絡進行人員檢測,以實現快速準確地判斷出人員的位置信息.COCO 數據集中采用海量數據和標簽的訓練結果作為主干的卷積神經網絡,部分人員樣本如圖3所示.

圖3 COCO 數據集中的人員樣本

本系統采用的端到端目標檢測算法YOLOv3[19]將人員檢測問題轉化成一個回歸性問題.給定一張輸入圖像,它能夠直接在多個位置上回歸出人員的邊界框.本目標檢測算法不僅能保證實時性,也能保證系統的準確性.

2.3 基于人員檢測結果的行為分析算法

系統首先將視頻流數據通過多線程的方式輸入深度學習網絡中得到人員檢測結果,將此結果進行行為分析.首先當系統并未開啟巡檢監測時,當相機場景下出現人員則系統報該巡檢路線有人員闖入事件產生;當系統開啟巡檢監測時,首先判斷人員是否在巡檢區域內以及所在巡檢區域編號.判斷示意圖如圖4所示.

圖4 人員位置判斷示意圖

圖4中am1為巡檢區域m左上角x坐標,bm1為巡檢區域m左上角y坐標,am2為巡檢區域m右下角x坐標,bm2為巡檢區域m右下角y坐標.xk為人員檢測框k左上角x坐標,yk為深度學習人員檢測框k左上角y坐標,wk為深度學習人員檢測框k寬度,hk為深度學習人員檢測框k高度.

人員位置判斷方法如式(1)、式(2)所示,式中k為人員檢測框序號,檢測框與人員一一對應,m為巡檢區域序號.當同時滿足式(1)和式(2)的時候,人員k處于巡檢區域m內.

將滿足式(1)、式(2)的人員檢測結果輸入行為分析算法中進行干擾排除以及最終巡檢行為分析結果的獲取.假設有一條巡檢路線包含5 個巡檢區域,經深度學習人員檢測并分析人員位置結果,結果信息送入巡檢人員行為分析算法進行處理,輸入信息如圖5所示.圖5中每個點代表某時刻在某位置檢測到人員.當同一時刻有兩個或者兩個以上區域同時出現信息點的時候,代表同一時刻多個區域同時有人的出現,則先保存此刻數據,假設信息連續次數小于某一給定閾值v=4時則認為此處為干擾,進行篩選排除,如圖中三角形點所示,三角形點為干擾信息.并且由于從一個區域行至下一區域至少需要某一時間,所以當從某一區域離開再出現至下一區域時小于此時間,則認為是外來干擾,需要排除,如圖中正方形點所示,正方形點也為干擾信息.

圖5 行為分析算法示意圖

排除干擾信息后得到正確信息,如圖5所示圓點為正確巡檢信息,并且由圖可得知巡檢正確路線及每個巡檢區域真實逗留時長.假設區域1 到區域5 最短逗留時長依次為T1,T2,T3,T4,T5.如圖所示區域1 到區域5 實際逗留時長依次為t1?t0,t3?t2,t5?t4,t7?t6,t9?t8.則各巡檢區域完成度及巡檢區域總完成度如式(3)、式(4)所示.

式(3)中,cm代表第m個巡檢區域的巡檢區域完成度,式(4)中C代表巡檢區域總完成度,Tm代表巡檢區域m最短逗留時長,Sm代 表巡檢區域總數,m為1,2,3,4,5.

如圖5假設正確巡檢路線為1 至5,實際巡檢路線為r1,r2,r3,r4,r5,則采用式(5)、式(6)進行巡檢路線總完成度P的計算.

假設巡檢總完成度S中巡檢區域總完成度所占評估權重為l1,巡檢路線總完成度所占權重為l2.則該巡檢總完成度計算方法如式(7)所示.

最后根據計算結果進行巡檢事件判斷,判斷算法如下所示.當滿足cm＜1時,第rm巡檢區域不合格,生成區域逗留不合格事件;當滿足P＜1時候,該巡檢路線不合格,生成巡檢路線不合格事件.根據S的值可以評判本次巡檢情況,本文所使用評價指標為,當滿足S＜0.85時,本次巡檢情況差;當滿足 0.85≤S＜1時,本次巡檢情況良好;當滿足S=1時,本次巡檢情況優異,即巡檢合格完成.

2.4 數據存儲、傳輸與結果發布

2.4.1 數據存儲

數據的存儲過程采用一組可以完成特定功能的SQL[20]語句集,經編譯后存儲進數據庫,最終用戶可以通過指定存儲過程的名稱來進行調用.這個過程可以看作是對編程中面向對象方法的模擬.本系統數據庫中所存儲信息如圖6所示.圖6(a)所示為巡檢區域預設置存儲信息.圖6(b)所示巡檢人員行為分析結果存儲信息.

圖6 數據庫存儲信息示意圖

2.4.2 數據的傳輸與發布

本系統采用HTTP 協議將數據庫存儲如圖6(b)所示結果進行傳輸發布.信息傳輸及發布過程展示如圖7所示,在進行數據的傳輸時,客戶向服務器請求服務只需請求方法和路徑,通信簡單快速,且允許傳輸任意類型的數據對象.客戶機和服務器之間通信不需要建立持久的連接,節省了傳輸時間.如圖7所示網頁端可以向服務器端傳輸相機與算法的開關信號,服務端接收信號后進行相應的操作處理.服務端向網頁端傳輸巡檢行為分析結果及巡檢事件信息,巡檢事件信息包含巡檢過程中所產生巡檢事件的類型、巡檢事件產生時間及巡檢事件證據信息,借此可以獲知該巡檢過程具體行為信息.其中巡檢事件中的證據圖片在進行HTTP傳輸之前,先進行Base64 編碼壓縮,將壓縮信息傳輸,這樣可以節約網絡資源,網頁端接收到信息后進行Base64 解碼,還原出證據圖片顯示.巡檢行為分析結果信息可以直觀評估該巡檢過程.數據傳輸結果在服務器網頁端進行發布.

圖7 信息傳輸及發布過程示意圖

3 實驗結果分析

3.1 實驗條件

本實驗所采用的服務器硬件CPU 為Intel(R)Core(TM)i7-8700K,顯卡使用NVIDIA GTX1080Ti,攝像頭使用TL-IPC42A-4,分辨率為1080 P,采集頻率15 幀/秒,交換機使用華為S1724G-AC 24 口千兆交換機,網線使用千兆CAT6 類網線.本系統軟件采用QT、OpenCV、Microsoft SQL Server Management Studio 等相關軟件環境.本實驗在A、B 兩個場景中進行測試,每個場景下都有5 段相互獨立的巡檢視頻.場景B 較場景A 實驗環境更為復雜,尤其在光照條件,遮擋情況有明顯的區分,場景具體信息如表1所示.下述實驗中所采用的視頻數據皆為相同數據源文件.

3.2 實驗結果及分析

3.2.1 人員檢測實驗

如表2所示,本實驗通過獲取在A、B 兩個場景下采用YOLOv3 目標檢測算法進行人員檢測的結果與實際人員總數進行對比得出算法檢測準確率進行評估.實驗得出場景A 的平均檢測準確率為93.16%,場景B 的平均檢測準確率為90.94%.由于場景B 環境較場景A 環境更為復雜,因此在場景B 下YOLOv3 平均檢測準確率低于場景A 下的平均檢測準確率.盡管如此,實驗中場景B 仍然擁有90.94%的平均檢測準確率,因此本文所提出的人員檢測方法可以滿足實際場景中人員檢測的應用.

表1 實驗場景信息

3.2.2 巡檢檢測實驗

如表3所示,本實驗將在場景A 和場景B 下的YOLOv3 人員檢測結果的基礎上對本系統提出的巡檢人員行為分析算法進行測試,將分析結果與對應實際結果進行對比.實驗假設在巡檢完成度中,巡檢區域總完成度所占權重為0.7,巡檢路線總完成度所占權重為0.3.通過式(7)的計算得知場景A 中的巡檢路線監測平均準確率為92%,巡檢逗留時長監測平均準確率為98.24%.場景B 中的巡檢路線監測平均準確率為85%,巡檢逗留時長監測平均準確率為95.96%.場景B 由于人員遮擋情況更多使得巡檢路線監測平均準確率和巡檢逗留時長監測平均準確率略低于場景A,但其依然具有較高的監測準確率,所以本系統所提出的巡檢人員行為分析算法有效地剔除了干擾,可以滿足在實際場景下對巡檢路線和巡檢逗留時長的監測.

表2 人員檢測實驗結果

表3 巡檢監測實驗結果

3.2.3 系統效果實驗

如表4所示,本實驗將在場景A 和場景B 下基于YOLOv3 人員檢測結果的行為分析結果得出的巡檢結果分別進行評估,評估結果的準確率與由本文3.2.2 章節巡檢監測實驗所得出的巡檢路線及巡檢逗留時長準確率相關.同時本實驗采用實時率計算方法對輸入系統視頻流的總時長與經過系統處理后輸出的視頻流總時長作對比,其計算結果為二者的比值,得到場景A 下系統平均實時率為98.88%,場景B 下系統平均實時率為98.38%.通過對比場景A、B 獲取的平均實時率結果,表明系統實時率仍受場景中環境因素的干擾.但是經過對場景A、B 實時率的分析說明本系統近似滿足實時性要求,可以進行實際場景的應用.

表4 系統效果實驗結果

文獻[21]也進行了巡檢路徑的檢測,文章采用基于GPS 的大圈以及小圓兩種距離計算方法進行巡檢路線的監測,成本高且精度最高為81.3%,低于本文提出的方法,且未談及有關處理速度的研究.此方法與本文提出的方法相比,本文方法僅使用視頻流信息,節約成本,且考慮實際場景信息更為詳盡,能夠排除場景內的大多數干擾,獲取準確的人員巡檢信息.本文提出的方法在普通場景下巡檢監測系統精度為95.12%,在復雜場景下巡檢監測系統精度為90.48%,且速度可以滿足實時處理的需求,均優于文獻[21].因此本文所提供的算法以及巡檢監測系統,是能夠實際應用于工業場景的智能化巡檢監測.

4 結語

為了快速、準確地分析工業現場巡檢過程中巡檢人員的巡檢行為是否符合規范和標準,本文提出了一種基于機器視覺的工業現場巡檢過程監控分析系統.系統對每個相機場景進行巡檢時長、巡檢路線等參數的預設置,設置完成后使用YOLOv3 網絡監控多相機下的人員位置信息.系統使用的檢測算法檢測精度高、速度快,并適用于多種復雜的檢測環境.接著使用本文設計的巡檢人員行為分析方法分析人員位置信息,并評估巡檢過程.該方法能夠并行處理多個相機下的多個巡檢區域的視頻流數據,有效排除了干擾.最后將評估結果存儲、傳輸與發布.根據網頁發布結果,可以查看巡檢過程中巡檢人員具體行為信息.系統采用數據庫存儲模式對數據進行存儲,保證系統數據信息的安全.在數據傳輸時,系統使用Base64 對圖像數據進行編碼及解碼,減少了網絡通信量.本系統包含一套完整成熟的人機交互界面與可以長期穩定運行的系統,且設備安裝簡單,操作方便,能夠滿足實時數據處理的需求.