基于卷積神經網絡的視頻大數據智能預警分析

(國網自貢供電公司,四川 自貢 646100)

0 引 言

電力視頻監控是堅強智能電網的重要基礎和支撐，廣泛應用于變電站、營業廳、供電所等電力生產經營場所，是國家電網公司堅強智能電網的重要組成部分[1]。現國網四川省電力公司電力視頻監控系統涵蓋站點2245個，每天產生PB級的視頻監控數據量，形成豐富的視頻大數據資源。

目前，視頻記錄的使用主要用在事故或違章發生后，人工查找存儲的視頻記錄。這樣不但花費人力，查找結果往往也不準確。所以，投入大量資金建設的視頻監控系統目前僅起到視頻記錄的作用，并沒有真正實現“實時監控”(即實時理解視頻中的行為)。視頻監控系統在主動預警方面的能力仍然沒有體現，對電網的安全生產仍然沒起到促進作用，變電站仍然不夠“智能”。

結合監控視頻缺乏智能分析、實時管控的現狀，利用卷積神經網絡技術提取出目標特征，并通過輸入大量的訓練數據進行自主學習，最終實現對變電站違章作業和營業廳不規范服務行為的視頻大數據自動挖掘、實時預警以及智能推送。

1 數據來源及存儲

1.1 數據來源

自貢供電公司的視頻監控系統主要由營業廳視頻監控系統和變電站視頻監控系統組成，其中：營業廳視頻監控系統由自井營業廳(沙灣)、貢井局營業廳等35個供電所視頻監控系統組成；變電站視頻監控系統由圓灣變電站、舒平變電站等43個變電站視頻監控系統組成。截止到目前，自貢供電公司已經累積歷史視頻數據超過100 TB，并且每天有4 TB左右的新數據產生，形成豐富的視頻大數據資源。

1.2 數據存儲

在視頻監控系統中，需要保持海量的視頻圖像記錄，現有的視頻存儲模式分為如下3種[2]：

1)DVR/NVR前端本地存儲：此種模式由于DVR/NVR存儲容量相對較小，且DVR/NVR性能較低，信息孤島現象嚴重，無法滿足大數據需求。

2)集中存儲模式：相對于DVR/NVR模式，容量大大提升，并實現了數據的集中存儲；但隨著大數據的來臨，后續項目擴容時，需要人為配置設備的負載均衡。

3)通用云存儲：為了設備的負載均衡以及空間的虛擬化設備易維護，云存儲技術應運而生。通過軟件運用集群技術、虛擬化技術、分布式存儲技術，將網絡中大量各種不同類型的存儲設備集合起來協同工作，共同對外提供數據存儲和業務訪問功能。因其內部數據處理以結構化數據為主，云存儲方式具有面向應用的特點，利于數據的分析和利用。

考慮運行實況和未來需求，充分利用視頻分布式存儲系統靈活性、擴展性、經濟性、可靠性等優勢，簡化數據共享流程和降低數據統一分析的門檻，采用了針對監控行業應用推出的專業級云存儲系統，其物理拓撲如圖1所示。

根據視頻監控系統監控記錄，按照智能推送規則篩選出有效的視頻記錄，形成索引，寫入至MySQL數據庫中備用[3]。利用數據庫可以從視頻云存儲平臺獲取特定時間的視頻段。視頻云存儲平臺提供專門數據接口以供數據的查詢、回放和下載，如圖2所示。至此，所需的原始數據文件已經就位(云存儲+索引數據庫)以備后續數據清洗過程使用。

圖1 視頻專用云存儲物理拓撲

圖2 視頻數據接口

2 數據清洗

數據清洗一是為了解決數據質量問題，二是讓數據更適合挖掘。

2.1 視頻篩選

監控場所內熱點的監控素材才是有價值的素材，因此首先要篩選出有效的視頻段。視頻篩選使用Python程序語言開發的腳本工具Detect.py，該工具基于opencv2.3開源代碼庫。

以變電站作業人員違章智能預警為例，可用getDefaultPeopleDetector函數實現人員行為抓取。從視頻云存儲系統抓取有人工作的視頻片段，結合數據存儲階段整理的有人工作記錄索引數據，便可直接從視頻云存儲系統獲取有人工作視頻段，流程如圖3所示。

圖3 獲取有人工作視頻段

2.2 視頻轉圖片

視頻轉換成圖片的目的是為了進行機器學習。機器學習過程中，人員行為判斷分類器的模型訓練需要輸入圖片素材[4]。

使用自行開發的輕量級工具video2pic(Python語言腳本)，以流轉換模式從有人工作視頻段文件路徑讀取視頻數據，獲得等間隔時間采樣的圖片(幀)，然后根據檢測周期對圖片進行間隔性的抽取(每秒從視頻幀序列中抽取2張圖片)，獲得圖片數據集，如圖4、圖5所示。

圖4 video2pic工具將視頻轉為圖片

圖5 轉換后的圖片信息

2.3 圖片標記

首先，定義項目系統將要識別的行為。這里分別以未佩戴安全帽人員頭部和佩戴安全帽人員頭部為例定義了兩類標記。

其次，使用可視化工具setTagUI(如圖6所示)對圖片進行篩選，與識別內容相關的圖片則進行區域圈選和行為標簽標記，無關的圖片則舍棄，最終得到標記好類別標簽的圖片數據集。篩選和標記流程如圖7所示。

圖6 sctTangUI

圖7 篩選和標記流程

3 分析過程

3.1 卷積神經網絡算法選擇

機器學習是人工智能的核心，是使計算機具有智能的根本途徑，其應用遍及人工智能的各個領域，它主要使用歸納、綜合而不是演繹[5]。根據機器學習的學習形式可分為監督學習和非監督學習。以變電站人員行為違章為例，從變電站監控系統識別已知的某種違章行為，實質上是一種分類任務，即輸入未知數據輸出分類結果。分類任務要求系統依據已知的分類知識對輸入的未知模式(該模式的描述)作分析，以確定輸入模式的類屬是否違章或者是哪類違章。相應的學習目標就是學習用于分類的準則(如分類規則)。

3.2 卷積神經網絡模型實現

卷積神經網絡(convolutional neural networks, CNN)是一種多層的神經網絡，主要由卷積層、池化層和全連接層等組成，其中每層又是由很多神經元組成[6]。卷積神經網絡中層次之間的緊密聯系和空間信息使得其特別適用于圖像的處理和理解，并且能夠自動地從圖像中抽取出豐富的相關特性[7]。所采用的卷積神經網絡算法是深度學習算法在圖像處理領域的一個應用。

3.2.1 卷積神經網絡模型結構

根據檢測對象，可以設計出各種CNN架構。參照目前主流的CNN網絡模型，搭建的網絡模型如圖8所示。

圖8 CNN網絡模型

該模型由2個卷積層、2個池化層、2個全連接層、1個RELU層(激勵層)及1個Softmax層(網絡層)組成。根據檢測對象識別效果和算法效率確定2個卷積層中的卷積核數是20和50，卷積的步數是1，卷積核大小為24×24和8×8；池化層使用12×12最大池，步幅為2；全連接層使用500個神經元。

3.2.2 模型訓練

卷積神經網絡的訓練是先搭建整個網絡架構，之后從初始化的網絡參數開始通過迭代的循環交替運算，逐步調整整個網絡的參數，使得最后整個網絡結果誤差小于閾值。

訓練采用的系統環境為：Ubuntu操作系統、python語言(anaconda)和Tensorflow深度學習框架。訓練過程為：把定義并搭建好的CNN網絡視為“黑盒子”，圖像的特征由CNN網絡自動提取并訓練權重，將定義好類別的圖像數據集(即佩戴安全帽的頭像、未佩戴安全帽的頭像)輸入到“黑盒子”進行迭代循環訓練，最終得到案例所需要的網絡模型文件和權重文件，保存在checkpoint文件中(“.ckpt”)。模型訓練過程如圖9所示。

圖9 模型訓練過程

3.2.3 模型固化

為了使訓練好的網絡模型能在具體的工程應用環境中使用，需要保證整個模型是可移植的，需要把訓練好的目標模型(“.ckpt”文件)轉換為固化模型(“.pb”文件)。固化模型不關心訓練過程中的CNN網絡模型的具體結構。

本次CNN網絡模型固化使用freeze_graph.py工具。它首先加載模型文件，然后從checkpoint文件讀取權重數據并初始化到模型里的權重變量，再將權重變量轉換成權重常量，最后輸出固化模型文件。

4 現場應用及結果分析

4.1 現場應用

以變電站作業人員“是否佩戴安全帽”智能預警分析為例，在視頻監控平臺部署訓練好的分類器模型，可以實時識別監控畫面是否存在特定不安全行為，與分類器訓練和測試過程相似，把文件處理流程整合到視頻平臺便可實現實時判斷。現場應用流程如圖10所示。硬件環境如表1所示。

圖10 現場應用流程

地點攝像頭信息安裝信息主控室海康威視槍機1080P高度3 m、角度水平向下30、焦距6 m

軟件環境為Ubuntu操作系統、python語言(anaconda)、tensorflow深度學習框架、opencv-python視覺庫(用于獲取攝像頭實時影像)等。

測試方式為模擬測試和現場測試，如圖11所示。

4.2 結果分析

在室內、作業現場等不同現場測試環境中，違章識別分類器實現了對測試人員安全帽佩戴情況的實時識別和標識，達到了預期的違章預警效果。但受限于訓練數據集規模較小(約1 k數量級的圖片張數)，在背景復雜、光線較暗等非理想條件下的識別準確性還有待提升。從案例“是否佩戴安全帽”這一種違章場景的驗證情況看，識別準確率超過90%，但隨著現場違章類別需求的細化，訓練樣本的種類和數據集規模將陡然增加，加之對圖像進行訓練時，卷積神經網絡初始狀態的參數選擇以及尋優算法的選取均會對網絡訓練造成很大影響，選擇不好可能會導致網絡陷入局部極小、欠擬合、過擬合等問題，甚至導致訓練失敗。隨著該領域理論方法的不斷改進和開放，以及計算平臺成本的不斷降低，基于卷積神經網絡的視頻大數據智能預警分析將會有廣闊的應用前景，并在預防違章領域得到廣泛應用。

圖11 模擬測試和現場測試

5 結 語

從成功的場景應用示例，證明通過對視頻監控數據的清洗、分析和基于卷積神經網絡的特征提取、模型訓練、檢測等，實現視頻監控系統的預警功能是技術可行、效果顯著、前景廣闊的。安全是企業發展的根本，對于電網而言，嚴控各類違章行為，杜絕事故發生是各級工作人員的首要職責。利用計算機技術保障人身、電網、設備的安全，提升優質服務水平是未來的發展方向，也是智能電網建設的重要組成部分。上述場景應用大數據對安全帽進行了成功檢測，建議從技術和應用兩方面進行更深入的研究：

1)通過增加訓練樣本、優化訓練模型，提升違章預警的準確度；

2)通過擴展卷積神經網絡學習規則，以實現智能預警功能場景擴充；

3)研究成果可應用到更豐富的電力安全生產、經營服務等場景，有效提升電力生產安全管控能力和優質服務水平。