基于融合運動特征和深度學習的電廠人員行為識別

周鵬飛

（華電山東淄博熱電有限公司安全環保部，山東淄博 250000）

電廠的安全運行對于社會經濟的穩定具有重要意義。統計顯示，人為因素導致的安全事故占電廠安全事故的70%以上。因此對于電廠工作人員的不安全行為進行深入的分析，具有重要的研究價值。

作為人工智能的重要組成部分，深度學習算法被廣泛應用在各個領域，該文采用基于人體骨骼與深度學習的動作識別方法。采用動態骨架進行動作識別的優點是其僅使用人體關節的位置信息來表示動作特征，排除了圖像信息的干擾。由于人體骨骼是圖結構的形式，而不是類似于二維圖像的常規固定網格，因此引入圖卷積網絡。在此基礎上，此次搭建的傳感器網絡進一步提高了對電廠工作人員行為識別的效率。

1 神經網絡檢測模型構建

為準確檢測電廠人員的各種行為，使用神經網絡構建人體行為識別模型[1]。首先從視頻中獲取人體骨骼，并將每個視頻幀提取為一系列關節坐標[2]；然后將數據輸入到多層空間時間圖卷積運算中，由此生成更高級別的特征圖[3]；隨后通過全連接層將特征映射到固定長度的特征向量；最終，由SoftMax 分類器分類以獲得相應的行為類別[4]。識別的總體過程如圖1 所示。

圖1 動作識別過程

針對不同形式的骨架圖，文中選擇了18 個關節點的骨架圖。首先針對解決單幀圖片識別問題，研究深度神經網絡。定義卷積核大小為K×K，輸入特征圖為fin，則空間位置x處的二維圖像卷積公式可表示為[5]：

其中，p是采樣函數，W是權重函數。定義節點的鄰域，將T幀上的節點vti的鄰域定義為B(vti)={vtj∣d(vti,vtj)≤D,t=τ}，其中d(vti,vtj)表示vtj～vti的最短路徑[6]。

人體骨骼圖結構每個節點的權重函數可寫為[7]：

每個分類的子集包含多個圖結構節點。為了避免某個節點對整體評估的影響較大，將卷積公式中的所有節點歸一化處理，并加入轉換后的采樣函數，可得[8]：

在單幀識別的基礎上，聯合變更的時間特征，以得出對視頻流的人體姿態識別。該文基于時間卷積網絡，在傳統卷積的基礎上實現時間卷積，如圖2 所示。

圖2 時間卷積網絡架構

在時間卷積中，可將內核視為列向量，并將時間核大小和步幅均假定為1 。再對時間核關鍵幀進行卷積運算，然后移回1 幀，從而完成1 個節點的運算，隨后卷積下一個節點。

2 傳感網絡構建

在建立人體姿態識別網絡的基礎上，為保證對電廠內部各個區域的無死角監督，需要設計傳感器網絡。文中使用無線通信系統，該系統的k個客戶端由可充電的無線發射器提供服務，如圖3 所示。為保證傳感器網絡在功耗控制、識別能力、通信質量等約束下的工作狀態[9]，分別對傳感器網絡的無線信道[10]、能源管理模塊[11]與視頻傳輸模塊[12]進行研究。

2.1 無線信道模型

圖3 給出了發射機與k個用戶之間的無線信道傳輸模型[13]。由于采用了TDMA 機制，視頻以時間間隙的方式發送給k個用戶。在時隙n中，傳輸給用戶k的數據應滿足以下關系：

圖3 傳感器網絡結構

其中，tk,n和No表示用戶k的傳輸時間與加性高斯白噪聲的功率。此外，由于時隙的持續時間約束，因此有是第n個時隙的發射功率。

2.2 電源管理

如圖3 所示，能量從環境中收集并存儲在最大容量為Bmax的充電電池中[14]。令和分別代表在時隙n期間由視頻傳輸消耗與收集的能量，存儲在電池中的能量更新公式可寫為：

由決策設備確定的傳輸功率允許跨時隙變化，但在傳輸過程中保持恒定，用于視頻傳輸的能量為：

其中，表示發射功率。在無線通信系統中，若能量耗盡，則無法傳輸任何視頻，從而造成播放中斷。為了避免回放中斷，必須在發送器處保留一定量的備用能量。

由于更高的視頻質量需要更多的視頻層，因此在未有任何能量預留的情況下，這可能會耗盡電池電量。一旦電池能量耗盡，視頻數據包將被丟棄，最終導致視頻傳輸質量嚴重下降。因此在實際系統中，應用式（7）約束來實現可持續的視頻傳輸。

2.3 視頻質量最優解決方案

為獲得傳感器網絡中最佳視頻質量，定義多用戶通信系統中所有用戶視頻質量的對數和[15]，如下式所示：

其中，PSNRk,n（峰值信噪比）表示在第n個時隙內與傳輸視頻層有關的用戶k的接收視頻質量[16]。在上式的基礎上，提出了受回放平滑度和能量耗散約束的優化問題。在第n個時間間隔，發射機的決策設備向用戶發送Xn=(x1,n,…,xk,n,…,xK,n)視頻層，其中xk,n∈X?{0,…,L}和xk,n=0 表示沒有視頻層傳輸給用戶k。為了實現低延遲視頻傳輸，丟棄的視頻層將不會被重傳。若系統沒有足夠的能量，則會丟棄傳輸基本層，導致在整個時間間隔與所有用戶的傳輸中斷，嚴重降低神經網絡的輸入效率。因此，引入公式（7）約束，以保證電池的能量儲備。令表示瞬時發射功率為時，用戶k在接收到xk,n個視頻層時的接收效果。在此基礎上，建立效用函數的時間平均總視頻質量為：

3 實驗驗證

該文首先對神經網絡動作識別的準確性進行驗證，根據對原始數據集進行重建以驗證模型的推測結果，并分析該方法模型的潛力與不足。

文中使用公開數據集UCF-101，其涵蓋101 種動作。初步篩選得到20 類包含人體運動的長視頻，將20 組長視頻分為6 組。經過篩選的數據集中共包含12 100 個視頻，視頻像素值為76 800。其中，將9 537 個視頻用作訓練集，將2 563 個視頻用作驗證集。UCF-101 在運動采集方面具有較強的多樣性，包括相機移動、人體外觀與姿態變化、物體比例變化、背景變化等，具有較優的驗證價值。

為滿足行為識別的需要，需對原視頻數據集進行標注處理。使用(3,T,18,2) 的橫向向量來表示T幀的視頻，如圖4 所示。在獲取人體骨骼時，可能會遇到視頻分辨率低且不穩定、人體骨骼信息被大范圍遮擋等現象，因此可能導致該算法對目標的檢測效果不理想。為了避免影響訓練效果，刪除了250幀內未檢測到骨架信息的視頻。

圖4 視頻標注示意圖

測試驗證集實驗結果如表1 所示。與其他網絡相比，該方法在UCF-101 數據集上獲得了第一位的準確率89.53%和第五位的準確率94.58%。此外由實驗結果可知，由于目標遮擋與視頻分辨率低，OpenPose 對于部分UCF-101 數據集視頻的骨架提取并不理想。

表1 測試驗證集實驗結果

為改善上述現象，從UCF-101 數據集中人為地提取了31 種動作視頻，組成UCF-31 數據集，這些視頻具有更清晰的動作、更少的抖動和更明顯的人體。使用隨機樣本測試可知，OpenPose 在UCF-31上提取的骨架圖準確性得到了提高。為進一步保證實際應用中該算法的魯棒性，引入第2 節的傳感器網絡進行驗證實驗。

為進行實驗，將信道帶寬W設置為2 MHz，時隙d的長度設置為1∕3 s，噪聲密度設置為N0=4×10-9W∕Hz。在傳感器網絡中，使用真實的H.264 編碼格式的視頻傳輸數據，以評估算法的有效性。傳輸的視頻跡線是Elephants Dream，視頻跡線的每個幀均由1 個基本層和6個增強層組成。表2為視頻序列的主要參數。

表2 視頻序列主要參數

使用傳感器網絡融合運動特征與深度學習的識別算法，對于電廠工作人員的各種不安全行為識別的實驗結果如表3 所示。

表3 不安全行為識別結果

分析表3 可看出，使用多傳感器網絡的不安全行為識別結果成功率相對于單端識別有所提高；而針對不安全位置、摔倒受傷等工作人員行為的識別率較高；由于視頻分辨率的限制，對于工作人員是否佩戴護具以及吸煙等行為的識別準確率略低。但總體而言，基于多傳感器的融合運動特征與深度學習的算法，對于電廠人員各類不安全行為的識別準確率能達到90%。

4 結束語

該文采用基于骨架的神經網絡進行動作識別，并采用數據集與真實環境數據分別測試算法的有效性。盡管單一端口行為識別方法的準確性受到分辨率、畫面遮擋的限制，但在搭配多傳感器網絡的算法平臺上其的識別效果能得到進一步的提升。而對于如何提高多傳感器網絡的帶寬、降低丟包率，引入記憶參數改善識別算法的魯棒性，將是未來研究的重點。