融合交叉熵損失的3DCNN探水作業動作識別

劉春霞，高 強+，潘理虎，龔大立

(1.太原科技大學 計算機科學與技術學院，山西 太原 030024；2.精英數智科技股份有限公司，山西 太原 030006)

0 引 言

近幾年，透水事故的發生率有所降低，所采取的方式是指派專職人員對探放水作業進行驗收，通過監管探水作業從而杜絕透水發生。存在的問題是人工驗收耗時長、效率低，所采集的數據資料不便長期保存[1]。鑒于深度學習和神經網絡的快速發展和應用場景逐漸成熟，Tran等[2]提出的網絡模型能夠在大規模樣本數據獲取出泛化性的特征信息。Juanhui Tu等[3]將人體骨架信息點與3D卷積神經網絡相結合，在時間域和空間域中提取特征，應用于增強區分捕獲全局關系的時空特征信息。但由于訓練過程參數量較多，極易出現過擬合現象。Chengjie Wu等[4]則在網絡模型中加入時間語義信息的提取模組，對整個網絡進行干預學習，能夠將整個時序圖像信息作出較為完整的提取。Kanav Vats等[5]引入結合長短期記憶[6](LSTM)的姿勢序列變換和光流特征網絡的雙通道網絡，將時間和空間特征信息提取后再按權重融合，能夠獲取完整特征信息。而這兩種方法更側重于理解上下文語義關系，在表達圖像深層語義方面尚有不足[7]。

針對上述問題，提出一種融合交叉熵損失的3DCNN探水作業動作識別模型(water exploration action recognition net，WEARNet)，以期利用分布式學習圖像特征信息的方法，提高探水作業動作識別效率，從而解決人工驗收探水作業效率低的問題。

1 網絡模型設計

在一般的網絡模型的設計中，采用的是自主學習型的特征提取網絡框架結構，將樣本數據輸送到模型后，利用隱藏層進行特征信息的提取，再將得到的特征信息進行全連接得到最后的學習結果。采用流程化的順序特征提取網絡模型，一方面能夠在無監督的情況下完成學習過程，排除了人為因素的干預；另一方面則是采用卷積核提取信息時造成神經元被遺漏、擱置以及直接被壞死的情況，存在特征信息提取時神經元被利用率不充足的弊端。受到生物神經系統軸體信號刺激傳遞過程[8]的啟發，設計出一種能夠將特性信息點充分利用的網絡模型，自行學習并能夠調節學習深度，攝取到更多有用的信息點。具備有特點的信息元區域映射，得到關聯性采集，能夠把辨識度較差的信息二次更新利用，做到在模型訓練過程中層層遞進刺激性學習機制，讓學習過程不再出現層層衰減的現象，使網絡模型在進步中強化學習，以挖掘到更多的信息，基本結構如圖1所示。

圖1 基本結構

本文工作主要致力于得到最優網絡模型，對非線性化函數選擇及使用和改善模型訓練效率，得到真實一致性圖像特征信息圖[9]，最接近實際地對特征進行描述。

1.1 模型框架

本文所提模型WEARNet共由3個部分構成，共使用了4層3D卷積層來進行特征提取。對于三維卷積神經網絡而言，在學習訓練過程中產生的參數量是呈指數增長的，參數數量的急劇上升很有可能會造成特征網絡圖的梯度直接消失，那么再獲取較為細致的特征信息就顯得較為困難。所以，在本文模型中引入了兩種層次化函數ReLU函數和SoftMax交叉熵損失函數，并且在模型中先使用ReLU函數進行線性化再使用SoftMax函數。原因在于，根據兩種函數的機理過程分析可得，ReLU函數是一個主線向前的非線性化過程，如果不先使用ReLU函數，那么就會造成特征信息圖加載過多無用的數據，網絡模型的收斂狀態瞬間就會達到穩定，后面的卷積層也將不再起作用；相反，如果使用過多的ReLU函數，特征信息圖又會顯得過于稀疏，特征豐富度也隨之下降。而在ReLU函數之后使用SoftMax函數，賦予每一個神經元概率值，讓其進行區間劃分，得出可能值后再進行學習，會使得影響較大的信息得以保留，既保持了梯度的完整性，又兼顧到特征圖的豐富度[10]。

1.2 網絡結構

WEARNet模型中的第一部分和第二部分都屬于特征提取部分，網絡結構都采用卷積之后再池化的學習步驟，共計4輪循環過程，而第三部分為特征全連接過程，產生三維特征信息圖。

第一部分見表1，卷積核大小為3×3×3，數量為32，主要聚焦于對全面信息點的捕獲攝取，對大范圍的特征信息進行初步篩選，深度還較淺，這一部分也是為第二部分打下基礎，將深度節點記錄并反饋給下層網絡。第二部分見表2，和第一部分不同的是將卷積核數量增加了一倍，主要進行強化學習，作用于局部潛層信息域，深入提取到更豐富的特征信息。

表1 第一部分網絡

表2 第二部分網絡

最后部分，見表3，是模型的特征全連接部分，經過全特征拼接出相應數據集的4類動作特征響應圖。

表3 特征連接網絡

2 模型詳細過程

2.1 ReLU層次化

在經過卷積操作之后，采用ReLU函數[11]對特征進行非線性化，對卷積之后的數據進行運算，層次化后的效果表現為特點較不明顯的信息元暫時被擱置，只留下較明確的信息，如下方法

(1)

在上述式(1)中，x表示的物理量為特征映射素點[12]；即信息點非映射關聯輸出則為0，其余情況輸出則為線性化。此函數過程的作用是將信息特征呈現梯次表達，避免在卷積過程中出現彌散現象。本文所建網絡模型中使用了兩層ReLU函數，考慮到該函數作用于整個信息區域，如果使用過多的ReLU函數，會引起網絡梯度下降過快，出現信息元還未被學習到就直接流失的情況。

2.2 SoftMax函數

在網絡前兩部分的第二層卷積層之后加入SoftMax交叉熵損失函數，對所得特征信息進行分類回歸擬合，對不同信息元進行概率值化，按照動作的特點完成特征提取，在賦予神經元一定程度信息標記后再進行學習，從而加深網絡模型的泛化力度，如下方法

(2)

(3)

(4)

在式(2)中θ1,θ2,…,θk代表的是模型偏量數值，其維數則對應于所分類的數量[13]。式(3)是k類特征神經元分配概率值的過程。在式(4)中，x是特征信息元集合，hθ(x(i))是輸入x(i)時對應歸屬類別的概率矩陣，p(y(i)=k|x(i))表示歸屬類別為k的概率值，而對于本文數據集，類別數k=4。根據該函數計算過程的機理，將其引入到本文網絡模型中，是為了對信息神經元進行值化后產生類效果，能夠在訓練過程中被充分利用，讓信息元具有特征屬性后再被學習。

2.3 歸一化處理

在深度神經網絡結構中，學習訓練時都會對圖像產生分布偏移，數據點在層層卷積后已不再保持原態，特征信息的提取造成困難。如果，能對發生偏移的神經元進行歸一化[14]處理，讓網絡建立新的數據分布[15]，使得層與層的運算后不會產生較大誤差，使其保持相應的真實度，則攝取特征信息的效率隨之會有所加強，學習訓練的質量也有所提升。歸一化過程方法如下

(5)

(6)

(7)

(8)

批量歸一化層是以批次為計量單位處理的數據信息元規則化的運算過程，式(5)是本批次期望值μβ的計算過程，式(6)是方差σβ的計算過程，利用式(7)做整體運算，得出歸一化運算結果，ξ是式子運算的極小常數，之后再利用式(8)對式(7)得到的結果進行變換，其中γ和β是可學習的兩個參量，分別表示縮放度和平移量[16]。采用批量規則化對神經元進行偏移糾正后，網絡特征圖則會更加清晰。

3 實驗及分析

3.1 實驗環境

本實驗過程主要采用Python語言搭建模型框架，采用Tensorflow訓練框架，16 G內存，GPU為NVIDIA RTX 2080Ti，圖形加速工具為CUDA 10.0。

3.2 數據來源

通過與煤礦安全相關的互聯網公司合作，在山西某煤礦生產基地組織實施實驗工程，利用高清錄像機進行井下探水作業過程錄制采樣。而且為了保證樣本數據的多樣性，又兼顧到視頻拍攝的角度和人體姿勢的變化，共錄制了9個不同采煤區的探水作業視頻，最后篩選出45到50段特征性較強的樣本，共計有410段數據樣本。

經過對自制數據集中的探水作業動作研究分析，可把探水作業過程看作分解動作的連續，根據動作特點將其分為4個部分，如圖2所示：①扳手擰桿：操作員行走至鉆機頭部擰開鉆桿(圖2(a))；②轉身拿桿：操作員將旁邊的鉆桿拿起并擺放到合適位置(圖2(b))；③匹配并固定鉆桿：操作員將已經擺放在合適位置的鉆桿與鉆機擰合(圖2(c))；④擰開水龍頭：操作員轉身移動到水閥位置后打開水閥(圖2(d))。

圖2 4類作業動作

3.3 模型訓練和識別過程

圖3 訓練識別過程

3.4 對比實驗

3.4.1 加入不同數量卷積層實驗對比

首先做了關于卷積層數確定的實驗，實驗結果如圖4所示，折線A-acn、B-acn、C-acn分別對應3層、5層和4層卷積層。從實驗結果可得，使用4層卷積層的模型擬合效果較好，能夠有效避免訓練時出現過擬合和擬合不足等問題，較為適中，同時采用4層卷積層也不會使得訓練周期過長。分析其原因，卷積層的使用主要在于特性信息的提取，產生數據量較大，如果使用較多的卷積層，則會造成數據量暴增，此時梯度也會隨之消散，模型過早擬合；而如果使用較少的卷積層，訓練學習的強度又會達不到，不利于深層信息的提取。

圖4 不同卷積層數迭代訓練準確率對比

3.4.2 加入批量歸一化層實驗對比

其次做了關于加入批量歸一化的實驗，實驗結果如圖5所示，在加入歸一化層后的網絡模型的擬合效果有明顯提升，在訓練200次之后趨于平穩狀態，識別精度已經達到90%以上；同時，收斂速度也有所提升，歸一化也解決了訓練周期過長的問題。

圖5 加入BN層的迭代訓練準確率對比

3.4.3 加入層級化函數實驗對比

還做了加入層次化函數的實驗對比，通過實驗得出在模型中加入兩種層次化函數的效果最好，實驗結果如圖6所示。折線rel-fun是在模型中只加入ReLU函數的效果反映圖，從實驗效果來看，只加入ReLU函數的模型會對信息元造成大量遺失，這種不利現象會引發特征提取的不充分；折線sof-fun是在模型中只加入SoftMax函數的效果反映圖，會造成網絡模型收斂速度過快，梯度消失的情況，不利于再進行下層特征提??；而折線art-fun是在模型中同時加入ReLU函數和SoftMax函數的效果反映圖，是本文模型對非線性化過程的最優使用，在保證信息元不缺少和豐富度的同時，回歸擬合符合深度學習評估，又能對其進行完整提取，能夠達到模型設計的預期效果，使得在進步中不斷地強化學習的思想得以體現。

圖6 不同函數迭代訓練準確率對比

3.4.4 本文算法性能驗證

在對模型的框架確定之后，做了本文WEARNet模型對自制數據集的實驗對比，主要關注的指標是各類動作的識別精確度、召回率和以及F1 Score，實驗結果見表4。

表4 性能評價

最后，將本文WEARNet模型與目前較為優異的模型[17，18]在自制數據集上做實驗對比，見表5。

表5 相同條件下各模型性能對比

從表5中可以看出本文WEARNet模型的識別精度高于其它模型，其訓練效率也有較大提升。

4 結束語

文中針對礦井探水作業中人工驗收效率低耗時長等問題，提出一種融合交叉熵損失函數的3DCNN探水作業動作識別模型(WEARNet)，使用ReLU層級化函數和SoftMax交叉熵損失函數過濾掉部分模糊特征信息，選擇較清晰的特征進行學習，從而挖掘出更深層次的特征信息；其次利用批量歸一化層對特征圖進行規則化處理，解決數據分布漂移問題，進一步增強模型的泛化能力；最后經過實例驗證，模型具備較好的深層特征提取能力，算法的魯棒性和訓練效率有所提高。所提方法在自制數據集上識別精確率最終達到95.64%，從技術層面來說，本文所提方法能夠使得智能識別驗收探水作業的精確度有所提高，可應用于實際工程。