基于弱監督深度學習的煤礦生產不安全行為檢測應用研究

趙 亮

國能寶日希勒能源有限公司 內蒙古呼倫貝爾 021025

中國的煤炭資源豐富，但是在開采時常常存在安全隱患，導致煤礦事故時有發生。在選煤生產過程中，礦工作業安全問題非常重要。視頻監控常被用于監測煤礦生產過程不安全行為的重要技術手段?；谝曨l監控能夠為煤礦管理者提供科學預警，加強對煤礦安全生產管理，減少煤礦生產事故的發生[1]。傳統的煤礦視頻監控利用攝像頭采集煤礦環境畫面，并傳送至視頻監控管理中心，由管理人員查看井下作業環境的安全狀況[2]。然而，由于視頻數據量大，依靠人工查看耗時耗力，且難以及時對煤礦生產過程安全異常行為進行分析和處理[3]，故利用智能化的監控系統，自動監測工人的不安全行為是提高安全系數的有效途徑[4]。智能監控技術已成為現代礦業確保生產安全的重要手段[5]。

在煤礦井下監控傳感器方面，馮加宇等人[6]針對煤礦井下高風險點之一的輸送帶易高溫起火的問題，提出了一種用于煤礦輸送帶火災監測的紅外熱像技術。王樂軍等人[7]則設計了一種適用于煤礦井下的礦用本安型紅外熱成像攝像儀，可以對井下監測設備的發熱點進行清晰反映。雖然熱紅外成像能夠較好地應用于井下發熱點的監測，但該技術僅能得到人或物體的熱輪廓，缺乏細節特征，因此該應用具有一定局限性。針對煤礦井下照度低、瓦斯體積分數高、煙塵含量大等特點，王懷琴等人[8]利用黑光夜視成像、電轉換等技術，研制了礦用黑光攝像儀，實現了實驗室和井下低照度、煤粉塵大的條件下清晰視頻畫面的采集和回傳。

近年來，隨著信息技術的快速發展，特別是深度學習在圖像處理領域取得巨大成就[9]，涌現了較多基于信息技術的工人不安全行為的研究。針對工人不佩戴防護裝備的行為，馮仕民等人[10]研究了結合數據與知識驅動的識別算法；Pienaar 等人[11]研究了基于視覺的工人行為識別和數據融合方法；Andrzej 等人[12]則利用虛擬現實方法訓練工人作業時的正確行為；佟瑞鵬等人[13]提出了一種基于人工智能的工人不安全行為識別方法；畢林等人[14]研究了在卷積神經網的框架下，對未佩戴安全帽的違規行為進行自動識別。針對煤礦井下光線暗、空氣中粉塵大、濕度大等復雜的生產環境，視頻監控存在特定目標影像不清晰、特征不明顯以及其他干擾元素等問題，劉開南[15]研究了基于遞歸卷積神經網絡的煤礦智能監控技術；楊小彬等人[16]在闡述深度學習在圖像識別和聲音識別等方面所取得的進展及其應用領域基礎上，分析了煤礦中工人的不安全行為和狀態監測以及機械設備的故障檢測等方面存在的問題，并對相應問題分別利用圖像和聲音識別給出了模型的訓練流程。針對煤礦井下的監控場景，徐桂濤[17]融合顏色與紋理特征，并采用 YOLOv3 網絡框架，實現對工人的監測。

1 弱監督深度學習檢測

1.1 總體框架

弱監督深度學習檢測框架如圖 1 所示，主要分為以下步驟：初級特征提取、顯著區域特征提取、次級區域特征提取、全局池化及多示例學習。首先，采用基礎網絡 VGG16 提取初級特征，然后在初級特征的基礎上提取顯著區域特征。在此基礎上，采用閾值法將顯著區域的特征歸零后，提取得到次級區域特征，并將顯著特征和次級特征進行融合，進而將利用選擇性搜索算法 (Selective Search，SS) 產生的先驗框映射到總特征圖上。經過兩層全局池化后，采用多示例學習來獲得檢測結果。上述過程中，顯著特征和次級特征提取采用相同的網絡結構，但兩者輸入不同，網絡參數不共享。顯著區域特征提取網絡和次級區域特征提取網絡都包含通道特征選擇模塊，其目的是為了加強網絡的特征提取能力。此外在生成先驗候選框的過程中，通過設置閾值 (0.5，1)，刪除相似度和重合度大的冗余候選框，試驗時每幅圖像產生 2 000 個先驗候選框。

圖1 弱監督深度學習檢測框架Fig.1 Framework of detection based on weakly-supervised deep learning

1.2 特征融合

采用卷積神經網絡提取特征時，考慮到不同的卷積核所提取的圖像特征會對最終的檢測結果有不同影響，利用通道特征選擇模塊對同一層特征層給予不同的權重來加以區分，并通過反向傳播來對這些特征層自動學習加以不同的權重來提高網絡特征提取的能力。

通道特征選擇如圖 2 所示。為了降低后續的計算量，對輸入特征圖大小為H1×W1×C1的X，利用特征選擇模塊進行 1×1的卷積層操作，得到特征圖

圖2 通道特征選擇框圖Fig.2 Block diagram of passage feature selection

采用全局平均池化對式 (1) 進行壓縮，得到 1×1×C大小的張量

式中：Zc∈Rc；Fsq(*) 為全局平均池化函數；H×W為特征大小。

進而對Zc進行特征選擇，得到一維張量

式中：Fex為非線性激活函數；w1、w2為權重參數；δ為 ReLU 激活函數。

農村危房改造是一項惠民工程，可是在具體實施的過程中非常復雜。涉及政府審批、村民配合以及施工等多個環節，其中涉及的每一個環節都應該有彼此的配合和支持，使其能夠很好地對危房環境給予改善。針對農村危房改造實施效果產生的影響，還需要給予具體的分析。

將張量S與特征圖U相乘，得到權重特征圖

式中：Fs(U，S) 為特征通道相乘。

1.3 全局平均池化

通常在卷積神經網絡中，卷積層特征經過最大池化之后通過全連接層輸入到分類器?？紤]到全連接層的參數較多，導致模型的訓練及收斂速度變慢，因此，為了有效減小模型的參數規模，同時盡可能保留檢測目標有用的空間信息，在模型設計過程中，采用全局平均池化代替全連接。

1.4 損失函數

在模型訓練時，對模型的主要部分分別設置不同的損失函數來訓練網絡模型。利用總體損失函數L來訓練整體網絡模型，通過數據的標簽值與各個階段網絡模型預測值的差值反向傳播，來訓練各部分的網絡模型。顯著區域特征提取網絡的損失函數

式中：yi為數據標簽；為預測的概率分布；c為類別數。

次級區域特征提取網絡的損失函數

式中：為網絡預測的概率分布。

總的損失函數

式中：?c為整體網絡預測類別標簽的概率分布。

2 試驗結果與分析

為了驗證所提出方法的有效性，分別對 PASCAL VOC2012 數據集以及真實的煤礦的數據集進行試驗驗證。

PASCAL VOC2012 數據集包含 20 種類別，22 531幅圖像。將數據分為訓練集、驗證集和測試集。試驗采用平均精度均值 (mAP) 和準確定位 (CorLoc) 2 個指標來評價方法的有效性。mAP 是衡量預測框和真實標簽數據交并比 (IoU)，是利用 PASCAL VOC 數據集進行試驗時采用的標準指標。CorLoc 是包含目標對象類至少 1 個實例的圖像百分比，對于該實例可信檢測的邊界框與其中一個實例重疊至少 50%。

試驗采用 Titan X GPU 和基于Pytorch 框架，共享卷積層使用 VGG-16 模型初始化，其他的卷積層則是隨機初始化。初始化采用均值為 0 和標準差為 0.01的高斯分布。初始化偏差為 0。在訓練過程中，設置SGD的批大小為 2。學習率在第 1 個 80 k 迭代設為0.001，接下來的 40 k 迭代，設為 0.000 1。質量衰減和動量分別為 0.000 5 和 0.9。

從表 1 可以看出，在檢測的平均精度上，基于弱監督深度學習的煤礦生產不安全行為檢測方法優于其他弱監督檢測算法模型，獲得了 44.1% 檢測平均精度，比 Self-Taught 和 MELM 分別提高了 5.8和 1.7 個百分點。

表1 PASCAL VOC2012 數據集的平均精度均值Tab.1 mAP of PASCAL VOC2012 data set %

PASCAL VOC2012 數據集的定位結果如表 2 所列。由表 2 可知，基于弱監督深度學習的煤礦生產不安全行為檢測方法的平均定位精度為 93.8%，分別比WSDDN 和 WCCN 提高了 4.8 和 2.9 個百分點，比傳統的 VGG16Net 高出了 4.5 個百分點，充分體現了本文所提出的網絡模型的優越性。尤其是在 PASCAL VOC 2012 數據集中 bird、boat 等類型的目標檢測均獲得了最好的性能，PASCAL VOC2012 部分物體的定位結果如表 3 所列。

表2 PASCAL VOC2012 數據集的定位結果Tab.2 Positioning results of PASCAL VOC 2012 data set %

表3 PASCAL VOC2012 部分物體的定位結果Tab.3 Positioning results of partial objects of PASCAL VOC2012 data set %

選煤廠生產過程中典型不安全行為檢測如圖 3 所示。

圖3 典型不安全行為檢測Fig.3 Detection of typical unsafe behaviors

實際煤礦不安全行為檢測如表 4 所列。由表 4 可以看出，在缺乏大量標注數據的情況下，不安全行為檢測可以取得較為滿意的檢測結果。

表4 實際煤礦不安全行為檢測Tab.4 Detection of actual unsafe behaviors in colliery

3 結語

針對選煤廠典型不安全行為檢測過程中缺乏有標注數據的問題，提出一種基于弱監督深度學習的煤礦生產不安全行為檢測方法，通過設計深度學習網絡提取并融合顯著圖像特征，提出新的損失函數用于訓練網絡，提高弱監督條件下的檢測效果。對公開數據集以及真實煤礦數據集的試驗結果驗證了所提出方法的有效性。該方法更適合于實際應用場景，可實現自動分析監測功能，有效減小人工值守查看的工作強度，提高煤礦安全性。