基于機器視覺的礦井人員安全檢測系統(tǒng)

白 瑩

（河南平寶煤業(yè)有限公司）

隨著礦井開采規(guī)模的不斷擴大，礦井下人員的安全性問題也愈加突出。傳統(tǒng)的人工安全檢測方法存在人力成本高、效率低、風(fēng)險高等問題，需要尋求一種智能化的安全檢測方案。隨著機器視覺技術(shù)的不斷發(fā)展，利用計算機來實現(xiàn)對圖像數(shù)據(jù)的智能分析已成為一種有效的解決方案。礦井安全生產(chǎn)過程中，時常發(fā)生工作人員誤入危險區(qū)域以及人員未佩戴防護(hù)用品進(jìn)入工作區(qū)域的現(xiàn)象，目前大多煤礦均采用傳統(tǒng)檢測算法，然而傳統(tǒng)檢測算法存在檢測精度低實時性差、缺乏自動化能力、無法處理大數(shù)據(jù)以及無法適應(yīng)復(fù)雜環(huán)境安全等問題。

針對上述問題，提出了一種基于機器視覺［1］的礦井下人員安全檢測系統(tǒng)，旨在改善傳統(tǒng)安全檢測方法的不足并提升礦井下人員的安全保障。該系統(tǒng)主要基于機器視覺及Faster R-CNN目標(biāo)檢測算法技術(shù)，并結(jié)合礦業(yè)特性和實際需求而設(shè)計。Faster RCNN作為一種端到端的目標(biāo)檢測框架，通過引入RPN和共享卷積特征等新穎設(shè)計，在礦井目標(biāo)檢測中展現(xiàn)了高準(zhǔn)確性、高可靠性和良好的適應(yīng)性。該系統(tǒng)利用攝像頭來捕獲礦井下環(huán)境圖像數(shù)據(jù)，通過深度學(xué)習(xí)模型對圖像內(nèi)容進(jìn)行目標(biāo)檢測和識別，并與數(shù)據(jù)處理和分析技術(shù)結(jié)合，實現(xiàn)礦井下人員誤入危險區(qū)域的實時監(jiān)測和預(yù)警。

1 系統(tǒng)框架

本系統(tǒng)主要由前端界面與后端算法構(gòu)成，系統(tǒng)的后端框架主要分為圖像數(shù)據(jù)采集、圖像預(yù)處理、目標(biāo)檢測和識別、數(shù)據(jù)處理和分析以及報警和預(yù)警反饋部分。前端界面由Vue和JavaScript構(gòu)成，其主要功能是將系統(tǒng)的各種功能模塊進(jìn)行集成，將系統(tǒng)中的數(shù)據(jù)以更直觀的方式展現(xiàn)，有效對客戶端和服務(wù)端進(jìn)行交互。系統(tǒng)的總體框架如圖1所示。

2 系統(tǒng)核心技術(shù)

2.1 圖像數(shù)據(jù)采集和圖像預(yù)處理

由于礦井下的開采環(huán)境較為惡劣，采集設(shè)備必須耐高溫、耐撞擊、防水、防塵等，因此對于圖像數(shù)據(jù)采集，由海康威視智能視頻識別攝像頭對礦井下的人員安全進(jìn)行實時監(jiān)測。檢測模型如圖2所示。

圖像采集［2］過程中，需要確保設(shè)備處于良好的工作狀態(tài)并能穩(wěn)定采集到礦井下的環(huán)境數(shù)據(jù)。將采集到的數(shù)據(jù)樣本通過網(wǎng)絡(luò)傳輸?shù)綌?shù)據(jù)中心，并將圖像數(shù)據(jù)樣本進(jìn)行儲存、標(biāo)注構(gòu)成礦用人員安全數(shù)據(jù)集（數(shù)據(jù)集中包含2 000張礦井人員圖片），為后續(xù)目標(biāo)檢測算法進(jìn)行數(shù)據(jù)分析。

礦井是一個封閉、潮濕、陰暗、空氣不流通、易積塵的特殊環(huán)境，這會導(dǎo)致圖像的質(zhì)量受到很大的影響。例如，光線不足、開采灰塵、反光等問題可能會導(dǎo)致圖像模糊、噪聲干擾等影響圖像質(zhì)量的問題。針對上述問題，系統(tǒng)采用了一系列的圖像預(yù)處理技術(shù)，包括圖像去噪、直方圖均衡化、彩色空間轉(zhuǎn)換和濾波等，以提高圖像質(zhì)量，為后續(xù)的目標(biāo)檢測和數(shù)據(jù)分析做好準(zhǔn)備。

在去噪方面，系統(tǒng)采用基于小波變換的連通域去噪算法，該算法通過將圖像轉(zhuǎn)換到小波域，對圖像進(jìn)行分解和重構(gòu)，達(dá)到去噪效果的同時，保留圖像邊緣信息，從而提高目標(biāo)檢測的準(zhǔn)確性和魯棒性。

在圖像增強方面，系統(tǒng)使用了CLAHE（Contrast Limited Adaptive Histogram Equalization）算法進(jìn)行直方圖均衡化，有效地增強了圖像對比度，使得物體輪廓更加清晰明顯。此外，系統(tǒng)還采用了中值濾波算法對圖像進(jìn)行濾波處理，減少圖像中的噪聲干擾，為后續(xù)的目標(biāo)檢測處理提供更好的圖像質(zhì)量保證。

針對彩色圖像，系統(tǒng)針對不同的應(yīng)用場景選擇了不同的顏色空間進(jìn)行處理。在RGB顏色空間下，顏色的表現(xiàn)方式是RGB三通道，對于顏色分量直接疊加的情況下，系統(tǒng)采用基于互信息估計的RGB顏色空間下的圖像分割算法，對礦井下的人員進(jìn)行像素級別的分割處理。在HSV/HSL（HSV/HSL是一種基于顏色色調(diào)、飽和度、亮度/明度3個屬性來描述顏色的顏色空間。HSV代表色相（Hue）、飽和度（Saturation）、明度（Value），而HSL則代表色相（Hue）、飽和度（Saturation）、亮度（Lightness））顏色空間下，顏色是基于顏色的相對明亮度和飽和度2個屬性進(jìn)行表達(dá)的，這2個屬性對于人員的分割有著重要的影響，系統(tǒng)通過實驗和數(shù)據(jù)對比，發(fā)現(xiàn)在HSV/HSL顏色空間下，目標(biāo)的分割效果要優(yōu)于RGB顏色空間。

2.2 Faster R-CNN算法

系統(tǒng)通過Faster R-CNN算法［3］實現(xiàn)礦井下人員安全檢測。在礦井安全生產(chǎn)過程中，時常出現(xiàn)人員未佩戴防護(hù)用品進(jìn)入危險區(qū)域，系統(tǒng)首先將收集的礦用人員安全數(shù)據(jù)集進(jìn)行訓(xùn)練，從而得到算法模型，將算法模型導(dǎo)入系統(tǒng)中，對礦井下人員未佩戴防護(hù)用品擅入危險區(qū)域進(jìn)行監(jiān)測。

針對Faster R-CNN模型的訓(xùn)練，首先使用預(yù)訓(xùn)練權(quán)重對RPN（Region Proposal network）進(jìn)行訓(xùn)練收集候選框，使共享conv（卷積）層和RPN特有層的權(quán)重進(jìn)行更新，其次使用預(yù)訓(xùn)練權(quán)重訓(xùn)練Faster R-CNN網(wǎng)絡(luò)，使共享conv層和Faster R-CNN特有層的權(quán)重進(jìn)行更新，然后固定共享conv層的權(quán)重，只訓(xùn)練RPN的權(quán)重，得到候選框，最后固定共享conv層的權(quán)重，只訓(xùn)練Faster R-CNN的權(quán)重，得到最終的網(wǎng)絡(luò)模型。

Faster R-CNN是一種基于深度學(xué)習(xí)的目標(biāo)檢測模型，采用了深度神經(jīng)網(wǎng)絡(luò)技術(shù)和候選區(qū)域提取（Region Proposal）的方法進(jìn)行礦井圖像中的目標(biāo)檢測，這是R-CNN和Fast R-CNN的進(jìn)一步改進(jìn)。Faster R-CNN主要有2個部分（圖3）：首先，在CNN的特征提取模塊中，采用了ResNet深度網(wǎng)絡(luò)對礦井圖像進(jìn)行特征提取，利用多個卷積層和池化層來構(gòu)造深度網(wǎng)絡(luò)，從而為后續(xù)特征抽取提供更好的特征表示，可以高效地學(xué)習(xí)到圖像中各種不同尺寸和復(fù)雜度的特征；隨后，使用Region Proposal Network（RPN）來生成目標(biāo)區(qū)域的候選框。RPN是一種用于候選區(qū)域提取的神經(jīng)網(wǎng)絡(luò)模型，其通過對輸入的特征圖進(jìn)行卷積和池化操作，生成多個候選區(qū)域，然后根據(jù)候選區(qū)域的尺寸和位置信息，對每個候選區(qū)域進(jìn)行分類和回歸。具體地，RPN將卷積層的特征輸入到2個并行的卷積層中，1個用于判斷所在位置是否含有人員目標(biāo)，另一個判斷目標(biāo)的區(qū)域范圍。在檢測時，利用NMS（Non-Maximum Suppression）算法對候選框中響應(yīng)最高的物體進(jìn)行篩選。NMS會剔除那些和當(dāng)前已經(jīng)選中的框高度重疊的其他框，從而保證最終輸出的框之間不會存在冗余重疊。在正常工作的情況下，當(dāng)井下工作人員進(jìn)入危險區(qū)域時，模型會讀取到人員入侵的信息。

Faster R-CNN算法針對礦山特定的目標(biāo)檢測任務(wù)，如人員安全檢測，F(xiàn)aster R-CNN支持多個目標(biāo)同時檢測，以此提高檢測效率，使用Region Proposal Network（RPN）生成候選區(qū)域，然后根據(jù)候選區(qū)域進(jìn)行分類和回歸的方法避免在過多背景區(qū)域進(jìn)行不必要的計算，加快檢測速度，在礦山領(lǐng)域常常存在由于道路坡度、光照等因素導(dǎo)致目標(biāo)變形或遮擋，F(xiàn)aster R-CNN可以對這些不同的目標(biāo)變形做出有效的檢測和識別，減小系統(tǒng)的誤報率。

在本系統(tǒng)應(yīng)用場景下，在正常安全工作狀態(tài)下，礦井危險區(qū)域不存在人員流動的情況，系統(tǒng)的算法模型中只具有工作人員圖像的特征信息，當(dāng)人員進(jìn)入危險區(qū)域系統(tǒng)會對人員進(jìn)行識別和定位。除此之外，在安全工作區(qū)域，系統(tǒng)算法模型中具有安全帽和防護(hù)服的特征信息，當(dāng)工作人員進(jìn)入?yún)^(qū)域工作時，未佩戴安全帽和防護(hù)服，系統(tǒng)會對安全帽和防護(hù)服進(jìn)行識別和定位，在檢測到工作人員的前提下，系統(tǒng)未檢測到安全帽和防護(hù)服會進(jìn)行報警。

2.3 數(shù)據(jù)分析及報警反饋

系統(tǒng)通過Faster R-CNN目標(biāo)檢測算法對人員進(jìn)行檢測，將檢測結(jié)果以數(shù)據(jù)的形式傳入后端進(jìn)行分析，通過設(shè)置合適閾值以及設(shè)定預(yù)警指標(biāo)，對礦井下的工作狀態(tài)進(jìn)行判定，根據(jù)判定結(jié)果采取相應(yīng)的措施，如果處于報警狀態(tài)，會將判定結(jié)果以圖片和文字的形式傳入前端，進(jìn)行報警，對相應(yīng)工作區(qū)域進(jìn)行語音警告。

在本系統(tǒng)中，系統(tǒng)前端用于系統(tǒng)的用戶界面設(shè)計和展示，前端采用Vue框架為基礎(chǔ)與JavaScript相結(jié)合。后端算法用于系統(tǒng)的業(yè)務(wù)邏輯和數(shù)據(jù)處理，采用Python匯編語言進(jìn)行編譯，采用MySQL數(shù)據(jù)庫用于系統(tǒng)的數(shù)據(jù)儲存。在系統(tǒng)開發(fā)中，前端和后端分工協(xié)作，通過定義好的API接口進(jìn)行數(shù)據(jù)的交換和通信。前端調(diào)用接口，后端接收請求并返回響應(yīng)數(shù)據(jù)。

3 實驗效果及應(yīng)用

將訓(xùn)練完成的最優(yōu)算法模型放入系統(tǒng)中進(jìn)行實驗，檢測危險區(qū)域人員入侵現(xiàn)象，即是否存在工作人員擅入危險區(qū)域等影響礦企安全生產(chǎn)的行為。為了體現(xiàn)本系統(tǒng)的實用性及檢測效果，本文將系統(tǒng)應(yīng)用于某大型煤礦進(jìn)行煤礦人員安全檢測，圖4為系統(tǒng)對不同場景的應(yīng)用效果。

系統(tǒng)在不同場景下進(jìn)行人員入侵檢測都取得了顯著的效果，在進(jìn)行人員入侵檢測時，檢測精度達(dá)到93%，誤報率小于2%，驗證了本文檢測算法的檢測精度高，適應(yīng)能力強，對于不同場景均可進(jìn)行有效檢測。因此系統(tǒng)可以有效應(yīng)用于礦井危險區(qū)域人員入侵檢測場景。

4 系統(tǒng)界面

前端主要以VUE框架為基礎(chǔ)，通過JavaScript和Mysql數(shù)據(jù)庫對客服端界面進(jìn)行設(shè)計，對危險區(qū)域的人員入侵和安全區(qū)域人員未規(guī)范佩戴防護(hù)用品進(jìn)行實時監(jiān)測，并在檢測到人員入侵和未規(guī)范佩戴防護(hù)用品時輸出報警信息。系統(tǒng)主界面如圖5所示。

由于礦山人員安全檢測較為頻繁，尤其是工作人員誤入危險區(qū)域［4］，所以系統(tǒng)采用VUE框架設(shè)計了一款方便快捷的前端交互軟件，用以對報警記錄進(jìn)行快速便捷的查詢和記錄。VUE是一款輕量級的前端JavaScript框架，被廣泛應(yīng)用于構(gòu)建Web應(yīng)用程序的用戶界面。VUE框架的優(yōu)點在于具有良好的可維護(hù)性、可重用性和性能，這得益于它獨特的數(shù)據(jù)驅(qū)動和組件化架構(gòu)。VUE的數(shù)據(jù)綁定機制使得應(yīng)用程序界面與數(shù)據(jù)之間的交互變得更加直觀和高效，而組件化的架構(gòu)則使得應(yīng)用程序的代碼更具有可讀性和可維護(hù)性。

5 結(jié)語

系統(tǒng)首先對智能攝像頭拍攝圖像進(jìn)行采集，繪制檢測區(qū)域，其次使用小波變換對圖像進(jìn)行去噪、CLAHE算法進(jìn)行圖像增強、基于互信息估計的HSV/HSL顏色空間進(jìn)行圖像分割，然后針對危險區(qū)域人員安全檢測問題，采用Faster R-CNN算法對數(shù)據(jù)集進(jìn)行訓(xùn)練得到理想模型，再將訓(xùn)練得到的模型導(dǎo)入系統(tǒng)中，使用模型對為吸納區(qū)域的人員入侵進(jìn)行實時監(jiān)測，最后系統(tǒng)以JavaScript和VUE框架為基礎(chǔ)，設(shè)計了客戶端界面，在監(jiān)測到危險區(qū)域人員擅入時，輸出報警數(shù)據(jù)。本系統(tǒng)的人員安全檢測算法精確度高達(dá)93%，適用于礦井下不同場景的人員安全檢測。