基于CenterNet-GhostNet 的選煤廠危險區域人員檢測

張翼翔，林松，李雪

（中國礦業大學（北京）機電與信息工程學院，北京 100083）

0 引言

選煤廠安放刮板輸送機、振動篩等大型機械設備的區域容易發生人員安全事故，為選煤廠危險區域。盡管在選煤廠危險區域設置了安全隔欄、警示牌等，但在實際生產過程中依然存在人員違規進入危險區域的行為。為保障人員安全，在選煤廠危險區域會安裝監控系統，但需要專職人員值守，存在因值班人員疲勞而忽視現場異常工況的現象[1]。

為提高安全管理水平，研究人員提出使用目標檢測算法檢測設備運行時是否有進入危險區域的人員，輔助值班人員對危險區域進行監測。張圣強等[2]采用背景減除法分割運動目標區域，再結合人體的形狀信息進行驗證，實現了對人員的檢測；陳海龍[3]將背景減除法作為選煤廠巡檢機器人目標檢測方法。但由于選煤廠光照不均、背景復雜，尤其在人員之間發生遮擋時會使各個目標區域連通在一起，造成漏檢率偏高的問題。林婭靜[4]通過基于混合高斯模型的背景減除法進行運動目標檢測，再結合方向梯度直方圖（Histogram of Oriented Gradient,HOG）和支持向量機（Support Vector Machine，SVM）進行人員識別，一定程度上提高了檢測準確率，但檢測效率低。

近年來，基于深度學習的目標檢測算法發展迅速，其魯棒性好、泛化能力強，但計算量大。為達到實時檢測效果，學者們提出了輕量化目標檢測模型，但現有的輕量化目標檢測模型是面向公開數據集設計的，需要兼顧多個類別目標的檢測效果，缺乏對特定類型目標檢測性能的優化。考慮到選煤廠在生產過程中產生的粉塵會覆蓋員工工作服，且噴霧降塵設備產生的霧氣會導致監控畫面對比度低，給人員全身與生產環境背景顏色的區分帶來困難，而人員頭部特征相對易于辨識，人頭在監控視角下被遮擋的可能性較低，所以相對于人員全身檢測，人頭檢測更加方便有效[5]。大部分人頭屬于小尺寸目標，目前的輕量化目標檢測模型在特征提取時的降采樣率較大，信息損失多，因此對人頭目標的檢測能力有限。針對該問題，本文提出了輕量化人員檢測模型CenterNet-GhostNet。該模型以CenterNet[6]網絡為基礎框架，將輕量化網絡GhostNet[7]與特征金字塔（Feature Pyramid Network，FPN）[8]相結合作為特征提取網絡，在提取高層語義特征的同時保留細節信息；使用3 個獨立卷積分支對輸出特征圖進行解碼計算，以充分利用特征圖的細節信息，從而在人頭目標檢測上達到較高的準確率。

1 人員檢測模型

1.1 模型框架

CenterNet-GhostNet 模型框架如圖1 所示，總體上可分為特征提取、特征圖解碼計算和預測輸出3 個部分。

圖1 CenterNet-GhostNet 模型框架Fig.1 Framework of CenterNet-GhostNet model

（1）特征提取。將輸入圖像通過特征提取網絡映射成包含原圖像語義信息的輸出特征圖，輸出特征圖的分辨率為128×128，為輸入圖像的1/4。

（2）特征圖解碼計算。為充分利用高分辨率特征圖的細節信息，輸出特征圖經過3 個相互獨立的卷積操作后，分別生成關鍵點熱圖、偏移量熱圖及尺寸熱圖，3 個熱圖的尺寸相同。關鍵點熱圖中每個點的值代表該點作為目標中心點（也被稱為關鍵點）的置信度；偏移量代表關鍵點對應的坐標偏移量，是關鍵點映射回原圖時由于分辨率不同產生的；尺寸熱圖包含目標邊界框尺寸大小，用于后續生成目標邊界框。

（3）預測輸出。首先，在關鍵點熱圖上進行3×3 最大池化操作，得到每個3×3 區域中置信度最大的關鍵點，將篩選出的關鍵點作為目標在關鍵點熱圖上的中心點，然后使用偏移量調整中心點位置，得到輸入圖像中精確的目標中心點，最后根據目標邊界框尺寸繪制目標邊界框。

1.2 特征提取網絡

為了在保證精度的前提下提升模型運行效率，降低硬件成本，設計了基于GhostNet 和FPN 的輕量化特征提取網絡，結構如圖2 所示。GhostNet 對輸入圖像進行特征提取，FPN 對GhostNet 提取的各層特征進行融合。

圖2 基于GhostNet 和FPN 的特征提取網絡結構Fig.2 Feature extraction network structure based on GhostNet and feature pyramid network

GhostNet 具有運行快、準確率高等優點，其參數見表1。G-bneck 是GhostNet 中被稱為瓶頸的結構，如圖3 所示。步長為1 的G-bneck 由Ghost 模塊、批標準化層疊加而成，且輸入和輸出之間有1 條跳躍連接通道。步長為2 的G-bneck 比步長為1 的G-bneck多了1 個步長為2 的深度可分離卷積層[9]和1 個批標準化層。

表1 GhostNet 參數Table 1 Parameters of GhostNet

圖3 G-bneck 結構Fig.3 Structure of G-bneck

G-bneck 中的Ghost 模塊（圖4）是GhostNet 提升精度的關鍵，其用計算量很少的線性運算代替部分卷積運算，將得到的冗余特征圖與本征特征圖進行拼接，提高網絡的特征表達能力。

圖4 Ghost 模塊Fig.4 Ghost module

FPN 融合了GhostNet 提取的16×16，32×32，64×64，128×128 這4 個不同分辨率的特征圖中信息，一方面融合了高層語義特征，提供了全局的情景信息，另一方面保留了豐富的細節信息，能夠提高模型對小尺寸目標的檢測能力。特征融合的方式為較高分辨率特征圖經過步長為1 的1×1 卷積運算后，與經過2 倍上采樣的較低分辨率特征圖逐元素相加。本文使用卷積核大小為3×3、步長為1 的可形變卷積[10]與卷積核大小為3×3、步長為1 的轉置卷積串聯的卷積操作來代替FPN 中常用的雙線性差值操作[11]，使FPN 在融合特征時能夠自適應地突出重要特征，減少無效信息的干擾[12]。

1.3 損失函數

CenterNet-GhostNet 模型的損失函數Ldet由關鍵點置信度損失函數Lk、偏移量損失函數Loff和目標邊界框尺寸損失函數Lsize組成。

式中λoff，λsize分別為Loff，Lsize的調節系數。

計算關鍵點置信度的損失需要根據訓練樣本中目標的真實位置生成監督信號，即生成一個跟關鍵點熱圖尺寸相同的標簽熱圖，標簽熱圖中每個點的值與關鍵點熱圖中每個點的置信度一一對應，代表了該點是關鍵點的可能性（即關鍵點置信度）。訓練樣本原圖中標注的目標邊界框中心作為目標的真實關鍵點p，其在下采樣倍數為R的標簽熱圖上對應的關鍵點。

式中：N為標簽熱圖中真實關鍵點個數；為標簽熱圖中關鍵點置信度預測值；α，β為超參數，本文取α=2，β=4。

由于關鍵點熱圖與原圖分辨率不同，將關鍵點從關鍵點熱圖映射回原圖時會存在偏移，偏移量損失函數為

目標邊界框尺寸損失函數為

2 實驗與結果分析

2.1 數據集

通過截取選煤廠監控視頻幀，以及在自采集圖像中隨機添加高斯、椒鹽噪聲和降低對比度來模擬選煤廠監控視頻圖像，共采集4 096 張圖像樣本。使用LabelImg 工具進行圖像標注，標注格式為Pascal VOC[13]。標注的人頭樣本個數為13 248，其中佩戴安全帽的人頭樣本個數為7 138，未佩戴安全帽的人頭樣本個數為6 110。圖像樣本按照8∶1∶1 的比例劃分為訓練集、驗證集和測試集。

2.2 模型訓練

模型訓練使用Intel Core i9-9900KF CPU，NVIDIA RTX2080Ti GPU 等作為硬件平臺。實驗環境：Ubuntu 20.04 LTS；CUDA 11.0；cuDNN 8.5.0；PyTorch 1.7；Python 3.6。

CenterNet-GhostNet 模型訓練參數：輪數為140；批尺寸為32；優化器為Adam；1-89，90-119，120-140 輪的學習率分別為5×10-4，5×10-5，5×10-6；輸入圖像尺寸為512×512。

為加快模型收斂速度，GhostNet 在訓練前載入在ImageNet 數據集上的預訓練權重。此外，為提高模型泛化能力，CenterNet-GhostNet 在訓練時采用Mosaic 數據擴增[14]和色彩抖動作為在線數據增強方法來擴充數據集，能夠起到豐富背景和提升小目標檢測性能的作用。

2.3 模型對比實驗結果

為驗證CenterNet-GhostNet 模型的優越性，與CenterNet-Res18 模型（以CenterNet 為基礎框架并使用ResNet-18 作為特征提取網絡的輕量化模型）進行對比，檢測結果如圖5、圖6 所示。目標邊界框的顏色代表目標類別，藍色代表未佩戴安全帽的人員頭部，紅色表示已佩戴安全帽的人員頭部；目標邊界框上方的數字代表目標的類別置信度。

對比圖5、圖6 可看出：對圖像1 的檢測中，CenterNet-GhostNet 模型不僅檢測出所有人頭目標，且正確區分了目標類別；對圖像2 的檢測中，2 個模型均正確檢測出目標，但CenterNet-GhostNet 模型的目標邊界框位置更精準，類別置信度更高；對圖像3 的檢測中，CenterNet-Res18 模型存在漏檢，而CenterNet-GhostNet 模型正確檢測出所有人頭目標。

圖5 CenterNet-GhostNet 模型檢測結果Fig.5 Detection results of CenterNet-GhostNet model

圖6 CenterNet-Res18 模型檢測結果Fig.6 Detection results of CenterNet-Res18 model

CenterNet-GhostNet 模型與常見輕量化目標檢測模 型YOLOv4 Tiny、SSD-MobileNet 及CenterNet-Res18 的客觀評價指標對比見表2。使用平均精度均值（Mean Average Precision，mAP）衡量目標檢測精度，每秒傳輸幀數（Frames Per Second，FPS）衡量目標檢測速度。

表2 不同模型檢測精度和檢測速度對比Table 2 Comparison of detection accuracy and detection speed among different models

從表2 可看出，CenterNet-GhostNet 模型檢測速度相較于SSD-MobileNet 和CenterNet-Res18 模型略低，但對兩類（佩戴安全帽和未佩戴安全帽）人頭樣本的檢測精度均最高。

2.4 模型部署實驗結果

為實現CenterNet-GhostNet 模型在選煤廠危險區域人員檢測中的應用，將其部署到NVIDIA Jetson Nano 上。模型部署步驟：①將CenterNet-GhostNet模型導出為ONNX 文件。② 受制于NVIDIA Jetson Nano 顯存（2 GB）和圖像分辨率（512×512），設置批尺寸為1，選擇FP16 作為模型部署推理精度，以保證實時性。③將模型轉換為TensorRT 工程文件，使用OpenCV 讀取并處理視頻，調用TensorRT 工程文件執行推理。

NVIDIA Jetson Nano 配合監控攝像機和報警器進行選煤廠危險區域人員檢測，布置如圖7 所示。監控攝像機連接在NVIDIA Jetson Nano 的CSI 接口，NVIDIA Jetson Nano 對視頻進行處理后，通過GPIO 接口發送指令控制報警器提醒現場工作人員。

圖7 選煤廠危險區域人員檢測布置Fig.7 Personnel detection arrangement in dangerous area of coal preparation plant

CenterNet-GhostNet 模型在NVIDIA Jetson Nano上單幀檢測耗時67 ms，表明該模型能夠滿足實時檢測的要求。

3 結論

（1）針對選煤廠環境下人員全身目標檢測因粉塵、霧氣干擾難以準確與背景區分的問題，提出使用人員頭部檢測來代替人員全身目標檢測，以減少選煤廠環境因素的影響。

（2）以CenterNet 網絡為基礎框架，將GhostNet與FPN 相結合作為特征提取網絡，構建了CenterNet-GhostNet 模型來進行人員頭部檢測。

（3）在自建的選煤廠人員數據集上進行實驗驗證，結果表明CenterNet-GhostNet 模型能在保證檢測速度的同時提升檢測精度，滿足選煤廠危險區域人員檢測需求。

（4）將CenterNet-GhostNet 模型部署在NVIDIA Jetson Nano 上，配合監控攝像機、報警器，能夠在工作人員進入危險區域時及時報警提示。實驗結果表明，模型單幀檢測耗時67 ms，滿足實時檢測要求。