基于參數輕量化的井下人體實時檢測算法

董昕宇，師杰，張國英

(中國礦業大學(北京) 機電與信息工程學院， 北京 100083)

0 引言

對采煤工作面人員進行實時檢測，是保障采煤工作面人員安全的基礎[1-3]。隨著數字圖像處理技術的飛速發展，目標檢測方法已被廣泛應用于智慧礦山建設中[4-5]。通過目標檢測方法對采煤工作面視頻監控圖像進行分析和檢測，判斷采煤工作面是否有工人出現，并與煤礦井下安全監控系統報警產生聯動，可以一定程度上保障煤礦生產安全。

近年來，基于深度學習的地面人員檢測方法發展較快，學者們提出了卷積神經網絡(Convolutional Neural Networks, CNN)模型、YOLO(You Only Look Once)網絡、CenterNet等[6-9]。謝林江等[10]提出了一種加入選擇性注意層的CNN模型，在INRIA數據集上的目標檢測準確率達到96.14%；高宗等[11]提出了一種基于YOLO網絡的行人檢測方法，降低了誤檢率，提高了定位準確性；徐哲等[12]針對小目標行人漏檢問題，提出了一種并行卷積神經網絡，提升了小目標行人的檢測準確率。姜建勇等[13]提出了一種PD-CenterNet(Pedestrian Detection CenterNet)模型，采用基于注意力機制的特征融合模塊來對低級特征和高級特性進行融合，從而提升檢測精度。由于井下采煤工作面檢測環境較為特殊，存在粉塵嚴重、清晰度差、光照不足、局部強光照射等情況，上述方法應用于井下時檢測效果不好。唐士宇等[14]提出了基于深度CNN的井下人員目標檢測方法，能有效克服礦井中光線較暗、口罩遮擋、面部清潔度較差等問題，準確率達87.6%，但該方法因網絡較深，計算量大，不能達到實時檢測效果。

為減少網絡訓練參數、提高模型檢測速度，本文提出了一種基于參數輕量化的井下人體實時檢測算法，采用深度可分離卷積和倒置殘差模塊提取圖像特征，減少了井下人體實時檢測網絡的學習參數，提高了計算效率，實現了實時檢測。

1 基于參數輕量化的井下人體實時檢測算法

基于深度學習的目標檢測算法一般分為目標特征提取與目標分類2個部分。目標特征提取網絡的性能受網絡層數和運算方式的影響。網絡層數越多，提取到的目標特征越細致，但計算量也越大。因此，構建井下人員特征提取網絡時要注重卷積速度和檢測精度的雙向平衡。

考慮到實際應用中實時性要求和圖形處理器(Graphics Processing Unit，GPU)性能，應在保證檢測精度的前提下盡量減少網絡參數[15-16]。因此，本文采用深度可分離卷積模塊和倒置殘差模塊構建輕量級特征提取網絡，采用網絡參數較少且能滿足實時性要求的單階段目標分類網絡，結合SSD(Single Shot MultiBox Detector)多尺度檢測思想，實現井下人體實時檢測。

1.1 深度可分離卷積模塊

深度可分離卷積通過深度卷積和逐點卷積相結合的方式提取高級特征[17]。深度卷積負責逐通道過濾空間信息，逐點卷積負責映射通道。這種方法可以將空間信息和通道信息分開，相較于傳統的卷積方法，減少了參數數量，降低了運算成本。

傳統卷積操作如圖1所示。用N個大小為Dk×Dk×M的卷積核對通道數為M的特征圖進行卷積，得到大小為Dw×Dw×N的特征圖，此時參數量Cpar1和計算量Ccal1分別為

(1)

(2)

圖1 傳統卷積操作Fig.1 Traditional convolution operation

深度可分離卷積操作如圖2所示。用M個Dk×Dk×1的卷積核對通道數為M的特征圖進行深度卷積，將卷積核拆分成為單通道形式，對每個通道進行卷積操作，得到與輸入特征圖通道數一致的輸出特征圖，其大小為Dw×Dw×M；再用N個1×1×M的卷積核對深度卷積得到的特征圖進行逐點卷積，對特征圖進行升維操作，最終得到大小為Dw×Dw×N的特征圖。深度可分離卷積的參數量Cpar2和計算量Ccal2分別為

(3)

(4)

圖2 深度可分離卷積操作Fig.2 Depth separable convolution operation

深度可分離卷積的運算量相較于傳統卷積操作均有大幅度下降，其比值為

(5)

N和Dk的最小值均為3，代入式(5)可得2種卷積的運算量比值為4∶9，深度可分離卷積很大程度上壓縮了參數量和運算量，提升了特征提取網絡的運算速度，為目標檢測的實時性提供了保證。

1.2 倒置殘差模塊

倒置殘差模塊由2個逐點卷積模塊和1個深度卷積模塊構成，如圖3所示。卷積步長為1的倒置殘差模塊使用快捷鏈接避免梯度消失。

(a) 卷積步長為1的倒置殘差塊

(b) 卷積步長為2的倒置殘差塊

深度卷積本身的計算特性決定了其不具備改變通道數的能力，為了在更高的維度上提取特征，在深度卷積之前增加1個逐點卷積模塊進行升維。在首次逐點卷積和深度卷積過程中，激活函數是ReLu6。在MobileNet V2網絡模型[18]中，將輸入特征通過ReLu6函數嵌入到多維空間，按照不同的維度進行信息輸出可以觀察到，輸入特征嵌入二、三維度時信息丟失嚴重，且隨著維數的增加，輸出特征容易陷入局部最優，找不到全局最優解，從而影響神經網絡的性能。因此，在倒置殘差結構的末次逐點卷積中，將ReLu6激活函數改為線性激活函數。由線性函數激活的降維結構稱為線性瓶頸結構，該結構通過線性映射的方式解決信息丟失問題。

倒置殘差結構增加了信息維度，通過更高維度的張量來提取足夠多的信息，在運用深度可分離卷積減少參數量的情況下，保證特征提取網絡的精確度。

1.3 井下人體實時檢測模型

SSD多尺度檢測方法在檢測速度和精度上有更好的平衡性[19]。特征層越多，其含有的語義信息越豐富，利用多層特征進行檢測，對不同級別的特征進行融合，可有效提升檢測精度。同時，目標檢測的感受野隨特征層的增加而逐漸變大，淺層特征用于檢測小目標，深層特征用于檢測大目標。

井下人體實時檢測模型是以輕量級特征提取網絡為基礎的多尺度特征檢測模型。在輕量級倒置殘差特征提取網絡的基本結構上增添傳統卷積層至27層進行卷積操作，其中6層特征圖被抽取進行多尺度預測。井下人體實時檢測模型如圖4所示，其中灰色部分為傳統卷積模塊，粉色部分為倒置殘差模塊，紅色邊框的6層網絡作為不同尺度的特征圖，被輸入檢測分類模塊進行多尺度預測。快速非極大值抑制(Fast Non-Maximum Suppression，Fast NMS)檢測框篩選部分通過計算檢測框之間生成的交并比矩陣，刪除與得分最高檢測框的重疊率大于閾值的檢測框，保留人體類別的最優檢測器。

更快速的區域卷積神經網絡(Faster Region-based Convolutional Neural Networks，Faster R-CNN)[20]是一種雙階段的深度學習模型，在訓練樣本很少的情況下也具有很高的精確度。VGG16+Faster R-CNN模型和VGG16+多尺度檢測模型是最常用的人體檢測模型，均利用VGG16網絡進行特征提取。Faster R-CNN方法將底層特征圖分別輸入到區域建議網絡和分類回歸網絡，精度高但網絡參數多，計算緩慢；而多尺度檢測方法在VGG16的第5個卷積模塊上剔除了全連接操作，繼續添加卷積層直接進行多尺度預測，相較Faster R-CNN大大減少了網絡參數，提升了運算速度，但還是不足以進行實時人體檢測。模型固化后，在NVIDIA GeForce GTX 1080的GPU下，對比各常用人體檢測模型的大小及檢測速率，結果見表1。可見，輕量化多尺度檢測模型最小，而檢測速率最高，更能滿足實時檢測要求。

表1 人體檢測模型性能對比Table 1 Comparison of human body detection model performance

2 井下人體數據集構建及標注

2.1 地面人體數據集訓練結果

井下采煤工作面環境與地面人員檢測環境在光照條件、人體姿態等方面存在巨大差異。現存公開人體檢測數據集均為地面人體數據集，使用公開的行人檢測數據集CUHK Occlusion Dataset(共1 063張行人圖像)對本文所提井下人體實時檢測模型進行訓練，得到人體檢測模型參數。利用模型對100張包含采煤工作人員的井下測試圖像(共包含106個井下人員)進行檢測，正確檢測出井下工作人員樣本框24個，將背景誤檢為人體的錯誤樣本框16個，漏檢數為82，模型檢測精度為0.6，模型召回率為0.23。

測試結果表明，采用地面人體數據集對井下人體實時檢測模型進行訓練，不能達到實際應用要求，需要構建井下采煤工作面人員檢測數據集，供深度學習網絡進行學習。

由于標注工作十分耗費人力，小數據量無法保證輕量級檢測網絡的精確性，本文設計了一種半自動人體數據標注方法，用于井下場景人體目標標注及數據擴增，以降低井下人體檢測誤檢率及漏檢率。

2.2 采煤工作面人體數據手動標注訓練結果

采煤工作面人員的主要特征如下：藍灰色制服(雙臂、前胸、后背、雙腿側有反光條)，紅色安全帽，帽頂前方有礦燈，礦燈在環境中光照強度大。

實驗圖像源于淮北礦業股份有限公司袁店一礦某采煤工作面的監控視頻。從視頻數據中每20幀截取1張，獲得1 000張采煤工作面人員圖像。將1 000張圖像打亂順序，抽取其中200張，使用LableImg工具進行人體標注，獲得與原圖同名的標注xml文件，包含標注類別、人員數量、人體區域的起止坐標等信息。標注數據按照VOC數據集標準進行存放。

將200張圖像送入輕量級井下人體實時檢測網絡中進行訓練，總輪次為20 000左右時，模型基本完成收斂，即模型損失不再有明顯穩定下降趨勢。生成的初代模型在測試集上的測試結果如圖5所示，可見，該模型漏檢、誤檢嚴重，無法準確識別并定位井下人體。

(a) 誤檢情況

(b) 漏檢情況

上述測試結果是深度學習模型欠擬合的表現，欠擬合的解決方法一般有增大網絡參數、增加迭代次數、擴大數據集等。由于模型在20 000次迭代下的損失已經趨于穩定，增加迭代次數的方法不可取。為了最大程度保證輕量級目標檢測網絡的實時性，在不改變網絡深度的前提下，采取擴增訓練數據集的方式解決欠擬合問題。

2.3 半自動標注方法訓練結果

若采用人工標注方法擴增訓練數據集，需耗費大量時間和人力。因此，本文搭建Faster R-CNN，利用已有的200張標注圖像進行模型訓練，得到一個可以進行半自動標注的檢測網絡。

體育適性課堂教學應在教師的指導下，以學生為主，設置合適的、能突破重難點的、能激發學生學習興趣的問題串，從而運用“一二·三六”教學模式探索實踐技能來完成整個學習過程。

Faster R-CNN通過20 000次迭代訓練后，在測試數據集上表現出了很好的效果，半自動標注與手動標注效果對比如圖6所示。

(a) 第1組，手動

(b) 第1組，半自動

(c) 第2組，手動

(d) 第2組，半自動

(e) 第3組，手動

(f) 第3組，半自動

(g) 第4組，手動

(h) 第4組，半自動

圖6中，第1—3組半自動標注與手動標注的交并比均值為95.6%，可以直接作為標注數據使用，第4組半自動標注與手動標注的交并比雖然只有68.7%，但標注方式符合人體重心比例，也可直接作為標注數據使用。其他類型數據可根據需要進行人工微調。這種半自動標注方法可顯著減少人工工作量。

通過基于Faster R-CNN的半自動人體數據標注方法將采煤工作面人員檢測訓練數據集擴增到1 000張，包含仰面人體、背蹲人體、正蹲人體、背爬人體、半身人體各200張，其中仰面人體圖像中包含50張強光圖像。平均分布數據集中各種人員狀態，可保證網絡檢測的準確性。

3 井下人體實時檢測算法分析及改進

3.1 訓練過程分析

網絡的損失函數由分類置信度損失和位置回歸損失組成。分類置信度損失Lconf為

(6)

位置回歸損失Lloc為

(7)

總損失L為

(8)

訓練過程中的損失曲線對比如圖7所示。通過半自動標注方法擴增訓練數據集后，模型的學習速度和效率表現更好。圖7中,橙色曲線為200張訓練圖像經20 000次迭代后的損失情況，其下降緩慢，振蕩嚴重，誤檢、漏檢情況嚴重。藍色曲線為通過半自動標注方法擴增到1 000張訓練圖像后經20 000次迭代的損失情況，其收斂迅速，振蕩相對較小，漏檢、誤檢情況較少。

模型訓練過程中損失值變化情況對比見表2。由表2及圖7可知，在深度學習訓練中，隨著樣本數量的增加，訓練初始損失值增大，但損失值會更快速、平穩地下降，最終結果更接近于真實情況。

(a) 分類損失

(b) 定位損失

(c) 總損失

表2 損失值變化情況對比Table 2 Comparison of loss value changes

3.2 顏色信息修正

模型在大部分測試數據上的檢測表現良好，但在一些數據上的結果還有改進的空間，尤其是將背景檢測成人員的誤檢情況相對較多，此類情況有很大的改進空間。鑒于此類誤檢情況光照情況良好，在正常光照下，一般工服為偏藍色，圖像中藍色通道(B)數值較大，工帽為偏紅色，紅色通道數值(R)偏大。

通過計算B、R通道均值與候選框像素點差值之和，剔除差值和在10以下的候選框，可以對深度學習模型的檢測框進行進一步篩選，剔除一些誤檢框。顏色信息修正結果如圖8所示，結果表明，利用礦工服裝顏色信息對結果框進行二次篩選，能有效剔除將背景檢測為人體的誤檢框。

(a) 誤檢情況1

(b) 二次篩選結果1

(c) 誤檢情況2

(d) 二次篩選結果2

(e) 誤檢情況3

(f) 二次篩選結果3

3.3 井下人體檢測結果分析

經過井下數據集訓練及顏色信息修正的輕量化井下人體實時檢測模型在測試集上的部分檢測結果如圖9所示。測試結果表明，本文模型在井下各種復雜的人體形態及光照條件下都能得到準確的檢測結果。

(a) 仰面人體

(b) 強光仰面人體

(c) 背蹲人體

(d) 正蹲人體

(e) 背趴人體

(f) 半身人體

井下人體檢測任務具有二分類特性，故選取精度J與召回率Z作為評價指標。精度指檢測出的區域確實為井下人員的占比，召回率指檢測出的井下人員占實際人員數量的比例，其計算公式分別為

(9)

(10)

式中：ITP為正樣本(井下人員)被正確分為正樣本的數量；IFP為負樣本(背景)被錯誤分為正樣本的數量；IFN為正樣本被錯誤分為負樣本的數量。

用輕量化井下人體實時檢測模型對100張測試圖像(共包含106個井下人員)進行檢測，結果見表3。

表3 井下人體實時檢測模型評價指標Table 3 Evaluation index of real-time detection model of underground human body

從表3可見，模型的精度為92.86%，即模型誤檢率為7.14%；召回率為98.11%，即漏檢率不足2%，可以滿足應用要求。

4 結論

(1) 井下人體實時檢測模型通過深度可分離卷積壓縮參數量和運算量，通過倒置殘差結構保證特征提取網絡的精確度，采用SSD多尺度檢測方法平衡檢測速度和精度。測試結果表明，該模型的大小為18 MB，幀率約為35幀/s，性能優于常用的VGG16+Faster R-CNN模型和VGG16+多尺度檢測模型。

(2) 設計了基于Faster R-CNN的人體數據半自動標注方法，將訓練數據集由200張訓練圖像擴增到1 000張。測試結果表明，在深度學習訓練中，隨著樣本數量的增加，訓練初始損失值增大，但損失值會更快速、平穩地下降，最終結果更接近于真實情況。

(3) 利用礦工服裝顏色信息對檢測結果框進行二次篩選，剔除將背景檢測為人體的誤檢框。測試結果表明，輕量化井下人體實時檢測模型的精度達92.86%，召回率為98.11%，有效解決了井下人員漏檢及誤檢問題。

(4) 基于參數輕量化的井下人體實時檢測算法對袁店一礦監控圖像的檢測效果良好，但未對其他礦井監控圖像進行測試，接下來將對算法的泛化能力進行進一步研究。