基于深度學(xué)習(xí)的施工現(xiàn)場安全帽佩戴檢測的研究?

張貝貝 程 科 錢倩倩 張亞芹

（江蘇科技大學(xué)計算機(jī)學(xué)院 鎮(zhèn)江 212100）

1 引言

雖然其他行業(yè)通過自動化和人工智能在生產(chǎn)力方面發(fā)生了深刻的變化，但建筑業(yè)在全世界數(shù)字化程度的排行仍是很低，而它也是最危險的工作領(lǐng)域之一。根據(jù)美國勞工統(tǒng)計局（BLS）的數(shù)據(jù)，建筑業(yè)的致命傷害率高于所有行業(yè)這一類別的全國平均水平［1］。世界各地每天都有人因此喪命，可達(dá)死亡1.57 人每天［2~4］。但由于各種原因，雖然人們受過教育和培訓(xùn)［5］，卻有時也會不遵守。前人已經(jīng)有了很多關(guān)于安全帽佩戴自動檢測的研究［6~19］。其中，基于Vision 的技術(shù)［6~8，10~14，17~19］與基于傳感器的高成本解決方案［9，15~16］相比占據(jù)主導(dǎo)地位。包括行人檢測［20~21］、安全帽定位和安全帽識別。Wu 等［19］提出了局部二值模式（Local Binary Patterns，LBP）、hu 氏不變矩（Hu Moment Invariants，HMI）和顏色直方圖（Color Histogtams，CH）組成的用于描述顏色的符號，Li等［8］開創(chuàng)了ViBe 算法和C4 用于對人的目標(biāo)分類檢測，隨后Mneymneh 等［10］找到了利用標(biāo)準(zhǔn)差矩陣（Deviation Matrix，SDM）對動態(tài)目標(biāo)完成檢測，這是利用聚合通道特征的目標(biāo)檢測器［23］對人體進(jìn)行分類的網(wǎng)絡(luò)架構(gòu)，之后，又有方向梯度直方圖（Histograms of the Oriented Gradients，HOG）特征來級聯(lián)目標(biāo)檢測器，但都有不少局限性。再來，僅僅利用深度學(xué)習(xí)的目標(biāo)檢測技術(shù)，例如Faster RCNN，根據(jù)文獻(xiàn)［24］所述，非常依賴于上層去提取特征信息而忽略了下層，這會影響NHU 工作人員的檢測效果。所以安全帽佩戴檢測仍然是一個挑戰(zhàn)。首先，不同的現(xiàn)場條件導(dǎo)致了背景和行人狀態(tài)的巨大變化，使得特定場景下的研究難以推廣到其他施工現(xiàn)場。同時，小尺度個體的存在，使得它們很難與復(fù)雜的背景和其他重疊的場景區(qū)分開來。另外，同一圖像區(qū)域中，他們的部分位置也會相互遮擋。最后，到目前為止，幾乎很少有公開可用的開放數(shù)據(jù)集，種種問題與困難都在加大實驗難度。

本文根據(jù)建筑工地安全帽佩戴檢測的任務(wù)。明確目標(biāo)是檢測施工現(xiàn)場人員是否都戴著安全帽，如果是，那么安全帽的顏色是什么？為了解決這一問題，引入卷積神經(jīng)網(wǎng)絡(luò)（CNN），它能主動學(xué)習(xí)的能力使之在計算機(jī)視覺領(lǐng)域具有優(yōu)越的性能。本文的工作是基于SSD［22］算法進(jìn)行的，但是，僅僅如此的話，檢測往往會缺失小尺度目標(biāo)的地方。其固有的特性是在高分辨率的底層具有弱特征性，即使構(gòu)建了一個金字塔特征層次也無法完美的彌補缺陷。為了有效地檢測到小尺寸目標(biāo)，本文提出了基于Caffe-SSD 框架實現(xiàn)的SSD 算法，結(jié)合反向漸進(jìn)注意力機(jī)制（RPA）提出了一種新的聚合框架，將顯著強(qiáng)的信息特征逐步傳回到底層網(wǎng)絡(luò)中。這樣，可以有效地學(xué)習(xí)來自底層的信息特征，這些特征可能對應(yīng)于較小尺度的對象，從而對檢測結(jié)果做出一些貢獻(xiàn)。

進(jìn)入21世紀(jì)以來，隨著互聯(lián)網(wǎng)技術(shù)的進(jìn)一步發(fā)展，新型信息技術(shù)不斷走入人們的日常生活并成為其中重要的組成部分，有關(guān)數(shù)字勞動的探討再次成為當(dāng)代傳播政治經(jīng)濟(jì)學(xué)界爭論的熱點問題。傳播政治經(jīng)濟(jì)學(xué)者將這一問題與西方馬克思主義的社會批判理論結(jié)合起來，使得當(dāng)代的數(shù)字勞動問題探討轉(zhuǎn)向了數(shù)字勞動的政治經(jīng)濟(jì)學(xué)批判。

總而言之，本文主要做了以下幾點：

1）建立了一個新的安全帽佩戴檢測數(shù)據(jù)集。由現(xiàn)場采集得到。

結(jié)構(gòu)優(yōu)化是給定位移、應(yīng)力、材料和目標(biāo)函數(shù)，在設(shè)計空間內(nèi)尋求結(jié)構(gòu)中構(gòu)件布局及節(jié)點連接方式的最優(yōu)化，保證外載荷傳遞到結(jié)構(gòu)的支撐位置以及其他的性能最優(yōu).拓?fù)鋬?yōu)化的前身是桁架優(yōu)化.20世紀(jì)80年代，連續(xù)體結(jié)構(gòu)的拓?fù)鋬?yōu)化分析成為熱潮，Bendsoe與Kikuchi[19]最先提出了微結(jié)構(gòu)概念和基于材料均勻化的思想.此后，其他一些更為簡潔的方法，如均勻化法、水平集法、變密度法等，相繼建立.

2 實驗與優(yōu)化

2.1 數(shù)據(jù)集優(yōu)化

設(shè)置的任務(wù)場景中，圖像中包含了許多信息，其中包含很多無用的信息，如背景信息等都會對圖像檢測算法產(chǎn)生了許多負(fù)面效果。為了突出強(qiáng)調(diào)圖像中必須信息的可識別性和可檢測性，同時簡化圖像信息數(shù)據(jù)，提升算法運行速率，辨別精度和可靠性。可以先對圖片進(jìn)行去噪和對比度增強(qiáng)。與此同時，為進(jìn)一步增加數(shù)據(jù)的多樣性，還可以采用數(shù)據(jù)增強(qiáng)。

數(shù)據(jù)增強(qiáng)可以分為離線性增強(qiáng)和在線性增強(qiáng)。兩種方法的實質(zhì)都是通過隨機(jī)旋轉(zhuǎn)圖像，裁剪圖像，改動圖像色度（H），飽和度（S），亮度（V），尺寸等實現(xiàn)數(shù)據(jù)增廣［25］。本次實驗采用的第二種方法對不平衡的數(shù)據(jù)集進(jìn)行擴(kuò)充。即對caffe-ssd 源碼進(jìn)行了修改，再通過網(wǎng)絡(luò)結(jié)構(gòu)給參數(shù)賦值，進(jìn)行系統(tǒng)圖像增廣。

根據(jù)式（2），只有當(dāng)每個（θl）足夠復(fù)雜，SSD 才能性能良好。通過復(fù)雜化，它意味著θl具有足夠的分辨率來表示特定尺度目標(biāo)無法檢測到小尺寸目標(biāo)，因為高分辨率的θl-n中特征固有的弱預(yù)測性。我們提出了一個反向漸進(jìn)注意力驅(qū)動框架，它可以智能地選擇特征進(jìn)行聚合。生成強(qiáng)大的注意功能來進(jìn)行安全帽邊界框預(yù)測。與原SSD相比，該框架可以定義如下。

2.2 數(shù)據(jù)集統(tǒng)計

6上105-2工作面頂板結(jié)構(gòu)復(fù)雜多變，理論計算參數(shù)多且難以獲得。從實測礦壓數(shù)據(jù)出發(fā)，確定支架合理工作阻力是有效的方法。

表1 每個類的實例數(shù)標(biāo)簽“None”表示未戴安全帽的人

2.3 網(wǎng)絡(luò)模型與結(jié)構(gòu)

基于深度學(xué)習(xí)的目標(biāo)檢測算法，可以分為兩大類別：兩級式（two-stage）檢測框架和單級式（one-stage）檢測框架。本文采用了一種基于caffe-SSD 框架的單級數(shù)據(jù)驅(qū)動CNN 方案。SSD 是一種通用目標(biāo)檢測器，它建立在處于末尾的一些卷積層的“骨干”網(wǎng)絡(luò)上。SSD 的思維是在不同層上運用中間特征映射不同比例尺寸，在高分辨率特征映射圖中檢測相對較小的目標(biāo)，在低分辨率特征映射圖中檢測較大的目標(biāo)。

其中：

對于小尺度的安全帽佩戴檢測，由于重復(fù)的下采樣操作，如池化和卷積等，低分辨率的頂層包含檢測的特征圖較少。比較之下，高分辨率的底層保留了豐富的空間細(xì)節(jié)信息，但也包含語義上較弱的特征圖。現(xiàn)有的多層次特征圖結(jié)合的方法由于細(xì)節(jié)冗余和背景干擾等原因存在不少問題。在顯著目標(biāo)檢測［27］和語義分割［28］中，學(xué)習(xí)在每個像素位置對多尺度特征圖進(jìn)行加權(quán)的注意力機(jī)制越來越普遍。在注意力機(jī)制的啟發(fā)下，提出了反向漸進(jìn)注意力（RPA），給多層次的內(nèi)容信息逐步編碼，以生成更抽象的特征，用于安全帽佩戴檢測。在給定第（l-1）層中的特征θl-1?RC/2×H×W的情況下，空間注意圖是通過下式而來。

4、調(diào)控土壤酸度。水稻幼苗喜歡在酸性土壤中生長，這與他的祖先長期生長在酸性沼澤土地上有關(guān)。我地鹽堿化土壤多，育苗土雖經(jīng)嚴(yán)格選擇，PH值仍然偏高。而PH值越高，越容易染病。為抑制立枯病病原菌，培育壯秧，從做床播種到起苗插秧，自始至終都需要用稀釋的硫酸水（PH3—4）或調(diào)酸壯秧劑調(diào)控苗床土酸堿度。秧苗一葉一心期PH值4.5，二葉一心期PH值5.0，三葉一心期PH值5.5，以后以PH值不超過6.0為宜。

本實驗建了一個新的安全帽佩戴檢測數(shù)據(jù)集。共有2116 個圖像即12595 個實例，分為1058張即6213 個實例用于訓(xùn)練和1058 張即6382 個實例用于測試。這些圖像涵蓋了各種不同的場景和照度，也包括部分被遮擋的案例。檢測的每個實例都用一個類標(biāo)簽及其邊界框進(jìn)行注釋。發(fā)現(xiàn)，該數(shù)據(jù)集中的小尺寸實例（面積≤322像素）數(shù)量最大，這給檢測帶來了挑戰(zhàn)。為了研究對不同尺寸物體的檢測能力，把實驗數(shù)據(jù)集分為三個規(guī)模類別：小物體（面積≤322 像素）、中物體（322 像素<面積≤962 像素）、大物體（面積>962 像素）。如表1，標(biāo)簽“None”表示未戴安全帽的人。

其中θl是第l 層中的特征映射圖。Fl表示將第（l-1）層中的特征映射圖轉(zhuǎn)換為第一層的非線性映射圖，其可以是卷積層、激活層（ReLU）和池化層等的組合。F1（X）是第一個將輸入圖像X 傳輸?shù)降谝粚犹卣鲌D的非線性塊。此外，τl(·)將第l 層的特征映射圖轉(zhuǎn)換為特定尺度的檢測結(jié)果。最后，T 結(jié)合所有n個中間結(jié)果，實現(xiàn)最終的檢測結(jié)果。

2014年，國務(wù)院發(fā)布《物流業(yè)發(fā)展中長期規(guī)劃》（2014—2020年），把物流業(yè)的產(chǎn)業(yè)地位提升到基礎(chǔ)性、戰(zhàn)略性高度。2015年十八屆五中全會提出了“創(chuàng)新、協(xié)調(diào)、綠色、開放、共享”五大發(fā)展新理念。同年，國務(wù)院把“互聯(lián)網(wǎng)+”高效物流列入“互聯(lián)網(wǎng)+”重點行動之一。

在ssd 的源程序data_transfer.cpp 程序中添加數(shù)據(jù)增廣功能。DistortIm-age 這個主要是修改圖片的亮度、色度、對比度和飽和度。在annotated_data_layer.cpp 增加顏色扭曲函數(shù)。在im_transforms.cpp 中實現(xiàn)RandomHue（）函數(shù)，AdjustHue（）函 數(shù)，RandomSaturation 函 數(shù)，AdjustSaturation 函數(shù)，RandomBrightness函數(shù)，AdjustBrightness各個函數(shù)，主要是實現(xiàn)隨機(jī)更改圖像中的某個參數(shù)。之后再編寫ApplyDistort 函數(shù)，經(jīng)過調(diào)用ApplyDistort 函數(shù)來完成隨機(jī)更改圖像。

其中Φl是采用的的反向漸進(jìn)注意函數(shù)，我認(rèn)為這是特征圖里貢獻(xiàn)最大之處，并且它輸出了與θl又相同維度的新特征來表示Φl。與式（1）中的θl不同，Φl現(xiàn)在不僅與θl共享相同的分辨率，而且將提取的特征合并到更深層。

某城市小區(qū)是比較普遍的居民小區(qū)，共27層，建筑面積為98520m2，該高層建筑衛(wèi)生間排水時使用一般排水管材無法達(dá)到降噪的效果。該項目排水立管設(shè)計排水流量大于只設(shè)置伸頂通氣管普通單立管排水系統(tǒng)的最大設(shè)計排水能力時因管件及管道均為內(nèi)螺旋，可安裝在衛(wèi)生間或管道井面積較小難以設(shè)置專用通氣管的部位。采用U-PVC螺旋管及速流管件，確保工程的安全和質(zhì)量，縮短工期，節(jié)約資金，降低排水噪音給居民生活帶來的困擾。

從數(shù)學(xué)上講，它可以定義為如下：

其中*表示卷積運算，Ws?RC/2×3×3和Wm?R1×k×k表示卷積濾波器。和bmR1是偏差參數(shù)。向上UP（·）2表示向上采樣特征圖的系數(shù)為2。現(xiàn)在語義強(qiáng)特征θl-1的空間注意權(quán)αl-1?[0,1]1×2H×2W已經(jīng)產(chǎn)生了，這為θl選擇性地產(chǎn)生新的注意力特征提供了指導(dǎo)，如式（6）中所計算的。

3 實驗結(jié)論

實驗都基于VGG1 模型，首先VGG16 是在ILSVRC CLS-LOC 數(shù)據(jù)集預(yù)先訓(xùn)練的［29］。我們使用初始學(xué)習(xí)率為0.001、動量為0.9、衰減為0.0005 和batch 設(shè)置為2 的隨機(jī)梯度下降算法（SGD）進(jìn)行優(yōu)化訓(xùn)練。所有實驗都是在同樣設(shè)備上進(jìn)行的。且都是基于公開的Caffe的據(jù)和CNN模型［30］。

2）與往常的多階段方法相比，本文設(shè)計SSD 算法在Caffe-SSD 框架下的目標(biāo)檢測，是一個一階段的端到端的方案。此外，還對網(wǎng)絡(luò)結(jié)構(gòu)的兩個模塊進(jìn)行了優(yōu)化：1）數(shù)據(jù)增強(qiáng)模塊。本文采用在線增強(qiáng)方法增加數(shù)據(jù)增廣功能。2）注意力模塊。本文提出了一種新穎的多尺寸特征檢目標(biāo)測結(jié)合反向漸進(jìn)注意力機(jī)制的聚合框架。

3.1 評價指標(biāo)

采用廣泛使用的均精度均值（mean average precision，mAP）和每類平均精度（perclass average precision，AP）來評價不同模型的性能。定義如下：

本實驗采用了基于簡化的VGG16［26］網(wǎng)絡(luò)結(jié)構(gòu)。輸入到multibox 的特征金字塔是由不同階段的RPA 模塊生成。關(guān)于每個RPA 模塊，卷積層依據(jù)不同階段的感受野利用不同尺度的卷積核。最后的結(jié)果通過安全帽分類和bounding box 回歸生成［22］。

TP（True Positive）：將 正 類 預(yù) 測 為 正 類 數(shù)（IOU ≥0.5的正確檢測數(shù)）；

TN（True Negative）：將負(fù)類預(yù)測為負(fù)類數(shù)；

FP（False Positive）：將負(fù)類預(yù)測為正類數(shù)誤報（Type I error）；

FN（False Negative）：將正類預(yù)測為負(fù)類數(shù)→漏報（Type II error）。

3.2 結(jié)果分析與比較

首先，對本次實驗的數(shù)據(jù)集自主創(chuàng)建了兩個標(biāo)準(zhǔn)線，包括mAP 和AP。目標(biāo)檢測所得的結(jié)果如表2、3 所示。其中表2 是全尺寸檢測模型，表3 是實驗提出的模型。如表所示，低分辨率SSDRPA300-model 更加精確，其mAP 比Faster R-CNN多了9.36%，比SSD300多了2.53%，如果把512×512的圖像輸入到模型中訓(xùn)練，mAP 最高達(dá)到82.21%，這比SSD512 高了0.61%（82.21%vs 81.60%）。結(jié)果也表明，不同尺寸的輸入圖像對檢測性能影響很大。表3 中看出，當(dāng)采用多尺度特征圖進(jìn)行預(yù)測時，檢測精度顯著提高。而以前采用的基于R-CNN 的模型，由于單個尺寸的特征映射轉(zhuǎn)換為Conv5 進(jìn)行檢測的限制，導(dǎo)致性能最差。此外，研究結(jié)果也顯示了該模型對小尺寸檢測有著明顯的優(yōu)越性。當(dāng)輸入的分辨率是一樣的情況下，SSD-RPA300 在小尺寸安全帽檢測上的性能要優(yōu)于其他模型，如表3 中顯示的SSD-RPA300 比ResNet-50［31］+FPN［32］高出1.63%。當(dāng)輸入的圖像尺寸增加時，SSD-RPA512 模型仍然能達(dá)到最高的mAP（65.71%），比SSD512 高 出0.9% 。 盡 管SSD-RPA512 對于圖像尺寸較大的實例沒有顯著的改善，在檢測中大實例時性能也略有下降，但它證實了RPA 有助于提高安全帽佩戴檢測的性能，特別是在圖像尺寸較小時。大中型實例檢測性能下降的原因可能是過分強(qiáng)調(diào)小尺度下的特征提取，使得頂層對大中型實例的特征提取性能降低。

表2 全尺寸的檢測結(jié)果（這里采用IOU閾值為0.5）

表3 實驗的檢測結(jié)果（這里采用IOU閾值為0.5）

圖1 展示的是不同尺寸實例的PR 曲線。從圖中可看出，與大、中尺寸物體的檢測相比，頂層信息的缺失給小尺寸安全帽的檢測帶來了不小的的挑戰(zhàn)。就此情況下，RPA依舊可以聚合多層圖像特征從而達(dá)到提高性能的效果，對小尺寸目標(biāo)檢測起到了優(yōu)化。

圖1 小型、中型、大型實例的PR曲線

3.3 消融實驗（Ablation Study）

為進(jìn)一步了解RPA 的特性，繼續(xù)研究了RPA每個階段的性能影響。為了衡量其優(yōu)勢的程度，采取逐步刪除RPA 模塊進(jìn)行比較。為了保證凸顯對比性，采用相同的設(shè)備輸入數(shù)據(jù)集進(jìn)行模型訓(xùn)練與測試。從表4 可以看出，RPA 模塊較少時，mAP 也會減少，從73.72 一直下降到73.16。可見，將特征從頂層反向傳送到底層只需要很小的計算量就能有效地提高性能。

表4 RPA各個階段對性能的影響

4 結(jié)語

在企業(yè)作業(yè)和工地施工過程中，平安永遠(yuǎn)高于所有。增強(qiáng)現(xiàn)場人員安全是展開智能工建工地的必備要求。

9月底至10月中旬，每畝茶園施腐熟餅肥100～150公斤或商品畜禽糞有機(jī)肥150～200公斤+38%茶樹專用肥(氮-五氧化二磷-氧化鉀=18-8-12或相近配方)30公斤，有機(jī)肥和專用肥拌勻后開溝15～20厘米或結(jié)合深耕施用。

(4)C真空泵入口閥門內(nèi)漏：在該泵備用時，空氣從真空泵出口處被倒吸入運行真空泵入口，漏點性質(zhì)為大漏點，泄漏原因為閥門的密封面損壞，需進(jìn)行研磨處理。在2018年的C級檢修中，對此閥門進(jìn)行了處理，處理后漏點消失。由于此類型漏點比較隱蔽，查找時不易被發(fā)現(xiàn)，需重點關(guān)注。

本文提出了一種基于CNN 的主動檢測確認(rèn)施工人員戴安全帽的辦法，并識別出相應(yīng)的安全帽色彩。本實驗采用SSD 算法在Caffe-ssd 框架下實現(xiàn)目標(biāo)檢測，前期先對圖像進(jìn)行優(yōu)化和分類。發(fā)現(xiàn)安全帽是小尺寸目標(biāo)物，為了實現(xiàn)對小尺寸的目標(biāo)物更好的檢測，想到使用注意力機(jī)制進(jìn)行優(yōu)化，即反向漸進(jìn)注意（RPA）加到SSD 框架中，結(jié)果表明，此模型對不同尺寸的輸入條件，展示出優(yōu)異的性能。但小尺寸安全帽檢測的精度需進(jìn)行進(jìn)一步的提升，并將安全帽檢測與目標(biāo)跟蹤技術(shù)相結(jié)合，實現(xiàn)實時安全監(jiān)測。