基于深度學習的油庫安全監測方法研究

林 海，胡旭曉，吳躍成，汪燕超

(浙江理工大學機械與自動控制學院，浙江 杭州 310018)

2049535531@qq.com;huxuxiao@zju.edu.cn;wuyuechen@126.com;2597123426@qq.com

1 引言(Introduction)

石油化工行業是我國最大的基礎性制造行業，石油化工產品在儲存、運輸和生產各個環節均有極高的安監、環保、應急管理要求[1]。油庫儲備的原油具有易燃、易爆、易揮發、易產生靜電等危險特性，安全風險非常高，因此加強對油庫的安全監測，及時制止工作人員錯誤行為和發現安全隱患顯得尤為重要。隨著大數據和人工智能技術的發展，在視頻監控中加入對視頻的智能監測，實現對視頻源實時分析，可以避免遺漏信息，使各種安全風險在發生之初就被發現，并提醒工作人員及時解決，從而避免安全事故發生，不但降低了工作人員的工作強度，還有效地提高了油庫安全監測的效果和質量。

近年來，深度學習飛速發展，計算機視覺領域中很多優秀的算法都是基于深度學習的。目標檢測領域主流的方法目前分為兩類：一類是基于候選框的兩階段算法，如RCNN[2]、Fast-RCNN[3]、Faster-RCNN[4]、Mask-RCNN[5]等。另一類是基于邊框回歸的一階段算法，如SSD[6]和YOLO[7]系列算法。兩階段目標檢測算法精度高，但是檢測速度相對較慢。與兩階段目標檢測算法相比，一階段目標檢測算法速度遠快于兩階段目標檢測算法，經過許多研究者的不斷努力，目前一階段目標檢測算法基本能達到兩階段目標檢測算法的精度，所以實際應用中主要采用一階段目標檢測算法，例如YOLO系列目標檢測算法。

本文選用目前表現優秀的YOLOv5目標檢測算法為基礎，通過加入CA[8]提取更加豐富的特征，同時修改邊框回歸損失函數以提升邊框回歸精度，最后在輸出結果中用DIOUNMS替換傳統的NMS，提高對遮擋目標的辨識度。目標檢測對象主要為油庫工作人員是否佩戴安全頭盔，以及煙霧和火焰。實驗結果表明，改進后的YOLOv5算法比原始的YOLOv5算法的mAP高2.9%。

2 YOLOv5模型結構(YOLOv5 model structure)

YOLOv5是Ultralytics團隊于2020 年提出的，雖然YOLOv5并沒有對YOLO算法系列進行全新的模型架構重建，但是YOLOv5在目標檢測領域中的應用表現優異。YOLOv5在網絡體積上分為YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x四個不同的版本。YOLOv5各個型號的網絡模型結構大致相同，通過不同的寬度系數和深度系數控制模型體積的大小。本文以最小的網絡模型YOLOv5s為例，介紹YOLOv5的模型結構，其結構主要由輸入端、主干網絡、Neck網絡和輸出端四個部分組成，詳細網絡結構圖如圖1所示。

圖1 YOLOv5網絡結構圖Fig.1 YOLOv5 network structure diagram

YOLOv5的輸入端和YOLOv4一樣采用了Mosaic數據增強，Mosaic數據增強就是隨機選取4 張圖片采用隨機縮放、隨機裁剪、隨機排布的方式將其拼接為一張圖片用于訓練。這種方法不但豐富了數據集，而且能隨機縮放，增加了很多小目標，在一定程度上提高了網絡對小目標的檢測，大大減少了GPU內存的消耗，即使使用單張GPU訓練，也能達到很好的效果。同時，輸入端還使用自適應錨框主動學習并調整錨框大小和自適應圖片縮放來減少信息冗余并提升推理速度。

相比YOLOv4，YOLOv5的主干網絡在前面添加了一個Focus結構，主要用于切片操作。以YOLOv5s為例，原始608×608×3的圖片經過Focus結構切片后，先得到304×304×12的特征圖，然后經過一次輸出通道為32的卷積操作，最終得到304×304×32的特征圖。與YOLOv4相比，本研究在YOLOv5中設計了兩種CSP結構，CSP1_X結構用于主干網絡，CSP2_X結構用于Neck網絡中。

YOLOv5的Neck網絡采用PAN結構和FPN結構，PAN層自底向上傳達強定位特征，FPN層自頂向下傳達強語義特征，把這兩種結構結合在一起，不同的主干層對不同的檢測層進行參數聚合，進一步提高特征提取能力。

YOLOv5的輸出端采用GIOU_Loss作為Bounding box的回歸損失函數，GIOU_Loss緩解了IOU_Loss邊界框不重合情況下的損失計算問題，最后使用非極大抑制NMS，進而選取最優的目標框。

3 網絡結構改進(Network structure improvement)

3.1 添加坐標注意力模塊

大部分注意力機制用于深度神經網絡都可以帶來不錯的性能提升，例如使用Self-Attention，但是這種注意力帶來的計算復雜度對輕量級網絡而言是無法承受的。所以，在輕量級網絡上主要使用SE(Squeeze-and-Excitation)和CBAM(Convolutional Block Attention Module)，但SE只考慮內部通道信息，忽略了位置信息，而計算機視覺任務中目標的空間結構是十分重要的。CBAM提出通過在通道上進行全局池化來捕獲位置信息，但是這種方式只能捕獲局部的信息，而無法獲得大范圍相互依賴的信息。

坐標注意力是新加坡國立大學的HOU等[8]提出了一種為輕量級網絡設計的新的注意力機制。CA(Coordinate Attention)是一種新的高效注意力機制，其原理是將位置信息嵌到通道注意力中，使得輕量級網絡能夠在更大的區域進行注意力，同時減輕了大量的計算，降低了計算的復雜度。為了避免2D全局池化造成的位置信息丟失，研究人員將通道注意力分解為兩個并行的1D特征編碼過程，有效地將空間坐標信息整合到生成的注意力圖中。CA模塊結構如圖2所示。

圖2 CA模塊結構示意圖Fig.2 CA module structure diagram

CA模塊工作流程如下，首先假定輸入的特征圖大小為C×H×W，分別用H×1和W×1大小的池化核沿著水平方向與垂直方向對每個通道進行編碼，得到水平方向和垂直方向的特征圖zh和zw，zh的大小為C×H×1，zw的大小為C×1×W。其次將上述兩個帶有方向信息的特征圖進行拼接且利用權值共享的 1× 1卷積和進行卷積操作，經過一個非線性激活函數輸出特征圖f∈R(C/r)×1×(H+W)，r為卷積過程中下采樣的比例。最后將f在通道進行拆分，分別經過 1× 1卷積核進行通道調整，得到fh∈RC×H×1和fw∈RC×1×W，再經過Sigmoid激活函數得到兩個不同空間方向的注意力權重gh和gw[9]。將輸入特征圖與上述兩個注意力權重相乘，從而得到表現能力更強的特征圖。

CA是一個簡單的即插即用的輕量級網絡注意力機制，HOU等[8]在EfficientNet和MobileNet加入了CA模塊，在圖像分類任務上均取得了不錯的效果。同時，HOU等[8]也在目標檢測和語義分割任務上進行實驗，發現模型性能均得到不小的提升。所以，本研究同樣將CA模塊添加到YOLOv5的主干網絡中，它既能捕獲通道之間的依賴，也能很好地捕獲位置信息的空間長距離依賴[10]。

3.2 使用EIOU_Loss代替GIOU_Loss

YOLOv5的邊框回歸損失函數使用的GIOU_Loss，其計算式如式(1)所示：

式(1)中，IOU表示交并比，即預測框和真實框相交區域面積與合并區域的面積比。IOU_Loss為1減去IOU后的值，當預測框和真實框不相交時，IOU的值為0，這就導致在一定范圍內損失函數沒有梯度，無法進行學習和訓練。針對這個問題，有研究者提出了GIOU_Loss，GIOU_Loss的原理是假定有兩個框A和B，然后找到一個最小的封閉形狀C，再計算C中沒有覆蓋A和B的面積與C總面積的比值，最后用A和B的IOU減去這個值。GIOU_Loss不僅關注重合區域，還關注其他非重合區域，能更好地反映二者的重合度。

邊框回歸的過程中需要考慮三個主要問題：重疊面積、中心點距離和長寬比。無論是IOU_Loss還是GIOU_Loss都只考慮了重疊面積，因此有學者提出DIOU_Loss，計算式如式(2)所示：

同樣，DIOU_Loss只考慮了重疊面積和中心點距離，沒有考慮到長寬比，CIOU_Loss在DIOU_Loss的基礎上進行了一定的改進，計算式如式(3)所示：

式(3)中，v表示預測框與真實框長寬比的相似性：

α為一個權重參數：

CIOU_Loss雖然考慮了邊框回歸的重疊面積、中心點距離及縱橫比，但是公式中反映的是縱橫比的差異，而不是寬高與其置信度真實差異，有時會阻礙模型有效的優化相似性。所以，有學者在CIOU_Loss的基礎上將縱橫比拆開，提出EIOU_Loss，計算式如式(6)所示[11]：

式(6)中，前三項與DIOU_Loss一樣，分別表示重疊損失和中心點距離損失，后兩項表示將縱橫比拆分為預測的寬高分別與最小外接框寬高的差值，這樣使得收斂速度更快，Cw和Ch表示覆蓋兩個邊框的最小外接框的寬度和高度。

基于上述分析，本文選擇EIOU_Loss作為邊框回歸的損失函數，不但能加速收斂，而且能提高邊框回歸精度。

3.3 使用DIOU-NMS替換NMS

目標檢測最后的預測階段會輸出很多候選的anchor box，其中同一個目標往往會有許多的接近重疊的預測框，這時候就需要使用NMS挑選一個最好的邊框保留。在原始的NMS中，得分最高的框與周圍其他框分別作IOU計算，如果IOU大于一個給定的閾值，則認為是同一個物體，將刪除這個邊框。如果兩個物體十分接近且給定的IOU閾值較高時，經過NMS后就只剩下一個物體，這樣就造成漏檢的情況。為了減少這種漏檢現象，本文用DIOU-NMS代替原始的NMS，DIOU-NMS不但考慮兩個框體的IOU，還考慮兩框中心點的距離，即使兩個框的IOU較大時，如果這兩個框的中心距離也較大，則可認為這是兩個物體的候選框而不會被抑制掉，這樣就在一定程度上減少了漏檢現象和提高被遮擋物體的辨識率。

4 實驗及結果分析(Experiment and result analysis)

4.1 實驗數據集和實驗環境

由于油庫視頻監控中很少能采集到煙霧、火焰和工人信息，所以從互聯網上爬取需要的圖片。爬取的圖片可能未包含研究人員所需要的物體或者摻雜了許多的噪音，所以需對圖片進行初步篩選，最終本文選取了4，000 張圖片作為標注數據集，對標注數據集進行預處理，如重命名和將圖片統一轉換成jpg格式，使用labelImg對圖片進行手工標注，標注對象為煙霧(Smoke)、火焰(Fire)、佩戴安全帽(Hat)和未佩戴安全帽(Person)四類，標注的數據集格式為PASCAL VOC格式。將標注好的數據集按8:2的比例隨機劃分為訓練集和測試集，最終有3，200 張圖片用于訓練，800 張圖片用于測試。

此次訓練的模型是在YOLOv5s的基礎上進行改進的，在主干網絡中添加CA模塊，使用EIOU_Loss代替原來的GIOU_Loss，使用DIOU-NMS代替傳統的NMS。本次實驗在Ubuntu 18.04操作系統、NVIDIA RTX2080Ti顯卡、CUDA版本為10.1、深度學習框架為PyTorch 1.9.0的環境下進行，選取的batch_size為32，訓練輪數epochs為280。

4.2 實驗結果

將800 張測試集圖放在YOLOv5測試文件夾中，測試集中煙霧目標包含256 個，火焰目標包含186 個，佩戴安全帽目標包含891 個，未佩戴安全帽目標包含431 個。分別用原始的YOLOv5s訓練出的模型和改進后的YOLOv5訓練出的模型對測試集圖片進行檢測，最終危險目標識別結果如表1所示，模型性能對比結果如表2所示。

表1 危險目標識別結果Tab.1 Dangerous target identification results

表2 模型性能對比結果Tab.2 Model performance comparison results

由表1可以看出，模型的改進提升效果主要體現在對小目標的識別上。由表2可以看出，改進后模型較原YOLOv5s模型，平均精度提高2.9%，并且幾乎不增加模型大小和模型推理時間，改進后模型檢測效果如圖3所示。

圖3 檢測效果示意圖Fig.3 Schematic diagram of detection effect

5 結論(Conclusion)

針對傳統油庫監測系統采用人工觀察視頻監控方式存在的缺陷，本文提出了一種基于深度學習的油庫監測方法，該方法基于表現優秀的YOLOv5網絡模型，通過對原始的YOLOv5模型的部分結構進行改進，在油庫安全監測中取得了較原始YOLOv5模型更好的監測效果。最終實驗結果表明，改進后模型的平均精度mAP達到了91.2%，推理速度只需要5.1 ms，能很好地完成油庫安全監測工作，不但節省了大量人力資源，保證了油庫安全監測效果，而且進一步推動了智慧油庫的建設。