基于YOLOv3的自注意力煙火檢測算法*

馮庭有，蔡承偉，田 際，江志宏，周俊煌，陳 樂

（1.華能東莞燃機熱電有限責(zé)任公司，廣東東莞 523000；2.廣州市奔流電力科技有限公司，廣東廣州 510700）

0 引言

火災(zāi)發(fā)生具有可預(yù)見性小、蔓延速度快、危害性大的特點，是危害生命安全和企業(yè)生產(chǎn)安全的重大事故的因素之一。如何快速并準確的檢測識別是安全防控的重要方面。

早期的煙火防控主要依靠人工巡邏查看為主，發(fā)現(xiàn)則及時進行撲滅，該方法依賴于大量人工巡邏。隨著廠房、器件和設(shè)備的增加，導(dǎo)致巡查難度不斷增加，大大降低了巡檢的效率。

隨著傳感器和數(shù)字化監(jiān)管技術(shù)的發(fā)展，針對煙霧和火焰具有的高溫特性，逐漸研發(fā)了基于紅外方式的煙火檢測裝置[1]。此類裝置根據(jù)物體隨溫度所散發(fā)的紅外線多少來繪制熱力圖成像，從而達到檢測的目的。然而，此類方法無法對高溫類別進行甄別和判斷，受檢測區(qū)域易受到高溫設(shè)備的干擾和影響而導(dǎo)致誤報，虛警率高。紅外輻射與監(jiān)控距離增加成反比，距離越遠，成像越差。因此，此類裝置覆蓋傳感監(jiān)測范圍有限，極易出現(xiàn)漏報。

隨著計算機圖像處理技術(shù)不斷發(fā)展，基于圖像處理和識別的方法在逐步發(fā)展，通過成像的先驗特征，如顏色[2]、紋理[3-4]、梯度[5]等因素進行特征設(shè)計，結(jié)合霍夫變換、卡爾曼濾波、梯度計算等方式實現(xiàn)對目標區(qū)域的特征提取和判斷，但受限于人工設(shè)計算子的感官偏向性，此類算法易受到外部環(huán)境的干擾，魯棒性不強。近年來，隨著計算機性能的不斷提升，基于深度學(xué)習(xí)的圖像算法通過自適應(yīng)的特征信息抽取來實現(xiàn)對物體的識別與檢測，具備較好的魯棒性和廣泛的應(yīng)用性。

現(xiàn)有的深度學(xué)習(xí)目標圖像檢測算法主要是通過多層堆疊的卷積層用以實現(xiàn)對圖像特征的抽取，本文使用YOLOv3[6]（You Only Look Once version 3）檢測煙火圖像進行實驗，由于煙火圖像的多變性和無規(guī)則性，該算法存在漏檢現(xiàn)象，檢測效果穩(wěn)定性不高。

針對此問題，本文提出一種基于自注意力特征的改進YOLOv3煙火檢測算法，融合上下文信息的基礎(chǔ)上引入自注意力機制，引導(dǎo)模型關(guān)注關(guān)鍵性特征，以增強目標檢測的性能和穩(wěn)定性。

1 相關(guān)工作

1.1 深度學(xué)習(xí)的發(fā)展

隨著計算機的不斷發(fā)展和應(yīng)用，人工智能在無人駕駛、機器翻譯、語音識別等領(lǐng)域都有著廣泛的應(yīng)用。與傳統(tǒng)的機器學(xué)習(xí)算法相比，基于深度學(xué)習(xí)的人工智能算法有著更好的表現(xiàn)效果。2012年，Hinton團隊在ILSVRC[7]（ImageNet Large-Scale Visual Recognition Challenge）上采用神經(jīng)網(wǎng)絡(luò)并一舉奪得冠軍。2013年，Pierre Sermanet等人提出了OverFeat[8]算法，此算法兼顧了圖像分類，檢測，定位等多項任務(wù)。此后R-CNN[9]與YOLO[10]等系列算法提出，受到目標檢測任務(wù)研究人員和眾多工程應(yīng)用人員的青睞。目標檢測算法可分為基于區(qū)域候選的雙階段算法和基于目標回歸的單階段算法，區(qū)域候選算法具有精度高，檢測速度慢的特點，而目標回歸算法檢測速度較快，但檢測精度較低。2016年，SSD[11]算法在二者之間找了較好的平衡點，此后Mask-RCNN[12]和Retina-Net[13]等算法被相繼提出。

1.2 注意力機制的發(fā)展和應(yīng)用

注意力機制一直都是計算機視覺中的一個研究熱點，其想法來源于人的視覺行為特點，20世紀90年代，研究者們發(fā)現(xiàn)人類在圖像觀察中，并非關(guān)注圖像的全部信息，而是重點關(guān)注感興趣的區(qū)域進行特征提取和判斷。

2014年，Mnih等[14]在循環(huán)神經(jīng)網(wǎng)絡(luò)中引入注意力機制實現(xiàn)圖像分類。隨后，D Bahdanau等[15]提出了將注意力機制引入自然語言機器翻譯任務(wù)中用于實現(xiàn)翻譯對齊。此后注意力機制在自然語言處理領(lǐng)域大放異彩，并不斷進行改進。2017年，Google團隊Vaswani等[16]提出了，一種純注意力特征模塊的用于自然語言處理，并刷新多項記錄。隨后Vi T[17]等算法相繼被提出，基于自注意力的神經(jīng)網(wǎng)絡(luò)算法在圖像領(lǐng)域應(yīng)用廣泛。

注意力機制按照編碼方式可分為兩種：硬注意力機制和軟注意力機制。硬注意力方式采用one-hot編碼的方式進行設(shè)定，在每一組待判定的特征編碼中采用概率最高的概率信息，有利于去除噪聲。硬編碼轉(zhuǎn)換不可微，模型整體優(yōu)化較難；軟注意力方式采用加權(quán)的方式將數(shù)據(jù)映射為0-1之間的概率。此種方式有利于模型的優(yōu)化，也可兼顧調(diào)節(jié)不同權(quán)重的信息預(yù)測[18-19]。

本文為了進一步提升煙火檢測的精度，提出了一種基于YOLOv3的自注意力特征煙火檢測算法。該自注意力特征模塊，融合上下文信息，引導(dǎo)模型關(guān)注特征關(guān)鍵信息，提升檢測精度。本文提出一種基于YOLOv3的多尺度的自注意力煙火檢測算法，多尺度注意力特征檢測較好地實現(xiàn)對場景下的煙火監(jiān)控。

2 實驗

2.1 數(shù)據(jù)集和預(yù)處理

本數(shù)據(jù)集基于現(xiàn)實場景應(yīng)用的基礎(chǔ)上，收集了4 800張內(nèi)容包含有煙霧和火焰的數(shù)據(jù)圖像。如圖1所示，其中數(shù)據(jù)集的標注格式采用Pascal VOC[20]進行存儲。隨機選取4 500張圖像作為訓(xùn)練集，剩余圖像作為測試集進行模型測試。

圖1 部分數(shù)據(jù)集展示

圖像預(yù)處理部分主要包含有數(shù)據(jù)增廣策略，通過圖像處理的方式增加圖像數(shù)據(jù)的多樣，此種策略有利于增強模型的魯棒性。常見的增廣手段包含有旋轉(zhuǎn)、水平翻轉(zhuǎn)、明暗變換、增加噪聲等方式。本文采用旋轉(zhuǎn)、水平翻轉(zhuǎn)和對比度變換3種方式預(yù)處理圖像，如圖2所示。

面對國內(nèi)外食品安全面臨的緊迫形勢及國家食品安全戰(zhàn)略政策導(dǎo)向，培養(yǎng)高水平食品質(zhì)量與安全專業(yè)人才是國家和社會對高校人才培養(yǎng)的基本要求。在這樣的大背景下，課程團隊對“食品安全控制技術(shù)”課程的內(nèi)容體系及教學(xué)模式進行了積極的探索與實踐，構(gòu)建了以食品全產(chǎn)業(yè)鏈安全危害與控制措施為主線的課程內(nèi)容體系，提出了以案例教學(xué)、分組討論、理論教學(xué)及實驗教學(xué)和實踐教學(xué)相結(jié)合、綜合考評為標志的教學(xué)模式，且成效顯著。最后，結(jié)合近3年的教學(xué)實踐，提出了適應(yīng)性教材的迫切需要，以期提高“食品安全控制技術(shù)”課程教學(xué)的質(zhì)量與效果，培養(yǎng)出高水平的專業(yè)人才，為切實保障食品質(zhì)量與安全作出貢獻。

圖2 數(shù)據(jù)增強效果

2.2 YOLOv3算法

原有的YOLOv3算法是通過卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)端到端的目標回歸預(yù)測任務(wù)。其網(wǎng)絡(luò)結(jié)構(gòu)見2.3.2節(jié)所述。YOLOv3目標檢測模型包含3個部分：主干網(wǎng)絡(luò)、融合層及預(yù)測層。YOLOv3算法采用darknet-53網(wǎng)絡(luò)模型作為模型的主干網(wǎng)絡(luò)提取原始圖像的目標特征。通過通道合并的方式融合主干網(wǎng)絡(luò)中多尺度特征的信息，將特征輸入預(yù)測層進行目標邊界、類別和置信度的預(yù)測。

通道合并的方式實現(xiàn)多尺度特征的上下文信息融合，但無法捕捉特征圖內(nèi)部信息的差異性，其具體操作如圖3所示。圖中Fi表示高分辨率特征，F(xiàn)i+1表示低分辨率特征。Fi+1通過Fup(·)實現(xiàn)分辨率大小與Fi保持一致，采用維度疊加以實現(xiàn)特征信息實現(xiàn)融合。

圖3 通道融合示意圖

其中Fup(·)表示特征尺寸對齊，其表達式如式（1）所示。尺寸對齊的方式一般包含有轉(zhuǎn)置卷積、線性插值等方式，本文采用雙線性插值的方式。

式中：F為特征，C′，W′，H′分別為特征原有的通道、寬度、高度維度，W、H為特征的對齊后的尺寸。

2.3 基于YOLOv3自注意力煙火檢測算法

2.3.1 自注意力機制

盡管YOLOv3算法利用基于通道合并的方式實現(xiàn)了多尺度信息的融合，但為了進一步排除非關(guān)鍵信息的干擾，引導(dǎo)網(wǎng)絡(luò)聚焦于特征中的關(guān)鍵特征，本文引入注意力機制。其結(jié)構(gòu)如圖4所示。

圖4 自注意力機制結(jié)構(gòu)示意圖

在自注意力模塊中，其輸入為來自主干網(wǎng)絡(luò)的特征圖Fi和Fi+1，結(jié)構(gòu)分別為C×W×H和C′×W′×H′。其中，C、C′為特征通道數(shù)，W、W′為特征圖寬度，H、H′為特征圖高度。一般來說，F(xiàn)i大于Fi+1特征分辨率，在模型的最后一層中，F(xiàn)i等于Fi+1特征分辨率，因此不需要Fi與Fi+1特征結(jié)構(gòu)對操作。自注意力模塊運算的流程如下所示。

（1）將輸入特征Fi+1先后經(jīng)過Fup(·)，F(xiàn)c-align的方式實現(xiàn)特征結(jié)構(gòu)的對齊，其中Fc-align采用1×1的卷積實現(xiàn)特征通道對齊，得到結(jié)構(gòu)為C×W×H特征圖FK。

（2）輸入特征Fi分別通過兩次3×3的卷積轉(zhuǎn)換為特征FV和F Q，特征的尺度大小保持不變。

（3）將步驟（1）中的FK特征與步驟（2）中的FQ逐元素相乘實現(xiàn)上下文信息的融合，經(jīng)過Bnorm實現(xiàn)對W×H維度標準化得到特征FT，Bnorm降低特征方差防止特征權(quán)重兩極化嚴重。其中Bnorm計算如式（2）所示：

式中：F為輸入特征矩陣；d為標準化的維度，值為W×H。

（4）將步驟（3）中得到的特征FT在W×H的維度上進行softmax歸一化，與步驟（2）得到的F V進行對應(yīng)元素相乘得到注意力特征FA，完成自注意力模塊的計算。

總體的自注意力模塊的計算如式（3）所示：

式中：*表式對應(yīng)元素相乘。

2.3.2 網(wǎng)絡(luò)結(jié)構(gòu)

改進后模型仍然包含3個部分：主干網(wǎng)絡(luò)，自注意力層及預(yù)測層，如5所示。主干網(wǎng)絡(luò)總體結(jié)構(gòu)借鑒了殘差神經(jīng)網(wǎng)絡(luò)的“short-cut”的思路，有利于梯度在深層網(wǎng)絡(luò)中的傳遞和模型的優(yōu)化，在運算速度和表現(xiàn)精度上不遜色于Resnet101網(wǎng)絡(luò)，后文也有對比，具備較好的實用性。其基本的結(jié)構(gòu)如表1所示。

表1 主干網(wǎng)絡(luò)結(jié)構(gòu)表

在主干網(wǎng)絡(luò)中，Conv_res_3、Conv_res_4、Conv_res_5位置輸出特征后嵌入自注意力模塊。融合上下文信息，通過自注意力模塊計算，輸出特征圖內(nèi)信息的差異性，使網(wǎng)絡(luò)優(yōu)化傾向于目標關(guān)鍵特征的提取，提高模型的整體表現(xiàn)性能。

YOLOv3預(yù)測層在多尺度的注意力特征上進行預(yù)測，通過包含了類別預(yù)測，目標置信度預(yù)測和位置預(yù)測。其優(yōu)化目標包含有3個方面，如式（4）所示：

式中：l為總損失；lbbox為位置損失；lclass為分類損失；lconf為置信度損失。

圖5 模型對比

其中類別預(yù)測采用Sigmoid結(jié)合交叉熵損失函數(shù)實現(xiàn)多類別的預(yù)測，其分類損失計算如式（5）所示：

式中：lclass為分類損失；為預(yù)測類別；ci為真實類別；如果在i，j表示位置坐標處有物體則為1，反之則為0；pc為置信度概率；BC E為二分類用的交叉熵損失，N為劃分網(wǎng)格的數(shù)量。

位置損失通過計算預(yù)測框和真實框之間的偏移量得出。本次采用平方差的形式予以計算，如式（6）所示：

式中：lbbox為位置損失，i，j為位置坐標，xi為真實框中心行坐標；yi為真實框中心縱坐標；wi為真實框的寬度；h i為真實框的高度；為預(yù)測框中心行坐標；為預(yù)測框中心縱坐標；為預(yù)測框的長度；為預(yù)測框的寬度。λcoord為位置損失系數(shù)，一般設(shè)置為1。

目標置信度為錯誤預(yù)測目標的概率之差，其總體的損失計算如式（7）所示：

式中：λnoobj為置信度損失系數(shù)；表示在i，j坐標處沒有物體為1，反之為0；pc為預(yù)測的置信度概率；N為劃分網(wǎng)格的數(shù)量。

3 實驗結(jié)果

3.1 YOLOv3與YOLOv3自注意力對比

YOLOv3與基于YOLOv3的自注意力網(wǎng)絡(luò)算法的對比如圖6所示。經(jīng)過80 000次的迭代訓(xùn)練。模型基本處于穩(wěn)定且收斂的狀態(tài)。

圖6 訓(xùn)練損失與迭代次數(shù)

本文在測試集上驗證算法，基于YOLOv3的目標檢測算法在準確率和召回率上都取得一定提升。其對比如表2，基于YOLOv3的模型在測試集上的準確率達到了92.1%，召回率達到了90.5%。

表2 準確率和召回率對比

3.2 主干網(wǎng)絡(luò)對比

為了進一步提升精度，本文嘗試將主干網(wǎng)絡(luò)替換為Resnet101網(wǎng)絡(luò)。為方便對比，本文在Resnet101中也采用后3個殘差塊輸出特征作為注意力模型的輸入，如表3所示。基于Resnet101的YOLOv3方法在準確率上與YOLOv3算法相當。基于YOLOv3自注意力網(wǎng)絡(luò)在不同的主干網(wǎng)絡(luò)中仍然具有較好的表現(xiàn)。

表3 主干網(wǎng)絡(luò)方法的精度對比

3.3 效果圖展示

本文在基于YOLOV3的目標檢測算法上引入自注意力機制，用于煙火圖像檢測，其效果如圖7所示，檢測效果較好。

圖7 煙火檢測效果展示

4 結(jié)束語

本文提出了一種基于YOLOv3的自注意力煙火檢測算法，通過融合模型上下文信息，引入自注意力模塊，引導(dǎo)模型自適應(yīng)學(xué)習(xí)，提取關(guān)鍵的特征信息，從而有效地提升了模型的特征表達和檢測精度。本文還通過不同模型方法的結(jié)果對比發(fā)現(xiàn)此結(jié)構(gòu)同樣有效。然而，盡管如此，研究中也發(fā)現(xiàn)，采用矩形框的目標檢測標注框在非剛性物體的檢測中具備較大的難度和缺點，矩形框無法較好地框住形態(tài)多變的目標。因此，在今后的研究中，一方面將繼續(xù)研究自注意力機制在神經(jīng)網(wǎng)絡(luò)算法中的深層次擴展和應(yīng)用，另一方面，也將探索目標標記檢測框的設(shè)計和改進方式，以方便更好地實現(xiàn)對目標的檢測，提升模型的表現(xiàn)性能。