一種改進DeeplabV3網絡的煙霧分割算法

汪梓藝，蘇育挺，劉艷艷，張 為

(1.天津大學電氣自動化與信息工程學院，天津 300072;2.南開大學電子信息與光學工程學院，天津 300071;3.天津大學微電子學院，天津 300072)

火災是極具破壞性的災害之一。在火災初期，煙霧往往先于火焰產生，因此煙霧檢測對于預防火災和保障人民安全意義重大。目前煙霧檢測算法大多依據相應的場景手工選取煙霧的顏色、紋理等特征，通過分類器進行判別。但是人為地按照特定規則選取特征適用性較為單一，很難應用于不同場景。

隨著深度學習的發展，研究者轉向利用卷積神經網絡(Convolutional Neural Networks, CNN)實現煙霧檢測，算法大致分為3類：①用背景建模等方法提取出疑似煙霧區域，再輸入到卷積神經網絡進行分類[1]。由于煙霧在視頻前后幀變化較為緩慢，這類方法提取出的煙霧區域較為零散，增加了網絡對煙霧圖像的分類難度，誤檢和漏檢較多。②將整幅圖像輸入到目標檢測網絡中，用矩形框標定出目標的位置并給出目標置信度[2]。但目標檢測對象多為剛性物體，而煙霧這類目標形狀不規則且顏色半透明，易被其他目標遮擋，難以用規則的矩形框完整標出，不利于網絡對目標特征的學習。③對煙霧圖片進行逐像素點的分類預測。這個過程稱為語義分割，以每一個煙霧像素點為目標，可以更好地學習煙霧的本質特征，不僅完成煙霧的分類和定位，還能生成具有詳細邊界的煙霧區域，實現煙霧分割[3]。

由于目前尚未有公開的煙霧語義分割數據集，基于語義分割思想的煙霧檢測算法國內外少有研究。文獻[3]利用FCN(Fully Convolutional Networks for semantic segmentation)[4]語義分割模型實現了對合成煙霧圖像的訓練和分割。FCN是語義分割領域的開山之作，利用卷積層替代全連接層，輸出二維圖像。此后出現了編碼解碼器架構，編碼器通過下采樣增大感受野并提取特征，解碼器通過上采樣恢復圖像尺寸并完成語義分割。Deeplab系列引入了空洞卷積，通過在卷積核中間補零的方式替代池化下采樣，增大感受野并避免圖片細節丟失。文獻[5]加入條件隨機場來判斷像素間的關聯性。文獻[6]用帶空洞卷積的金字塔模塊(Atrous Spatial Pyramid Pooling, ASPP)并行預測語義信息。文獻[7]級聯多個空洞卷積并增加了全局池化層。

針對煙霧檢測任務的特點和需求，筆者提出了基于改進DeeplabV3的端到端的煙霧分割網絡，主要包括以下4個方面：

(1)較大擴張率的空洞卷積會造成網格效應，故在空洞卷積串聯結構末尾加入特征細化模塊，對特征圖進行密集采樣，有效地捕獲局部信息，解決信息利用率低下的問題。

(2)針對煙霧這類尺度、姿態多變的非剛性目標，提出可變形空間金字塔模塊，提高模型對目標形變的學習能力。

(3)原始網絡的解碼器預測的目標邊界較粗糙，對此提出了通道注意力解碼器，增加網絡對重要特征的篩選能力，進一步恢復煙霧圖像的空間細節。

(4)建立煙霧語義分割數據集，確保數據充足，場景豐富且具有普遍性。

1 基本原理

1.1 DeeplabV3網絡

DeeplabV3網絡結構見圖1，骨干網絡使用了殘差網絡模型。在殘差單元后級聯了擴張率(用rate表示)分別為2、4、8的空洞卷積。擴張率表示采樣的頻率，擴張率越大，感受野越大。當擴張率為1時，表示全部像素采樣；當擴張率大于2時，表示每隔(rate-1)個像素點進行采樣。在串行結構末尾添加空間金字塔并行結構，利用擴張率為6、12、18的空洞卷積學習多尺度特征，同時增加全局平均池化層捕獲全局信息。最后得到尺寸為原圖1/16的特征圖，再通過16倍上采樣恢復到原圖大小。

1.2 特征細化模塊

原網絡使用空洞卷積替代下采樣來擴大感受野，但空洞卷積的實現是通過卷積核中間補零的方式，只獲取了非零區域的信息。這種稀疏采樣性令特征圖產生網格效應，使當前層的卷積結果全部來自上一層的獨立集合，丟失了局部信息，學習到的特征往往缺乏相關性。雖然原網絡使用了不同擴張率的空洞卷積，試圖提高信息的利用率，但隨著擴張率的增大，有效的采樣點數量急劇減少，而且當擴張率為倍數關系時(如2、4、8)，仍然存在網格效應。網格效應很可能導致網絡訓練失敗，學習到錯誤的特征信息。針對此類問題，筆者設計了特征細化模塊(Feature Refinement Module, FRM)，在最后一個級聯的空洞卷積后，增加了擴張率較小的兩個單元[8]，使采樣點更加密集，以增強像素間的交互關系，消除網格效應，如圖2所示。

圖1 DeeplabV3網絡結構

圖2 特征細化網絡結構

為了降低時間復雜度，先對圖像進行降維，然后輸入到擴張率分別為2和1的單元，同時去除了殘差短路連接，防止底層的網格效應通過短路連接直接激活到頂層。此外，在每個卷積層后用BN(Batch Normalization)層對數據進行標準化，該層通過可學習的參數對小批量數據進行歸一化處理，可以簡化調參過程，增強數據的表達泛化能力，防止因網絡深度增加而帶來的梯度消失或梯度爆炸，加速模型收斂。實驗表明，擴展的特征細化模塊使當前層學習到的特征更具關聯性，提高了圖片分類的準確度。

1.3 可變形空間金字塔模塊

原網絡的ASPP模塊使用了以規則格點采樣的標準3×3卷積，而標準卷積核在同一層中不同位置的感受野大小完全相同，并不能根據目標的尺度自適應調整，較大程度地限制了網絡對目標的識別能力。煙霧這類非剛性目標，在視頻圖像中經常呈現姿態、視角等多種變化，圖片中不同位置可能對應目標的不同尺度和形變，標準卷積并不能很好地適應目標的空間變化。原網絡為了使模型適應各種形狀的物體，加入了數據增強操作，但是通過數據集使網絡適應目標形變的過程過于耗時，且對網絡的結構設計要求較高。為此，筆者設計了可變形空間金字塔(Deformable ASPP)模塊，將標準卷積核替換成可變形卷積核[9]。

標準卷積核通過規則網格R在輸入特征圖X上進行采樣，通過權重W對采樣值進行加權并求和。用p0表示輸出特征圖Y上某個點的位置，pn表示標準采樣位置，Δpn表示可變形卷積增加的位置偏移，則可變形卷積輸出特征圖表達式為

(1)

圖3 可變形卷積的實現過程

可變形卷積的具體實現如圖3所示。對于二維圖像來說，每個像素點在x、y兩個維度上各有9個偏置方向。因此，首先通過一個通道數為18的單獨卷積層來獲得位置偏移，然后將該偏移量加入到輸入層中原本固定的采樣區域中。偏移量的加入使得原始卷積每一個規整的窗口平移了不同的位置，而新的位置常常不為整數，原始特征圖上沒有像素與之對應，因此需要通過雙線性插值變換將所有新的采樣點集中起來形成新的輸入特征圖，同時保證空間分辨率不變。可變形卷積的加入使感受野自適應目標的尺度變化，可以打破原始ASPP采用固定擴張率整合不同感受野信息的限制，更加靈活地對信息進行融合，以少量模型復雜度的代價提高了網絡對形變的建模能力和學習效率。

1.4 通道注意力模塊

從底層到高層隨著感受野的增大，網絡學習到的信息也在不斷變化。在低級階段，特征圖分辨率較高，感受野較小，學習到的更多是細節特征；而在高級階段，特征圖分辨率較低，感受野較大，網絡提取到的更多是目標語義特征。原網絡在預測階段直接將最后一層特征圖進行16倍上采樣，忽略了底層網絡的細節特征，預測的目標邊界較粗糙。為了恢復目標邊界，通過逐漸上采樣的方式融合分辨率不同的特征圖進行聯合預測，避免通過一次性較大倍率的上采樣造成的誤差。在特征圖融合前，引入 “通道注意力機制”。原網絡并未對特征圖進行通道加權，默認同等對待每個通道信息，認為其對最終的目標預測貢獻相同。實際上，隨著卷積層的累加、語義信息的豐富，每個通道攜帶了不同的特征信息，這些信息與目標的關聯程度也不盡相同。如果對特征圖的通道加以權重，并學習和篩選出對目標預測貢獻較大的特征，可以減輕處理高維數據的負擔，還能讓網絡更加關注輸入信息的重要部分，更好地判斷輸入到輸出的映射關系，進一步提高模型的預測精度和泛化能力。

筆者提出的通道注意力模型(Channel Attention Module, CAM)分為壓縮和激活兩部分[10]，見圖4。壓縮部分通過全局平均池化對特征圖進行壓縮：

(2)

其中，u表示尺寸為H×W×C的特征圖，C為總通道數，uc表示該特征圖中通道為c的二維矩陣。通過全局平均池化，第c個通道的特征映射為zc。激活部分通過兩層全連接層來獲得通道間的關系表達：

s=Fex(z,W)=σ(g(z,W))=σ(W2δ(W1z)) 。

(3)

首先通過權重為W1的全連接層將通道降為1/16，再用權重為W2的全連接層進行升維，中間用Relu層來激活，用δ表示，降低模型計算量又有利于學習通道間的復雜關系。接著通過Sigmoid激活函數σ進行歸一化輸出權重s，再通過Scale函數把s加權到每個通道上：

(4)

其中，sc表示第c個通道的歸一化權重，uc與之相乘輸出帶有“通道注意力”的特征圖。

圖4 通道注意力模型結構

1.5 改進的DeeplabV3模型

以ResNet50為骨干網絡，網絡模型如圖5所示。首先，輸入圖片經過一系列圖像增強操作后被調整為512×512像素，經過原始的特征提取后，通過特征細化模塊獲取像素間的交互關系，消除網格效應。接著利用可變形空間金字塔使網絡根據目標尺度變化靈活調整感受野，獲得不同感受野的語義信息并將其融合，提升對形變的建模能力；將該輸出與原始特征相乘，可以為特征圖提供更好的空間注意力信息。關于“注意力機制”在前文已經提到，如果說通道注意力增強了通道下特定語義的響應能力，那么空間注意力是尋找空間維度上對預測目標貢獻較大的特征信息。可變形金字塔通過自適應感受野更好地定位待預測區域，獲取像素間的位置關聯。在解碼階段，對高層語義信息進行兩次2倍上采樣和一次4倍上采樣。此外，將高級特征輸入注意力模塊，以提取通道注意力信息，對低級特征進行加權，從而更有效地恢復語義信息。隨后合并高級特征和篩選的低級特征，恢復詳細的目標邊界，同時融合空間、通道兩種注意力信息，幫助模型選擇最有益的中間特征，抑制無關特征，進一步提升網絡的預測精度。

圖5 改進的DeeplabV3網絡結構

2 實驗結果與分析

2.1 數據集建立和網絡參數設定

目前尚未有公開的煙霧語義分割數據集。由于煙霧的標注過程較復雜，文獻[3]利用了大量合成煙霧圖像，但真實與合成的煙霧樣本分布不同，針對合成煙霧樣本訓練的模型可能無法較好地適用于實際復雜場景中。基于上述問題，筆者按照PASCAL VOC數據集的標注方式建立了一個場景豐富的煙霧語義分割數據集，圖片來自權威的國家火災重點實驗室網站(http://smoke.ustc.edu.cn/datasets.htm)以及實驗室收集到的煙霧視頻資料，包含食堂、操場、野外、車庫、工廠、農房、地鐵站等近百個場景，共計8 081張，其中訓練集6 081張，測試集2 000張。算法在mxnet框架上使用python3.6編寫實現，在Ubuntu系統下使用圖形處理器進行加速。網絡使用帶動量的隨機梯度下降算法進行訓練，共訓練100代，動量為0.9，權重衰減為0.000 2，批處理個數為8；學習率采用“Poly”策略，隨著迭代次數增加逐漸衰減。

2.2 實驗結果分析

圖6為筆者提出算法與DeeplabV3網絡在測試集中部分圖像的分割結果。從左至右第1到4列分別為原始煙霧圖像、煙霧標簽、DeeplabV3網絡的分割圖像、筆者提出算法的分割圖像，包含6種不同的煙霧場景。第1、4、6行，原始網絡的像素預測存在分割不足現象。第1行左上角的煙霧像素沒有被原網絡預測出，但是筆者提出的模型通過特征細化模塊，捕捉到了特征圖的局部信息，更好地還原了煙霧像素。第4行是在煙霧大幅度擴散變形的情況下，原網絡的分割缺失了左下方大部分像素點，而筆者提出的算法除了一小段下邊緣像素存在差異外，基本擬合了真實的煙霧標簽。另外，原圖煙霧邊界較模糊，煙霧標簽不夠精確等因素也造成了一定影響。第6行原網絡沒有分割出顏色較淺的煙霧像素，而改進后的網絡可以更好地學習像素間的關聯性，進而得到較完整的分割結果。第2、3、5行，原網絡存在分割過度現象。第2行中原網絡將標簽中一些彎折的邊緣直接預測成平滑的曲線，分割結果較粗糙，筆者提出的算法能融合不同分辨率的特征圖聯合預測，分割出的煙霧邊界更加鋒利；第3、5行中原網絡將部分非煙霧像素誤判為煙霧像素，而筆者提出的算法通過靈活的感受野，可以適應不同場景下的目標形變，能較為準確地區分煙霧像素和背景像素。

綜上，筆者提出的算法不僅在多種煙霧場景中有較好的分割性能，當煙霧出現扭曲、擴散等形狀尺度變化時，依然能準確地分辨識別出煙霧像素的特征，不會出現明顯的分割過度和分割不足現象，具有較強的魯棒性。

圖6 筆者提出的算法與DeeplabV3的定性比較

2.3 與經典語義分割網絡對比

為了保證算法評價的客觀性，將筆者提出的算法與文獻[7]、文獻[11]和文獻[12]中的經典語義分割網絡在煙霧數據集上從分割精度、速度兩方面進行對比，并使用分割兩大指標，即平均像素精確度(Mean Pixel Accuracy，MPA)和平均交并比(Mean Intersection over Union，MIoU)來評估，結果如表1所示。

表1中，“時間”是指平均一張512×512像素圖片的預測時間。Ours1在基準網絡中加入特征細化模塊， 兩項分割指標約提高了0.27%和0.95%，時間減少了22.81 ms。原網絡在金字塔模塊處理的特征圖通道為2 048，考慮到煙霧檢測的實時性，將通道降為256后輸入空間金字塔，大大降低了時間復雜度。Ours2在Ours1上加入可變形空間金字塔模塊，兩項指標又約提高了0.21%和0.93%，時間僅增加約0.07 ms。由此可見，可變形卷積在較小參數的代價下進一步提高了像素預測精度。Ours3在Ours2上加入通道注意力模塊為最終網絡，兩項指標比基準網絡約提升了0.56%和2.17%，時間減少了18.13 ms。文獻[11]加入較多的最大池化層，雖然獲得了大范圍感受野，但丟失了圖像的空間信息，難以準確地分割出煙霧圖像，且不能很好地適應煙霧形變；文獻[12]和文獻[7]加入了空洞卷積和空間金字塔，得到了較強的語義信息，但是缺乏底層的空間細節，分割結果較粗糙，同時由于空洞卷積計算成本較高，當特征圖維度過大時將增大內存開銷。為了提升運算速度，在改進的模塊中用1×1的卷積核進行降維，降低了網絡的時間復雜度。筆者提出模型的各項指標同其他算法相比，均取得最高值，在分割速度和分割精度兩方面做了較好的權衡，也從側面體現了加入特征細化、可變形金字塔和通道注意力模塊的必要性。

表1 不同算法在數據集上的定量比較

2.4 與現有煙霧檢測算法對比

為了進一步驗證筆者提出算法的有效性，采用文獻[3]的方法，將筆者提出的煙霧分割網絡應用于煙霧檢測，并與文獻[13-15]中3種現有的煙霧檢測算法進行對比實驗。煙霧視頻來自土耳其畢爾肯大學實驗室(http://signal.ee.bilkent.edu.tr//VisiFire/Demo/SampleClips.html)，在圖形處理器上自動處理并檢測，結果見圖7。選取真正率RTPR和真負率RTNR作為評價指標，結果見表2。

表2 在Bilkent視頻集的煙霧檢測結果對比

實驗表明，筆者提出的算法在測試視頻上取得了最高的平均RTPR、RTNR。分析原因為：文獻[13-15]利用煙霧顏色紋理等進行判別，在一定程度上表達了煙霧的特征，但區分力較弱，易受外界干擾，當出現與煙霧顏色紋理特征相似的目標時易造成誤檢。而筆者提出的算法通過大量的煙霧數據來訓練級聯的卷積神經網絡，可以提取目標的本質特征，使之在不同場景下有較好的檢測性能。影響檢測效果的因素包括訓練集不夠豐富，視頻分辨率低，在之后的工作中會繼續對數據集進行補充和完善，提高算法的表達能力。

3 總 結

針對現有煙霧檢測方法在場景復雜、目標尺度多變等條件下的不足，筆者搭建了改進的DeeplabV3語義分割網絡。通過特征細化模塊消除網格效應，增強像素間的交互關系；利用可變形金字塔提升模型對形變的建模能力；改良了基礎解碼器，引入“注意力”機制，篩選出更具區分力的通道信息，并指導恢復底層的空間細節。實驗表明，相比于經典的語義分割網絡和現有的煙霧檢測算法，筆者提出的算法顯著地提高了煙霧像素的分類精度，為煙霧檢測領域提供了新的參考。由于實際火災場景較復雜，硬件資源有限，算法的處理效率距離工程實際需求仍有差距。如何優化算法的時間復雜度，提升運算效率，將成為日后主要的研究目標。