基于FCN-LSTM的工業煙塵圖像分割*

張俊鵬，劉 輝，李清榮

(昆明理工大學信息工程與自動化學院，云南 昆明 650000)

1 引言

工業煙塵排放是導致大氣污染的主要原因[1]。對工業煙塵進行監測，可以及時發現污染問題并采取治理措施，對污染治理有著重要意義。近年來，計算機視覺系統得益于其非接觸、響應及時等特點，在工業中得到了廣泛的應用[2]。Hsu等[3]設計了基于計算機視覺技術的工業煙塵排放實時監測系統。使用計算機視覺系統對工業煙塵排放進行監測，具備更好的實時性，同時可以有效減少人力物力的使用。采用計算機視覺進行煙塵監測的流程可以分為圖像采集、圖像分割、特征提取和結果輸出幾部分。首先通過工業攝像機獲取煙塵排放視頻信息，之后對采集的圖像進行處理，將煙塵區域從圖像中分割出來，最后計算煙塵區域平均灰度值，將其與林格曼煙氣黑度圖進行對比判定污染等級[4]。其中，將煙塵區域和背景準確分離是整個過程的關鍵和難點所在。

基于數字圖像處理技術的工業煙塵分割方法包括紋理分析法[5 - 7]、基于區域的方法[8 - 10]、基于閾值的方法[11 - 14]和差分法[14 - 16]。其中，紋理分析法旨在根據煙塵特有的紋理特性識別圖像中的煙塵，LBP(Local Binary Patterns)憑借其反映圖像的局部紋理特征[17]的特點，被應用于煙塵檢測任務中，如趙敏等[5]分別提取了3種不同的改進的LBP特征，之后使用支持向量機分類。Yuan[7]構建了多尺度圖像金字塔架構，提取每一層LBP和基于方差的LBP特征生成LBP金字塔，計算對應的直方圖并訓練分類器進行煙塵識別。基于煙塵的紋理特性識別煙塵的不足之處在于紋理作為一種人工設計的特征，用于識別更多的具備不同特征煙塵時的魯棒性仍有待提高[18]。基于區域的方法則根據圖像中像素的相似性分割出特定的區域[19]。張曉梅等[8]使用了區域生長、區域分裂與合并的方法分割煙塵圖像；王亞楠等[9]將區域生長算法應用于視頻中的煙塵區域分割。因為區域生長需要手動確認種子點，所以人為因素較多，而且分割結果中會出現空洞，而區域分割與合并方法雖然解決了區域生長的空洞問題，但是會出現分割邊緣不準確的情況[8]。基于閾值的方法[20]根據圖像的灰度直方圖確定一個或多個閾值，再根據像素的灰度值和閾值的比較結果進行分類。褚益[21]提出了基于貝葉斯決策理論的最小誤差與閾值分割方法。類似的還有顏色建模的方法，如Calderara等[11]提出一種改進的貝葉斯方法，通過小波變換系數和顏色信息分析圖像能量確定煙塵區域。基于閾值或顏色的方法容易受到光線變化的影響，而且在煙塵和背景物體顏色相近時無法有效區分煙塵和背景[13]。差分法是檢測靜止背景中運動目標的常用方法，背景建模法作為差分法的一種，在煙塵檢測任務中有著較為廣泛的應用。王文哲等[14]首先構造一種實時更新的背景模型，對之后的待檢測圖像使用差分法確定煙塵區域。魏旭賓等[15]首先通過差分圖像確定大致的煙塵目標區域，之后構造高斯背景統計模型確定分割閾值。因為差分法的檢測目標不限定于煙塵，即檢測的是一段時間內所有移動的物體，故容易受到突然闖入的飛鳥等因素的干擾[3]。

目前，卷積神經網絡等深度網絡被廣泛應用于圖像分類[22]、目標檢測[23]等任務中，并取得了相比于傳統數字圖像處理方法更高的準確度。訓練深度網絡需要大量數據，但深度網絡的優勢在于具備更好的適應性，同時提供了端到端的解決方案，即由輸入端的數據直接得到輸出端的結果，避免了數字圖像處理方法分割煙塵過程中常使用的圖像預處理和結果修復等多個步驟。使用深度網絡模型檢測圖像中煙塵的方法包括目標檢測和語義分割2類[24]。目標檢測是一種基于候選區域的檢測方法，如Zhang等[18]將Faster R-CNN(Faster Region-Convolutional Neural Network)應用于煙塵檢測，程淑紅等[25]提出了結合高斯模型與YOLO v2網絡的煙塵檢測方法，首先使用混合高斯模型確定大致的煙塵區域，在此基礎上訓練YOLO網絡，以確定最終的煙塵區域。目標檢測的結果是用矩形框框出的圖像中的煙塵區域，導致結果中必然包含大量背景區域，會影響后續基于林格曼煙氣黑度等級的污染等級計算結果。另一類語義分割的方法通過對每一個像素進行分類從而實現圖像目標區域的像素級分割。王文哲[26]使用了全卷積網絡對煙塵圖像進行分割;Yuan等[27]設計了包含粗糙分割和精細分割2個分支的網絡，2個分支都采用了編碼解碼結構的卷積網絡；Yang等[28]采用條件生成對抗網絡模型分割連續視頻幀中的煙霧區域。基于全卷積網絡的方法雖然達到了較高的準確度，但是在復雜場景下的分割準確度還有待提高，如背景中和煙塵相似度較高的云的干擾會對分割準確度造成影響，經常出現將一部分屬于云的區域判斷為煙塵的情況。

本文以全卷積網絡為基礎模型，針對由于煙塵和云的相似性較高導致的全卷積網絡難以有效區分二者這一問題，提出一種結合長短時記憶網絡模塊的全卷積網絡模型。煙塵和云雖然有較高的相似性，但從序列圖像數據中可以發現，煙塵的運動速度明顯快于背景中云的速度，故本文通過分析序列數據中煙塵的動態特性對煙塵和背景中的云進行區分。全卷積網絡只分析圖像的空間特性，為賦予網絡處理序列圖像的能力，采用結合循環神經網絡的方案，在現有全卷積網絡對圖像空間特征提取的基礎上，添加長短時記憶網絡模塊用于提取時序特征，提出一種結合長短時記憶網絡模塊的全卷積網絡，通過捕獲序列圖像間的更多特征信息來對運動的煙塵和背景進行有效區分。實驗結果表明，本文模型可以有效區分煙塵和背景中的云，同時對全卷積網絡分割結果中常出現干擾點的問題也有改善，煙塵的分割結果準確度更高。

2 煙塵特性分析

工業煙塵作為一種非剛體物質，具有形狀不固定、邊緣毛糙、和云相似度較高等特點，這些特點給煙塵分割任務造成了一定的困難。為了觀察網絡模型分割不同場景中煙塵的表現，將煙塵排放圖像按照如圖1所示的5個場景進行分類:易辨場景、薄煙場景、多目標煙塵場景、小區域煙塵場景、干擾(云)場景。

Figure 1 Classification of smoke image scenes圖1 煙塵圖像場景分類

前期工作中使用煙塵數據集訓練了全卷積網絡并對生成的模型進行了測試，再根據模型預測結果與手動標記結果計算相關的評價指標。從分割結果中發現，全卷積網絡在干擾場景測試集上表現最差，測試結果中出現了大量的將一部分云預測為煙塵的現象；在指標方面，在干擾場景測試集上的各項評價指標明顯低于其他場景中的。

分析造成這一問題的原因，煙塵和干擾場景中主要的干擾元素(云)在顏色與紋理上均表現出較高的相似性，導致全卷積網絡僅根據圖像的空間特征難以對二者進行有效區分。因為序列圖像中的煙塵是運動的，而背景中云的狀態是靜止的或者運動較緩慢，所以可以通過序列圖像的時間特征區分煙塵和云，那么一個具備圖像序列特征處理能力的網絡應該可以區分二者，從而提升網絡的抗干擾性能。

3 基于FCN-LSTM的工業煙塵圖像分割模型

為了提高全卷積網絡的抗干擾能力，本文模型在全卷積網絡提取工業煙塵圖像空間特征的基礎上增加了長短時記憶模塊，通過記憶序列圖像的上下文信息，捕獲遠距離標簽的依賴性。本文提出的模型結構如圖2所示，分為2部分：煙塵圖像空間特征提取部分和煙塵圖像時序特征提取部分。

3.1 煙塵圖像的空間特征提取

煙塵空間特征提取網絡選擇的是語義分割領域中經典的全卷積網絡FCN(Fully Convolutional Network)[29]，全卷積網絡接收任意尺寸的圖像，經過網絡的預測，生成像素級的圖像分割結果，能夠有效滿足工業煙塵分割任務的需要。

3.1.1 全卷積網絡

全卷積網絡是由卷積神經網絡轉換而成的用于圖像語義分割的網絡模型，全卷積網絡的基本組成仍然是卷積層和池化層，圖像經過的這一系列計算可以表示為:

Xm+1=ReLU(pool(w*Xm+b))

(1)

其中,Xm表示第m層的輸入圖像或特征圖，w表示卷積過濾器權重，b表示偏置，*表示卷積計算，pool(·)函數表示池化操作，ReLU(·)表示激活函數，Xm+1表示經過該層計算后輸出的特征圖。

Figure 2 Network structure of this paper圖2 本文網絡結構

卷積神經網絡接收固定尺寸的輸入圖像，經過卷積計算后經由全連接層輸出對應分類數目的n維向量，這一操作使預測結果丟失了圖像的空間信息。全卷積網絡通過將全連接層替換為使用1×1尺寸卷積核的卷積層，保留圖像的空間信息，通過對每個像素分別進行預測得到像素級的分割結果。另一方面，雖然網絡中的池化層增大了感受野的同時減少了計算消耗，但也使特征圖的尺寸逐漸變小，經過最后一層卷積層運算后的特征圖尺寸是原始圖像的1/32。為了將這一粗糙輸出映射到原始圖像的密集像素，使用插值的方式對其進行反卷積操作，恢復至原始圖像尺寸，在網絡中執行上采樣以進行端到端的學習。為了細化分割結果，全卷積網絡使用了跳躍結構融合深層的全局信息和淺層的局部信息。通過融合不同層次的池化層結果，衍生出FCN-16s和FCN-8s 2種模型。

3.1.2 工業煙塵圖像分割的全卷積網絡結構

本文模型的前端是全卷積網絡結構,用于對輸入的煙塵排放圖像進行空間特征提取。網絡接收任意尺寸的三通道煙塵圖像，輸出單通道的煙塵分割結果。全卷積網絡部分包括8組卷積層(圖2中conv1～conv8)、5個池化層(pool1～pool5)和3個反卷積層(deconv1～deconv3)。卷積層用于煙塵圖像的空間特征提取，每一層卷積后連接ReLU激活函數層，池化層增大網絡的感受野的同時減少網絡的參數。為了減少訓練對數據量的需求，同時提高訓練的速度，網絡前半部分的卷積層和池化層(conv1～conv5，pool1～pool4)的參數使用預訓練的VGG-19(Visual Geometry Group)模型的權重，每層卷積層之后是ReLU激活函數計算，池化層的池化方式是平均池化。后半部分(conv6～conv8)是替換掉分類網絡原有全連接層的卷積層，保持了特征圖原有的空間信息，添加dropout層用于防止過擬合問題的發生。采用跳躍結構提高分割結果的準確度，最后一個卷積層輸出的結果進入反卷積層，進行2倍上采樣操作，和第4層池化層的結果進行相加。融合后的結果再進行一次2倍上采樣，和第3層池化層的結果再次融合后作為煙塵圖像空間特征提取的結果。

3.2 煙塵圖像的時序特征提取

全卷積網絡只分析圖像的空間特性，為了使網絡能夠對序列圖像進行處理，在網絡后半部分使用循環神經網絡結構提取圖像的時序特征。

3.2.1 長短時記憶網絡

循環神經網絡[30]因為其對序列數據的處理能力被廣泛應用于目標追蹤、自然語言處理等任務中，長短時記憶LSTM(Long Short-Term Memory)網絡[31]是特殊的循環神經網絡，憑借其特有的門控結構解決了循環神經網絡在處理過長序列時容易出現的梯度消失問題，因此更適用于處理序列數據。盡管LSTM在處理時序關系時有很好的表現，但LSTM計算中使用的按位(pointwise)乘法操作產生了大量的空間數據冗余。針對這一問題，文獻[32]提出了ConvLSTM，使用卷積計算替換了門控函數中原有的按位乘法運算。ConvLSTM結構的門控函數通過Sigmoid和卷積運算實現，如式(2)～式(7)所示：

i=σ(wi*Xt+Ii*Ht-1+bi)

(2)

f=σ(wf*Xt+If*Ht-1+bf)

(3)

y=tanh(wy*Xt+Iy*Ht-1+by)

(4)

o=σ(wo*Xt+Io*Ht-1+bo)

(5)

Ct=f°Ct-1+i°y

(6)

Ht=o°tanh(Ct)

(7)

其中，Xt表示t時刻輸入的特征圖，Ht-1表示t-1時刻的輸出特征圖，Ct-1表示t-1時刻的存儲向量，σ(·)表示Sigmoid運算，tanh(·)表示tanh運算，°表示矩陣乘法運算，*表示卷積運算，w和I表示不同的權重項，i表示輸入門的計算結果，f表示遺忘門的計算結果，y表示輸入值，o表示輸出門，Ct表示新狀態，Ht表示輸出。

3.2.2 工業煙塵圖像分割的長短時記憶結構

LSTM可以對序列煙塵圖像進行處理，每次處理的除了當前幀的煙塵圖像，還包括之前的圖像的特征信息，使用舊的特征信息對當前的特征信息進行輔助判斷。其特有的門控結構可以保留有用的特征信息，對于無用的信息則及時丟棄。LSTM通過此種方式處理煙塵排放圖像的時序特征信息，對煙塵和背景中的干擾元素進行區分。

本文模型后端是一個卷積化的長短時記憶模塊(convLSTM)，用于根據上一時刻的特征信息與當前的特征信息進行特征的提取，長短時記憶層的輸入除了當前經過全卷積網絡處理的特征圖，還包括上一時刻的狀態信息Ht-1和Ct-1。

網絡中的convLSTM結構如圖3所示，通過遺忘門、輸入門和輸出門3個門控結構控制信息對網絡的影響，門控結構通過卷積操作和Sigmoid計算實現。遺忘門根據上一時刻的Ht-1和當前時刻的Xt決定遺忘Ct-1中哪些信息；輸入門計算Xt和Ht-1,決定輸入的影響t時刻狀態存儲向量Ct的信息；輸出門計算Xt，Ct和Ht-1,確定當前時刻的輸出Ht。convLSTM產生隱藏向量和存儲向量2個輸出，分別用于輸出和狀態的更新。隱藏向量和存儲向量以全0的方式初始化，初始化時維度大小同輸入Xt的維度一致。計算過程中通過補0(padding)的方式，保持特征圖計算前后的尺寸不變。長短時記憶層輸出的特征圖前2個維度的尺寸是原始圖像的1/8，最后通過第3個反卷積層進行8倍上采樣恢復至原始圖像的尺寸。網絡末端的Softmax層作用是給出所有可能分類的歸一化

Figure 3 Structure of LSTM layer圖3 長短時記憶層結構

的概率分布，通過比較每個像素屬于2個分類(煙塵和背景)的概率來確定該像素所屬類別，得到最終的預測結果。

3.3 網絡參數設置

本文模型的網絡參數設置如表1所示，下采樣部分由一系列的卷積、池化操作組成，上采樣部分由反卷積操作、長短時記憶層組成。

Table 1 Network parameters setting表1 網絡參數設置

4 實驗與分析

4.1 實驗平臺與數據

實驗使用的深度學習框架是TensorFlow，訓練網絡模型所用計算機配置為Intel(R)Xeon(R)CPU E5-2620 v4 @2.10 GHz處理器，64 GB內存，11 GB RAM的NVIDIA Geforce RTX2080Ti顯卡。

實驗所用數據取自于在實際鋼廠拍攝的工業煙塵排放視頻。因為冒煙位置較多而且經常出現在不同位置，所以在不同監測點安置了多個工業攝像機采集煙塵排放信息，視頻采集均在白天進行。采集的煙塵排放視頻分辨率為1280×720,幀率為30 fps，共計60 GB。從每個視頻中提取10～20幅圖像，共提取1 289幅圖像用于數據集的制作。使用圖像標注程序labelme對圖像中的煙塵區域進行人工標記，以制作標簽圖，制作的標簽圖如圖4所示。黑色部分為背景區域，白色部分為煙塵區域。共計1 289組原圖和標簽圖，其中1 052組作為訓練集，237組作為測試集。為擴充數據集，對其進行了90°，270°的旋轉以及水平、上下翻轉，將訓練集和測試集擴充至5 260組和1 185組，并將圖像的分辨率統一調整為224×224。為了驗證本文模型對不同場景下煙塵的識別能力，將測試集中的1 185幅圖像劃分為1組易辨識場景和4組復雜場景，復雜的場景包括：存在多處煙塵的場景、煙塵稀薄表現出透明性的場景、煙塵區域較小的場景和存在云干擾的場景，每一分類下測試圖像的數量如表2所示，訓練集共有5 260組圖像。

Figure 4 Original images and manually labeled labels圖4 原始圖像和人工標記標簽

Table 2 Number of test set images

4.2 評價指標

為量化對模型的測試結果，選擇了以下評價指標：查準率P(Precision)、查全率R(Recall)、F1度量(F1-score)[33]和交并比IoU(Intersection over Union)[34]。其中，查準率是被正確分類的正樣本數量與被預測為正樣本的數量之比，定義如式(8)所示。查全率是被正確分類的正樣本數量與正樣本數量之比，定義如式(9)所示。因為查全率和查準率2項指標相互矛盾，一項指標較高時，另一項指標往往較低，故通過F1度量對查全率和查準率進行調和平均。F1度量定義如式(10)所示。其中，β用于調整權重，若認為查準率重要，則減小β；若認為查全率重要，則增大β。β=1時2者權重相同，稱作F1度量。在煙塵圖像分割實驗中為了同時考慮查全率和查準率2項指標，故設定β為1，表明查全率和查準率在實驗中同等重要。交并比是語義分割的標準度量，為計算真實值(Ground Truth)和預測值(Predicted Segmentation)之比，定義如式(11)所示。

(8)

(9)

(10)

(11)

其中，在實驗中一共有2個類別：煙塵(用i表示)和背景(用j表示)。pii指屬于類別i被預測為i的像素數量，pij指屬于類別i但被預測為j的像素數量，pji指屬于類別j但被預測為i的像素數量。

4.3 實驗結果對比

4.3.1 分割結果對比

為了驗證本文模型分割工業煙塵的表現，將本文提出的模型(FCN-LSTM)與其他5種用于圖像分割的深度網絡模型進行了對比，包括文獻[26]中使用的FCN模型、文獻[35]中提出的采用多尺度卷積結構的全卷積網絡(下文記作m-FCN)、文獻[36]采用的編碼-解碼結構的網絡(下文記作en-de)、文獻[27]采用的雙分支特征融合的網絡模型(下文記作t-FCN)和文獻[37]提出的U-Net模型(下文記作U-Net)。訓練模型的超參數均設置為：batch_size=1,學習率=1e-4，迭代次數=1e+5。用相同訓練集分別對上述幾種模型進行了訓練。訓練結束后分別對幾種模型進行測試，在5組測試集上的分割結果對比如圖5～圖9所示，測試結果的量化指標對比如表3所示。

4.3.2 結果分析

(1)在易辨場景下，en-de的分割結果中丟失了小區域的煙塵目標(圖6c第1、3行)，t-FCN分割結果的邊緣部分不準確(圖6d第2、3行)，m-FCN分割結果的完整性不佳(圖6f第1行)，FCN錯誤識別小部分的非煙塵區域為煙塵(圖6g第1、2行)，U-Net和FCN-LSTM的煙塵分割結果更準確。

(2)在小區域煙塵場景下，en-de、t-FCN和U-Net均出現了不同程度的分割煙塵區域不完整的情況(圖7c第1、3行，圖7d第1、3行,圖7e第2行)，FCN、m-FCN和FCN-LSTM 3個模型的分割結果相對準確。

Figure 5 Comparison of segmentation results in legible scenes 圖5 易辨場景分割結果對比

Figure 6 Comparison of segmentation results in small-area smoke scenes圖6 小區域煙塵場景分割結果對比

Figure 7 Comparison of segmentation results in thin smoke scenes圖7 薄煙場景分割結果對比

Figure 8 Comparison of segmentation results in multiple smoke scenes圖8 多目標煙塵場景分割結果對比

Figure 9 Comparison of segmentation results in interfering scenes圖9 干擾(云)場景分割結果對比

Table 3 Comparison of test indicators

(3)薄煙場景下，幾種模型均出現了不同程度的邊緣不準確的情況(圖8第3行)，en-de的分割結果中還出現了空洞(圖8c第1、2行)，U-Net和m-FCN的分割結果不完整(圖8e第3行，圖8f第3行)，FCN-LSTM雖然也存在邊緣不準確的問題(圖8h第3行)，但在所有結果中更接近手動標記的結果。

(4)多目標煙塵場景對比中，en-de分割結果中存在空洞(圖9c第1行)且不準確(圖9c第3行)，t-FCN、U-Net、m-FCN和FCN結果的完整性不佳(圖9第3行)，FCN-LSTM分割結果的完整性相比于其它模型更佳(圖9h第2行)。

(5)在干擾場景下，en-de、mFCN和FCN都在不同程度上受到了云的干擾(圖10c第1行，圖10f第3行，圖10g第2、3行)，其中FCN對于云的抗干擾能力最差，將很多屬于云的區域識別為煙塵,t-FCN和U-Net的問題是分割出的煙塵區域存在空洞(圖10d第3行，圖10e第3行)，FCN-LSTM在分割完整性和抗干擾性方面均優于其他模型，分割結果更準確。

綜上，en-de模型的煙塵分割結果中容易出現空洞，t-FCN模型因為采用的雙分支特征融合結構，相比en-de的煙塵分割結果更準確，但對邊緣分割部分的準確性不足。U-Net和m-FCN存在分割結果不完整的問題，FCN模型在分割煙塵時更容易受到來自云的干擾，抗干擾能力較差，而FCN-LSTM模型表現出最佳的抗干擾能力，在其他模型均出現誤分割或是分割煙塵區域不完整的情況下，仍然保持了更為準確的分割結果。這是因為FCN-LSTM模型既考慮了圖像的空間特征，又結合了時間序列特征，通過動態特征有效區分了煙塵和背景中的干擾，煙塵分割結果在所有模型中最接近人工標記。

表3展示了所有模型的測試結果指標對比。其中，en-de的IoU指標明顯低于其他模型的，這是因為該網絡未使用預訓練VGG模型的網絡權重[27]。t-FCN是一種基于en-de的模型，通過在其原有的網絡結構上添加一條并行的較淺的網絡實現對分割結果的二次精細化。在本節的對比實驗中，為了驗證新增的并行網絡對分割性能的提升，網絡各層權重的初始化同en-de模型保持一致，統一在參數初始化階段使用正態分布。量化指標對比結果表明，t-FCN相比于en-de有提升。FCN-LSTM在IoU和F1 2項指標上表現最佳，憑借其對序列煙塵圖像間上下文信息的處理有效增強了對工業煙塵的分割效果，在5個場景中均領先于其他模型，在干擾場景測試集上的領先幅度最大，相比于改進前的FCN模型，IoU指標最高提升了8.04%，F1指標最高提升了5.12%。

5 結束語

本文針對應用全卷積網絡于復雜場景中工業煙塵分割時容易受到干擾的問題，提出一種基于FCN-LSTM的工業煙塵圖像分割網絡模型。相比于全卷積網絡只能對圖像的空間特征進行提取，本文提出的網絡可以同時提取圖像的空間特征和時序特征。長短時記憶層通過門控結構控制前一時刻的信息對當前時刻信息的影響，使網絡能夠捕獲序列信息中遠距離的標簽依賴性，從而提升了網絡對動態煙塵圖像背景中靜止干擾元素的區分能力，提高了模型對云的抗干擾能力，改善了分割結果中常出現干擾點的情況。將測試集圖像按照易辨場景和4種復雜場景進行分類后，對本文模型同其他5種用于圖像分割的深度網絡模型在各個測試集上進行了對比測試，并通過IoU與F1 2項指標量化分割結果。實驗結果表明，本文模型的抗干擾能力更強，復雜場景中分割煙塵準確度更高。