煤體紅外熱像異常區(qū)域分割方法

趙小虎，車亭雨，葉圣，田賀，張凱

（1. 礦山互聯(lián)網(wǎng)應(yīng)用技術(shù)國家地方聯(lián)合工程實驗室，江蘇 徐州 221008；2. 中國礦業(yè)大學 信息與控制工程學院，江蘇 徐州 221008；3. 中國礦業(yè)大學 安全工程學院，江蘇 徐州 221008）

0 引言

在礦井開采過程中，煤巖動力災(zāi)害時有發(fā)生，嚴重威脅礦井安全生產(chǎn)和礦工生命安全[1]。煤巖在損傷破壞時會產(chǎn)生紅外輻射效應(yīng)，通過分析此時紅外輻射參數(shù)變化趨勢，進而預(yù)測災(zāi)害發(fā)生，是預(yù)防煤巖動力災(zāi)害的有效措施之一[2]。

很多學者對紅外輻射與煤巖受載破壞情況之間的關(guān)系進行了研究。Tian He等[3]采用臨界慢化理論，基于紅外溫度分析了煤樣損傷破壞的前兆信息特征，有助于提高煤巖動力災(zāi)害預(yù)測的準確性。SUN Hai等[4]采用紅外輻射和聲發(fā)射聯(lián)合檢測系統(tǒng)分析了巖石單軸壓縮破壞過程中的聲熱效應(yīng)，研究成果可為超前預(yù)測由巖崩引起的工程災(zāi)害提供參考。LIU Wei等[5]對巖石在單軸壓縮下的紅外輻射變化溫度場進行識別，通過分析溫度分布特性得出了巖石破壞失穩(wěn)的前兆。宋晶晶等[6]對煤樣加載過程中紅外熱像的關(guān)鍵信息進行識別和提取，有效識別出煤樣損傷狀態(tài)。CAO K等[7]通過研究含水率不同的砂巖裂縫紅外輻射特征，提出了一種基于紅外光譜的裂紋初始發(fā)展和損傷點識別方法。LI Zhonghui等[8]通過應(yīng)力和瓦斯耦合作用下煤體的紅外輻射斷裂實驗，研究了瓦斯作用下煤體破壞過程中紅外輻射變化規(guī)律，用于預(yù)測含瓦斯煤變形破壞的形式和強度，可準確定位煤巖動力災(zāi)害發(fā)生位置。上述研究表明，紅外輻射作為非接觸式檢測方法，可為監(jiān)測礦井煤巖動力災(zāi)害提供依據(jù)。

紅外熱像作為一種應(yīng)用廣泛的無損檢測技術(shù)，通過檢測目標發(fā)出的紅外輻射分析異常溫度分布，找到熱異常發(fā)生的位置，實現(xiàn)損傷破壞區(qū)域檢測。傳統(tǒng)方式采用紅外熱像儀進行熱異?？梢暬瘷z測，但紅外熱像儀生成的紅外熱像圖通常存在像素低、噪聲大等問題，導(dǎo)致檢測結(jié)果受主觀因素影響較大。深度學習能夠進行非監(jiān)督訓練，在高度復(fù)雜的非線性函數(shù)中提取有用特征，廣泛應(yīng)用于圖像處理領(lǐng)域[9]。將深度學習和紅外熱像結(jié)合進行無損檢測已成為趨勢。WANG Bin等[10]采用Mask R-CNN分割紅外熱像圖中變電站絕緣子區(qū)域，通過溫度分析實現(xiàn)絕緣子自動故障診斷。M. W. AKRAM等[11]采用輕量型卷積神經(jīng)網(wǎng)絡(luò)訓練正常光伏組件紅外熱像數(shù)據(jù)集和有損傷光伏組件紅外熱像數(shù)據(jù)集，實現(xiàn)不同類型光伏組件損傷缺陷的自動檢測。H. T. BANG等[12]提出一種結(jié)合深度學習和紅外熱像技術(shù)的缺陷識別框架，從紅外熱像中檢測復(fù)合材料的損傷。上述方法雖然可以很好地分割物體損傷區(qū)域，但對損傷區(qū)域邊緣分割效果較差，容易遺漏一些損傷較小的區(qū)域，且模型結(jié)構(gòu)單一，分割精度有待進一步提高。

目前結(jié)合深度學習和紅外熱像對煤體受載破壞進行識別檢測的研究相對較少。煤體紅外熱像中損傷部位與背景之間輪廓不清晰，且受載破壞時損傷部位隨機性較強，導(dǎo)致傳統(tǒng)模型分割效果欠佳。針對該問題，本文提出一種基于多尺度通道注意力模塊（Multi-Scale Channel Attention Module，MS-CAM）[13]的U-Net模型，并將其用于煤體紅外熱像異常區(qū)域分割，實現(xiàn)了煤體損傷破壞自動檢測，提高了利用紅外輻射法監(jiān)測煤巖動力災(zāi)害發(fā)生的準確性和對煤體損傷區(qū)域的識別度。

1 基于MS-CAM的U-Net模型

1.1 模型結(jié)構(gòu)

U-Net模型由編碼器、解碼器和跳躍連接組成。與普通卷積神經(jīng)網(wǎng)絡(luò)相比，其網(wǎng)絡(luò)結(jié)構(gòu)呈U形?；贛S-CAM的U-Net模型在原始U-Net模型結(jié)構(gòu)的編碼器中添加MS-CAM，如圖1所示，使特征提取范圍特定于紅外熱像異常區(qū)域，提高分割的準確性和魯棒性。編碼器包括卷積層、下采樣層和MS-CAM。輸入特征圖經(jīng)卷積層提取特征后，經(jīng)下采樣層壓縮和MS-CAM關(guān)注特征。解碼器包括上采樣層和卷積層。上采樣層通過反卷積操作實現(xiàn)特征放大，卷積層用于進一步提取特征。跳躍連接將編碼器輸出的特征圖與解碼器中經(jīng)上采樣層處理后對應(yīng)相同尺寸的特征圖結(jié)合，以減少特征缺失。圖1中橙色矩形代表訓練過程中產(chǎn)生的特征圖，綠色矩形代表MS-CAM輸出的特征圖，矩形上方數(shù)字代表該特征圖的通道數(shù)，矩形側(cè)邊數(shù)字代表該特征圖尺寸。

圖1 基于MS-CAM的U-Net模型結(jié)構(gòu)Fig. 1 U-Net model structure based on multi-scale channel attention module（MS-CAM）

編碼器包括4個卷積層和4個下采樣層。1個卷積層中含2個通道數(shù)相同的卷積核，且所有卷積核大小均為3×3。不同卷積層中卷積核通道數(shù)不同，用于提取不同層次的圖像特征。卷積層采用ReLU函數(shù)激活輸出，用批歸一化（Batch Normalization，BN）[14]加速學習。下采樣層均為2×2卷積核的最大池化層。卷積層輸出的特征圖經(jīng)下采樣層后尺寸變小，達到了壓縮特征和減少參數(shù)的目的。MSCAM聚合了多尺度特征，可自適應(yīng)尺寸不同的特征圖，有效解決了傳統(tǒng)注意力機制因下采樣改變特征圖尺寸而無法更好地關(guān)注全局信息問題，具有較好的魯棒性。特征圖經(jīng)MS-CAM處理后，其尺寸和通道數(shù)不變。該特征圖將作為跳躍連接的輸入。輸入圖像經(jīng)4個卷積層和4個下采樣層后，完成特征提取。

編碼器輸出特征圖經(jīng)過1個卷積層后進入解碼器。解碼器包括4個上采樣層和4個卷積層。編碼器輸出特征圖尺寸非常小，分辨率很低，需通過上采樣層2×2卷積核的反卷積操作逐步恢復(fù)至輸入特征圖尺寸和提高分辨率。由于編碼器中的特征圖每次經(jīng)過下采樣層、解碼器中特征圖每次經(jīng)過上采樣層都會丟失一些特征，所以采用跳躍連接將編碼器輸出特征圖與解碼器中對應(yīng)上采樣層輸出的尺寸相同的特征圖拼接起來，以解決特征丟失問題。拼接后的特征圖綜合了淺層和深層特征，其經(jīng)過1個包含2個3×3卷積核的卷積層進一步提取特征。卷積層采用ReLU函數(shù)激活輸出，采用BN加速學習。經(jīng)過4個上采樣層和4個卷積層后，包含全部特征的特征圖恢復(fù)成原始圖像尺寸，再由1×1卷積層將特征向量通過Softmax生成概率特征圖，形成煤體紅外熱像異常區(qū)域分割結(jié)果。

圖1中基于MS-CAM的U-Net模型輸入尺寸為256×256（長×寬）的單通道圖像，在紅外熱像異常區(qū)域分割過程中，模型各網(wǎng)絡(luò)結(jié)構(gòu)輸出的特征圖見表1。其中Conv_i，MS-CAM_i，DownSampling_i（i=1，2，3，4）分別為編碼器第i個卷積層、MS-CAM和下采樣層；UpSampling_j，conv_j（j=1，2，3，4）分別為解碼器第j個上采樣層和卷積層；Concatenate_j為第j個跳躍連接；Conv為編碼器后的卷積層；Conv1×1為解碼器后的卷積層。卷積核參數(shù)中UpSampling_j+MS-CAM_i表 示Concatenate_j將UpSampling_j與MS-CAM_i跳躍連接。

表1 基于MS-CAM的U-Net模型網(wǎng)絡(luò)結(jié)構(gòu)及對應(yīng)特征圖Table 1 Network structures of U-Net model based on MS-CAM and corresponding characteristic images

1.2 MS-CAM

煤體在單軸壓縮下受載破壞特征復(fù)雜，煤體紅外熱像異常區(qū)域分割過程中需考慮以下因素：① 紅外熱像圖分辨率低，容易受到噪聲干擾，導(dǎo)致分割誤差大。② 加載受壓過程中，不同時刻、不同區(qū)域溫度變化不同，各區(qū)域呈現(xiàn)的顏色存在差異性和趨同性，即在破壞中心具有差異性，在破壞邊緣具有趨同性。在邊緣區(qū)域還存在界限不清等問題。③ 煤體預(yù)制裂隙和受載破壞造成的損傷尺寸存在較大差異，使用單尺度卷積提取損傷部位特征時容易漏掉部分特征，使分割不完整。④ 損傷形狀各異，實驗中部分煤體采用不同角度預(yù)制裂隙，且加載受壓造成的損傷會沿不同區(qū)域隨機擴散，呈現(xiàn)出不規(guī)則形狀。

基于上述因素考慮，為了解決因特征圖尺寸不同造成的注意特征不一致問題，更好地聚合紅外熱像中不同尺寸目標的上下文信息，在U-Net模型編碼器中加入MS-CAM，其結(jié)構(gòu)如圖2所示。MS-CAM采用ParseNet[15]網(wǎng)絡(luò)結(jié)構(gòu)思想，在注意力模塊中聚合多尺度特征來突出關(guān)注全局中的大目標和局部小目標，通過改變空間池大小實現(xiàn)多尺度通道注意，將輸入特征圖本地通道上下文加入到注意力模塊的全局通道上下文，采用逐點卷積作為通道上下文連接器，確保輸入、輸出特征圖尺寸一致，極大保留了編碼器中淺層特征中的細節(jié)。

圖2 MS-CAM結(jié)構(gòu)Fig. 2 MS-CAM structure

假設(shè)輸入特征圖X∈RH×W×C，其中H，W分別為特征圖高度和寬度，C為通道數(shù)。本地通道上下文為

式中：G為分組歸一化（Group Normalization，GN）[16]函數(shù)；f1，f2為逐點卷積函數(shù)；δ為ReLU激活函數(shù)。

全局通道上下文g(X)與本地通道上下文c（X）的不同在于輸入特征圖先經(jīng)過全局平均池化（Global Avg Pooling，GAP）得到Y(jié)GAP，再經(jīng)過逐點卷積、ReLU函數(shù)和GN處理得到g(X)。

式中（x，y）為輸入特征圖X像素點坐標。

MS-CAM輸出特征圖為

式中：σ 為Sigmoid激 活函數(shù)；?為逐元素相乘符號；⊕為廣播相加符號。

全局通道上下文放大感興趣的特征圖權(quán)值，關(guān)注紅外熱像異常區(qū)域的顯著特征；本地通道上下文關(guān)注小目標異常區(qū)域特征和邊緣特征。將二者結(jié)合形成MS-CAM，可降低紅外熱像圖中對比度不均勻等因素造成的干擾，進一步突出異常區(qū)域，提高異常區(qū)域分割精度。

2 實驗驗證

2.1 數(shù)據(jù)集

實驗系統(tǒng)由YAW4306微機控制電液伺服壓力試驗機（加壓機）、Optris PI450型紅外熱像儀（光學分辨率為382×288）和數(shù)據(jù)采集器（計算機）組成，如圖3所示。

圖3 實驗系統(tǒng)Fig. 3 Experimental system

將實驗煤樣加工成50 mm×50 mm×100 mm（長×寬×高）的長方體試樣。為使裂隙擴展更集中，方便識別處理，對部分煤樣預(yù)制裂隙，之后進行單軸壓縮受載破壞實驗。紅外熱像儀記錄實驗結(jié)果，保存紅外熱像圖后制作數(shù)據(jù)集，具體步驟如下。

（1） 將實驗結(jié)果保存為3種加載破壞時期的紅外熱像圖，分別為煤樣出現(xiàn)宏觀破壞時期、宏觀裂紋擴展時期和完全破壞時期，如圖4所示。共采集圖像120張。加載破壞初期從圖像中可明顯看出裂隙大小和位置，如圖4（a）所示；隨著加載不斷進行，煤樣右上部分開始出現(xiàn)熱異常，表明煤樣破壞位置發(fā)生在此處，如圖4（b）所示；加載結(jié)束時，煤樣左邊部分與右上部分均出現(xiàn)熱異常，如圖4（c）所示。

圖4 煤樣3種加載破壞時期紅外熱像圖Fig. 4 Three infrared thermal images of coal samples during loading pressure period

（2） 使用LabelMe工具對煤樣紅外熱像異常區(qū)域進行標注并生成標簽。對紅外熱像圖和當前受載情況下實際煤樣圖像進行對比，確定破壞區(qū)域位置（即紅外熱像圖中的異常區(qū)域），并將紅外熱像圖輸入LabelMe工具，使用多邊形手工標注出異常區(qū)域，并標記為1，如圖5所示。

圖5 LabelMe工具中煤樣紅外熱像異常區(qū)域標注Fig. 5 Abnormal area tagging in infrared thermal images of coal samples in LabelMe tool

（3） 將經(jīng)過步驟（2）處理的數(shù)據(jù)保存為Json文件，并轉(zhuǎn)換為png格式圖像，作為基于MS-CAM的U-Net模型輸入。

（4） 對每張圖像進行平移、旋轉(zhuǎn)、鏡像、剪切等數(shù)據(jù)增強操作，并通過調(diào)整圖像亮度、加入高斯噪聲等方式減小環(huán)境因素的影響。經(jīng)數(shù)據(jù)增強后得到1 000張煤體紅外熱像圖，部分圖像如圖6所示。

圖6 部分增強圖像Fig. 6 Partial enhanced images

2.2 實驗設(shè)置與流程

實驗通過基于Python的Pytorch深度學習框架實現(xiàn)。計算機配置：處理器為AMD R7 4800H，GPU為NVIDIA GeForce GTX 1650，顯存為4 GB，采用CUDA10.0加速計算，內(nèi)存為16 GB。

通常情況下，對于給定特定學習任務(wù)的初始卷積神經(jīng)網(wǎng)絡(luò)需通過訓練上萬張圖像來確定權(quán)重，而本文中煤體紅外熱像圖僅有1 000張，無法很好地訓練模型。遷移學習[17]可在不同數(shù)據(jù)集之間共享相關(guān)特征，通過對網(wǎng)絡(luò)進行預(yù)訓練來調(diào)整權(quán)重，加快訓練過程，使得確定權(quán)重僅需訓練上千張圖像即可完成。MS COCO數(shù)據(jù)集[18]包含超過30萬張圖像，圖像中標注了多個標簽，且文件格式與煤體紅外熱像數(shù)據(jù)集相同。因此，選擇MS COCO數(shù)據(jù)集對基于MS-CAM的U-Net模型進行預(yù)訓練，避免因數(shù)據(jù)集小而造成的過擬合現(xiàn)象。完成預(yù)訓練后，采用建立的煤體紅外熱像數(shù)據(jù)集訓練基于MS-CAM的UNet模型，得到最終權(quán)重。

基于MS-CAM的U-Net模型采用交叉熵損失函數(shù)來計算預(yù)測標簽與真實標簽之間的差異。交叉熵損失函數(shù)為

式中：qI,J為第I個樣本第J個像素點的預(yù)測標簽，其為0代表該像素點為背景，為1代表該像素點為目標；pI,J為第I個樣本第J個像素點的真實標簽；m為樣本總數(shù)；n為像素點總數(shù)。

損失函數(shù)優(yōu)化器選用Adam，學習率初始值設(shè)為0.001，批量大小為10。損失函數(shù)隨訓練次數(shù)變化如圖7所示?？煽闯鲇柧毚螖?shù)不超過150時，隨著訓練次數(shù)增加，損失函數(shù)值不斷下降，且下降明顯；訓練次數(shù)為150～250時，損失函數(shù)值緩慢下降；訓練次數(shù)達到250時，損失函數(shù)曲線開始變得平緩。訓練次數(shù)過少易導(dǎo)致模型出現(xiàn)欠擬合，過多則易導(dǎo)致過擬合，使得模型無法很好地分割出異常區(qū)域。當訓練次數(shù)達到280時，損失函數(shù)值為0.015，浮動值保持在0.001內(nèi)。因此訓練次數(shù)選擇280。

圖7 損失函數(shù)曲線Fig. 7 Loss function curve

實驗流程如圖8所示。首先，將煤體紅外熱像數(shù)據(jù)集中所有圖像尺寸調(diào)整為256×256，從中隨機抽取100張圖像作為測試集，從剩余圖像中隨機選取80%作為訓練集，20%作為驗證集；其次，對基于MSCAM的U-Net模型參數(shù)進行初始化，采用MS COCO數(shù)據(jù)集對模型預(yù)訓練后微調(diào)權(quán)重；再次，將煤體紅外熱像數(shù)據(jù)集輸入基于MS-CAM的U-Net模型進行訓練，對模型參數(shù)進行迭代優(yōu)化，直到損失函數(shù)值滿足要求，之后保存模型；最后，用測試集進行測試，得到分割結(jié)果，并比較分析。

圖8 實驗流程Fig. 8 Experiment process

2.3 實驗結(jié)果與分析

分別采用Deeplab模型、U-Net模型、基于SENet注意力機制的U-Net（U-Net（SENet））模型及基于MS-CAM的U-Net（U-Net（MS-CAM））模型分割煤體紅外熱像異常區(qū)域，分割結(jié)果從主觀和客觀2個方面進行評價。前者通過觀察圖像分割結(jié)果進行評價；后者從精確率、F1分數(shù)、Dice系數(shù)[19]及平均交并比（Mean Intersection over Union，MIoU）[20]4個指標進行評價。精確率為像素判斷為目標區(qū)域像素中真正為目標區(qū)域像素的比例。F1分數(shù)為召回率和精確率的調(diào)和平均數(shù)。 Dice系數(shù)為真實掩膜和預(yù)測掩膜重合區(qū)域的比例，取值為0～1。 MIoU為真實掩膜和預(yù)測掩膜交集與并集的比值，取值為0～1。精確率、F1分數(shù)、Dice系數(shù)和MIoU越大，表示紅外熱像異常區(qū)域分割效果越好。

采用相同的實驗流程訓練后，不同模型的分割結(jié)果如圖9所示。從整體來看，4種模型均可大致分割出異常區(qū)域，但在異常區(qū)域邊緣的分割結(jié)果有很大不同。Deeplab模型的分割效果最差，只分割出異常明顯區(qū)域，忽略了邊緣處區(qū)域，且圖像1右下部分的異常區(qū)域未被分割出來。U-Net模型分割結(jié)果較Deeplab模型稍好，可有效識別邊緣部分，但遺漏了部分較小的異常區(qū)域，且誤分問題較大，出現(xiàn)了不同程度的過分割現(xiàn)象。U-Net（SENet）模型與U-Net（MS-CAM）模型分割效果較好，但前者分割的邊緣較粗糙，且遺漏了一些較小的異常區(qū)域，后者分割的邊緣平滑，且能將較小的異常區(qū)域分割出來，分割效果更符合實際情況。

圖9 不同模型對煤體紅外熱像異常區(qū)域的分割結(jié)果Fig. 9 Segmentation results of infrared thermal images of coal samples by different models

為進一步觀察注意力機制對模型分割的影響，采 用Grad-CAM算 法 繪 制U-Net（SENet）模 型 和U-Net（MS-CAM）模型分割結(jié)果的類激活熱力圖，如圖10所示?？煽闯鯱-Net（SENet）模型關(guān)注區(qū)域比U-Net（MS-CAM）模型大，說明2種注意力機制的關(guān)注特征區(qū)域大小不同。U-Net（SENet）模型對真實異常區(qū)域之外的非目標區(qū)域產(chǎn)生關(guān)注，且對第2張圖像進行特征關(guān)注時未集中在目標區(qū)域，產(chǎn)生了較大偏差；U-Net（MS-CAM）模型雖然關(guān)注區(qū)域小，但關(guān)注范圍集中在異常區(qū)域，且能更好地關(guān)注邊緣。

圖10 U-Net（SENet）模型和U-Net（MS-CAM）模型分割結(jié)果的類激活熱力圖Fig. 10 Class activation heat map of segmentation results by U-Net（SENet） model and U-Net（MS-CAM）model

各模型分割結(jié)果的評價指標見表2?？煽闯鯱-Net（MS-CAM）模型4種評價指標均為最高：精確率為94.75%，分別較Deeplab模型、U-Net模型和U-Net（SENet）模型高6.10%，2.47%，1.29%；F1分數(shù)為94.94%，分別較Deeplab模型、U-Net模型和U-Net（SENet）模型高4.63%，3.27%，1.38%；Dice系數(shù)為94.65%，分別較Deeplab模型、U-Net模型和U-Net（SENet）模型高6.73%，3.07%，1.84%；MIoU為90.03%，分別比Deeplab模型、U-Net模型和U-Net（SENet）模型高6.25%，5.18%，2.75%。綜合各評價指標可知，Deeplab模型分割效果較U-Net模型差，表明在小樣本情況下，U-Net模型可很好地完成紅外熱像異常區(qū)域分割任務(wù)；U-Net（SENet）模型和U-Net（MS-CAM）模型均在U-Net模型基礎(chǔ)上增加了注意力機制模塊，可有效提高分割精度，但SENet模塊僅關(guān)注全局通道，而MS-CAM不僅關(guān)注全局通道，還關(guān)注局部通道，可在關(guān)注明顯異常區(qū)域的同時，更好地關(guān)注較小的異常區(qū)域和邊緣區(qū)域。

表2 不同模型分割結(jié)果評價指標對比Table 2 Comparison of evaluation indexes for segmentation results of different models %

3 結(jié)論

（1） 將紅外熱像和深度學習相結(jié)合，提出了一種基于MS-CAM U-Net模型的煤體紅外熱像異常區(qū)域分割方法。該方法包括2個步驟：① 由紅外熱像儀獲取煤體紅外熱像圖，然后創(chuàng)建煤體紅外熱像數(shù)據(jù)集，采用LabelMe工具對圖像進行標記，并通過Python將圖像轉(zhuǎn)換為png格式后進行數(shù)據(jù)增強。② 采用MS COCO數(shù)據(jù)集對基于MS-CAM的U-Net模型進行預(yù)訓練，然后采用煤體紅外熱像數(shù)據(jù)集訓練模型，直至損失函數(shù)收斂。采用訓練好的模型對煤體紅外熱像異常區(qū)域進行分割。

（2） 基于MS-CAM的U-Net模型是在U-Net模型的編碼器中引入MS-CAM，使得模型不僅關(guān)注煤體紅外熱像異常區(qū)域的顯著特征，還關(guān)注異常區(qū)域小目標特征，有效提高了異常區(qū)域分割精度。

（3） 實驗結(jié)果表明，基于MS-CAM的U-Net模型對煤體紅外熱像異常區(qū)域分割的精確率、F1分數(shù)、Dice系數(shù)和MIoU分別為94.75%，94.94%，94.65%，90.03%，均優(yōu)于Deeplab模型、U-Net模型和基于SENet注意力機制的U-Net模型。