基于自注意力機(jī)制的礦井次光照圖像語義分割研究

楊克虎,龍啟航,汪嘉文,彭寶山,金 波,楊學(xué)孟

(1.中國礦業(yè)大學(xué)(北京) 機(jī)電與信息工程學(xué)院,北京 100083; 2.國網(wǎng)能源新疆準(zhǔn)東煤電有限公司,新疆 準(zhǔn)東 831599;3.應(yīng)急管理部煤礦智能化與機(jī)器人創(chuàng)新應(yīng)用重點(diǎn)實(shí)驗(yàn)室,北京 100089;4.中國礦業(yè)大學(xué)(北京) 內(nèi)蒙古研究院,內(nèi)蒙古 鄂爾多斯 017010)

煤礦智能化建設(shè),是整個(gè)煤炭行業(yè)高質(zhì)量發(fā)展的必由之路[1]。其中,對煤炭開采場景的準(zhǔn)確理解是煤炭智能開采的基礎(chǔ)。語義分割作為圖像場景理解的基礎(chǔ)任務(wù),能夠?qū)γ禾块_采圖像場景實(shí)現(xiàn)像素級別的分類,準(zhǔn)確分割出巷道壁、無人礦車、障礙物、井下設(shè)備、人員等目標(biāo)物,有助于工作人員掌握井下工況,避免設(shè)備相撞等安全事故的發(fā)生。

常用的標(biāo)準(zhǔn)語義分割數(shù)據(jù)集有PASCAL VOC[2]、COCO[3]和Cityscapes[4]。這些數(shù)據(jù)集包含了室內(nèi)外大部分常見場景,精細(xì)標(biāo)注了上千張圖片,涉及上萬個(gè)標(biāo)注實(shí)體,正是這些標(biāo)準(zhǔn)數(shù)據(jù)集的發(fā)展,使得神經(jīng)網(wǎng)絡(luò)有充足的數(shù)據(jù)可使用,才能實(shí)現(xiàn)對室內(nèi)外大部分常見場景的精準(zhǔn)分割。

在常見場景中,應(yīng)用于語義分割的卷積神經(jīng)網(wǎng)絡(luò)已獲得一定的發(fā)展。FCN網(wǎng)絡(luò)由LONG等提出,首次將應(yīng)用于圖像分類神經(jīng)網(wǎng)絡(luò)的全連接層換成卷積層,使神經(jīng)網(wǎng)絡(luò)能對輸入的任意尺寸圖像進(jìn)行處理,完成語義分割[5];U-Net網(wǎng)絡(luò)[6]采用編碼器—解碼器的網(wǎng)絡(luò)結(jié)構(gòu),對圖像局部區(qū)域的提取特征效果好;DeepLab系列網(wǎng)絡(luò)[7]實(shí)現(xiàn)了多尺度特征提取;為了追求更快的算法速度,學(xué)者們提出了具有雙邊分割網(wǎng)絡(luò)結(jié)構(gòu)的BiseNet[8],可應(yīng)用于自動(dòng)駕駛等領(lǐng)域。

近年來,隨著自注意力機(jī)制的興起,越來越多的網(wǎng)絡(luò)開始結(jié)合自注意力機(jī)制進(jìn)行語義分割,并獲得了良好效果。將Transformer網(wǎng)絡(luò)[9]與傳統(tǒng)語義分割網(wǎng)絡(luò)結(jié)合,XIE等[10]提出了新型網(wǎng)絡(luò)結(jié)構(gòu)Segformer,在獲得更高精度的同時(shí),大大提升了網(wǎng)絡(luò)的實(shí)時(shí)性。神經(jīng)網(wǎng)絡(luò)的不斷發(fā)展,使語義分割技術(shù)的精確性、實(shí)時(shí)性日漸提高,開始應(yīng)用于自動(dòng)駕駛、醫(yī)學(xué)圖像等多個(gè)領(lǐng)域。

針對次光照礦井圖像的分割,不少專家學(xué)者提出了自己的方法。單鵬飛等[11]提出了基于改進(jìn)Faster R-CNN的方法來進(jìn)行煤矸識別,最終達(dá)到了86.53%的平均像素精度;薛雯予等[12]提出了對礦井巷道圖像使用中值濾波和改進(jìn)Top-hat濾波法,去除圖像噪聲,利用迭代算法,求取圖像分割的閾值,分割出井下圖像目標(biāo)區(qū)域,獲取目標(biāo)點(diǎn)坐標(biāo)來增強(qiáng)圖像;韓斌等[13]采用基于改進(jìn)CV模型火災(zāi)圖像分割方法,分割識別出礦井早期火源發(fā)生點(diǎn)位;高峰等[14]提出了性能優(yōu)于傳統(tǒng)語義分割網(wǎng)絡(luò)的一種煤巖圖像分割識別網(wǎng)絡(luò)模型來分割煤巖圖像;李曉宇等[15]使用基于超像素特征與SVM分類的人員安全帽分割方法,對礦井圖像中人員所佩戴的安全帽進(jìn)行分割。

上述研究雖然在礦井圖像分割精度上取得了豐碩成果,但是分割種類均為二分類,分割實(shí)例種類過少,數(shù)量遠(yuǎn)不及普通場景語義分割。為此,楊瀟等[16]提出基于域適應(yīng)的煤礦環(huán)境監(jiān)控圖像語義分割,將標(biāo)準(zhǔn)數(shù)據(jù)集視為源域數(shù)據(jù)集,將采集的煤礦巷道圖片作為目標(biāo)域數(shù)據(jù)集,利用雙對齊網(wǎng)絡(luò)結(jié)構(gòu),進(jìn)行域適應(yīng)語義分割,最終在包含有6種實(shí)例的煤礦數(shù)據(jù)集上得到38.26%的平均交并比。但此方法分割精度較低,難以直接應(yīng)用于實(shí)際煤礦安全生產(chǎn)中。

針對采集到的礦井暗光圖像,筆者使用基于深度學(xué)習(xí)的圖像增強(qiáng)算法進(jìn)行處理,增強(qiáng)圖像邊緣,再利用LabelMe標(biāo)注出連同背景在內(nèi)的11種類別,專門構(gòu)建了標(biāo)準(zhǔn)礦井圖像語義分割數(shù)據(jù)集,并提出了基于自注意力機(jī)制的輕量級編碼—解碼結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò),進(jìn)行礦井圖像的語義分割。對比實(shí)驗(yàn)證明,該種網(wǎng)絡(luò)能夠做到準(zhǔn)確分割,與主流語義分割網(wǎng)絡(luò)相比,更能提取次光照礦井圖像特征,魯棒性較好。

1 礦井圖像語義分割數(shù)據(jù)集構(gòu)建

采集了河北唐山、內(nèi)蒙古鄂爾多斯、北京密云三地的礦井巷道圖像,挑選出具有代表性的16種主要礦井圖像場景。拍攝礦井圖片,采用微光圖像增強(qiáng)算法增強(qiáng)圖像邊緣信息,并使用LableMe(標(biāo)注軟件)對圖像進(jìn)行人工標(biāo)注,同時(shí)為了避免網(wǎng)絡(luò)過擬合,利用單應(yīng)變換矩陣對圖像進(jìn)行單應(yīng)變換,擴(kuò)充數(shù)據(jù)集。礦井巷道圖像數(shù)據(jù)集構(gòu)建過程如圖1所示。

圖1 礦井巷道圖像數(shù)據(jù)集構(gòu)建過程

1.1 圖像增強(qiáng)

礦井圖片如圖2所示。實(shí)驗(yàn)需對井下圖像中的巷道壁、軌道、鐵軌、管道、燈、障礙物、礦車、人、貨車、指示牌共10類場景進(jìn)行標(biāo)注。

圖2 礦井巷道圖像數(shù)據(jù)集構(gòu)建

由圖2可以看出,因礦井大部分場景圖像拍攝于照明條件較差的環(huán)境下,巷道圖像整體色彩偏灰暗、像素值偏低、圖像邊緣信息不明顯,圖中的目標(biāo)物體用肉眼難以分辨。這會(huì)給后續(xù)的人工標(biāo)注帶來極大困難。為此,使用微光圖像增強(qiáng)算法[17]對次光照下拍攝的圖像進(jìn)行增強(qiáng), 增強(qiáng)前后對比如圖3所示。

(a) 原圖

(b) 微光圖像增強(qiáng)后的圖

微光圖像增強(qiáng)算法是一種基于深度學(xué)習(xí)的圖像增強(qiáng)方法:在輕量級網(wǎng)絡(luò)DCE-Net結(jié)構(gòu)中輸入圖像,輸出用于調(diào)整圖像像素的高階曲線,并利用高階曲線對原圖像的像素進(jìn)行一一映射,對像素值進(jìn)行動(dòng)態(tài)調(diào)整。此算法應(yīng)用于礦井暗光圖像上能取得良好的圖像增強(qiáng)效果。由圖3(b)可以看出,巷道較暗場景經(jīng)過微光圖像細(xì)節(jié)增強(qiáng)后,地面上的鐵軌、沙礫清晰可見。

1.2 圖像標(biāo)簽掩碼生成

選取的礦井巷道圖像數(shù)據(jù)集包含1 270×720和640×480兩種分辨率。綜合分析各場景圖像,選取了連背景在內(nèi)的11類場景,使用LabelMe對圖像進(jìn)行精細(xì)標(biāo)注。對940張經(jīng)去霧算法和微光圖像增強(qiáng)算法處理后的圖像,以及1 699張?jiān)记逦鷪D像,共計(jì)2 639張精細(xì)標(biāo)注的圖像進(jìn)行標(biāo)注,一共標(biāo)注了26 521個(gè)對象。

場景的具體實(shí)例如圖4所示,標(biāo)簽的具體名稱和序號見表1。

(a) 原圖

(b) 標(biāo)注掩碼后的圖

表1 標(biāo)簽信息

每個(gè)對象的數(shù)量統(tǒng)計(jì)見圖5。其中,巷道壁雖然占據(jù)了圖像的大部分區(qū)域,但整體數(shù)量偏少;燈雖然占據(jù)圖像區(qū)域小,但數(shù)量偏多。因此礦井巷道數(shù)據(jù)集對卷積神經(jīng)網(wǎng)絡(luò)的局部區(qū)域和全局區(qū)域分割均提出較高要求。

圖5 數(shù)據(jù)集每個(gè)對象數(shù)量統(tǒng)計(jì)

訓(xùn)練相同的輪數(shù),數(shù)量偏少的種類可能會(huì)出現(xiàn)訓(xùn)練不完全的現(xiàn)象。為了增加偏少種類的數(shù)量,同時(shí)也為了避免過擬合問題的產(chǎn)生,對圖像和掩碼標(biāo)簽同時(shí)采取單應(yīng)變換處理以擴(kuò)充數(shù)據(jù)集:將圖像按隨機(jī)生成的角度、尺度,分別進(jìn)行旋轉(zhuǎn)、縮放(見圖6),將原始數(shù)據(jù)集擴(kuò)充至9 996張圖像。

圖6 數(shù)據(jù)集擴(kuò)充過程

2 基于自注意力機(jī)制的輕量級編碼—解碼網(wǎng)絡(luò)

2.1 整體網(wǎng)絡(luò)結(jié)構(gòu)

從實(shí)際生產(chǎn)角度出發(fā),模型需要在分割精度和推理速度上均達(dá)到較好效果。以DeepLab V3+[18]網(wǎng)絡(luò)的編碼—解碼結(jié)構(gòu)為基礎(chǔ),構(gòu)建基于自注意力機(jī)制的輕量級編碼—解碼網(wǎng)絡(luò)(以下簡稱本文算法):在編碼結(jié)構(gòu)中結(jié)合自注意力機(jī)制和ShuffleNet v2輕量級網(wǎng)絡(luò)[19],利用池化金字塔結(jié)構(gòu)進(jìn)一步提取語義特征信息;在解碼結(jié)構(gòu)中,使用2次線性插值上采樣恢復(fù)原特征圖尺寸,最終輸出語義分割結(jié)果。網(wǎng)絡(luò)整體結(jié)構(gòu)如圖7所示。

圖7 基于自注意力機(jī)制的編碼—解碼網(wǎng)絡(luò)模型

編碼結(jié)構(gòu)用來提取圖像的深層和淺層語義信息,其工作原理如下:

1)利用深度可分離卷積和通道信息融合層構(gòu)建網(wǎng)絡(luò)骨干,提取輸入的任意尺寸RGB圖像的語義特征信息,輸出通道數(shù)為464的深層語義特征信息和通道數(shù)為24的淺層語義特征信息。

2)在主干提取網(wǎng)絡(luò)之后,深層語義特征經(jīng)由自注意力將模塊特征激活后輸入到并行分支ASPP結(jié)構(gòu)中,進(jìn)行加強(qiáng)特征提取。ASPP是由5個(gè)分支并行組成的加強(qiáng)提取特征結(jié)構(gòu):使用了1個(gè)1×1的卷積、3個(gè)3×3的膨脹卷積和1個(gè)全局池化層來對深層語義特征進(jìn)行進(jìn)一步的加強(qiáng)特征提取。將經(jīng)過5個(gè)分支得到的輸出層在通道方向上進(jìn)行拼接,并由1×1卷積調(diào)整通道數(shù)。

3)將處理后的深層語義特征信息、淺層語義特征信息輸入到解碼結(jié)構(gòu)中。解碼結(jié)構(gòu)中,深層語義特征信息在進(jìn)行采樣后恢復(fù)至和淺層語義特征信息同樣尺寸大小,在通道方向上和淺層語義特征信息拼接后再進(jìn)行整體采樣,輸出分割結(jié)果。

2.2 語義特征信息提取

DeepLab V3+使用的原始特征提取網(wǎng)絡(luò)是Xception[20]結(jié)構(gòu)。Xception由多個(gè)并行分支組成。雖然其在一定程度上很好地融合了特征層的空間信息,但因擁有更深的網(wǎng)絡(luò)結(jié)構(gòu),對算力要求更高。為了使網(wǎng)絡(luò)結(jié)構(gòu)更加輕量化,同時(shí)提高模型分割準(zhǔn)確率,使用通道信息融合結(jié)構(gòu)和深度可分離卷積構(gòu)建的網(wǎng)絡(luò)主干,輸出提取的深層語義特征信息和淺層語義特征信息[19]。用于語義特征信息提取的基礎(chǔ)模塊block1、block2如圖8所示。block1中,輸入特征層首先經(jīng)過Channel Split,然后被均分成兩部分,一部分不經(jīng)過任何操作,另一部分經(jīng)過由1×1卷積、步距為1的3×3DW卷積、1×1卷積和BN層、ReLU激活函數(shù)構(gòu)成的分支,2個(gè)分支的輸出在深度方向拼接在一起,再經(jīng)過Channel Shuffle層融合得到最終的輸出特征。

Channel Shuffle融合不同通道之間的信息,其工作原理如圖8(b)所示。輸入三通道Channel1、Channel2、Channel3,將每個(gè)通道的特征均分成3份,分別將其中的第1份取出來放在一起,第2份和第3份也進(jìn)行同樣的操作,最終得到Channel Shuffle層。

(a) block結(jié)構(gòu)

(b) Channel Shuffle

將block1(步距為1)、block2(步距為2)、卷積層和池化層進(jìn)行堆疊,構(gòu)成主干語義特征提取網(wǎng)絡(luò),并提取深層語義特征信息和淺層語義特征信息,如表2所示。

表2 主干網(wǎng)絡(luò)結(jié)構(gòu)

1)輸入,Conv1。礦井巷道圖像先經(jīng)過卷積核為3×3、步距為2的卷積2倍下采樣,并將通道數(shù)設(shè)為24,此時(shí)輸出淺層特征信息。

2)MaxPool。經(jīng)過步距為2的最大池化層,對輸入進(jìn)行2倍下采樣,但輸出通道數(shù)不變。

3)Stage2。block2重復(fù)1次,block1重復(fù)3次,并將通道數(shù)調(diào)整為116。

4)Stage3。block2重復(fù)1次,block1重復(fù)7次,并將通道數(shù)調(diào)整為232。

5)Stage4。block2重復(fù)1次,block1重復(fù)3次,并將通道數(shù)調(diào)整為464,輸出深層特征信息。

2.3 自注意力機(jī)制計(jì)算

在編碼—解碼的語義分割網(wǎng)絡(luò)中,編碼過程往往只利用到了局部信息,而忽略了全局信息。為了實(shí)現(xiàn)對全局信息的考察,引入了自注意力機(jī)制計(jì)算模塊。在視覺任務(wù)中,通常使用Transformer模塊計(jì)算自注意力機(jī)制。Transformer模塊由Layer Norm層、多頭自注意力機(jī)制計(jì)算層(Multi-Head Attention)和MLP模塊構(gòu)成。MLP模塊又由簡單的線性層、GELU激活函數(shù)和Dropout層構(gòu)成,其流程如圖9所示。

多頭自注意力機(jī)制計(jì)算層是Transformer模塊的核心。將展平后的二維向量通過Wq、Wk、Wv3個(gè)變換矩陣得到相應(yīng)的特征向量Q、K、V,計(jì)算得到每一個(gè)像素的權(quán)重系數(shù),與輸入特征矩陣相乘,完成自注意力機(jī)制的計(jì)算,計(jì)算公式如下:

(1)

但由于每一個(gè)像素都會(huì)通過計(jì)算得到一個(gè)權(quán)重值,這就對計(jì)算機(jī)的算力提出了較高要求。筆者將MobileVit[21]中的Unfold、fold層與2.2節(jié)輕量化語義特征信息提取主干相結(jié)合,在提高分割精度的同時(shí),也滿足分割速度的落地需求。將通道數(shù)為464的深層語義特征信息輸入自注意力計(jì)算模塊中進(jìn)行特征激活。在此過程中會(huì)進(jìn)行Unfold和fold層,這2個(gè)層能有效減小計(jì)算量。將特征圖劃分成多個(gè)patch,再進(jìn)行自注意力機(jī)制的計(jì)算,如果patch大小劃分為2×2,只對圖中顏色相同的部分進(jìn)行自注意力機(jī)制計(jì)算,例如4個(gè)紅色小塊堆疊成特征向量,進(jìn)行自注意力機(jī)制的計(jì)算(見圖10),再通過fold過程還原成原來結(jié)構(gòu)(見圖11)。

圖9 Transformer結(jié)構(gòu)

圖10 自注意力計(jì)算

圖11 Unfold過程示意圖

此時(shí)計(jì)算量P1:

(2)

式中W、H、C分別為特征圖的寬、高和通道數(shù)量。

在一張圖中,每個(gè)像素點(diǎn)周圍的像素值具有相似性,因此沒有必要將每個(gè)像素都與其他每個(gè)像素進(jìn)行計(jì)算,否則會(huì)大大增加計(jì)算量。計(jì)算量P2:

P2=WHC

(3)

綜上所述,Unfold層和fold層能大大減少計(jì)算量并提高網(wǎng)絡(luò)模型精度。

2.4 網(wǎng)絡(luò)解碼結(jié)構(gòu)

解碼結(jié)構(gòu)中,深層語義特征信息和淺層語義特征信息經(jīng)過卷積調(diào)整通道數(shù)目,在深度方向上進(jìn)行拼接后,輸出最終的分割結(jié)果。

本網(wǎng)絡(luò)采用的交叉熵?fù)p失函數(shù)計(jì)算公式如下:

(4)

式中:y為交叉熵;yc為前景或背景標(biāo)識,取1或0;Pc為經(jīng)過softmax之后的概率值。

3 對比實(shí)驗(yàn)

3.1 實(shí)驗(yàn)過程

采用的評價(jià)指標(biāo)為每一類別交并比IoU(%)、每一類別像素精度PA(%)、平均交并比mIoU(%)和平均像素精度mPA(%),綜合記錄在P100顯卡上推理一張圖片的速度。IoU計(jì)算公式如下:

(5)

式中:ti為類別i的總像素個(gè)數(shù);nii表示類別為i、預(yù)測值也為i的像素個(gè)數(shù);nji表示類別為j、預(yù)測值為i的像素個(gè)數(shù)。

全部像素種類的平均交并比計(jì)算公式如下:

(6)

式中ncls為總的像素個(gè)數(shù)。

每一類預(yù)測正確的像素個(gè)數(shù)占此類像素總個(gè)數(shù)的比例即為像素精度,其計(jì)算公式如下:

(7)

每一類別的像素精度求和取平均值即為全局像素精度,其計(jì)算公式如下:

(8)

將礦井圖像數(shù)據(jù)集按照8∶2的比例劃分為訓(xùn)練集和驗(yàn)證集。實(shí)驗(yàn)使用2張NVIDIA Tesla P100顯卡進(jìn)行訓(xùn)練。在PASCAL VOC2012上進(jìn)行預(yù)訓(xùn)練,得到預(yù)訓(xùn)練權(quán)重,將預(yù)訓(xùn)練權(quán)重加載至網(wǎng)絡(luò)中,再利用礦井圖像數(shù)據(jù)集進(jìn)行訓(xùn)練。在礦井巷道圖像數(shù)據(jù)集上訓(xùn)練時(shí),先凍結(jié)網(wǎng)絡(luò)主干,訓(xùn)練解碼部分,再對網(wǎng)絡(luò)進(jìn)行微調(diào)。 將batch_size設(shè)置為4,采用SGD優(yōu)化器,優(yōu)化器內(nèi)部的momentum參數(shù)設(shè)置為0.937,為了防止網(wǎng)絡(luò)過擬合,權(quán)值衰減系數(shù)設(shè)為5×10-4,優(yōu)化器的初始學(xué)習(xí)率設(shè)置為1×10-2,由于巷道壁占據(jù)圖像的絕大區(qū)域,將巷道壁類別的初始權(quán)重系數(shù)設(shè)置為1.00,其余類別初始權(quán)重系數(shù)設(shè)置為0.50,使用交叉熵?fù)p失作為損失函數(shù)。

選取同樣是輕量級的網(wǎng)絡(luò)BiSeNet[21],由輕量級網(wǎng)絡(luò)MobileNet[22]改進(jìn)的DeepLab V3+、PSPNet,以及由ResNet網(wǎng)絡(luò)改進(jìn)的PSPNet[23]網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)對比。在所有網(wǎng)絡(luò)模型中輸入1張512×512的彩色圖像,用網(wǎng)絡(luò)模型參數(shù)數(shù)量和浮點(diǎn)運(yùn)算數(shù)量FLOPs初步對比網(wǎng)絡(luò)模型參數(shù)和計(jì)算量,判斷網(wǎng)絡(luò)結(jié)構(gòu)是否輕量化。

3.2 實(shí)驗(yàn)結(jié)果

計(jì)算量與參數(shù),精度與推理速度的對比結(jié)果見表3～4。

表3 各網(wǎng)絡(luò)計(jì)算量及參數(shù)

由表3可知:理論計(jì)算量FLOPs方面,本文算法為48.80 G,低于PSPNet(ResNet)和DeepLab V3+(MobileNet),高于PSPNet(MobileNet)和BiSeNet;模型參數(shù)方面,本文算法為11.90 M,低于PSPNet(ResNet)和BiSeNet,高于PSPNet(MobileNet)和DeepLab V3+(MobileNet)。

由表4可知:精度方面,本文算法mIoU表現(xiàn)最優(yōu),為76.50%,比PSPNet(ResNet)高2.44%,比PSPNet(MobileNet)高28.78%,比DeepLab V3+(MobileNet)高1.65%,比BiSeNet高5.77%;本文算法mPA比PSPNet(ResNet)高5.28%,比PSPNet(MobileNet)高28.68%,比DeepLab V3+(MobileNet)高3.17%,比BiSeNet高5.28%;在推理速度上,以MobileNet為backbone的PSPNet和BiSeNet分別能達(dá)到0.022、0.030 s,本文算法為0.032 s,略高于傳統(tǒng)輕量級網(wǎng)絡(luò)BiSeNet的推理速度。

表4 各網(wǎng)絡(luò)訓(xùn)練精度及推理速度

具體在某一類標(biāo)簽上取得的像素精度和交并比,如表5～6所示。

表5 各網(wǎng)絡(luò)在每一類別上的像素精度

表6 各網(wǎng)絡(luò)在每一類別上的交并比

由表5～6可見,本文算法在11種類別的像素精度和交并比方面均取得優(yōu)異的表現(xiàn),在背景、巷道壁、軌道、鐵軌、管道、燈、障礙物、礦車、人、貨車和指示牌等類別中,像素精度分別能達(dá)到94.76%、96.25%、88.68%、73.75%、81.49%、73.34%、81.49%、97.80%、95.41%、97.19%、85.12%,交并比分別能達(dá)到90.07%、93.45%、78.73%、58.67%、66.46%、65.16%、60.32%、93.00%、87.99%、89.54%、58.13%。

綜上所述,本文算法在平均交并比、平均像素精度,以及每一類別交并比、像素精度上均能取得優(yōu)異的表現(xiàn),在推理速度上也略高于傳統(tǒng)輕量級網(wǎng)絡(luò)BiSeNet。無論在占據(jù)圖像區(qū)域面積較小但總體數(shù)量較多的類別中,還是在占據(jù)圖像區(qū)域面積較大但總體數(shù)量較少的類別中,本文算法的像素精度和交并比均優(yōu)于其他網(wǎng)絡(luò),綜合性能優(yōu)于其他網(wǎng)絡(luò)。

3.3 圖像分割效果

本文算法與DeepLab V3+(MobileNet)方法的mIoU較為接近。為了更進(jìn)一步證明其優(yōu)越性,使用包含對象類別較多、較為復(fù)雜的場景圖像對這2種方法預(yù)測效果進(jìn)行測試。結(jié)果表明,本文算法不論是對全局信息還是對局部信息的提取上均要比以MobileNet為主干提取特征信息的DeepLab V3+網(wǎng)絡(luò)表現(xiàn)良好。復(fù)雜圖像推理效果對比如圖12所示。

(a) 原圖 (b) DeepLab V3+(MobileNet)(c) 本文算法

為了更加明顯地展示本文算法的預(yù)測效果,分別對原圖1～4進(jìn)行預(yù)測,各種算法預(yù)測效果如圖13所示。

圖13 各種算法預(yù)測效果對比

由圖13對比可以看出,本文算法在全局信息和局部信息上均能得到很好的推理效果,能準(zhǔn)確分割圖13(a)中地上的軌道、鐵軌和障礙物的細(xì)節(jié)輪廓;能精確分割細(xì)微的遠(yuǎn)景如圖13(b)中主要包含近處的工作人員,但整體圖像偏黑,遠(yuǎn)處墻上的水管和軌道肉眼難以區(qū)分;能分割出圖13(c)中墻上管道的整體輪廓;圖13(d)為旋轉(zhuǎn)過后的圖像,其中的巷道壁的語義信息難以提取,尤其是巷道壁邊緣信息,PSPNet不能準(zhǔn)確提取出圖13(d)巷道壁,但本文算法能準(zhǔn)確分割提取,保障了生產(chǎn)安全。因此,本文算法在網(wǎng)絡(luò)復(fù)雜度、推理速度、分割精度上都有良好的表現(xiàn)。

4 結(jié)束語

1)采集多地礦井巷道圖像,針對次光照圖像進(jìn)行圖像細(xì)節(jié)增強(qiáng),并標(biāo)注出人員、設(shè)備等10種類別,構(gòu)建了標(biāo)準(zhǔn)的礦井語義分割圖像數(shù)據(jù)集。

2)提出基于自注意力機(jī)制的編碼—解碼結(jié)構(gòu)網(wǎng)絡(luò),以DeepLab V3+網(wǎng)絡(luò)為基礎(chǔ),在編碼器部分加入輕量級自注意力機(jī)制模塊進(jìn)行特征信息提取,在解碼器部分對深、淺層語義特征信息進(jìn)行拼接,恢復(fù)原始圖像尺寸,輸出語義分割結(jié)果。

3)針對3通道512×512像素大小的圖像,基于自注意力機(jī)制的編碼—解碼結(jié)構(gòu)網(wǎng)絡(luò)的理論計(jì)算量FLOPs為48.80 G 、模型參數(shù)量為11.90 M;在P100顯卡上,推理速度能達(dá)到0.032 s/張;在分割精度上mPA為87.75%、mIoU為76.50%,優(yōu)于PSPNet和以MobileNet為主干的DeepLab V3+、BiSeNet網(wǎng)絡(luò);在具體類別像素精度上,礦車的分割精度能達(dá)到97.80%,貨車的分割精度能達(dá)到97.19%;而在每一類別的交并比表現(xiàn)上,巷道壁交并比能達(dá)到93.45%。分割準(zhǔn)確率高,魯棒性強(qiáng)。