基于改進(jìn)Deeplabv3+的煙霧區(qū)域分割識(shí)別算法

劉志贏, 謝春思, 李進(jìn)軍, 桑 雨

(1. 海軍大連艦艇學(xué)院學(xué)員五大隊(duì), 遼寧 大連 116018; 2. 海軍大連艦艇學(xué)院導(dǎo)彈與艦炮系, 遼寧 大連 116018)

0 引 言

隨著計(jì)算機(jī)視覺(jué)技術(shù)的不斷發(fā)展,基于圖像識(shí)別的尋的制導(dǎo)技術(shù)取得了廣泛應(yīng)用[1],常用成像方式有電視和紅外成像。復(fù)雜背景下,煙霧遮擋導(dǎo)致目標(biāo)識(shí)別系統(tǒng)容易出現(xiàn)漏、錯(cuò)識(shí)別[2],為了提高檢測(cè)能力,學(xué)者們提出串行和并行等方法規(guī)避遮擋干擾,無(wú)論哪種方法都需要對(duì)圖像中遮擋物進(jìn)行識(shí)別。因此,煙霧區(qū)域檢測(cè)對(duì)于圖像尋的制導(dǎo)技術(shù)具有重要現(xiàn)實(shí)意義。傳統(tǒng)煙霧檢測(cè)技術(shù)采用模式識(shí)別的方法,通過(guò)人工提取目標(biāo)場(chǎng)景下煙霧的顏色、紋理、空間關(guān)系等特征,經(jīng)數(shù)據(jù)處理后利用閾值法、分類器等進(jìn)行判別,存在計(jì)算冗余量大、時(shí)間復(fù)雜度高的缺陷,且難以適應(yīng)復(fù)雜場(chǎng)景和異源成像機(jī)制,算法魯棒性差[3-6]。常見(jiàn)算法有K-means聚類分析、差分盒維數(shù)分析、動(dòng)態(tài)閾值聚類分析等[7-9]。

近年來(lái),基于深度學(xué)習(xí)的煙霧檢測(cè)技術(shù)得到迅速發(fā)展,以深度卷積神經(jīng)網(wǎng)絡(luò)代替人工操作提取目標(biāo)特征,按照輸出形式可分為兩類:一是通過(guò)目標(biāo)檢測(cè)的方法,輸出矩形框?qū)崿F(xiàn)對(duì)煙霧區(qū)域識(shí)別和標(biāo)注,如Zhang等[10]利用模擬的森林背景煙霧對(duì)Faster R-CNN網(wǎng)絡(luò)訓(xùn)練,實(shí)現(xiàn)了對(duì)真實(shí)森林火災(zāi)場(chǎng)景的識(shí)別;梁杰等[11]改進(jìn)了YOLOv2深度學(xué)習(xí)模型,較好地實(shí)現(xiàn)了對(duì)導(dǎo)引頭視場(chǎng)中煙幕和遮擋物的識(shí)別,且能適應(yīng)多種成像體制。目標(biāo)檢測(cè)法對(duì)剛性目標(biāo)具備優(yōu)異的識(shí)別能力,但煙霧形態(tài)變化多樣,標(biāo)準(zhǔn)矩形框容易框入非煙霧區(qū)域[12-13]。二是通過(guò)語(yǔ)義分割的方法,針對(duì)圖像中所有像素點(diǎn)類別判定并輸出分割圖,如Xu等[14]設(shè)計(jì)了像素級(jí)和對(duì)象級(jí)相結(jié)合的深度顯著性網(wǎng)絡(luò),通過(guò)提取包含豐富細(xì)節(jié)特征和語(yǔ)義特征的特征圖,實(shí)現(xiàn)對(duì)視頻中煙霧的精細(xì)化分割;Yuan等[15]將跳躍結(jié)構(gòu)加入改進(jìn)全卷積網(wǎng)絡(luò)(fully convolutional network, FCN)模型,設(shè)計(jì)了包含粗路徑和細(xì)路徑的端到端語(yǔ)義分割網(wǎng)絡(luò),實(shí)現(xiàn)對(duì)煙霧細(xì)節(jié)的精細(xì)化分割。語(yǔ)義分割法能更好地提取煙霧的本質(zhì)特征,以檢測(cè)對(duì)象邊緣為界限區(qū)分不同目標(biāo)區(qū)域,實(shí)現(xiàn)精細(xì)化識(shí)別分割[16-18]。

2014年,Long等提出的FCN模型成為語(yǔ)義分割的開(kāi)山之作[19],該模型通過(guò)逆卷積層對(duì)最后的特征圖層上采樣,實(shí)現(xiàn)分辨率復(fù)原和像素級(jí)目標(biāo)分類和預(yù)測(cè)。在此基礎(chǔ)上,U-Net網(wǎng)絡(luò)[20]采用編碼器-解碼器(encoder-decoder, ED)結(jié)構(gòu),在提取特征階段通過(guò)路徑收縮融合不同深度的信息,在預(yù)測(cè)階段通過(guò)路徑擴(kuò)張實(shí)現(xiàn)對(duì)分割出的不同尺度目標(biāo)準(zhǔn)確定位,有效解決了由于特征圖分辨率變小導(dǎo)致的分割邊界精度降低的問(wèn)題。Deeplab語(yǔ)義分割系列模型提出基于空洞卷積的金字塔構(gòu)型(atrous spatial pyramid pooling,ASPP)[21],在不改變分辨率的條件下實(shí)現(xiàn)擴(kuò)大感受野,同時(shí)對(duì)不同層級(jí)的特征融合,有利于解決多尺度分割問(wèn)題。Deeplabv3+結(jié)合了ED結(jié)構(gòu)和ASPP構(gòu)型的優(yōu)點(diǎn)[22],成為當(dāng)前綜合性能優(yōu)異的語(yǔ)義分割算法。

結(jié)合煙霧形態(tài)特點(diǎn)和工程應(yīng)用的現(xiàn)實(shí)要求,本文提出了基于改進(jìn)Deeplabv3+的煙霧區(qū)域分割識(shí)別算法,通過(guò)創(chuàng)新異感受野融合的ASPP結(jié)構(gòu),提高了對(duì)不同層級(jí)特征圖的信息使用率,進(jìn)一步擴(kuò)大了空洞卷積的感受野,有利于聯(lián)系上下文特征信息;受到殘差網(wǎng)絡(luò)的啟發(fā),對(duì)骨干網(wǎng)絡(luò)使用殘差結(jié)構(gòu)優(yōu)化設(shè)計(jì),同時(shí)剔除部分冗余通道,降低了網(wǎng)絡(luò)計(jì)算量;增加多尺度融合模塊,增強(qiáng)了模型對(duì)目標(biāo)尺度變化的適應(yīng)能力;引入通道注意力模塊,通過(guò)分配通道權(quán)重實(shí)現(xiàn)對(duì)包含重點(diǎn)特征信息的通道重點(diǎn)訓(xùn)練,提高了模型的學(xué)習(xí)效率。實(shí)驗(yàn)結(jié)果表明,改進(jìn)算法具備更好的全場(chǎng)景理解能力,能對(duì)煙霧邊界進(jìn)行精細(xì)化處理,在工程應(yīng)用方面平衡兼顧了分割精度和檢測(cè)效率,可移植性更優(yōu),具有重要的應(yīng)用價(jià)值。

1 Deeplabv3+基礎(chǔ)模型

Deeplabv3+基礎(chǔ)模型的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。文獻(xiàn)[22]中以改進(jìn)Xception為骨干網(wǎng)絡(luò),初始圖像輸入到Encoder模塊,經(jīng)輸入流、中間流和輸出流卷積運(yùn)算,生成分辨率為原始圖像1/16的特征張量;將提取的特征張量傳入ASPP結(jié)構(gòu),該結(jié)構(gòu)包含一個(gè)全域池化特征層和3種不同擴(kuò)張率的并行空洞卷積層,經(jīng)拼接處理后通過(guò)1×1卷積實(shí)現(xiàn)通道壓縮;Decoder模塊中,對(duì)來(lái)自ASPP結(jié)構(gòu)的特征張量通過(guò)雙線性插值4倍上采樣,然后與來(lái)自骨干網(wǎng)絡(luò)的同分辨率特征圖拼接,再次經(jīng)3×3卷積和4倍上采樣操作后輸出分割結(jié)果。模型使用大量深度分離卷積代替常規(guī)卷積,降低了參數(shù)量和計(jì)算量,有利于模型輕量化;構(gòu)建特征金字塔時(shí)使用空洞卷積代替下采樣來(lái)擴(kuò)大卷積核感受野,改善輸出分辨率,避免圖像細(xì)節(jié)特征丟失;通過(guò)一次上采樣將高級(jí)特征與低級(jí)特征融合,兼顧圖像的語(yǔ)義信息和細(xì)節(jié)信息,減少了直接對(duì)高級(jí)特征空間維度恢復(fù)造成的誤差。

圖1 Deeplabv3+基礎(chǔ)模型的網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network structure of Deeplabv3+basic model

利用Deeplabv3+基礎(chǔ)模型分別對(duì)可見(jiàn)光和紅外條件下的煙霧圖像分割,其結(jié)果如圖2所示。該模型雖然能較好地分割煙霧內(nèi)部區(qū)域,但煙霧邊緣分割精度較差,細(xì)節(jié)損失嚴(yán)重;與煙霧真實(shí)分布相比存在錯(cuò)分割區(qū)域,整體分割精度較低。由于煙霧這類非剛性目標(biāo)空間形態(tài)和尺度變化較大,基礎(chǔ)模型ASPP結(jié)構(gòu)不能很好地適應(yīng)煙霧形變;參與預(yù)測(cè)的特征張量中包含的細(xì)節(jié)信息較少,煙霧邊緣和小尺度煙團(tuán)存在漏分割。因此,本文提出改進(jìn)Deeplabv3+煙霧分割模型。

圖2 Deeplabv3+基礎(chǔ)模型煙霧分割結(jié)果Fig.2 Smoke segmentation results of Deeplabv3+basic model

2 改進(jìn)Deeplabv3+網(wǎng)絡(luò)模型

以Deeplabv3+基礎(chǔ)模型為主體,從以下3個(gè)方面進(jìn)行改進(jìn)。首先,通過(guò)異感受野融合的方式改進(jìn)ASPP結(jié)構(gòu),提高信息利用率;其次,優(yōu)化骨干網(wǎng)絡(luò)中間流結(jié)構(gòu),將多尺度特征張量拼接傳入Decoder模塊;最后,特征融合中融入通道注意力模塊(channel attention module, CAM),優(yōu)化網(wǎng)絡(luò)通道權(quán)重配置。改進(jìn)Deeplabv3+模型的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 改進(jìn)Deeplabv3+模型的網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Network structure of the improved Deeplabv3+model

2.1 異感受野融合的ASPP

原網(wǎng)絡(luò)ASPP結(jié)構(gòu)使用擴(kuò)張率分別為6、12和18的空洞卷積擴(kuò)大感受野,空洞卷積是通過(guò)卷積核補(bǔ)零的方式實(shí)現(xiàn)的,最終輸出非零采樣點(diǎn)的卷積結(jié)果。隨著擴(kuò)張率的增大,非零采樣點(diǎn)占比快速下降,在同等計(jì)算量條件下空洞卷積獲取的信息量丟失嚴(yán)重,信息利用率低,學(xué)習(xí)到的特征相關(guān)性差,不利于網(wǎng)絡(luò)訓(xùn)練[14]。此外,ASPP結(jié)構(gòu)單一擴(kuò)張率卷積層的輸出結(jié)果為骨干網(wǎng)絡(luò)生成的特征張量的線性運(yùn)算,相對(duì)原特征圖,卷積核感受野擴(kuò)張有限,且忽略了不同擴(kuò)張率空洞卷積間的相關(guān)性。

基于以上分析,創(chuàng)新異感受野融合的ASPP結(jié)構(gòu)如圖4所示,以擴(kuò)張率r=12的卷積層說(shuō)明這個(gè)過(guò)程。圖4(a)為通道拼接,將原始特征圖與r=6卷積層處理過(guò)的特征圖拼接后傳入r=12卷積層;圖4(b)為r=12卷積層對(duì)原始特征圖的采樣點(diǎn)分布,感受野大小為width=25,參與有效運(yùn)算的元素?cái)?shù)量為num=9;圖4(c)為r=12卷積層對(duì)r=6特征圖的采樣點(diǎn)分布。r=6特征圖上各元素在原始特種圖中也有對(duì)應(yīng)的采樣點(diǎn)分布,級(jí)聯(lián)的空洞卷積導(dǎo)致在原始特征圖上感受野擴(kuò)大(width=37),參與有效運(yùn)算的元素?cái)?shù)量增多(num=49)。

定義信息利用率η為原始特征圖中參與有效運(yùn)算的元素量與感受野內(nèi)元素總量的比值,則異感受野融合前后空洞卷積在原始特征圖中表現(xiàn)如表1所示。融合后,擴(kuò)張率為12和18的空洞卷積感受野分別從25和37擴(kuò)大至37和61,信息利用率分別從1.44%和0.66%增長(zhǎng)至3.58%和2.18%。該方法通過(guò)增強(qiáng)不同感受野信息間的相關(guān)性,從更大區(qū)域內(nèi)判別單一像素的類別屬性,有效降低信息損失。

圖4 異感受野融合的空洞卷積Fig.4 Empty convolution of different-sensory field fusion

表1 異感受野融合對(duì)空洞卷積的影響

異感受野融合將增加大量網(wǎng)絡(luò)運(yùn)算,對(duì)此通過(guò)通道刪減減少ASPP模塊參數(shù)量。原ASPP模塊各空洞卷積的輸入特征圖為2 048通道,輸出為256通道,前后分辨率一致,參數(shù)量為

N1=2 048×32×256×3=14 155 776

對(duì)于改進(jìn)ASPP中r=6的空洞卷積層,先采用1×1的卷積將原始特征圖縮減為1 280通道,再進(jìn)行卷積運(yùn)算;對(duì)于r=12和r=18的空洞卷積層,先采用1×1的卷積將原始特征圖縮減為1 024通道,再與上級(jí)卷積層的輸出拼接為1 280通道的特征張量,最后進(jìn)行卷積運(yùn)算。此時(shí)參數(shù)量為

N2=2 048×1 280+1 280×32×256+
(2 048×1 024+1 280×32×256)×2=15 663 104

與原ASPP結(jié)構(gòu)相比,異感受野融合的ASPP結(jié)構(gòu)參數(shù)量增加了10.65%,以較小的網(wǎng)絡(luò)復(fù)雜度擴(kuò)大感受野并提高信息利用率。

2.2 骨干網(wǎng)絡(luò)優(yōu)化與多尺度融合

骨干網(wǎng)絡(luò)Xception的中間流是主要特征學(xué)習(xí)模塊,結(jié)構(gòu)如圖5(a)所示,由8個(gè)重復(fù)的分離卷積模塊(depthwise separable convolutions module, DSCM)直連組成,每個(gè)分離卷積模塊由3個(gè)728通道的深度分離卷積以殘差結(jié)構(gòu)連接。文獻(xiàn)[23]指出,該中間層存在冗余計(jì)算和特征利用不充分的問(wèn)題,給出了密集連接的中間流結(jié)構(gòu)加以解決。分析認(rèn)為,密集連接導(dǎo)致網(wǎng)絡(luò)過(guò)于復(fù)雜,通道拼接引入的大量計(jì)算不利于模型輕量化,由此提出殘差連接的中間流結(jié)構(gòu),如圖5(b)所示。直連的分離卷積模塊構(gòu)成直接映射關(guān)系,殘差理論指出[24],網(wǎng)絡(luò)的直接映射不利于特征學(xué)習(xí)。對(duì)此用1×1卷積把輸入通道數(shù)降為600后,將8個(gè)模塊均分成4組,每組以殘差連接,再次使用1×1卷積把通道數(shù)恢復(fù)為728。該方法增強(qiáng)了模塊間信息的相關(guān)性,有利于網(wǎng)絡(luò)的特征學(xué)習(xí),同時(shí)降低網(wǎng)絡(luò)運(yùn)算量。

圖5 骨干網(wǎng)絡(luò)中間流結(jié)構(gòu)優(yōu)化Fig.5 Structure optimization of backbone network middle flow

為提高分割精度,降低細(xì)節(jié)損失,在Decoder模塊參與預(yù)測(cè)的特征圖中引入更低層特征,經(jīng)多尺度特征融合后形成新的特征圖。如圖3所示,將ASPP輸出的特征圖經(jīng)4倍上采樣后,與輸入流降采樣率為4的特征圖拼接;合成的特征圖再次經(jīng)2倍上采樣,與輸入流降采樣率為2的特征圖拼接,利用1×1卷積將通道數(shù)調(diào)整與先前一致;經(jīng)3×3卷積后2倍上采樣處理,恢復(fù)特征圖分辨率與原圖一致。

2.3 通道注意力模塊

Deeplabv3+網(wǎng)絡(luò)中涉及多處通道融合操作,融合前不同通道攜帶的特征經(jīng)歷不同卷積運(yùn)算,隨著卷積深度的增加,所獲取的語(yǔ)義特征愈加抽象,其對(duì)后續(xù)特征學(xué)習(xí)過(guò)程的影響不同。因此,根據(jù)不同特征通道對(duì)目標(biāo)預(yù)測(cè)的影響力大小設(shè)置權(quán)重系數(shù),突出對(duì)網(wǎng)絡(luò)有重大影響的通道信息的學(xué)習(xí),抑制冗余通道信息,加強(qiáng)特征學(xué)習(xí)的針對(duì)性,增強(qiáng)網(wǎng)絡(luò)學(xué)習(xí)能力和泛化能力。

文獻(xiàn)[25]中壓縮獎(jiǎng)勵(lì)網(wǎng)絡(luò)(squeeze and excitation networks, SENet)采用的通道注意力模塊較好地實(shí)現(xiàn)了通道權(quán)重的自學(xué)習(xí)。CAM原理如圖6所示,分為壓縮和獎(jiǎng)勵(lì)兩部分。

圖6 通道注意力模塊構(gòu)型Fig.6 Structure of channel attention module

壓縮過(guò)程通過(guò)一個(gè)全局平均池化層產(chǎn)生對(duì)應(yīng)通道的統(tǒng)計(jì)信息,對(duì)第i個(gè)通道有:

(1)

式中,W×H表示原特征圖分辨率;ui(p,q)表示第i個(gè)通道層坐標(biāo)為(p,q)位置的元素,總通道數(shù)為C;zi為該通道的特征映射量。至此壓縮過(guò)程得到1×1×C的一維向量z∈RC。獎(jiǎng)勵(lì)過(guò)程如下所示:

s=σ(g(z,W))=σ(W2δ(W1z))

(2)

首先通過(guò)一個(gè)權(quán)重為W1的全連接層降低通道數(shù)為原來(lái)的1/h,經(jīng)ReLU函數(shù)(δ)激活后輸入第二個(gè)全連接層(權(quán)重為W2)恢復(fù)通道數(shù),最后用Sigmoid函數(shù)(σ)生成歸一化通道權(quán)重s∈RC,其尺度為1×1×C。將歸一化通道權(quán)重與原特征圖對(duì)應(yīng)通道相乘,即得到通道注意力特征圖Scale。

如圖3所示,改進(jìn)Deeplabv3+模型中,ASPP多感受野特征融合和Decoder模塊兩處多尺度融合部分采用通道減少率為h=16的通道注意力模塊;骨干網(wǎng)絡(luò)中間流共包含12處基于殘差構(gòu)型的網(wǎng)絡(luò)連接,采用通道減少率為h=15的通道注意力模塊。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集與預(yù)處理

為使訓(xùn)練出的煙霧分割模型對(duì)可見(jiàn)光和紅外條件下的目標(biāo)都具備良好的適應(yīng)能力,原則上數(shù)據(jù)集應(yīng)包括該兩種成像體制下的煙霧樣本。目前尚未有開(kāi)源煙霧語(yǔ)義分割數(shù)據(jù)集,使用不同成像體制的拍攝設(shè)備自建成本過(guò)高。為解決數(shù)據(jù)短缺的問(wèn)題,借鑒文獻(xiàn)[2]采用的煙霧仿真的方法,將實(shí)拍煙霧和模擬煙霧相結(jié)合,按照PASCALVOC數(shù)據(jù)集格式自建數(shù)據(jù)庫(kù)。

訓(xùn)練集包括實(shí)拍和模擬兩種數(shù)據(jù)類型。實(shí)拍煙霧通過(guò)在室外設(shè)置油盆實(shí)驗(yàn),利用DSC-WX700相機(jī)獲取723張可見(jiàn)光圖像;模擬煙霧采用OSG粒子仿真系統(tǒng)描述煙霧特性,初始靜態(tài)參數(shù)設(shè)置如表2所示,將生成的煙霧粒子圖加入不同的紅外場(chǎng)景中,共生成683張模擬紅外煙霧圖像。實(shí)拍可見(jiàn)光煙霧圖像、紅外原始圖像、模擬紅外煙霧圖像和實(shí)拍紅外煙霧圖像對(duì)比如圖7所示,模擬紅外煙霧圖像與實(shí)拍紅外煙霧圖像視覺(jué)效果上相近。獲取的煙霧圖像經(jīng)灰度反轉(zhuǎn)、水平翻轉(zhuǎn)、拉伸、放縮、旋轉(zhuǎn)等數(shù)據(jù)增廣處理后擴(kuò)充成 16 438張,如圖8所示。測(cè)試集為從互聯(lián)網(wǎng)獲取的實(shí)拍煙霧圖像,包括830張可見(jiàn)光圖像和186張紅外圖像。正式訓(xùn)練前,將上述圖像統(tǒng)一為單通道320×240分辨率。

表2 粒子初始靜態(tài)屬性

圖7 實(shí)拍圖像與模擬圖像效果對(duì)比Fig.7 Comparison between real image and simulated image

圖8 數(shù)據(jù)增廣Fig.8 Data augmentation

3.2 實(shí)驗(yàn)配置與網(wǎng)絡(luò)訓(xùn)練

為加速網(wǎng)絡(luò)收斂,將訓(xùn)練集的20%設(shè)定為驗(yàn)證集。循環(huán)次數(shù)設(shè)置為200 000,初始學(xué)習(xí)率設(shè)置為1×10-4,終止學(xué)習(xí)率設(shè)置為1×10-5,隨訓(xùn)練次數(shù)線性遞減;根據(jù)計(jì)算機(jī)配置batchsize設(shè)置為4;ASPP空洞卷積速率設(shè)置為[6,12,18]。

Deeplabv3+基礎(chǔ)網(wǎng)絡(luò)和本文改進(jìn)Deeplabv3+網(wǎng)絡(luò)的訓(xùn)練過(guò)程如圖9所示,總體來(lái)看二者損失函數(shù)值都隨訓(xùn)練次數(shù)增加逐漸穩(wěn)定,但改進(jìn)Deeplabv3+網(wǎng)絡(luò)收斂速度更快,后期波動(dòng)更小。這是由于CAM 模塊對(duì)特征圖通道合理分配權(quán)重,強(qiáng)化對(duì)重點(diǎn)通道特征信息的學(xué)習(xí),降低一般通道的冗余計(jì)算,使網(wǎng)絡(luò)學(xué)習(xí)能力和排除干擾信息的能力得到加強(qiáng)。

圖9 網(wǎng)絡(luò)的訓(xùn)練過(guò)程曲線Fig.9 Training process curve of network

3.3 分割效果與性能評(píng)估

以平均交并比(mean intorsection over unin,MIoU)和每秒檢測(cè)幀數(shù)(frames per second, FPS)為量化指標(biāo),評(píng)估模型的分割精度和檢測(cè)效率;依據(jù)生成的權(quán)重文件的內(nèi)存大小判斷模型的工程實(shí)用性。MIoU計(jì)算方法如下:

(3)

式中,TP表示被正確分割為煙霧區(qū)域的像素?cái)?shù)量;FN表示被錯(cuò)誤標(biāo)記為背景的煙霧區(qū)域的像素?cái)?shù)量;FP表示被錯(cuò)誤分割為煙霧的背景像素?cái)?shù)量。改進(jìn)Deeoplabv3+模型與Deeplabv3+基礎(chǔ)模型,以及傳統(tǒng)基于差分盒維數(shù)膨脹的模式識(shí)別算法的煙霧分割量化結(jié)果對(duì)比如表3所示。

表3 改進(jìn)Deeplabv3+模型煙霧分割量化結(jié)果對(duì)比

由表3可知,兩個(gè)深度學(xué)習(xí)煙霧分割模型的分割精度遠(yuǎn)遠(yuǎn)優(yōu)于傳統(tǒng)的基于差分盒維數(shù)膨脹的煙霧分割算法,且檢測(cè)效率高于傳統(tǒng)算法近百倍,說(shuō)明深度學(xué)習(xí)算法具有極強(qiáng)的優(yōu)越性。深度學(xué)習(xí)模型對(duì)可見(jiàn)光和紅外圖像的分割精度相近,改進(jìn)Deeplabv3+模型總體平均交并比和每秒檢測(cè)幀數(shù)分別為91.03%和12.51,與Deeplabv3+基礎(chǔ)模型相比分別提升3.24%和-1.04%,以較小的檢測(cè)效率損失為代價(jià)取得了更高的分割精度;改進(jìn)模型權(quán)重文件占用計(jì)算機(jī)內(nèi)存更低,提升了工程實(shí)用性。

表4所示為改進(jìn)Deeplabv3+模型與基礎(chǔ)模型、傳統(tǒng)差分盒維數(shù)膨脹算法的煙霧分割效果對(duì)比。從上至下,前3組為可見(jiàn)光成像,第4組為紅外成像;從左至右依次為測(cè)試樣本原圖、標(biāo)注圖和差分盒維數(shù)膨脹算法分割圖,Deeplabv3+基礎(chǔ)模型分割圖和改進(jìn)Deeplabv3+模型分割圖。由表4可知,傳統(tǒng)差分盒維數(shù)膨脹算法僅能對(duì)煙霧邊緣灰度粗糙區(qū)域有較好的分割效果,對(duì)于煙霧內(nèi)部灰度均一區(qū)域分割效果不理想,說(shuō)明算法的全場(chǎng)景理解能力差;對(duì)于紅外圖像幾乎失去分割作用,難以應(yīng)對(duì)異源成像體制;處理結(jié)果存在嚴(yán)重的錯(cuò)分割,算法魯棒性差。與傳統(tǒng)算法相比,Deeplabv3+基礎(chǔ)模型具備優(yōu)異地分割效果,能將煙霧區(qū)域完整地識(shí)別和分割,但將煙霧邊緣處理的更為平滑,將標(biāo)注圖中曲折的煙霧邊緣分割為直線線條,細(xì)節(jié)丟失嚴(yán)重;在煙霧和背景對(duì)比度較低的區(qū)域,基礎(chǔ)模型存在漏分割現(xiàn)象。Deeplabv3+改進(jìn)模型在不同場(chǎng)景下均較好地保留了煙霧細(xì)節(jié)特征,邊緣識(shí)別更加清晰準(zhǔn)確,具備較強(qiáng)的魯棒性;對(duì)可見(jiàn)光圖像和紅外圖像均具備較好的分割性能,表現(xiàn)出良好的泛化能力。

表4 改進(jìn)Deeplabv3+模型與基礎(chǔ)模型分割結(jié)果對(duì)比

為驗(yàn)證異感受野融合的ASPP、骨干網(wǎng)絡(luò)優(yōu)化與多尺度融合、通道注意力模塊等措施的有效性,以MIoU和FPS為指標(biāo),采用控制變量法對(duì)比分析各個(gè)改進(jìn)點(diǎn)對(duì)模型的影響,實(shí)驗(yàn)結(jié)果分析如表5所示。

表5 不同改進(jìn)措施的分割效果對(duì)比

組別1和組別2對(duì)比可知,異感受野融合的ASPP結(jié)構(gòu)使MIoU提升1.67%,提高了分割精度,該方法可有效擴(kuò)大空洞卷積的感受野,提高信息使用率,降低信息損失帶來(lái)的不良影響;但每秒傳輸幀數(shù)下降0.6,新增參數(shù)量和計(jì)算量降低了模型檢測(cè)效率。對(duì)比組別2和3可知,骨干優(yōu)化與多尺度融合操作使每秒傳輸幀數(shù)提高1.18,說(shuō)明減少中間流通道數(shù)有利于模型輕量化,檢測(cè)實(shí)時(shí)性有明顯提升;通道數(shù)減少會(huì)導(dǎo)致模型檢測(cè)精度的降低,但組別3的MIoU值較組別2正增長(zhǎng),說(shuō)明多尺度融合對(duì)分割精度有積極作用。組別3和4對(duì)比可知,通道注意力模塊進(jìn)一步提高了分割精度,MIoU值超過(guò)91%;但FPS下降超過(guò)5.3%,說(shuō)明優(yōu)化通道權(quán)重增加了較多的計(jì)算量,檢測(cè)效率下降嚴(yán)重。綜合分析表5數(shù)據(jù)可知,模型的分割精度和檢測(cè)效率難以同時(shí)取得大幅提升,改進(jìn)Deeplabv3+模型在二者之間取得了較好的權(quán)衡。

為測(cè)試骨干網(wǎng)絡(luò)對(duì)語(yǔ)義分割算法的影響,將本文改進(jìn)模型與基于不同特征提取網(wǎng)絡(luò)的Deeplabv3+模型進(jìn)行對(duì)比,結(jié)果如表6所示。

表6 不同骨干網(wǎng)絡(luò)的Deeplabv3+模型分割性能對(duì)比

對(duì)比發(fā)現(xiàn),本文改進(jìn)模型的分割精度最好,模型大小適中;以MobileNet-v2系列為骨干網(wǎng)絡(luò),具備優(yōu)異的處理效率和工程實(shí)用性,但分割精度損失太大;ResNet系列骨干網(wǎng)絡(luò)兼顧檢測(cè)實(shí)時(shí)性和準(zhǔn)確性,但與本文改進(jìn)模型相比分割精度仍有一定差距,且模型文件過(guò)大,不利于工程應(yīng)用。總之,改進(jìn)Deeplabv3+模型綜合考慮了任務(wù)需求和工程應(yīng)用因素,在分割精度和檢測(cè)效率之間取得較好權(quán)衡;實(shí)驗(yàn)數(shù)據(jù)表明,該模型對(duì)可見(jiàn)光和紅外圖像中煙霧區(qū)域均具備良好的識(shí)別分割能力,全場(chǎng)景理解能力和細(xì)節(jié)分割能力突出,具有一定的現(xiàn)實(shí)應(yīng)用價(jià)值。

4 結(jié) 論

針對(duì)基于圖像的尋的制導(dǎo)系統(tǒng)煙霧遮擋問(wèn)題,提出了改進(jìn)Deeplabv3+煙霧區(qū)域分割模型,通過(guò)改進(jìn)異感受野融合的ASPP、骨干網(wǎng)絡(luò)優(yōu)化與多尺度融合、添加通道注意力模塊等措施,提高了算法的煙霧分割能力。實(shí)驗(yàn)數(shù)據(jù)表明,改進(jìn)Deeplabv3+模型在測(cè)試集中平均交并比為91.03%,分割效率為12.64幀/秒,分割效果遠(yuǎn)超傳統(tǒng)的模式識(shí)別算法;改進(jìn)模型在分割精度和檢測(cè)實(shí)時(shí)性之間取得良好的權(quán)衡,相對(duì)基礎(chǔ)模型具備更好的工程實(shí)用性,對(duì)提高圖像尋的制導(dǎo)系統(tǒng)抗煙霧干擾能力具有重要的現(xiàn)實(shí)價(jià)值。