紅外可見光圖像協(xié)同的弱光場景語義分割方法

陳誠 丁亞杰 高輝 胥崢

摘要：針對在昏暗條件下傳統(tǒng)的基于可見光的語義分割方法精度較差的問題，本文提出了一種紅外可見光圖像協(xié)同的弱光場景語義分割方法。首先在多源特征自適應(yīng)融合的編碼器中提取可見光與紅外圖像的對應(yīng)特征，并輸入到自適應(yīng)特征融合模塊中進(jìn)行增強(qiáng)與融合。接著將多源特征分別饋送入解碼器進(jìn)行處理，輸出可見光與紅外圖像的獨(dú)立語義分割結(jié)果。最后將自適應(yīng)融合多源特征的數(shù)據(jù)送入多源特征聚合模塊，并與不同模態(tài)的特征進(jìn)行聚合解碼，輸出融合多源特征的語義分割結(jié)果。實(shí)驗(yàn)結(jié)果表明，在弱光場景下，該方法具有良好的分割效果，并在PST900數(shù)據(jù)集下較其他方法有較為優(yōu)異的性能。

關(guān)鍵詞：語義分割;可見光圖像;紅外圖像;特征融合;弱光場景

1 語義分割方法

為了結(jié)合可見光圖像與熱紅外圖像的特征，本文提出了一種基于編碼器—解碼器結(jié)構(gòu)的紅外可見光圖像協(xié)同的弱光場景語義分割方法。網(wǎng)絡(luò)的整體架構(gòu)如圖1所示，由三個部分組成：

1.1.兩條用于提取對應(yīng)模態(tài)特征的編碼器網(wǎng)絡(luò)及其對應(yīng)的解碼器網(wǎng)絡(luò)。采用預(yù)訓(xùn)練完畢的Res2Net-50[5]網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)，兩條對應(yīng)模態(tài)的編碼器子網(wǎng)具有相同的主干網(wǎng)絡(luò)，因此在五個卷積層上都能生成對應(yīng)的特征。解碼器網(wǎng)絡(luò)結(jié)構(gòu)與層級相同的編碼器子網(wǎng)相對應(yīng)，并能輸出可見光與紅外圖像獨(dú)立的語義分割結(jié)果。

1.2.一個包含集成各卷積層對應(yīng)模態(tài)特征的自適應(yīng)特征融合模塊。本模塊采用剩余連接的方式對多源特征進(jìn)行增強(qiáng)，并自適應(yīng)地將增強(qiáng)后的特征與前一模塊的輸出進(jìn)行充分地融合，以獲得較為光滑且最大化結(jié)合多源互補(bǔ)信息的特征圖。

1.3.一個多源特征聚合的解碼器子網(wǎng)。本文設(shè)計了一個位于特征接收模塊與級聯(lián)操作之間且結(jié)合多源特征的特征聚合模塊，通過集成來自多源的不同解碼特征與上層解碼輸出，充分利用多源特征信息的特異性，大大提高語義分割的精準(zhǔn)度。

2 實(shí)驗(yàn)結(jié)果分析

為了評估本文提出算法的有效性，本文將所提出的方法與表1中所示的5種先進(jìn)的方法進(jìn)行了比較。上述所有方法都在PST900數(shù)據(jù)集上進(jìn)行訓(xùn)練。

實(shí)驗(yàn)結(jié)果表明，在地下礦洞這種黑暗狹小的場景中，本文由于充分結(jié)合可見光與紅外圖像的特征，其分割結(jié)果更加完整與精確。從表1可以看出，本文所提出的方法在所有網(wǎng)絡(luò)的平均精度與平均交并比指標(biāo)方面都取得了最好的結(jié)果。根據(jù)圖2，本文所提的紅外可見光圖像協(xié)同的弱光場景語義分割方法較其他網(wǎng)絡(luò)與標(biāo)定結(jié)果匹配度最好，分割后的目標(biāo)邊緣更為清晰與完整，且不會出現(xiàn)對目標(biāo)的漏檢、錯檢等情況。因此與目前的最佳方法相比，我們的語義分割方法在此數(shù)據(jù)集上具有更高的效率以及精度。

結(jié)論

本文提出了一種紅外可見光圖像協(xié)同的弱光場景語義分割方法，包括兩條用于提取對應(yīng)模態(tài)特征的子網(wǎng)和一條用于集成多源信息的子網(wǎng)，三條子網(wǎng)均采用編碼器—解碼器結(jié)構(gòu)，其中集成多源信息的子網(wǎng)包含自適應(yīng)特征融合模塊與多源特征聚合模塊。自適應(yīng)特征融合模塊根據(jù)可見光與熱紅外圖像之間的互補(bǔ)性，可自適應(yīng)地讓特定模態(tài)的特征進(jìn)行融合，多源特征聚合模塊能將自適應(yīng)特征融合模塊的輸出與特定模態(tài)特征相結(jié)合，充分利用可見光與熱紅外圖像的特異性。在PST900數(shù)據(jù)集下的實(shí)驗(yàn)結(jié)果表明，在弱光場景下本文所提的方法較于其他先進(jìn)的分割網(wǎng)絡(luò)，在精度以及效率方面有顯著的提高。

參考文獻(xiàn)

[1]秦飛巍， 沈希樂， 彭勇，等. 無人駕駛中的場景實(shí)時語義分割方法[J]. 計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報， 2021， 33（7）：12.