999精品在线视频,手机成人午夜在线视频,久久不卡国产精品无码,中日无码在线观看,成人av手机在线观看,日韩精品亚洲一区中文字幕,亚洲av无码人妻,四虎国产在线观看 ?

基于不確定性增強的RGB-IR雙波段圖像語義分割算法

2023-04-29 00:00:00陳定律
計算機時代 2023年12期

摘" 要: 語義分割廣泛應用于機器人、醫學成像和自動駕駛等領域,但當前語義分割主要針對可見光圖像。可見光圖像在光照不足或天氣差的情況下成像效果較差,而紅外圖像受光照影響較小。因此,將可見光圖像和紅外圖像聯合使用可以提升模型的魯棒性。通過預測前景輪廓的不確定性并將其作為注意力機制,可以有效地提高模型在前景物體和邊緣輪廓部分的分割能力。本文模型在公開數據庫上取得了57.2的分割精度,綜合性能優秀。

關鍵詞: 語義分割; 不確定性; 注意力機制; 紅外圖像

中圖分類號:TP391.4" " " " " 文獻標識碼:A" " " 文章編號:1006-8228(2023)12-44-05

Semantic segmentation algorithm for RGB-IR dual-band images

based on uncertainty enhancement

Chen Dinglv

(School of Informatics Science and Technology, Zhejiang Sci-Tech University, Hangzhou, Zhejiang 310018, China)

Abstract: Semantic segmentation is widely used in robotics, medical imaging, autonomous driving and other fields. However, the existing methods mainly focus on visible (RGB) images which have low quality under insufficient illumination or bad weather conditions. The infrared (IR) images are less affected by such situations. Therefore, the combination of RGB and IR images can improve the robustness of the model. By predicting the uncertainty of the foreground edge and using it as an attention mechanism, the model's segmentation ability in the foreground object and edge parts can be effectively improved. The proposed model achieves a segmentation accuracy of 57.2 on a public dataset with excellent comprehensive performance.

Key words: semantic segmentation; uncertainty; attention mechanism; IR image

0 引言

語義分割是計算機視覺領域的基礎視覺任務。隨著計算機性能的提高和大規模數據集的出現,模型對環境感知的要求不斷提高。語義分割作為基礎的視覺任務俞發受到研究的關注。在現實中,語義分割已經被廣泛應用于許多領域,如自動駕駛[1-2]、醫療影像分析[3-4]、安防監控[5-6]等。以自動駕駛為例,語義分割可以幫助車輛識別道路、車道、行人、交通信號燈等,從而實現智能駕駛。在醫療領域,語義分割可以幫助醫生自動識別和定位病灶區域,從而提高診斷準確性。然而單波段傳感器所能提供的信息是有限的,例如可見光圖像在黑夜中無法提供較為準確的前景信息,這會大大影響到模型的決策準確度以致于無法確保自動駕駛系統的魯棒性。因此多傳感器融合的模型開始受到人們的關注[7-9]。

然而,更多傳感器意味著更多的信息[10],當產生信息沖突時,模型認為可見光給出的信息可信度高于紅外圖像然而事實卻相反時,該如何解決信息沖突如何對信息進行融合剔除冗余的信息,提取出互補的信息是目前RGB-IR雙波段語義分割問題面臨的挑戰。

Ha等[11]提出基于編碼器-解碼器的MFNet,采用具有空洞卷積的mini-inception模塊來構建獨立的編碼器來處理可見光和紅外圖像,雖然速度具有優勢,但是精度較低。Liu[12]等引入全局語義信息來增強分割效果,Sun等[13]使用預訓練的ResNet[14]作為編碼器,并將可見光波段和紅外波段在編碼器部分進行特征融合。Sun[15]又使用DenseNet[16]作為編碼器,進一步提升分割準確性。然而參數量多,計算量大。Lyu等[17]在解碼器部分使用分組卷積,減少了模型的參數量。

本文提出了一種基于不確定性增強的RGB-IR雙波段圖像語義分割算法。通過預測并增強不確定性區域使得模型分割能力增強,在公開數據庫上取得了57.2的最高Miou,有較好的綜合性能。

1 基于不確定性增強的雙波段語義分割算法

1.1 模型整體架構

語義分割模型有多種形式[11,13-15,18]。通常在雙波段的網絡架構[11,13,15]中,使用兩個預訓練的特征編碼器來編碼兩個波段的信息,參數量大推理速度慢。考慮到網絡復雜度的簡潔性,本文采用單支路的網絡結構,讓編碼器自己編碼雙波段特征的信息,利用特征不確定性來對融合信息的不確定新進行監督并對特征進行重加權。整體架構如圖1所示。

1.2 不確定性增強模塊(UA)

語義分割模型需要分割出不同目標,但紅外圖像的分辨率不高因此導致輪廓不清晰,同時街景場景下存在大量前景重疊場景,因此分割存在大量不確定性。基于以上動機,本節提出不確定性增強模塊,其結構如圖2所示。利用輸入的前景特征來輸出前景,背景,不確定性三個特征的公式如下:

[F=maxm-0.5,0]

[B=max0.5-m,0]" " " " "⑴

[U=0.5-absm-0.5]

對于輸出的前景特征概率,我們認為大于0.5的即為前景,小于0.5的即為背景,而越接近0.5,我們認為其不確定性越大。對于超參數0.5,本文在后續進行消融實驗來進行超參數的選定。

得到前景,背景,不確定性之后將三個特征級聯并于特征圖進行初步的特征增強。隨后將特征圖向量化為Q,K,V。Q代表前景,K代表背景,V代表不確定性區域,通過計算三個特征向量之間的相關性并通過卷積給予相關的權重,隨后重新將三個向量與輸入特征圖進行相乘來增強特征途中不確定性高的部分,最后加入了殘差連接保證輸出的特征不會被過于丟失。

1.3 位置和通道注意力模塊

注意力機制可以看作是一種特征重加權的方式,不僅可以在通道上進行重加權,也可以在空間位置上進行加權[10],從而令網絡更加注意權重大的區域。

為了提高多尺度融合特征圖的精確度,參考了SENet[20],從位置和通道兩個方面來對特征圖進行加權是一種有效的加權方式。因此我們提出了位置和通道注意力模塊來增強多尺度融合特征圖。

首先經過不確定性增強的特征圖只對不確定性區域的像素點進行了權重更新,其他像素區域和通道區域仍然需要注意力機制的權重更新。因此將特征圖通過注意力機制增強。

2 實驗結果及分析

2.1 數據集介紹

本章實驗主要在一個可見光-紅外語義分割數據集上展開。數據集是文獻[11]中發布的一個公開可用的數據集,我們在文中將其命名為MFNetDataset。該數據集包含1569對可見光和紅外圖像,其中包含白天拍攝的820對圖像,夜間拍攝的749對圖像。只有八類物體被標注,即汽車,人,自行車,路沿,汽車站,護欄,路障,障礙物。未標記的像素占所有像素的大部分。數據集的圖像分辨率為[480×640]。實驗遵循文獻[4]中提出的數據集分配方案,50%的圖像用于訓練,25%的圖像用于驗證,其余圖像用于測試。

2.2 實驗設置及評價指標

實驗環境的基本配置是AMD EPYC 7543 CPU,一張NVIDIA GTX 3090顯卡,系統為Ubuntu20.04,構建模型使用的PyTorch版本為1.11,CUDA使用11.3版本。使用PyTorch提供的預訓練權重DenseNet121來訓練網絡。訓練階段使用帶動量的SGD優化器,該優化算法更容易跳出局部最優值或梯度為零的鞍點處。文中所有模型包括對比算法的訓練超參數采用統一的設置,訓練批大小設為8,動量和權重衰減分別設為0.9和0.0005。初始學習率[r0=0.01],訓練周期設為[tmax=100]。采用“poly”學習策略來逐步降低學習率,公式如式⑵所示。

[rt=r01-ttmax0.9] ⑵

在訓練過程中,每個訓練周期之前輸入的圖片被隨機打亂。使用隨機水平翻轉和隨機裁剪來進行數據增強。

通常分割網絡的主損失函數是交叉熵損失函數,公式如下:

[ξcc=-1Ni=1Nc=1Cycilogyci]" "⑶

其中,[N]表示像素數量,[C]表示預測類別數,[yci]表示像素i對類別c的預測概率,[yci]為真實標注。本文中采用Lovasz-loss[21]與交叉熵損失聯合作為總損失函數,公式如下:

[Ltotal=Lce+λLlovasz]" ⑷

Lovasz損失,是直接優化IoU的損失,然而較難收斂,因此將其與交叉熵損失相加權后可以較好的對模型進行監督。

本文實驗采用平均交并比(mIoU)來評估語義分割的性能。它的計算公式如下:

[mIoU=1Ni=1NPiij=1NPij+Pji-Pii]" " "⑸

其中,[N]是類的數量,[Pij]是屬于第i類被預測為第j類的像素數。對于MFNetDataset,將未標記的像素也考慮到計算指標中。以上評價指標在分割結果中的得分越高,代表算法分割精度越好。

2.3 實驗結果及分析

2.3.1 先進算法對比及分析

本文先對比分析了不同先進算法的實驗結果,對比算法包括本文提出的算法、MFNet[11]、PSTNet[12]、RTFNet[13]、FuNNet[17]和FuseSeg[15]。表1展示了不同網絡在MFNetDataset的定量結果。

本文在公開的數據庫上進行實驗,并與其他算法進行比較來展示算法的優勢。表1展示了本文模型在MFNetDataset的定量結果與其他先進模型的對比。可以看出本文模型在“廣告牌”“路沿”和“車障”“圍欄”等輪廓特征較明顯的類別上具有較好的預測能力。分割指標達到了最高,綜合性能優秀。從表1中可以看出,我們的模型使用了較少的語義標注達到了較好的分割水平。邊緣較為平直的物體的分割性能相較不使用語義輪廓信息的模型提升明顯,其他類別也能取得有競爭力的結果,綜合性能優秀。

2.3.2 模型消融實驗及分析

為了評估本文提出的各個模塊,本節進行了幾個實驗,通過移除網絡的不同部分來驗證模塊的有效性。

表2展示了消融實驗結果,我們選擇在公開數據集上進行消融實驗來驗證我們設計的模塊的有效性。

UA模塊中,決定前景像素的超參數設置至關重要,當設置的過小時,大量像素被認為是前景,包括不確定性高的部分,導致模塊失效。而超參數設置的過高導致大量像素被認為是背景,也導致模塊失效,因此0.5是最合適的參數。如表3所示。

表4中展示了本文提出的算法和其他優秀算法在公開數據庫上的對比,可以看出UANet以較小的參數量取得了較高的分割精度,綜合性能優秀。

2.3.3 損失函數權重影響分析

由于本文實驗使用了多個損失進行監督,因此設計對比實驗驗證損失函數權重對算法的影響。實驗中保持分割損失權重為1,改變Lovasz損失函數權重[l]。實驗結果如表5所示,當Lovasz損失權重過小時,起不到什么作用,會導致模型分割性能下降,Lovasz權重過大時,收斂速度慢,影響了模型正常的性能。因此,當有多個損失函數時,其相互之間的權重需要找到一個權衡,才能使得模型性能最優。

3 結論

針對雙波段圖像語義分割存在的紅外圖像分辨率不高,街景場景存在大量重疊場景,輪廓分割不清晰,分割不確定性高等問題。本文提出了一種基于不確定性增強的RGB-IR雙波段圖像語義分割算法,將多尺度融合的特征進行不確定性預測和增強,并通過位置信息和通道信息的加權,來獲得更準確地分割結果。通過實驗證明了本文算法的有效。在較小的參數量下在公開數據庫中取得了57.2%的最優mIoU,綜合性能最優。設計的不同的消融實驗驗證了所提出模塊的有效性。未來會繼續縮小模型參數,在更小的參數下使模型有更高的分割精度。

參考文獻(References):

[1] Teso-Fz-Beto?o D, Zulueta E, Sánchez-Chica A, et al.

Semantic segmentation to develop an indoor navigation system for an autonomous mobile robot[J]. Mathematics,2020,8(5):855.

[2] Cai P, Mei X, Tai L, et al. High-speed autonomous drifting

with deep reinforcement learning[J]. IEEE Robotics Automation Letters,2020,5(2):1247-54.

[3] Jiang F, Grigorev A, Rho S, et al. Medical image semantic

segmentation based on deep learning[J].2018,29:1257-65.

[4] Liu L, Wu F-X, Wang Y-P, et al. Multi-receptive-field

CNN for semantic segmentation of medical images[J]. 2020,24(11):3215-25.

[5] Meenpal T, Balakrishnan A, Verma A. Facial mask

detection using semantic segmentation[C]//2019 4th International Conference on Computing, Communications and Security (ICCCS).IEEE,2019:1-5.

[6] An J, Zhang H, Zhu Y, et al. Semantic segmentation for

prohibited items in baggage inspection[C]//Intelligence Science and Big Data Engineering Visual Data Engineering: 9th International Conference, IScIDE 2019,Nanjing, China, October 17-20,2019, Proceedings, Part I 9.Springer,2019:495-505.

[7] Hazirbas C, Ma L, Domokos C, et al. Fusenet:

Incorporating depth into semantic segmentation via fusion-based cnn architecture[C]//Asian conference on computer vision.Springer,2016:213-28.

[8] Li Z, Gan Y, Liang X, et al. Lstm-cf: Unifying context

modeling and fusion with lstms for rgb-d scene labeling[C]//European conference on computer vision.Springer,2016:541-57.

[9] Valada A, Mohan R, Burgard W. Self-supervised model

adaptation for multimodal semantic segmentation[J]. International Journal of Computer Vision,2020,128(5):1239-85.

[10] Feng D, Haase-Schütz C, Rosenbaum L, et al. Deep

multi-modal object detection and semantic segmentation for autonomous driving: Datasets, methods, and challenges[J]. IEEE Transactions on Intelligent Transportation Systems,2020,22(3):1341-60.

[11] Ha Q, Watanabe K, Karasawa T, et al. MFNet: Towards

real-time semantic segmentation for autonomous vehicles with multi-spectral scenes[C]//2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS).IEEE,2017:5108-15.

[12] Liu W, Rabinovich A, Berg A C. Parsenet: Looking wider

to see better[J]. arXiv preprint arXiv:04579,2015.

[13] Sun Y, Zuo W, Liu M. Rtfnet: Rgb-thermal fusion

network for semantic segmentation of urban scenes[J]. IEEE Robotics Automation Letters,2019,4(3):2576-83.

[14] He K, Zhang X, Ren S, et al. Deep residual learning for

image recognition[C]//Proceedings of the IEEE conference on computer vision and pattern recognition,2016:770-8.

[15] Sun Y, Zuo W, Yun P, et al. FuseSeg: semantic

segmentation of urban scenes based on RGB and thermal data fusion[J]. IEEE Transactions on Automation Science Engineering,2020(3):1000-11.

[16] Huang G, Liu Z, Van Der Maaten L, et al. Densely

connected convolutional networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition,2017:4700-8.

[17] Lyu Y, Schiopu I, Munteanu A. Multi-modal neural

networks with multi-scale RGB-T fusion for semantic segmentation[J]. Electronics Letters,2020,56(18):920-3.

[18] Fu J, Liu J, Tian H, et al. Dual attention network for

scene segmentation[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition,2019:3146-54.

[19] Chen L-C, Papandreou G, Kokkinos I, et al. Deeplab:

Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected crfs[J]. IEEE transactions on pattern analysis machine intelligence,2017,40(4):834-48.

[20] Hu J, Shen L, Sun G. Squeeze-and-excitation

networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition,2018:7132-41.

[21] Berman M, Triki A R, Blaschko M B. The lovász-

softmax loss: A tractable surrogate for the optimization of the intersection-over-union measure in neural networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition,2018:4413-21.

主站蜘蛛池模板: 国产大全韩国亚洲一区二区三区| 亚洲av片在线免费观看| 无码在线激情片| 国产成人亚洲无码淙合青草| 怡春院欧美一区二区三区免费| 伊人久久大线影院首页| 亚洲天天更新| 欧美日韩国产精品va| 日韩人妻无码制服丝袜视频| 国产91蝌蚪窝| 丰满人妻中出白浆| 欧美福利在线| 亚洲欧美精品在线| 欧美一级在线播放| 白浆视频在线观看| 自拍亚洲欧美精品| 欧美国产综合色视频| 国产成人狂喷潮在线观看2345| 国产成人艳妇AA视频在线| 99国产精品一区二区| 欧美国产精品拍自| AV不卡在线永久免费观看| 国产自在线播放| 午夜a级毛片| 日韩a级片视频| 欧美午夜视频在线| 一级毛片在线播放| 国产成人永久免费视频| 天堂中文在线资源| 亚洲性影院| 国产成人超碰无码| 久久夜色精品| 中文字幕乱码中文乱码51精品| 特级精品毛片免费观看| 亚洲免费人成影院| 国产视频a| 国产免费久久精品44| 精品一区二区三区自慰喷水| 成人欧美在线观看| 亚洲国产精品无码AV| 亚洲自拍另类| 日韩人妻少妇一区二区| 国产第一页屁屁影院| 国产91小视频| 久久永久免费人妻精品| 国产自产视频一区二区三区| 日韩AV无码一区| 国产精鲁鲁网在线视频| 中文字幕天无码久久精品视频免费| 亚洲AV无码一区二区三区牲色| 无码AV高清毛片中国一级毛片 | 亚洲综合天堂网| 久久国产免费观看| 国产激情无码一区二区三区免费| 欧美精品v日韩精品v国产精品| 九九视频免费看| 日韩精品一区二区三区大桥未久 | 国产精品三级专区| 欧美一区二区三区不卡免费| 国产精品任我爽爆在线播放6080| 毛片免费在线视频| 福利在线不卡| 中文精品久久久久国产网址| 无码精品国产VA在线观看DVD| 国产精品成人一区二区不卡| 青青青视频免费一区二区| 亚洲看片网| 青青草一区| 精品国产乱码久久久久久一区二区| 91丝袜美腿高跟国产极品老师| 综合网天天| 91香蕉国产亚洲一二三区| 日韩视频精品在线| 在线无码九区| 欧美日韩国产在线观看一区二区三区 | 国产丰满成熟女性性满足视频| 日韩不卡免费视频| 欧美视频在线第一页| 亚洲AⅤ永久无码精品毛片| 国产精品999在线| 國產尤物AV尤物在線觀看| 亚洲第一成年网|