一種基于U2-Net的紅外熱成像與可見光圖像融合方法

謝 迅，程為彬

（長江大學地球物理與石油資源學院，湖北 武漢 430100）

0 引 言

紅外熱成像技術也稱為被動型紅外成像技術，主要是通過將物體自身所散發出的熱輻射轉換成可見光的技術。由于紅外熱成像設備中紅外焦平面探測器的技術發展所限，致使紅外成像設備具有體積大、分辨率低的缺點，故結合可見光設備體積小、分辨率高且成本低的優點，提出紅外熱成像與可見光圖像融合的方案。

李霖等人在紅外與可見光圖像深度學習融合方法綜述中提出，融合方法可分為不同的類別[1]，包括基于多尺度變換[2]、基于稀疏表示[3]、基于神經網絡[4]、基于子空間[5]、基于顯著性[6-10]、混合模型[11]和其他融合方法[12-13]。

QIN X 等人提出針對顯著目標檢測的U2-Net 結構[6]。U2-Net 是一種兩級嵌套的U 型網絡結構，主要用于顯著目標檢測。顯著目標檢測（Salient Object Detection）通過模擬人類視覺感知系統來定位場景中最吸引人的目標，已被廣泛應用于各種計算機視覺任務中。

葉明等人在電阻抗成像方面采用U2-Net 模型，使得輸入層結構簡單，運算速度快[7]；項家偉等人在面部屬性編輯技術中采用Trans-GAN，將融合U2-Net 特征提取器作為編碼器結構，提高網絡對面部空間信息的提取能力[8]；王昱翔等人在金屬表面缺陷方面，采用U2-Net 結構解決實際生產中金屬表面圖像噪點過多，導致背景誤判和采樣層獲取信息不夠細致的問題[9]；孟森等人在天然氣泄漏檢測方面，使用U2-Net 圖像分割網絡代替背景建模方法來提取泄漏氣體區域[10]。

本文基于U2-Net 的顯著目標檢測技術可將圖像中目標物體與背景分隔，舍棄紅外熱成像圖像背景溫度信息，保留重要部件圖像溫度信息，并結合可見光設備體積小且分辨率高的優點，提出一種基于U2-Net 的紅外熱成像與可見光圖像融合方法，降低設備成本，提升系統整體的可視性。

1 圖像融合原理

1.1 U2-Net結構

利用U2-Net結構將紅外熱成像與可見光圖像作為輸入圖像，采用基于DUTS數據集所訓練出的全尺寸U2-Net模型，進行顯著性目標檢測。該數據集包含10 553 個訓練圖像和5 019 個測試圖像。通過U2-Net 結構模型對圖像中的顯著目標物體的輪廓特征信息進行提取，將圖像中的目標物體與背景進行分隔，去除圖像中雜亂的背景，分別對紅外熱成像圖像與可見光圖像進行預處理。U2-Net 的網絡結構總體上與傳統的U-Net 的U 形結構相同，但是將每一層U-Net 結構中的卷積結構換成RSU 殘差結構，可形成如圖1 所示的嵌套U 形結構。

圖1 U2-Net 的網絡結構

RSU 殘差結構主要由卷積輸入層、對稱編碼器-解碼器結構與顯著圖融合模塊三部分組成。卷積輸入層主要作用是將圖像的局部特征信息通過普通卷積層進行提取；解碼器階段與編碼器階段結構相似，每個解碼器階段將來自其前一階段的上采樣特征圖和來自其對稱編碼器階段的上采樣特征圖的連接作為輸入；顯著圖融合模塊主要是用于生成顯著概率圖。

1.2 顯著目標多邊形逼近檢測及形心計算

顯著目標多邊形逼近檢測可以通過U2-Net 結構對提取的輪廓信息進行篩選，濾除未封閉的圖像輪廓，提取出顯著目標物體的最大輪廓，并對其最大輪廓信息進行相關處理。多邊形逼近檢測原理主要是通過Douglas-Peucker 算法完成，對輪廓信息進行數字化采樣，在輪廓曲線上取有限個點連接成為折線，在一定的程度上能夠保持輪廓的原有形狀[14]。

通過多邊形逼近檢測可以有效濾除過多的復雜的輪廓信息，篩選出更加平滑的曲線信息，進一步對U2-Net 結構模型提取后圖像中目標物體輪廓邊緣的瑕疵信息進行濾除，保障圖像在后期融合過程的觀感，提升整體的圖像評價質量。

經過多邊形逼近檢測提取輪廓后，圖像中的目標物體成為一個大多邊形，在OpenCV 庫中，通過moments 函數返回圖像矩，其計算方法如式（1）所示，并根據式（2）進行多邊形形心計算。

1.3 紅外熱成像圖像無損仿射變換

三維目標信息壓縮在二維圖像顯示過程中，由于相機鏡頭的物理特性等，會遺失較多空間信息，而對于圖像融合方面，雙機位分別拍攝的紅外熱成像圖像與可見光圖像在空間角度與空間距離維度方面存在著差異[15-16]。為減少信息差異，避免后期在相似性匹配中進行角度變換調整過程中丟失圖像信息，需要對紅外熱成像圖像進行無損仿射變換。

紅外熱成像圖像無損仿射變換從本質上來看，就是矩陣無損仿射變換。仿射變換是二維坐標到二維坐標的線性變換，能保證二維圖形之間的相對位置關系不變，包含旋轉、平移、伸縮、反射和剪切變換[17]，公式如下：

式中：（a，b）為形心坐標；θ為旋轉角度。

通過M矩陣繞形心進行旋轉變換，避免圖像丟失信息，使得圖像中的目標信息始終完整展示，其旋轉所產生的空缺區域以0 補齊。圖像仿射變換示意圖如圖2所示。

圖2 圖像仿射變換示意圖

經過M矩陣的旋轉仿射變換，圖像外圍整體的尺寸信息會隨著圖像目標信息的旋轉進行動態調整，保證圖像中的目標信息完整顯示，避免在后面的相似性匹配過程中，由于圖像信息丟失的差異而導致相似性檢測結果出現較大的誤差。

1.4 紅外熱成像圖像相似性匹配定位

在OpenCV 庫中，圖像進行相似性匹配通常采用模板匹配的方法。模板匹配通常有6 種方式，分別是平方差匹配、標準平方差匹配、相關性匹配、標準相關性匹配、相關性系數匹配、標準相關性系數匹配[18]。

通過采用平方差匹配（TM_SQDIFF）的方式，將紅外熱成像圖像在可見光圖像中進行自左向右、自上而下的移動，遍歷可見光圖像的所有像素，對每次移動位置的兩部分圖像進行平方差運算，兩者計算值越小則相似度越高。假設紅外熱成像圖像左上角的坐標為（x，y），可見光圖像上左上角的坐標為（x′，y′），且x′-x=dx，y′-y=dy，即紅外熱成像圖像的寬為w，高為h，來計算紅外熱成像圖像在可見光圖像所有對應位置像素點的像素平方差之和[19]公式如下：

通過式（4）可知，當計算值為0 時，則表示兩者完全相同，故計算值越小則相似度越高。

將紅外熱成像圖像當作可移動圖像，如圖3a）所示，將可見光圖像當作固定圖像，如圖3b）所示，將兩者圖像尺寸進行相加構成新尺寸圖像，如圖3c）所示，避免由于兩者圖像尺寸不一致而導致無法遍歷所有像素點的問題。

圖3 數字圖像存儲網格

將紅外熱成像圖像疊加在所形成的新尺寸圖像（圖4a））上，進行自左向右（圖4b））、自上而下（圖4c））操作，遍歷所有像素點，計算出在橫向與縱向方位上最相似的區域。由于雙機位所拍攝出的圖像存在一定的角度差異，只在橫向與縱向方位進行相似性匹配無法呈現出最好的狀態，故本文在該相似度匹配方法基礎上，結合圖像仿射變換操作，在橫向與縱向方位最佳匹配區域以多邊形的形心進行旋轉匹配，消除存在的角度誤差。

圖4 數字圖像疊加匹配過程

2 實驗仿真結果與分析

2.1 實驗設備

紅外熱成像設備采用基于MLX90640 的紅外熱成像傳感器，擁有32×24 分辨率，主控芯片為GD32F103 CBT6，擁有108 MHz 的主頻，64 KB 內置閃存。通過主控芯片，將紅外熱成像傳感器32×24 分辨率所采集的數據經過編碼、插值等方式，存儲為320×240 分辨率的BMP 圖像。紅外熱成像采集設備如圖5 所示。

圖5 紅外熱成像采集設備

采用的可見光圖像拍攝設備為安卓手機，搭載的鏡頭為索尼IMX586，拍攝照片分辨率為3 000×4 000，以jpg 格式存儲，未經其他圖像處理操作。

2.2 實驗步驟

1）將所采集的紅外熱成像圖像與可見光圖像分別通過U2-Net 結構模型進行顯著目標檢測以及背景去除操作，效果圖如圖6 所示。

圖6 U2-Net 模型進行背景去除

2）對去除背景的目標物體的紅外熱成像圖像與可見光圖像分別進行多邊形輪廓逼近檢測以及形心位置計算。輪廓逼近、形心計算及融合效果如圖7 所示。

圖7 輪廓逼近、形心計算及融合效果

3）將紅外熱成像圖像中的目標物體疊加在可見光圖像，在橫向與縱向方位上進行相似性匹配，在匹配最佳區域，以紅外熱成像圖像中目標物體的形心進行圖像仿射變換，同時進行相似性匹配，確定出最終匹配位置。

2.3 實驗結果分析

基于以上實驗步驟所運行出來的結果，本文采用圖像質量主觀評價與圖像質量客觀評價相結合的方式進行實驗結果分析。圖像A、圖像B 與圖像C 效果對比如圖8 所示。

圖8 圖像A、圖像B 與圖像C 效果對比

本文主要采用Brenner 梯度函數、Tenengrad 梯度函數、Laplacian 梯度函數、SMD（灰度方差）函數、SMD2（灰度方差乘積）函數、Variance（方差）函數等6 種方法對融合圖像進行評價[20]，結果如表1 所示。

表1 圖像質量客觀評價

根據表1 的6 種質量客觀評價算法計算結果數值來看：圖像A 在Brenner 梯度函數、Tenengrad 梯度函數、Laplacian 梯度函數、SMD 函數、SMD2 函數中，具有最大計算數值，故圖像A 在圖像清晰度方面具有較高質量，融合效果好；圖像C 只有在Variance 函數中得到最大的計算數值。故從圖像質量客觀評價效果排序為：圖像A＞圖像C＞圖像B。

從圖像質量主觀評價來看，圖像A 在圖像目標邊緣匹配與面積覆蓋率方面獲得最佳效果，圖像B 在瓶蓋位置出現部分邊緣融合偏差，圖像C 則在瓶身上半部分就開始出現邊緣融合偏差，故從圖像質量主觀評價效果排序為：圖像A＞圖像B＞圖像C。

3 結 語

本文結合紅外熱成像分辨率低、成本高昂的缺點，與可見光成像分辨率高、成本相對較低的優點，進行優劣互補，提出一種紅外熱成像與可見光圖像融合的方法。該方法所采用的MLX90640 熱成像傳感器的分辨率為32×24，圖像數據經過雙線性插值后，與可見光圖像相融合。實驗結果表明，所提方法對于目標物體的可視性檢測具有良好的效果。若進一步提高熱成像傳感器分辨率，將對于紅外熱成像目標物體邊緣處理更加清晰，融合效果將進一步提升。同時，本文中采用的是U2-Net 結構全尺寸通用模型，針對不同領域可構建基于U2-Net 結構的訓練模型，在推理速度與目標識別率也將會進一步提升。

注：本文通訊作者為程為彬。