基于復合域多尺度分解的紅外偏振圖像融合方法
2025-03-21 00:00:00陳廣秋魏洲段錦黃丹丹
吉林大學學報(理學版) 2025年2期
摘要： 針對目前紅外偏振融合圖像質量差、 偏振信息缺失、 目標紋理細節不夠等問題， 提出一種基于復合域多尺度分解的紅外偏振圖像融合方法. 首先， 在空間域內利用引導濾波器對源圖像進行二尺度分解， 得到細節層和基礎層， 在頻域內利用非下采樣剪切波變換對基礎層圖像進行多尺度多方向分解， 得到低頻子帶圖像和高頻子帶圖像； 其次， 對高頻子帶采用主成分分析-自適應脈沖耦合神經網絡融合規則， 對低頻子帶采用改進的卷積稀疏表示進行系數合并， 細節層融合采用基于像素相似度的局部能量加權和選擇性融合規則； 最后， 在復合域內利用逆變換重構出融合圖像. 實驗結果表明， 該方法在主觀視覺性能和8個客觀評價指標上均優于其他對比融合方法， 說明該方法在紅外偏振圖像融合中具有較多優勢， 能有效提高融合圖像的質量.
關鍵詞： 紅外偏振圖像融合； 非下采樣剪切波變換； 自適應脈沖耦合神經網絡； 卷積稀疏表示
中圖分類號： TP391.41文獻標志碼： A文章編號： 1671-5489（2025）02-0479-13
Infrared Polarization Image Fusion Method Based onComposite Domain Multi-scale Decomposition
CHEN Guangqiu， WEI Zhou， DUAN Jin， HUANG Dandan
（College of Electronic Information Engineering， Changchun University of Science and Technology， Changchun 130022， China）
收稿日期： 2023-09-25.
第一作者簡介： 陳廣秋（1977—）， 男， 漢族， 博士， 副教授， 從事圖像處理與機器視覺的研究， E-mail： guangqiu_chen@126.com.
通信作者簡介： 段 錦（1971—）， 男， 漢族， 博士， 教授， 從事圖像處理與機器視覺的研究， E-mail： duanjin@vip.sina.cn.
基金項目： 國家自然科學基金重大儀器專項基金（批準號： 62127813）和吉林省科技發展計劃項目（批準號： 20210203181SF）.
Abstract： Aiming at the problems of poor image quality， lack of polarization information， and inadequate target texture details in currentinfrared polarization image fusion， "we proposed aninfrared polarization image fusion method based on composite domain multi-scale decomposition. Firstly， in the spatial domain， a two-scale decomposition of the source image was performed by using a bootstrap filter to obtain the detail and base layers， in the frequency domain， a multi-scale multi-directional decomposition of the base layer image was performed by using a non-subsampled shear-wave transform to obtain the low-frequency sub-band image and high-frequencysub-band image.Secondly， the principal component analysis-adaptive pulse coupled neural network fusion rule was used forhigh-frequency sub-band，an improved convolutional sparse representation was used for coefficient merging for the low-frequency sub-bands， andlocal energy weighting and selective fusion rules based on pixel similarity were used for detail layed fusion. Finally， the fused image was reconstructed by using an inverse transformation in the composite domain.
Experimental results showthat the proposed method outperforms other comparative fusion methods insubjective visual performance and eight objective evaluation metrics，indicating that the method has many advantages in infrared polarization image fusion and can effectively enhance the quality of fused images.
Keywords： infrared polarization image fusion； non-subsampled shear-wave transform； adaptive pulse coupled neural network； convolutional sparse representation
利用紅外探測系統對目標進行成像， 具有隱蔽性好、 探測能力強、 不受環境因素影響等特點， 能實現精準探測與跟蹤. 但紅外圖像細節分辨能力較差［1］， 無法分辨目標和背景的具體特征， 紅外偏振圖像融合技術［2］能有效解決上述問題. 紅外偏振成像可得到包括強度、 偏振度、 偏振角等目標的多種信息［3］， 其中強度圖像一般在對比度和視覺效果方面有更好的呈現， 但目標紋理和邊緣輪廓模糊； 偏振度圖像能較好地呈現目標紋理和邊緣輪廓信息， 但對比度低、 圖像較暗； 偏振角圖像能反映輪廓邊緣信息， 但其信息有限， 且圖像質量不穩定， 易受環境輻射影響導致圖像噪聲和偽影嚴重. 因此， 將紅外偏振度和強度圖像進行融合， 充分利用它們各自的優勢， 可提高圖像的對比度， 豐富圖像的細節和紋理特征， 進一步提高圖像的質量和目標識別性能［4］.目前， 紅外偏振圖像融合算法［5］主要分為基于空間域和基于多尺度變換域兩類.
其中基于多尺度變換域的融合算法應用最廣泛， 主要包括： 金字塔變換、 離散小波變換（discrete wavelet transform， DWT）［6］、 雙樹復小波變換（dual-tree complex wavelet transform， DTCWT）［7］、 非下采樣輪廓波變換（nonsubsampled contourlet transform， NSCT）［8-10］和非下采樣剪切波變換（non-subsampled shear-wave
transform， NSST）［11-13］.NSCT和NSST的分解方法能很好提取圖像的輪廓和細節信息， 并具有平移不變性， 能有效抑制偽Gibbs現象和圖像失真， 但其未充分考慮空間一致性， 因此提取圖像全局的結構輪廓和邊緣能力較弱［14］， 而邊緣保持濾波器在平滑圖像的同時能保持邊緣， 可有效解決全局輪廓和邊緣信息提取不足的問題. 因此， 在圖像融合算法中引入邊緣保持濾波器可提高融合圖像質量. 脈沖耦合神經網絡（pulse-coupled neural networks， PCNN）是一種不需要學習或訓練的單層神經網絡， 能自適應捕獲圖像邊緣和細節信息［15］， 文獻［16-17］使用PCNN進行高頻特征提取與融合取得了良好的結果. 卷積稀疏表示（convolution sparse representation， CSR）［18］充分考慮了圖像塊間的一致性， 采用特征響應系數與濾波器字典的卷積實現整幅圖像的稀疏表示， 克服了傳統塊稀疏表示導致的不連續現象［19］.文獻［19-20］結合了多尺度分解和卷積稀疏表示進行圖像融合， 在保留圖像細節和對比度的同時， 融合結果更符合人類視覺感知. 本文結合邊緣保持濾波、 NSST多尺度分解、 PCNN和CSR的優勢， 提出一種基于復合域多尺度分解的紅外偏振圖像融合方法， 實驗結果表明， 該方法在主觀視覺性能和客觀評價上均具有一定的優勢.
1 相關原理
1.1 引導濾波器
引導濾波器是一種邊緣保持濾波器， 設濾波圖像為P， 濾波器輸出圖像O為引導圖像I的線性變換， 則有
Oi=akIi+bk，i∈wk，（1）
其中： wk表示以像素k為中心的局部窗口， 窗口大小為（2r+1，2r+1）， r為窗口半徑； ak和bk為線性系數， 可通過最小化輸出圖像O和輸入圖像P之間的平方差估計， 可表示為
E（ak，bk）=∑i∈wk（（akIi+bk-Pi）+εa2k）， （2）
ε為正則化參數. 利用最小二乘法求解式（2）， 可得
ak=1X∑i∈wkIi-Pi-ukkσ2k+ε， （3）
bk=k-akuk，（4）
其中X為局部窗口內的像素總數， uk和σk分別為引導圖像I在窗口wk內的均值和方差， k為輸入圖像P在窗口wk內
的均值. 在實際應用中， 一個像素通常會被多個局部窗口包含， 此時ak和bk分別取所有包含窗口的均值.
1.2 非下采樣剪切波變換
非下采樣剪切波變換（NSST）去除了下采樣操作， 使變換具有移不變性， 很好地克服了重構圖像Gibbs現象， 能更準確和完整地獲得圖像在不同尺度不同方向上的輪廓、 邊緣和細節信息，NSST特別適合處理注重輪廓細節信息的偏振圖像［3］.
NSST包括多尺度分解和方向局部化兩部分， 非下采樣金字塔 （under sampled pyramids， NSP）可以完成多尺度分解任務， 剪切濾波器（shear filter， SF）可以實現方向局部化. 源圖像每經一級NSP分解可產生１個低頻子帶圖像和１個高頻子帶圖像， 使用NSP迭代分解低頻子帶圖像， 經過K級NSP分解后， 得到（K+1）個與源圖像尺寸大小相同的子帶圖像， 包括1個低頻子帶圖像和K個高頻子帶圖像， SF對高頻子帶進行方向局部化處理， 得到高頻方向子帶圖像， 圖1為NSST的三級分解示意圖.
1.3 脈沖耦合神經網絡
脈沖耦合神經網絡（PCNN）是由若干個神經元生成的單層、 二維、 橫向連接的新型人工神經網絡， 其中一個神經元由接收域、 調制域和脈沖產生器三部分組成， 將PCNN網絡應用于圖像融合領域時， 圖像中每個像素點可視為PCNN的相應神經元［21］.傳統PCNN模型是一個多參數模型， 參數的選擇會直接影響圖像融合效果， 同時固定的參數限制了PCNN的應用場景. 文獻［22］提出了一種自適應參數的脈沖耦合神經網絡（adaptive parameterized pulse-coupled neural networks， APCNN）模型， 并將其應用于圖像分割領域中， 根據輸入圖像的不同， 自適應地計算模型參數， 提升了圖像分割的準確度. APCNN模型的數學描述如下：
Fij（n）=Sij，（5）Lij（n）=VL∑klWijklYkl（n-1），（6）
Uij（n）=exp{-af}Uij（n-1）+Fij（n）（1+βLij（n）），（7）
Yij（n）=1，Uij（n）gt;Eij（n-1），0，Uij（n）≤Eij（n-1），（8）
Eij（n）=exp{-ae}Eij（n-1）+VEYij（n），（9）Tij（n）=Tij（n-1）+Yij（n），（10）
其中： （i，j）為神經元位置坐標; Fij（n）為n時刻的反饋輸入; Sij為輸入神經元; Lij（n）為n時刻的和連接輸入; VL為電壓幅值; Wijkl為連接矩陣; Ykl（n-1）為前一次迭代中臨近神經元的輸出;Uij（n）為n時刻的內部活動項; exp{-af}為衰減常數; β為連接強度; Yij（n）為n時刻模型輸出， Yij（n）=1為點火態， Yij（n）=0為未激活態， 點火條件為內部活動Uij（n）大于動態閾值Eij
（n-1）; Eij（n）為n時刻的動態閾值; exp{-ae}為衰減常數; VE為放大系數; 式（5）～（9）為模型迭代過程; Tij（n）為n時刻的點火次數. APCNN模型如圖2所示.
圖2中APCNN模型運行流程如下： 當調制域第一次產生輸出信號時， 會使脈沖產生器產生一個輸出， 通過反饋結構， 會產生一個較大的信號送到比較器中作為門限閾值， 并與調制域當前產生的信號進行比較， 由于該信號值小于門限閾值， 使脈沖產生器的輸出停止， 因而產生一個脈沖， 由于門限閾值在不斷衰減， 因此當其小于調制域當前產生的信號時， 脈沖產生器繼續進行輸出， 循環執行上述過程.
圖2 APCNN模型
Fig.2 APCNN model
在APCNN模型的數學描述中， 有5個自由參數af，β，VL，ae和VE， 在式（5）～（9）中， βVL作為一個整體出現， 設λ=βVL， 則在A
PCNN模型中包含4個自由參數， 分別定義為
af=lg［1/σ（S）］，（11）λ=（Smax/S′）-16，（12）
VE=exp{-af}+1+6λ，（13）ae=lnVE/S′[1-exp{-3af}]/[1-exp{-af}]+6λexp{-af}，（14）
其中S為輸入圖像， σ（S）為輸入圖像S的標準差， S′和Smax分別表示輸入圖像的歸一化Otsu閾值和最大強度值.
1.4 卷積稀疏表示
傳統分塊稀疏表示忽略了數據之間的相關性， 會丟失源圖像的細節信息. 卷積稀疏表示（CSR）［23］是將圖像作為一個整體進行稀疏編碼， 避免了信息丟失. 卷積稀疏表示包含兩部分： 字典學習和稀疏系數編碼. 稀疏系數編碼是將圖像映射為稀疏系數與字典濾波器之間的一組卷積之和， 可表示為
argmin{xm}12∑mdm*xm-P22+λ∑m‖xm‖1，（15）其中dm表示第m個字典濾波器， xm表示第m個字典濾波器的稀疏系數， *表示卷積運算.
文獻［23］在Fourier變換域內采用交替方向乘子算法快速求解式（15）， 字典學習定義為
argmin{dm}{xm}12∑Mm=1dm*xm-P22+λ∑Mm=1‖xm‖1，（16）
其中： m， ‖dm‖2=1; P表示一張圖像； dm表示第m個字典濾波器； xm表示第m個字典濾波器的稀疏系數； 表示卷積運算； λ為正則化參數； ‖·‖n為求n范數［23］.
2 圖像融合方法
圖3為本文提出的圖像融合方法框圖. 首先在空間域內利用式（17）和（18）對源圖像S進行分解， 得到基礎層圖像BS和細節層圖像DS， 然后利用NSST對基礎層圖像BS進行多尺度多方向分解， 得到一個低頻子帶系數LS和多個高頻方向子帶系數Hk，lS. 針對高頻方向子帶、 低頻子帶和細節層圖像的特性采用不同的融合規則， 得到細節層融合圖像和各子帶融合圖像， 最后通過逆變換重構出融合圖像為
BS=guidedfilter（S，I），（17）DS=S-BS，（18）
其中： guidedfilter（·）為引導濾波器； S為源圖像， S={IS，ID}， IS和ID分別為紅外強度圖像和紅外偏振度圖像; I為引導圖像； BS和DS分別為基礎層圖像和細節層圖像.
源圖像的低頻和高頻子帶圖像分解操作如下：
［LS，Hk，lS］=NSST（BS），（19）
其中LS為源圖像S的低頻子帶圖像， Hk，lS為源圖像S的第k尺度、 第l方向上的高頻方向子帶圖像， NSST（·）為非下采樣剪切波多尺度分解操作.
2.1 高頻子帶系數融合方法
高頻子帶系數包含源圖像的細節和輪廓信息， 以高頻子帶系數的局部能量作為APCNN的外部激勵輸入能有效測量具有強紋理特征的輪廓信息的活性測度， 但對于具有低亮度弱紋理特征細節信息的活性測度提取能力不足； 而以空間頻率作為外部激勵輸入更側重于測量具有低亮度弱紋理特征細節信息的活性測度大小. 為更全面、 適宜地度量高頻子帶系數的活性測度， 本文使用兩次外部輸入的PCA-APCNN融合規則融合高頻子帶系數. 圖4為高頻子帶系數融合框圖.
空間頻率（local spatial frequency， SF）為APCNN模型的外部輸入.Tk，lS（LE），Tk，lS（SF）為點火圖， 兩次外部輸入得到的點火圖使用主成分分析法（PCA）進行加權平均， 提取顯著信息， 得到最終的活性測度圖Tk，lS. 最后采用局部活性測度取大規則融合高頻子帶系數， 得到融合后的高頻子帶系數Hk，lF.局部能量LE表示高頻子帶圖像的局部亮度大小， 局部空間頻率SF表示圖像的局部細節和對比度特征， 可分別定義為
LE=∑tp=-t∑tq=-tW（p，q）Hk，lS（i，j）2，（20）
SF=RF2+CF2，（21）
RF=1MN∑Mi=1∑Nj=2Hk，lS（i，j）-Hk，lS（i，j-1）2，（22）
CF=1MN∑Mi=2∑Nj=1Hk，lS（i，j）-Hk，lS（i-1，j）2，（23）
其中： W為窗口矩陣， 表示為
W=116×121242121;（24）
t為窗口半徑， 這里設為1; （p，q）為滑動窗口中心; Hk，lS（i，j）為高頻方向子帶系數; RF和CF分別為行頻率和列頻率.
以高頻子帶系數的局部能量LE和空間頻率SF作為APCNN的兩次外部輸入， 這樣一個高頻子帶系數可以從式（5）～（10）得到兩個點火圖Tk，lS（LE）和Tk，lS（SF）. 兩個點火圖分別從強弱紋理特征的兩個不同角度去度量高頻子帶圖像像素點的活性測度， 為更全面、 準確地獲得該子帶圖像的活性測度圖， 采用主成分分析
法對兩個點火圖進行加權合并， 得到一個點火圖Tk，lS， 作為最后的高頻方向子帶系數的活性測度， 表示為Tk，lS=PCAF（Tk，lS（LE），Tk，lS（SF）），（25）
其中Tk，lS為Hk，lS的活性測度圖； PCAF（·）為主成分分析法融合， 具體是將整個圖像視為一維向量， 待融合圖像數據構成一個矩陣， 并求其協方差的特征值， 將不同排序圖像數據對應的特征值占所有特征值和的比重作為該圖的權重系數進行加權合并； Tk，lS（LE）為LE作為APCNN外部輸入得到的點火圖； Tk，lS（SF）為SF作為APCNN外部輸入得到的點火圖.
為增加魯棒性， 先利用
k，lS（i，j）=1（2λ+1）2∑λo=-λ∑λp=-λTk，lS（i+o，j+p）（26）
計算高頻方向子帶系數的局部活性測度圖， 再采用選擇性融合規則合并高頻方向子帶系數， 表示為
Hk，lF（i，j）=Hk，lIS（i，j），k，lIS（i，j）≥k，lID（i，j），
Hk，lID（i，j），k，lIS（i，j）lt;k，lID（i，j），（27）
其中： （i，j）為像素點坐標； λ為滑動窗口半徑， 本文取值為3； Hk，lF為融合后的高頻方向子帶； k，lS為Hk，lS的局部活性測度圖.
2.2 低頻子帶系數融合方法
低頻子帶系數包含了源圖像的整體特征和大部分能量， 卷積稀疏表示（CSR）能很好提取圖像的整體特征， 增強圖像間的相關性， 從而提高融合質量. 本文采用改進的CSR融合低頻子帶系數， 低頻子帶系數使用式（15）進行稀疏編碼， 得到稀疏系數. 傳統的基于CSR融合方法采用的L1范數測量像素點的活性測度， 不能很好地表達圖像的顯著特征. 本文提出一種改進的活性測度計算方法， 利用通道注意力機制去影響不同濾波器的映射系數權重， 首先求解對每個字典濾波器的映射稀疏系數xS，m（i，j）的均值um， 均值能反應稀疏系數的整體信息. 將M個均值進行歸一化處理得到權重向量C（m）， 然后加權融合稀疏系數， 得到改進的活性測度圖AS：
AS=∑Mm=1（xS，m×C（m））， （28）
C（m）=（u1，u2，u3，…，um，…，uM-1，uM）max{u1，u2，u3，…，um，…，uM-1，uM}，（29）
其中： AS為低頻子帶的活性測度圖； xS，m為第m個字典濾波器的映射稀疏表示系數， 參考式（15）； C（m）為第m個權重向量； um為第m個映射稀疏系數的均值， m={1，2，…，M-1，M}， M=64， 表示共有64個字典濾波器和64個稀疏系數.
為充分考慮領域像素點的影響， 計算AS的局部區域大小S作為最終的像素點活性測度大小：S（i，j）=1（2γ+1）2∑γo=-γ∑γp=-γAS（i+o，j+p），（30）
α（i，j）=IS（i，j）IS（i，j）+ID（i，j），（31）
β（i，j）=ID（i，j）IS（i，j）+ID（i，j），（32）
其中： （i，j）為像素點坐標； γ為滑動窗口半徑， 這里設為3； S為局部區域的活性測度圖； α，β為低頻加權融合的權重系數. 最后加權融合低頻子帶系數為LF（i，j）=α（i，j）×LIS（i，j）+β（i，j）×LID（i，j），（33）
其中LF為融合的低頻子帶系數.
2.3 細節層融合方法細節層圖像中保留了圖像的細節邊緣特征和全局輪廓信息， 紅外偏振圖像的細節層圖像通常包含了大量干擾噪聲， 直接利用系數取大規則易誤選噪聲作為融合像素， 導致融合圖像清晰度低、 偽影嚴重等問題. 本文采用基于像素相似度的局部能量加權和選擇性融合規則：
Z（i，j）=DIS（i，j）-DID（i，j）1，（34）
Z′（i，j）=1（2r+1）2∑rm=-r∑rn=-rZ（i+m，j+m），（35）
其中： （i，j）為像素點坐標； Z為差異特征圖像； DIS，DID分別表示IS，ID的細節層圖像； Z′表示細節層圖像的像素相似度， 其值越小說明DIS
（i，j）和DID（i，j）在點（i，j）處的相似度越大. 細節層局部能量為
S（i，j）=1（2r+1）2∑rm=-r∑rn=-rDS（i+m，j+n）2，（36）
A（i，j）=EIS（i，j）EIS（i，j）+EID（i，j），（37）
B（i，j）=EID（i，j）EIS（i，j）+EID（i，j），（38）
其中（i，j）為像素點坐標， S為細節層DS的局部能量， A，B為細節層局部能量加權融合的權重系數. 細節層的閾值和平均梯度分別為
TH（i，j）=AGD（ID）（i，j）-AGD（IS）（i，j）AGD（IS）（i，j）+AGD（ID）（i，j），（39）
AGD（S）（i，j）=1（M-1）（N-1）∑M-1i=1∑N-1j=1d2i+d2j，（40）
d2i=（DS（i+1，j）-DS（i，j））2，（41）d2j=（DS（i，j+1）-DS（i，j））2，（42）
其中TH為閾值， AGD（S）為細節層DS的平均梯度.
細節層融合公式如下：
DF（i，j）=A（i，j）×DIS（i，j）+B（i，j）×DID（i，j），Z′（i，j）≤TH（i，j），DIS（i，j），Z′（i，j）gt;TH（i，j）.（43）
當像素相似度Z′小于自適應閾值TH時， 進行局部能量權重融合， 可更好地整合來自不同源圖像細節層的細節信息； 當像素相似度大于自適應閾值TH時， 認為該點為干擾像素點； 為提高融合圖像質量， 融合像素點來自于DIS. DF為融合的細節層圖像.
3 實 驗
3.1 實驗設置和比較方法
為驗證本文融合算法的有效性和優越性， 從數據集LDDRS［24］中隨機選取4組紅外偏振圖像進行融合對比實驗， 該數據集中的圖像經過了嚴格配準， 源圖像大小為512×512. 對比實驗選擇4種傳統方法和1種深度學習方法， 分別為基于交叉雙邊濾波器方法（image fusion based on pixel significance using cross bilateral filter， CBF）［25］、 基于卷積稀疏表示融合方法（image fusion with convolutional sparse representation， CSR）［26］、 基于加權最小二乘優化融合方法（infrared and visible image fusion based on visual saliency map and weighted least square optimization， WLS）［27］、 基于NSST與自適應SPCNN融合方法（underwater polarization
image fusion based on NSST and adaptive SPCNN， NSST-SPCNN）［28］和基于無監督深度網絡融合方法（an unsupervised deep network for polarization image fusion， PFNet）［29］.本文選取8個客觀評價指標對融合圖像進行評價， 分別為信息熵（entropy， EN）［3］、 互信息（mutual information， MI）［18］、 融合質量因子Qabf［29］、
像素特征互信息FMI_pixel［30］、 離散余弦特征互信息FMI_dct［30］、 小波特征互信息FMI_w［30］、 融合偽影測量Nabf［31］、 結構相似性度（structure similarity index measure， SSIM）［29］.上述8個客觀評價標準中Nabf越小， 表示融合圖像的偽影更少， 質量更好； 其他7個評價標準的數值越大表示融合圖像質量越好. 實驗環境： 處理器為Intel（R） Core（TM） i5-8300H CPU， 仿真軟件為MATLAB R2020a. 本文從主客觀雙重角度評價本文算法的性能.
3.2 實驗結果與分析
第一組源圖像及融合圖像如圖5所示， 客觀評價結果列于表1. 由圖5可見： 在圖5（C），（D），（E）中整體視覺效果較差， 在圖5（D）中存在明顯的塊效應; 在圖5（E）中整體亮度尚可， 但遠景的山存在明顯偽影； 圖5（G）的整體清晰度明顯提高， 但車輛輪廓模糊失真； 圖5（H）中的融合結果細節輪廓車標和雨刮器等邊緣信息更豐富， 整體清晰度較高， 視覺效果更好.
第二組源圖像及融合結果如圖6所示， 客觀評價結果列于表2. 由圖6可見： 圖6（C）和（E）在車窗和左側樹木部分出現明顯偽影， 背景天空存在大量噪聲， 圖像質量較差； 圖6（D）和（F）車窗部分及整體亮度偏暗， 提取了過多的偏振圖像信息， 導致保留了更多的噪聲， 圖像清晰度較差; 圖6（G）在近景處的小車邊緣和遠景處的燈籠出現輪廓失真， 丟失了細節信息， 且天空背景存在條紋噪聲， 視覺效果不佳; 圖6（H）整體亮度適宜， 樹木邊緣和車輛輪廓更清晰， 圖像的對比度更強， 清晰度更高.
為驗證本文方法的穩定性， 對圖7所示的6對紅外強度和偏振圖像進行圖像融合對比實驗. 不同融合方法的融合結果如圖8所示. 圖9為不同融合方法的8個客觀評價指標對比曲線. 由圖8和圖9可見， 本文融合方法得到的結果圖像在主觀視覺感知和客觀評價數據方面均優于其他5種方法， 說明本文融合方法能穩定地得到高質量的融合圖像.
實驗結果表明， 針對融合源圖像中存在噪聲較大的偏振圖像， CSR和CBF方法呈現出融合方法失效的情況. 其他融合方法結果， 整體視覺感知上不如本文融合方法結果， 本文融合結果清晰度更高， 在微小細節和整體輪廓上均展現了良好的融合效果， 主觀上驗證了本文方法的有效性.
由表1和表2可見， 在兩組實驗的客觀評價中， 本文方法的8個指標均為最優值； EN，MI和基于特征互信息指標（FMI_pixel，FMI_dct，FMI_w）為最優值說明本文方法能提取更多的特征信息； Qabf和Nabf指標最優說明本文方法結果偽影更少， 圖像質量更高， 更符合主觀視覺感受. 實驗結果表明本文融合方法能
提取更多的源圖像邊緣細節和全局輪廓信息， 圖像偽影更少， 表現出更好的清晰度， 從而在客觀上驗證了本文方法的優越性.
綜上所述， 針對現有的紅外偏振圖像融合中出現偽影嚴重、 全局輪廓和微小紋理信息提取不足的問題， 本文提出了一種基于復合域多尺度分解的紅外偏振圖像融合方法. 邊緣保持濾波器和NSST分解相結合的分解方式可以保持良好的空間一致性并增強全局輪廓信息的提取能力， 在細節層融合中引入基于像素相似度的局部能量加權和選擇性融合準則， 能有效濾除干擾噪聲， 提高融合結果清晰度； 在高頻方向子帶系數融合中， 采用APCNN和PCA獲取活性測度， 能提取更完整的高頻信息， 使融合結果保留更多細節信息. 實驗結果表明， 本文方法無論是在主觀視覺感知上， 還是客觀評價指標上均優于其他對比方法， 可提供更多的目標和場景信息， 有助于圖像的目標檢測與識別.
參考文獻
［1］張雨晨， 李江勇. 基于小波變換的中波紅外偏振圖像融合［J］.激光與紅外，"2020， 50（5）： 578-582. （ZHANG Y C， LI J Y. Polarization Image Fusion Based on Wavelet Transform［J］.Laser amp; Infrared， 2020， 50（5）： 578-582.）
［2］牛繼勇， 岳振， 徐永貴. 基于拉普拉斯金字塔的紅外光強與偏振圖像融合［J］.紅外， 2019， 40（11）： 35-41. （NIU J Y， YUE Z， XU Y G. Fusion of Infrared Light Intensity and Polarization Image Based on Laplacian Pyramid［J］.Infrared， 2019， 40（11）： 35-41.）
［3］姜兆禎， 韓裕生， 謝瑞超， 等. 一種基于NSST變換的紅外偏振圖像融合算法研究［J］.光電子·激光， 2020， 31（11）： 1140-1148. （JIANG Z Z， HAN Y S， XIE R C， et al. Research on an Infrared Polarization Image Fusion Algorithm Based on NSST Transform［J］.Journal of Optoelectronics·Laser， 2020， 31（11）： 1140-1148.）
［4］LIU X L， WANG L P. Infrared Polarization and Intensity Image Fusion Method Based on Multi-decomposition LatLRR［J］.Infrared Physics amp; Technology， 2022， 123： 104129-1-104129-13.
［5］朱攀， 劉澤陽， 黃戰華. 基于DTCWT和稀疏表示的紅外偏振與光強圖像融合［J］.光子學報， 2017， 46（12）： 213-221. （ZHU P， LIU Z Y， HUANG Z H. Infrared Polarization and Intensity Image Fusion Based on Dual-Tree Complex Wavelet Transform and Sparse Representation［J］.ACTA Photonica Sinica， 2017， 46（12）： 213-221.）
［6］NAIDU V. Discrete Cosine Transform-Based Image Fusion［J］.Defence Science Journal， 2010， 60（1）： 48-54.
［7］姜邁， 沙貴君， 李寧. 基于引導濾波與雙樹復小波變換的紅外與可見光圖像融合［J］.激光與光電子學進展， 2023， 60（10）： 1010008-1-10100018-11. （JIANG M， SHA G J， LI N. Infrared and Visible Image Fusion with Guided Filtering and Dual-tree Complex Wavelet Transform［J］.Laser amp; Optoelectronics Progress， 2023， 60（10）： 1010008-1-1010008-11.）
［8］牛振華， 邢延超， 林英超， 等. 基于NSCT結合顯著圖與區域能量的紅外與可見光圖像融合［J］.紅外技術， 2024， 46（1）： 84-93. （NIU Z H， XING Y C， LIN Y C， et al. Infrared and Visible Image Fusion Based on NSCT Combining Saliency Map and Area Energy［J］.Infrared Technology， 2024， 46（1）： 84-93.）
［9］王賢濤， 趙金宇. 基于改進FT顯著性檢測的NSCT紅外和可見光圖像融合［J］.液晶與顯示， 2023， 38（7）： 933-944. （WANG X T， ZHAO J Y. Fusion of NSCT Infrared"and Visible Images Based on Improved FT Saliency Detection［J］.Chinese Journal of Liquid Crystals and Displays， 2023， 38（7）： 933-944.）
［10］包達爾罕， 高文煒， 楊金穎. 基于混合l0l1層分解的紅外光強與偏振圖像融合算法［J］.紅外技術， 2020， 42（7）： 676-682. （BAO D， GAO W W， YANG J Y. Fusion Algorithm for Infrared Intensity and Polarization Images Using Hybrid l0l1 Layer Decomposition［J］.Infrared Technology， 2020， 42（7）： 676-682.）
［11］武凌霄， 康家銀， 姬云翔. NSST域下基于引導濾波與稀疏表示的紅外與可見光圖像融合 [J]. 紅外技術， 2023， 45（9）： 915-924.（WU L X， KANG J Y， JI Y X. Infrared and Visible Image Fusion Based on Guided Filter and Sparse Representation in NSST Domain [J]. Infrared Technology， 2023， 45（9）： 915-924.）
［12］邸敬， 任莉， 劉冀釗， 等. 基于NSST域混合濾波與改進邊緣檢測PCNN的醫學圖像融合 [J]. 光電子·激光， 2023， 34（9）： 997-1008.（DI J， REN L， LIU J Z， et al. Medical Image Fusion Based on Hybrid Filtering and Improved Edge Detection PCNN in NSST Domain [J]. Journal of Optoelectronic·Laser，2023， 34（9）： 997-1008.）
［13］王滿利， 王曉龍， 張長森. 基于動態范圍壓縮增強和NSST的紅外與可見光圖像融合算法 [J]. 光子學報， 2022， 51（9）： 277-291.（WANG M L， WANG X L， ZHANG C S. Infrared and Visible Image Fusion Algorithm Based on Dynamic Range Compression Enhancement and NSST [J].Acta Photonica Sinica， 2022， 51（9）： 277-291.）
［14］KARIM S， TONG G， LI J， et al. Current Advances and Future Perspectives of"Image Fusion： A Comprehensive Review［J］.Information Fusion， 2023， 90： 185-217.
［15］BERTSEKAS D P. Feature-Based Aggregation and Deep Reinforcement Learning：A Survey and Some New Implementations［J］.IEEE/CAA Journal of Automatica Sinica， 2018， 6（1）： 1-31.
［16］黃陳建， 戴文戰. 基于區域像素差絕對值總和的NSST-PCNN醫學圖像融合［J］.光電子·激光， 2021， 32（6）： 587-594. （HUANG C J， DAI W Z. NSST-PCNN Medical Image Fusion Based on Absolute Sum of Regional Pixel Differences［J］.Journal of Optoelectronics·Laser， 2021， 32（6）： 587-594.）
［17］蔣艷麗， 劉培培， 周慧麗， 等. 一種改進PCNN的紅外與可見光圖像融合算法研究［J］.單片機與嵌入式系統應用， 2022， 22（10）： 32-35. （JIANG Y L， LIU P P， ZHOU H L， et al. Research on an Improved PCNN Algorithm for Infrared and VisibleImage Fusion［J］.Microcontroller amp; Embedded System Applications， 2022， 22（10）： 32-35.）
［18］曹義親， 楊世超. 基于卷積稀疏表示的圖像融合方法［J］.導航與控制， 2020， 19（2）： 97-105. （CAO Y Q， YANG S C. Image Fusion Method Based on Convolutional Sparse Representation［J］.Navigation and Control， 2020， 19（2）： 97-105.）
［19］董安勇， 蘇斌， 趙文博， 等. 基于卷積稀疏表示的紅外與可見光圖像融合［J］.激光與紅外， 2018， 48（12）： 1547-1553. （DONG A Y， SU B， ZHAO W B， et al. Infrared and Visible Image Fusion Based on Convolution Sparse Representation［J］.Laser amp; Infrared， 2018， 48（12）： 1547-1553.）
［20］楊培， 高雷阜， 訾玲玲. 卷積稀疏與細節顯著圖解析的圖像融合［J］.中國圖象圖形學報， 2021， 26（10）： 2433-2449. （YANG P， GAO L F， ZI L L. Image Fusion with Convolutional Sparsity and Detail Salient Map Resolution［J］.Journal of Image and Graphics， 2021， 26（10）： 2433-2449.）
［21］李研， 黃鳳辰， 嚴錫君. 基于ARM11的物聯網網關設計［J］.微型電腦應用， 2018，"34（5）： 40-43. （LI Y， HUANG F C， YAN X J. Design of IoT Gateway Based on ARM11［J］.Microcomputer Applications， 2018， 34（5）： 40-43.）
［22］陳昱蒞. 基于參數自動設置的簡化PCNN模型（SPCNN）的圖像分割及其在目標識別上的應用［D］.蘭州： 蘭州大學， 2011. （CHEN Y L. Simplified PCNN Model （SPCNN）Based on Automatic Parameter Setting for Image Segmentation and Its Application to Target Recognition［D］.Lanzhou： Lanzhou University， 2011.）
［23］WOHLEBERG B. Efficient Algorithms for Convolutional Sparse Representations［J］.IEEE Transactions on Image Processing， 2016， 25（1）： 301-315.
［24］LI N， ZHAO Y Q， PAN Q， et al. Full-Time Monocular Road Detection Using Zero-Distribution Prior of Angle of Polarization［C］//Computer Vision-ECCV 2020： 16th European Conference. Berlin： Springer International Publishing， 2020： 457-473.
［25］SHREYAMSHA K B K. Image Fusion Based on Pixel Significance Using Cross"Bilateral Filter［J］.Signal， Image and Video Processing， 2015， 9： 1193-1204.
［26］LIU Y， CHEN X， WARD R K， et al. Image Fusion with Convolutional Sparse Representation［J］.IEEE Signal Processing Letters， 2016， 23（12）： 1882-1886.
［27］MA J L， ZHOU Z Q， WANG B， et al. Infrared and Visible Image Fusion Based on Visual Saliency Map and Weighted Least Square Optimization［J］.Infrared Physics amp; Technology， 2017， 82： 8-17.
［28］于津強， 段錦， 陳偉民， 等. 基于NSST與自適應SPCNN的水下偏振圖像融合［J］.激光與光電子學進展， 2020， 57（6）： 061006-1-061006-11. （YU J Q， DUAN J， CHEN W M， et al. Underwater Polarization Image Fusion Based on NSST and Adaptive SPCNN［J］.Laser amp; Optoelectronics Progress， 2020， 57（6）： 061006-1-061006-11.）
［29］ZHANG J C， SHAO J B， CHEN J H， et al. PFNet： An Unsupervised Deep Network for"Polarization Image Fusion［J］.Optics Letters， 2020， 45（6）： 1507-1510.
［30］LI K Y， QI M B， ZHUANG S M， et al. TIPFNet： A Transformer-Based Infrared Polarization Image Fusion Network［J］.Optics Letters， 2022， 47（16）： 4255-4258.
［31］CHEN Y L， CHENG L L， WU H， et al. Infrared and Visible Image Fusion Based onIterative Differential Thermal Information Filter［J］.Optics and Lasers in Engineering， 2022， 148： 106776-1-106776-10.
（責任編輯： 韓 嘯）
