基于NSST的改進雙通道PCNN多聚焦RGB圖像融合

摘 要： 針對光學成像設備景深有限、圖像部分失焦的問題，提出一種基于非下剪切波變換（NSST）的改進雙通道脈沖神經耦合網絡（PCNN）融合算法。首先，該算法采用Lab顏色空間分割RGB圖像的亮度分量和色度分量間的關聯性得到亮度和色度通道子圖；然后，亮度通道子圖使用NSST重構，色度通道子圖使用能量匹配融合；針對融合時閾值設置和點火量化產生的誤差，提出改進雙通道PCNN模型融合，并結合對比敏感度函數（CSF）自適應設定PCNN參數；最后，亮度和色度重構圖通過逆Lab得到最終融合圖。實驗結果證實，該算法可有效減小失真，抑制偽影并保留邊緣輪廓信息，提升全場景清晰度。

關鍵詞： 多聚焦融合； 非下采樣剪切波； 耦合神經網絡； Lab空間； 人眼視覺特性

中圖分類號： TP391.41"" 文獻標志碼： A

文章編號： 1001-3695（2022）01-055-0308-04

doi：10.19734/j.issn.1001-3695.2021.05.0208

Improved dual-channel PCNN multi-focus RGB image fusion based on NSST

Di Jing， Yin Shijie， Lian Jing

（School of Electronic amp; Information Engineering， Lanzhou Jiaotong University， Lanzhou 730070， China）

Abstract： In order to solve the problems of limited depth of field and partial out-of-focus of optical imaging equipment，this paper proposed an improved two-channel PCNN fusion algorithm based on non-lower shear wave transform（NSST）.Firstly，the proposed algorithm segmented the correlation between luminance component and chromaticity component of RGB image to obtain the channel subgraphs of luminance and chromaticity by the Lab color space.Then，using NSST to reconstruct the luminance channel subgraph，and using energy matching to fuse the chromaticity channel subgraph.Aiming at the errors caused by threshold setting and ignition quantization，it proposed an improved dual-channel PCNN model，and used the contrast sensitivity function（CSF） to adaptively set the PCNN parameters.Finally，inversing Lab to obtain the final fusion image.Experimental results show that the algorithm can effectively reduce the distortion，suppress artifacts and retain the edge contour information to improve the clarity of the whole scene.

Key words： multi-focus fusion； non-subsampled shear waves； pulse coupled neural network（PCNN）； Lab color space； visual characteristics of the human eye

0 引言

目前，圖像融合在多源圖像融合、計算機視覺、人工智能和醫學檢測等諸多領域都有廣闊的應用［1～4］。本文主要研究多源圖像融合中的多聚焦圖像融合。由于受到光學成像原理和設備的客觀限制在同一場景內的全清晰圖像難以獲得，多聚焦圖像融合可以通過提取同一場景內的多個傳感圖像，全方面地完善場景信息，并提升圖像清晰度，進而獲得全清晰圖像。這有助于目標識別、機器視覺等任務的進一步處理。

多源圖像融合主要分為空間域融合和變換域融合。基于空間域的隨機游走算法［5］可以直接從高質量的源圖像中選取像素點或圖像塊以構造融合圖像，但這種方法會導致塊效應，而對于多通道圖片，塊效應疊加易出現偽影和色差。基于變換域的多尺度變換則不存在塊效應。作為經典的多尺度算法，小波變換［6］具有優良的時頻特性，但小波變換只能提取三個方向的信息，且不具有線奇異性。曲線波變換［7］具有各向異性，但其分解會帶來巨大的數據冗余量。輪廓波變換［8］和剪切波變換［9］雖無分解方向的限制，但其下采樣操作不具有移位不變性，易產生偽吉布斯效應。非下采樣剪切波變換［10］繼承了這些變換工具的優點，能夠高效捕捉高維信號的幾何特征，具有多方向性、空間定位性高、位移不變性強、計算量相對較少等優點，因此其應用十分廣泛。文獻［11，12］利用PCNN的全局耦合與脈沖同步發放等特性提升融合結果。文獻［13，14］使用雙通道PCNN模型的高頻融合規則，消除了圖內像素對比、量化點火的誤差。文獻［15，16］低頻采用PCNN融合，程序運行時間長且效果不佳。文獻［17］把源圖分為細節部分和平滑圖像，平滑圖像進行NSST重構后再添上細節部分，細節提取十分耗時而且其功能與NSST高頻融合重合。文獻［18］先對源圖進行NSST-SCM重構，再根據得到的基礎圖進行差異性檢測后判定融合，融合過程非常冗雜，精煉結果不佳。這些算法都或多或少地存在邊緣失真、細節丟失、算法冗雜的問題。

為了盡可能多地保留源圖像的邊緣輪廓信息、加強像素間聯系、縮短運算時間及減小失真，本文結合NSST 和PCNN的優良特性，提出了一種基于NSST的改進雙通道PCNN融合方案。該算法通過Lab顏色空間對亮度分量進行重構，縮短了融合運算的時間；改進雙通道PCNN模型取消了閾值設置和點火圖量化的過程，克服了高頻細節丟失和對比誤差的問題；采用對比度敏感函數自適應設定PCNN參數提高了人眼視覺效果，最終融合得到了優良的全聚焦圖像。

4 實驗結果與分析

4.1 實驗設置

本文采用的對比算法有小波算法（wavelet）、拉普拉斯金字塔算法（Lap）、隨機游走算法（random walk）、NSST-PCNN算法、NSST-GF算法［17］和NSST-SCM算法［18］。實驗中NSST算法的設定是：分解層數為4，每層分解為16個方向子帶；金字塔濾波器為9-7。本文從主觀視覺上的人眼感知和客觀指標上的數據分析進行驗證。仿真環境為：MATLAB R2016b，64位Windows 10操作系統，8 GB內存，AMD Ryzen 5 2500U with Radeon Vega Mobile GFX 2.00 GHz 處理器。實驗選取五組失焦源圖進行數據分析，如圖4所示。

4.2 主觀實驗評估

如圖5所示的五組圖像（e）～（g）中，融合效果都比較好，邊緣輪廓和紋理留存度很高，圖像的色調和清晰度也基本一致，只是失焦區域有些許色度差異；第一組圖（a）～（d）中，右上角的海岸線融合效果不佳，對比度失真明顯；第二組圖（a）～（d）中，小孩左側的耳帽出現不同程度的模糊；第三組圖（a）（c）中，中心的鐵網交叉處出現模糊，圖（b）（d）中排球及隊員有些許模糊；第四組圖（a）～（d）中，女人手臂處丟失邊緣信息；第五組圖（a）（c）中，嬰兒右臉邊緣輪廓不清，圖（d）中大人的臉有明顯的模糊。就人眼視覺保真度而言，本文算法的邊緣信息留存度較高，全景清晰度較為理想。

4.3 客觀實驗評估

本文采用五種圖像融合常用評價指標進行對比，包括清晰度（AG）、信息熵（EN）、空間頻率（SF）、對比度（SD）和視覺保真度（VIFF）。AG表示融合圖像全局的清晰度；EN表示融合圖像包含的信息豐富度；SF表示空間域的總體活躍度；SD表示融合圖像整體的對比度；VIFF表示融合圖像與視覺觀察的一致性。上述指標越大表示效果越好。在表1中，黑體表示最優的實驗數據。 為了更好地分析融合結果，表中數據都是RGB三通道分別算出后均和得到的。

在實驗1、3、4中，本文算法的AG、EN、SF、SD和VIFF五項數據都是最優數據；在實驗2中，雖說 NSST-SCM算法的空間域的總體活躍度最高，但是其他四項數據都不及本文算法。Lap算法整體對比度性能最佳，但其他指標較差；在實驗5中，本文融合算法最優數據有AG、EN、SF和SD四項，唯有視覺保真度較差，略低于NSST-GF算法。通過客觀參數評測可知，本文算法雖然不能在所有數值上都達到最好的效果，但是總體上的表現都高于對比算法。部分指標沒有達到最好的效果，也與最佳數值相差無幾。通過客觀參數評測可知，本文算法融合圖在清晰度和信息豐富度，空間活躍度、對比度和視覺保真度方面都具有優秀的表現力。結合主客觀評測結果，本文算法的整體融合效果最好，融合部分的還原度很高，鮮有失真。

5 結束語

本文算法通過Lab顏色空間分割了圖像的亮度分量和色度分量間的關聯性。色度通道通過能量匹配融合增強了融合圖的色度一致性，減少了三通道分別進行NSST重構的算法復雜度。改進的雙通道PCNN融合算法消除了傳統PCNN算法在圖內像素對比和點火量化時產生的誤差。對比敏感度函數自適應設定PCNN參數，增強了融合圖的亮度對比度和視覺保真度。本文算法在增加像素間一致性的同時克服了PCNN融合高頻細節丟失的缺點；引入人眼視覺特性提升了融合圖的清晰度和整體視覺效果。下一步主要研究低頻信息保留和高頻信息去噪的問題。

參考文獻：

［1］Wei Shi，Du Chaoben，Gao Bingbing，et al.Remote sensing image fusion using multi-scale convolutional neural network［J］.Journal of the Indian Society of Remote Sensing，2021，49：1677-1687.

［2］Zhang Siqi，Li Xiongfei，Zhu Rui，et al.Medical image fusion algorithm based on L0 gradient minimization for CT and MRI［J］.Multimedia Tools and Applications，2021，80：21135-21164.

［3］Wang Shuangao，Rajchandar P，Aires A M，et al.Using satellite image fusion to evaluate the impact of land use changes on ecosystem ser-vices and their economic values［J/OL］.Remote Sensing，2021，13（5）.http：//doi.org/10.3390/RS13050851.

［4］Meena S D，Agilandeeswari L.Smart animal detection and counting framework for monitoring livestock in an autonomous unmanned ground vehicle using restricted supervised learning and image fusion［J］.Neural Processing Letters，2021，53：1253-1285.

［5］Borisov I S，Shefer E I.Asymptotic behavior of the mean sojourn time for a random walk to be in a domain of large deviations［J］.Siberian Advances in Mathematics，2020，30（2）：77-90.

［6］Rockinger O，Fechner T.Pixel-level image fusion：the case of image sequences［C］//Proc of Signal Processing，Sensor Fusion，and Target Recognition Conference.1998：378-388.

［7］Candès E J，Donoho D L.Curvelets：a surprisingly effective nonadaptive representation for objects with edges［M］.Nashville：Vanderbilt University Press，1999.

［8］Do M N，Vetterli M.The contourlet transform：an efficient directional multiresolution image representation［J］.IEEE Trans on Image Processing，2005，14（12）：2091-2106.

［9］Guo K，Labate D.Optimally sparse multi-dimensional representation using shearlets［J］.SIAM Journal on Mathematical Analysis，2007，39（1）：298-318.

［10］Easley G R，Labate D，Lim W.Sparse directional image representations using the discrete shearlet transform［J］.Applied and Computational Harmonic Analysis，2008，25（1）：25-46.

［11］楊利素，王雷，郭全.基于NSST與自適應PCNN的多聚焦圖像融合方法［J］.計算機科學，2018，45（12）：217-222，250. （Yang Lisu，Wang Lei，Guo Quan.Multi-focus image fusion method based on NSST and adaptive PCNN［J］.Computer Science，2018，45（12）：217-222，250.）

［12］焦姣，吳玲達.形態學濾波和改進PCNN的NSST域多光譜與全色圖像融合［J］.中國圖象圖形學報，2019，24（3）：435-446. （Jiao Jiao，Wu Lingda.Morphological filtering and improved PCNN for NSST domain multispectral and panchromatic image fusion［J］.Chinese Journal of Image and Graphics，2019，24（3）：435-446.）

［13］謝艷新.基于LatLRR和PCNN的紅外與可見光融合算法［J］.液晶與顯示，2019，34（4）：423-429. （Xie Yanxin.Fusion algorithm of infrared and visible light based on LATLRR and PCNN［J］.Liquid Crystal and Display，2019，34（4）：423-429.）

［14］侯瑞超，周冬明，聶仁燦，等.結合視覺顯著性與Dual-PCNN的紅外與可見光圖像融合［J］.計算機科學，2018，45（S1）：162-166. （Hou Ruichao，Zhou Dongming，Nie Rencan，et al.Infrared and visible image fusion combined with visual saliency and Dual-PCNN［J］.Computer Science，2018，45（S1）：162-166.）

［15］李敏，苑賢杰，駱志丹，等.基于NSST與改進PCNN的紅外與可見光圖像融合方法［J］.光電子·激光，2019，30（2）：185-191. （Li Min，Yuan Xianjie，Luo Zhidan，et al.Infrared and visible image fusion method based on NSST and improved PCNN［J］.Ophotoelectron·Laser，2019，30（2）：185-191.）

［16］黃陳建，戴文戰.NSST域內結合UDWT與PCNN醫學圖像融合算法［J］.光電子·激光，2020，31（11）：1157-1165. （Huang Chenjian，Dai Wenzhan.Medical image fusion algorithm combining UDWT and PCNN in NSST domain［J］.Optoelectronics·Laser，2020，31（11）：1157-1165.）

［17］Ganasala P，Prasad A D.Contrast enhanced multi sensor image fusion based on guided image filter and NSST［J］.IEEE on Sensors Journal，2020，20（2）：939-946.

［18］Liu Shuaiqi，Wang Jie，Lu Yucong，et al.Multi-focus image fusion based on adaptive dual-channel spiking cortical model in non-subsampled shearlet domain［J］.IEEE on Access，2019，7：56367-56388.

［19］姚軍財，石俊生，楊衛平，等.人眼對比度敏感視覺特性及模型研究［J］.光學技術，2009，35（3）：334-337. （Yao Juncai，Shi Jun-sheng，Yang Weiping，et al.Research of contrast sensitivity characteristics and model of human vision system［J］.Optical Technique，2009，35（3）：334-337.）