結合NSST和LSWT的光學/被動毫米波圖像融合

柳 菁，聶建英

(福州大學 數學與計算機科學學院，福建 福州 350108)

?

結合NSST和LSWT的光學/被動毫米波圖像融合

柳 菁，聶建英

(福州大學 數學與計算機科學學院，福建 福州 350108)

提出了一種結合NSST和LSWT的圖像融合算法，并應用到安檢中。該方法首先采用NSST對被動毫米波圖和可見光圖進行分解得到一組高低頻系數；接著對分解后得到的低頻系數進行LSWT變換，得到新的一組高低頻系數，分別對其采用基于區域方差融合規則和CS算法進行壓縮、融合、重構后進行LSWT逆變換；再對第一步的高頻系數采用改進的拉普拉斯算子進行處理；最后NSST逆變換處理得到融合圖像。實驗仿真結果表明，所提出的方法融合效果較好，實現了對隱匿物品的快速識別。

光學圖像；被動毫米波圖像；NSST；LSWT；圖像融合

隨著科技發展，現行的安檢開始使用具有更高效率的毫米波掃描儀來檢測居民身上是否有隱匿危險品。毫米波與可見光具有兩種不一樣形態的傳感器系統，毫米波被動輻射計探測是通過場景中目標和背景的輻射特性的差異性來探測目標，可以顯示隱匿的目標，但目標物體不僅有自身的輻射，而且會反射其周圍物體、及天空等輻射溫度，且輻射溫度差邊界一般不顯著，因此毫米波被動成像圖像的分辨率并不是很高；可見光傳感器采用極強的光線敏感度，成像具有極高的分辨率和細節信息，但不顯示隱匿的目標。對二者的不同特點，取長補短，可以為安檢提供更準確可靠的信息，保護人們的安全。

近年來，學者們對于圖像融合技術有著廣泛的研究，比較典型的融合方法有小波變換、Shearlet變換、NSCT變換等。在此基礎上，又各自取長補短，展開不同方法探討，比如文獻[1]提出Shearlet變換與稀疏表示結合的圖像融合算法，文獻[2]提出了基于NSST和高斯混合模型的圖像融合算法，這些都是圖像研究的擴展，具有較好的融合效果[1-3]。

Shearlet變換具有多方向性和多分辨率的優良特點，可以實現圖像多方面細節信息的保留，但其計算復雜度較高，且隨著圖像進行多層數分解，其系數進行處理時將加大對硬件和軟件的負擔。因此可行的方案是采用提升小波變換LSWT和壓縮感知CS一起配合，雙管齊下，可以提高算法的優越性，加快算法的執行效率。提升小波是Sweldens教授和Daubechies教授等學者于20世紀90年代中期提出的，又稱第二代小波。它具有優良的特性：結構簡單，運算量低，較之經典的Mallat算法，計算量減少一半；原位運算(整個計算過程不需要申請輔助存儲空間)，可節省存儲空間。而將壓縮感知(Compressed Sensing，CS)應用到圖像融合，能夠實現壓縮和高精度重構，可以減少圖像的存儲量和計算復雜度。

本文通過綜上分析，提出了結合NSST和LSWT的圖像融合算法，實驗結果表明該方法可以實現快速運算，并且能夠增加分辨人體隱匿物品的準確度，提高安檢的安全性。

1 基礎理論

1.1 非下采樣剪切波變換(NSST)

Shearlet變換是為了克服小波變換在方向性上的缺點而提出的[3]，能夠多尺度、多方向地分析圖像數據，得到不同的高低頻子帶系數。非下采樣Shearlet變換(NSST)的實現主要分為兩個步驟：非下采樣的多尺度剖分和方向的局部化。其中，多尺度剖分采用非下采樣金字塔分解(Non-subsampled Pyramid，NSP)的分解方式，與NSCT在多尺度分解步驟上是一致的；多方向分解式利用剪切波濾波器加以實現，避免了上采樣和下采樣步驟，保證了平移不變性。NSST的實現流程圖如圖1所示，更多的詳細步驟理論見參考文獻[4-6]。

圖1 NSST流程圖

1.2 提升靜態小波變換(LSWT)

第二代提升小波步驟有3步，即可以采用分解(split)、預測(predict)和更新(update)三大步驟完成對信號的頻率分解，可以克服之前傳統小波的眾多缺點。 實際上，小波提升的核心就是更新算法和預測算法，提升樣式可以實現原位計算和整數提升，極大提高了運算速度。提升靜態小波(LSWT)的實現流程圖如圖2所示，更多的詳細步驟理論見參考文獻[7-8]。

圖2 提升靜態小波分解和重構

1.3 壓縮感知(CS)

壓縮感知又稱壓縮采樣，是由E. J. Candes等人在2004提出的[8]，其實現流程圖如圖3所示，更多的詳細步驟理論見參考文獻[9-11]。

圖3 壓縮感知模型

2 結合NSST和LSWT的圖像融合算法

本文采用將NSST和LSWT相結合的辦法，對光學和被動毫米波圖像進行融合，融合流程圖如圖4所示，融合過程如下：

1)首先采用NSST對被動毫米波圖和可見光圖進行分解得到第一組高低頻系數；

2)對1)中得到的低頻系數進行LSWT變換，得到新的一組高低頻系數，分別對其采用不同的融合規則后進行LSWT逆變換；

3)對1)中得到的高頻系數采用基于區域方差的融合規則的融合規則處理；

4)將2)和3)步得到的結果采用NSST逆變換最后得到所需的融合圖像。

圖4 本文流程圖

2.1 LSWT變換后的高低頻系數的融合規則

低頻部分：低頻子帶系數，主要是原圖像濾掉細節后的近似部分，圖像的大部分概貌都集中在低頻分量中。以往的融合算法一般選用簡單的加權平均方法等，算法簡單但會丟失一些細節部分。本文采用基于區域方差的融合規則，將區域方差較大的中心點像素灰度值作為融合后的像素灰度值。本文選取區域為3×3，相關系數定義為

(1)

其中：CF,l(i,j)代表算法第1)步所得到的低頻成分。

(2)

高頻部分：為了能夠在很少的信息損失情況下保留源圖特性，本文采取CS算法進行壓縮處理、重構，相關系數定義為

(3)

2.2 NSST變換后的高頻系數的融合規則

NSST變換得到的高頻系數具有多方向性，且基本都是零值左右波動，是近似稀疏的，具有較大的稀疏性。本文采用改進的拉普拉斯算子(SML算子)來保證大部分信息都能夠采集到。相關系數定義為

(4)

其中，CF(i,j)代表算法第2)步所得到的低頻成分；CA(i,j)，CB(i,j)代表算法第1)步中分解出來的兩種不同圖的低頻成分。

(5)

(6)

式中：M,N為鄰域大小(本文選取為3×3)；f(x,y)為(x,y)處的像素值；SML(i,j)為(x,y)處的拉普拉斯能量和。

3 實驗結果及分析

為了驗證本文方法的可行性，將本文算法與其他5種方法進行比較。方法1、方法2和方法3分別是用DWT變換、LSWT變換、NSST變換進行圖像融合，采用規則為高頻絕對值取大、低頻取平均。方法4是采用DWT+LSWT變換進行圖像融合，方法5是采用NSST變換后，高頻采用CS處理。實驗所用源圖像及由5種不同方法得到的融合圖像如圖5所示。

圖5a是光學圖像，顯示了全貌信息，圖5b是被動毫米波圖像，提供隱匿物品信息。圖5c～圖5i分別是由方法1到方法4以及本文方法得到的融合結果，從圖5c、圖5d和圖5e的比較，圖5f和圖5i的比較可以比較直觀地看出，NSST變換可以保留更多的源圖像信息，精確度更高。由圖5e和圖5i的比較可以看出，低頻系數采用取平均得到的融合圖像質量較差，不能有效顯示全部信息。

為了進一步驗證本文算法的可行性，選取了第二組實驗圖像，結果圖6所示。

圖5 第一組源圖像及其融合圖像

圖6 第二組源圖像及其融合圖像

可見光/被動毫米波融合的主要目的是希望通過將可見光圖像和被動毫米波圖像融合，辨別出確定人員所攜帶的危險物品的輪廓和隱藏位置。除主觀評價外，還可以采用客觀評價指標來對最后的融合圖像進行評價，包括平均梯度(Average Grads，AG)、信息熵(Information Entropy，IE)、空間頻率(Spatial Frequency，SF)、互信息(Mutual Information，MI)。AG代表圖像的相對清晰程度；IE反映的是圖像包含的信息量；SF反映了圖像空間域的變化劇烈程度；MI表示集合間的相關性。這4個客觀評價指標數值越大，融合效果越好，結果如表1。從數據顯示可以看出，本文所采用的融合方法具有不可否認的優越性，融合效果較好。

4 結論

為實現安檢中的需求，本文提出一種結合NSST和LSWT的毫米波被動圖像和可見光圖像的處理方法。該算法利用剪切波多方向多尺度的特點，結合了LSWT快速運算特性，能夠較好地保留源圖像信息，實現有效運算。經過試驗分析可知，這種方法提高了視覺可見信息，萃集了原始圖像的各自特性，便于安保人員進行判別，具有一定的實際應用價值。

表1 6種算法融合圖像指標評價

[1] 鄭偉，孫雪青，郝冬梅，等. Shearlet變換和稀疏表示相結合的甲狀腺圖像融合[J].光電工程，2015(1)：77-83.

[2] 劉帥奇，李會雅，張濤，等. 基于NSST和高斯混合模型的醫學圖像融合算法[J].電視技術，2015，39(23)：116-121.

[3] 王惠群，周濤，陸惠玲，等.基于多分辨率變換和壓縮感知的肺癌PET/CT圖像融合方法[J].電視技術，2016，40(3)：11-16.

[4] EASLEY G R，LABATE D，LIM W Q. Sparse directional image representations using the discrete shearlet transform[J]. Applied and computational harmonicanalysis(S1063-5203)，2008，25(1)：25-46.

[5] 葉東毅，陳昭炯.一個新的差別矩陣及其求核方法[J].電子學報，2002，30(7)：1086-1088.

[6] YIN L Z，GUI W H，YANG C H，et al. Core set analysis in inconsistent decision tables[J].Information science，2013，241(20)：138-147.

[7] 蔣薇薇，魯昌華，張玉鈞，等. 基于提升小波改進閾值的光譜信號去噪研究[J]. 電子測量與儀器學報，2014(12)：1363-1368.

[8] 王麗.結合提升靜態小波和灰色關聯分析的圖像融合算法[J].電視技術，2015，39(1)：15-18.

[9] CANDES E J，WAKIN M B. An introduction to compressive sampling[J]. IEEE signal processing magazine， 2008(25)：21-30.

[10] DONOHO D L．Compressed sensing[J]. IEEE transactions on information theory，2006，52(4) ： 1289-1306．

[11] WAN T，NISHAN C，ALIN A．Compressive image fusion[C]//Proc. the 15th IEEE International Conference on Image Processing.[S.l.]：IEEE，2008： 1308-1311．

柳 菁(1993— )，女，碩士生，主研小波分析及其應用、毫米波探測與目標識別技術；

聶建英(1958— )，博士后，教授，主要從事光波、毫米波復合探測與目標識別技術研究。

責任編輯：閆雯雯

Fusion of visual/PMMW image based on NSST and LSWT

LIU Jing， NIE Jianying

(CollegeofMathematicsandComputerScience，FuzhouUniversity，Fuzhou350108，China)

A method to deal with visual image and PMMW image for the security inspection is put forward， basing on Non-subsampled Shearlet Transform(NSST)and Lifting Stationary Wavelet Transform(LSWT). Firstly，two images’ low and high frequency components decomposed with NSST can be got. Next，the low-frequency components are decomposed by the LSWT to get the other componets which are fused based on regional variance and compressed， fused and reconstructed by CS.Then，do the lifiting stationary wavelet inverse transform. Thirdly，the first high-frequency components are dealed with Laplacian. Finally，the inverse NSST is used to get the final fused image.The experiment result indicates that the proposed method has a better result to realize speedy identification of the concealed.

visual image；PMMW image； NSST；LSWT； image fusion

江蘇省資源環境信息工程重點實驗室基金項目(JS201104)

柳菁，聶建英.結合NSST和LSWT的光學/被動毫米波圖像融合[J].電視技術，2016，40(12)：12-16. LIU J， NIE J Y. Fusion of visual/PMMW image based on NSST and LSWT[J]. Video engineering，2016，40(12)：12-16.

TN911.73

A

10.16280/j.videoe.2016.12.003

2016-04-14