基于單層小波變換的圖像融合壓縮感知研究

杜淋

摘 ? 要：提出了一種將單層小波變換與壓縮感知相結合的圖像融合新方法，僅通過測量圖像的高頻小波系數且保留了低頻小波系數，利用不同的方案對低頻小波系數和高頻小波系數的測量進行融合。結合總變分（TV）最小化算法和融合測量來恢復高頻小波系數，運用逆小波變換對融合圖像進行重建。實驗表明，該方法具有良好的融合性能和較低的計算復雜度。

關鍵詞：圖像融合;壓縮感知;單層小波變換

中圖分類號：TP751.1 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻標識碼：A

Research on Image Fusion Compressed Sensing Based

on Single Layer Wavelet Transform

DU Lin？覮

（College of Science，Hohai University，Nanjing，Jiangsu 210098，China）

Abstract： This paper presents a new image fusion method combining single-layer wavelet transform with compressed sensing. It only measures the image's high-pass wavelet coefficients and preserves the low-pass wavelet coefficients. It uses different schemes for low-pass wavelet coefficients and high pass. Wavelet coefficient measurements are fused. Combined with minimization of total variational algorithm （TV） and fusion measurement to recover high-pass wavelet coefficients，the fusion image was reconstructed using inverse wavelet transform. Experiments show that this method has good fusion performance and low computational complexity.

Keywords： image fusion;compressed sensing;single-layer wavelet transform

圖像融合是將多幅圖像的互補和冗余信息相結合以獲得復合圖像的技術，它比任何單個圖像都包含更全面的描述。作為處理的結果，融合圖像對于人類和機器感知或物體檢測和識別等其他圖像處理任務更有實踐意義。目前，已經提出了許多著名的融合算法[1-3]，最主流的技術是多分辨率分解方法，如基于金字塔的方法[2]，基于離散小波變換（Discrete Wavelet Transform，DWT）的方法等[3]。但其中大多數技術需要對源圖像進行全面采集，這意味著在傳感器數據量增加的背景下，必須處理大量的存儲負擔。

壓縮感知（Compressed Sensing，CS）作為一種信號處理技術[4]，可以同時進行數據采樣和壓縮，文獻表明[5]，在一定條件下，僅從一小部分測量就能精確地恢復信號。CS原理使得數字數據采集大幅降低采樣率、功耗和計算復雜度[6]。但是，現有的大多數CS研究都僅停留在理論研究基礎上[7]。對于CS中的圖像融合，通常方式是在從測量結果中單獨恢復每幅圖像之后，在重建的多幅圖像之間執行傳統融合[8]。然而為了節省存儲空間并降低計算復雜度，更好的方法是直接對測量結果進行融合，然后從融合測量結果重建融合圖像[9]。現有研究已經提出了基于CS的幾種不同的融合策略，例如簡單的最大選擇規則或基于測量標準差的自適應加權平均融合方案[10-11]。

提出了一種在一般CS框架下的圖像融合方案。僅需要對圖像進行單層小波分解，并且利用快速Walsh Hadamard變換[12]測量圖像的高頻小波系數，利用不同的方案對低頻小波系數和高頻小波系數的測量進行融合，融合圖像的合成系數通過總變分（Total Variation，TV）最小化算法[13]和逆小波變換進行恢復。

1 ? 壓縮感知

考慮一個實數值有限長度的一維離散時間信號x∈RN，元素為x[n]，n=1，2，…，N。如果信號x是K稀疏的，則信號可以表示為公式（1）：

x = Dα ? ? ? ? ? ? ? ? ? （1）

其中，D是N × N的基矩陣，并且α是僅包含K個非零系數的N × 1向量。顯然，x和α是信號的等價表示，x在時間或空間域，α在D域。如果K≠N，則信號x是可壓縮的。

在CS中不能直接測量或編碼α，而是采用壓縮測量：

其中，y∈RM且A代表測量過程的M × N測量矩陣。由于M≠N，所以不能利用y重建x。然而，CS理論基于x在已知變換域D（例如，DCT和小波）中具有稀疏表示。即如果 滿足受限等距特性（RIP）[8]，則優化過程中可以恢復變換域信號α。在一些固定的稀疏基礎D下，Gaussian矩陣或Bernoulli矩陣可以提供通用性能和最優性能作為測量矩陣[14][15]，

但計算復雜度很高。而快速Walsh Hadamard變換矩陣[12]的采樣算子實用性普遍，且計算復雜度較低。

為了解決公式（2）的逆變換，已經開發了一些用于此類不適定問題的非線性恢復算法[16]。但它們中的大多數在實踐中需要相當繁重的計算。在本文中，提出了一種基于增廣拉格朗日和交替方向算法的新型總變分（TV）最小化算法，簡稱為“TVAL3方案”來解決這個問題[13]。它用于解決總變分正則化的壓縮感知問題：

其中，x是N × 1向量，Di x∈R2是像素i處x的離散梯度，A是M × N （M < N）測量矩陣，并且測量y是x的線性投影，‖Di x‖是1-范數（對應于各向異性TV）。

2 ? 單層小波變換

為了獲得原始圖像的測量結果，將使用快速Walsh Hadamard變換矩陣的結構化來測量矩陣類型[12]。測量矩陣能夠處理矩陣向量乘法的快速計算，它是由Hadamard矩陣構造的。對于k階Hadamard矩陣維數2k的遞推公式如下：

對于任意兩個矩陣A=[aij]p×q和B=[bij]r×l的Kronecker乘積定義如下：

A？茚B = a11B ? ?a12B ? ?… ? a1qBa21B ? ?a22B ? ?… ? a2qB… ? ? ? ?… ? ? … ? ?…ap1B ? ?ap1B ? ?… ? apqB ?（5）

為了更好地理解Kronecker乘積的含義，通過定義兩個新的算子vec和mtx。vec算子將矩陣的所有列變成向量，而mtx是vec的逆算子，它將該向量分離成若干個同等長度向量并形成一個矩陣。

根據“Kronecker乘積”定理[17]，矩陣A∈Rm×n可以用Kronecker乘積公式構造：

A = （A1？茚A2 ） ? （6）

其中，A1∈R（m/p）×（n/p） 和A2∈Rp × q，所選擇的m和n必須滿足m和n分別被p和q整除。矩陣向量乘法可以通過下式計算：

Ax = vex（A1mtx（x）AT2）ATy = vex（AT2mtx（y）A1） ? （7）

詳細推導過程見文獻[17]。利用Kronecker乘積改寫公式（4）為：

Hk = H1？茚Hk-1 ? （8）

對于長度為2k的任意兩個向量xT1和xT2，有x = [xT1 ? xT2]。Hadamard有序的Walsh Hadamard變換（WHTh）可以表示為：

Hk x = （H1？茚Hk-1）x ?（9）

根據基本KP理論[18]，可以得到：

令xi表示第i個小波子帶的矢量化信號。相應的測量輸出向量可寫為：

yi = Axi，i = 1，2，3 ? ?（11）

在每個小波子帶中，設置相同的采樣率，因此每個子帶的測量次數相同。

3 ? 圖像融合

由于多分辨率小波分解在信號表示中具有明顯的優勢，因此，在本文的融合方案中，采用單級CDF-97小波變換將原始圖像分解為近似系數和細節系數。高頻子帶包括原始圖像的主要信息并且可以認為是稀疏的，但是尺度系數低頻子帶不具備稀疏性。所以低頻和高頻系數與測量矩陣 相乘會破壞低頻近似權重系數與細節系數之間的相關性，導致重建結果較差。因此，通過保留低頻小波系數，只測量圖像的高頻小波系數，然后用不同的融合規則對它們進行融合。

3.1 ? 低頻融合規則

設Ak和Bk分別為圖像A和圖像B的第k（k=1，2，3）個低頻子圖像。第k個低頻子圖像Fk的融合近似系數可以表示為：

3.2 ? 高頻融合規則

圖像結構相似性（Image structural similarity，SSIM）[19]是基于假設人類視覺感知高度適應于場景中提取結構信息的一種有效的圖像質量評估指標。受此啟發，本文使用SSIM提取兩個高頻子圖像測量之間的結構關系。

結構相似性（SSIM）是通過將任何圖像失真建模為結構比較函數s（x，y），亮度比較函數l（x，y），對比度比較函數c（x，y）的組合來設計的。則SSIM定義為：

其中，μx 和 μy是均值，σx ，σy和σxy分別是標準差和協方差。所有這些都是在圖像x和y之間的高頻子圖像測量值上計算得到。常數C1，C2和C3以避免分母非常接近零時的不穩定性。且C1 = （K1L）2，C2 = （K2L）2，其中L是高頻子圖像測量的動態范圍（對于兩個對應的高頻子帶圖像測量的最大值），并且 K1 = 1，K2 = 1是一個小常數，在本文的實驗中，將參數設置為0.05，SSIM的其他參數都參照文獻[19]。

對于圖像融合，將SSIM局部應用而不是全局應用。在實驗中，在2×2平方窗內計算μx ，σx和σxy，該窗口在整個圖像上逐個像素地移動。在每個步驟中，局部統計和SSIM在局部窗口內計算。最后測量兩幅圖像相似度的平均SSIM（MSSIM）指標定義如下：

其中，xj和yj是第j個局部窗口處的圖像信息，并且M是圖像的局部窗口的數量。

對于細節系數融合，令GA k和GB k分別是圖像x和y圖像 的第k（k = 1，2，3）個高頻子圖像的測量值。融合的高頻子圖像測量GF k可以寫為：

其中，MSSIM（x，y）是兩個對應的高頻子帶圖像測量之間的平均結構相似性指數。

因此，融合高頻系數可以通過基于增廣拉格朗日和交替方向算法（TVAL3）的總變分（TV）最小化方案獲得，詳見文獻[13]。所提出的壓縮感知中的圖像融合具體步驟為：

（1）對輸入圖像執行單層小波變換;

（2）用融合低頻規則融合低頻小波系數，并用測量矩陣WHTh測量各高頻小波子帶系數;

（3）通過融合高頻規則來融合每個高頻測量;

（4）通過TVAL3算法重建融合的高頻小波系數;

（5）通過逆小波變換恢復融合圖像。

本文利用TVAL3算法[13]從融合高頻測量中恢復融合高頻系數。

4 ? 實驗分析

4.1 ? 實驗準備

為了驗證所提出的基于單層小波變換的圖像融合壓縮感知的有效性，設計三組測試圖像用于性能評估，三組源圖像包括計算機斷層掃描（CT）和磁共振成像（MRI）圖像，如圖1（a）和圖1（b）;紅外和視覺圖像，如圖2（a）和圖2（b）;光學多焦點圖像，如圖3（a）和圖3（b）所示。有關圖像的更多信息詳見文獻[16]。高頻采樣率設置為0.2，恢復數據總數為所有數據的40%。其他兩種方法的采樣率也設置為0.4。所有實驗均在雙核Intel Core2 2.33 GHz計算機上實現，仿真軟件為MATLAB 7.0.1。

4.2 ? 實驗對比

在實驗中，將所提出的方法與文獻[20]，文獻[21]中的方法進行比較，其中，文獻[20]使用“雙星”采樣模式和最大絕對值選擇融合規則（CS_MS），文獻[21]使用“星形”采樣模式和基于標準差的加權平均融合規則（CS-SD）。在醫學圖像融合中，很容易看出所提出的方法的融合結果比CS_MS和CS-SD具有更高的對比度，并且包含了單個輸入圖像的大部分細節。CS-SD具有較低的對比度，并且比原始圖像包含更多的噪聲。對于紅外和視覺圖像融合，可以看到所提出的方法結果也表現出最佳的視覺效果。與本文的方法相比，CS_MS方案由于亮度和對比度的失真以及包含很多帶狀噪聲而不適合紅外和視覺圖像融合。而CS-SD會損失目標中的對比度。在光學多焦點圖像融合實驗中，本文所提出的方法與CS-SD相比具有相同的視覺效果，并且優于CS_MS融合。

5.3 ? 性能評估

為了進一步比較，使用幾個客觀標準來評估融合結果。第一個標準是平均梯度（AG），它通常用于評估圖像的清晰度，AG越大，圖像越清晰。接下來的兩個標準是互信息（MI）和邊保持度（Q），MI反映融合圖像包含的原始圖像的信息總量，并且Q考慮從輸入圖像轉移到融合圖像的邊緣信息量。對于這兩個標準，值越大融合結果越好。最后，分別給出用于融合和CS重建的CPU運行時間。三種方法的融合結果性能評價如表1所示。

由表1可見，所提出的方法在MI和Q方面優于其他兩種方法，這說明本文融合圖像的方法與其他方法相比，包含更多的細節和邊緣信息，這與視覺效果一致。盡管醫學圖像融合中的平均梯度（AG）略大于本方法，但其視覺效果遠不及本方法。本文的融合和CS重建方法的CPU運行時間遠小于其他兩種方法。從主觀視覺比較和客觀指標比較中，可以得出結論，所提出的方法比其他兩種方法可以獲得更好的性能。

5 ? 結 ? 論

提出了一種壓縮感知的圖像融合方案，與傳統方法相比，在對原始圖像進行單層小波變換的基礎上，根據高頻系數稀疏的特點，只需測量低采樣率的高頻小波系數，并設計了不同的融合規則融合低頻小波系數和高頻測量，結合一種新的高效總變分（TV）最小化算法進行恢復。仿真結果表明，提出的方案具有較高的效率和良好的融合效果。此外，由于所提出的方案只需要不完整的測量而不是獲取整個圖像的所有樣本，因此計算復雜度顯著降低。并且由于采用了快速Walsh Hadamard變換，使得圖像融合和CS重建方法的CPU運行時間遠低于其他兩種方法。

CS圖像融合仍處于探索階段，仍有許多問題需要解決（例如，原始圖像與測量之間的關系以及如何設計最佳融合規則）。因此，與CS原理相匹配的更先進的融合規則研究是今后工作的又一研究課題。

參考文獻

[1] ? ?許良鳳，林輝，胡敏.基于差分進化算法的多模態醫學圖像融合[J].電子測量與儀器學報，2013，27（02）： 110—114.

[2] ? ?谷雨，周陽，任剛，等.結合最佳縫合線和多分辨率融合的圖像拼接[J].中國圖象圖形學報，2017，22（06）： 842—851.

[3] ? ?李尊，苗同軍.基于DWT-IRLS的壓縮感知圖像融合[J].液晶與顯示，2017，32（01）：35—39.

[4] ? ?沈燕飛，朱珍民，張勇東，等.基于秩極小化的壓縮感知圖像恢復算法[J].電子學報，2016，44（03）：572—579.

[5] ? ?METZLER C A，MALEKI A，BARANIUK R G. From denoising to compressed sensing[J]. IEEE Transactions on Information Theory，2016，62（9）： 5117—5144.

[6] ? ?李鵬，王建新，丁長松.WSN中基于壓縮感知的高能效數據收集方案[J].自動化學報，2016，42（11）： 1648—1656.

[7] ? ?王強，張培林，王懷光，等.壓縮感知中測量矩陣構造綜述[J].計算機應用，2017，37（01）：188—196.

[8] ? ?殷明，龐紀勇，魏遠遠，等.結合NSDTCT和壓縮感知PCNN的圖像融合算法[J].計算機輔助設計與圖形學學報，2016，28（03）：411—419.

[9] ? ?杜鑫.壓縮感知在多源圖像融合中的應用[J].太赫茲科學與電子信息學報，2013，11（04）：614—618.

[10] BLANCHARD J D，TANNER J，WEI K. Conjugate gradient iterative hard thresholding： Observed noise stability for compressed sensing[J]. IEEE Transactions on Signal Processing，2015，63（2）： 528—537.

[11] ?ZHANG Q，MALDAGUE X. An adaptive fusion approach for infrared and visible images based on NSCT and compressed sensing[J]. Infrared Physics & Technology，2016，74：11—20.

[12] ?LIU J，XING Q，YIN X，et al. Pipelined architecture for a radix-2 fast Walsh-Hadamard-Fourier transform algorithm[J]. IEEE Transactions on Circuits and Systems II： Express Briefs，2015，62（11）： 1083—1087.

[13] ?MA J，CHEN C，LI C，et al. Infrared and visible image fusion via gradient transfer and total variation minimization[J].Information Fusion，2016，31： 100—109.

[14] OYMAK S，JALALI A，FAZEL M，et al. Simultaneously structured models with application to sparse and low-rank matrices[J]. IEEE Transactions on Information Theory，2015，61（5）： 2886—2908.

[15] ?RAVELOMANANTSOA A，RABAH H，ROUANE A. Compressed sensing： a simple deterministic measurement matrix and a fast recovery algorithm[J]. IEEE Transactions on Instrumentation and Measurement，2015，64（12）： 3405—3413.

[16] ?練秋生，宋爽，陳書貞，等.基于高階馬爾可夫隨機場及非線性壓縮感知的相位恢復算法[J].電子學報，2017，45（09）：2210—2217.

[17] ?曾誠，何淦瞳.關于矩陣Kronecker乘積和Hadamard乘積的若干矩陣不等式[J].寧夏大學學報：自然科學版，2016，37（03）：268—271.

[18] ?ZHANG Z，WANG Y，CHONG E K P，et al. Subspace selection for projection maximization with matroid constraints[J]. IEEE Transactions on Signal Processing，2017，65（5）： 1339—1351.

[19] ?FANG Y，ZENG K，WANG Z，et al. Objective quality assessment for image retargeting based on structural similarity[J]. IEEE Journal on Emerging and Selected Topics in Circuits and Systems，2014，4（1）： 95—105.

[20] ?XING L，CAI L，ZENG H，et al. A multi-scale contrast-based image quality assessment model for multi-exposure image fusion[J]. Signal Processing，2018，145： 233—240.

[21] ?ZHANG K，WANG M，YANG S，et al. Fusion of panchromatic and multispectral images via coupled sparse non-negative matrix factorization[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing，2016，9（12）： 5740—5747.