基于稀疏表示的WMSN紅外和可見光圖像融合*

羅 暉，劉潔麗，祁美麗

(華東交通大學信息工程學院，江西 南昌 330013)

基于稀疏表示的WMSN紅外和可見光圖像融合*

羅 暉，劉潔麗，祁美麗

(華東交通大學信息工程學院，江西 南昌 330013)

在使用無線多媒體傳感網絡WMSN進行環境監測的過程中，對同一場景所采集的紅外和可見光源圖像進行信息融合時，傳統的方法融合的數據量較大且沒有充分考慮其內在稀疏性和豐富的結構特征，圖像融合的質量不高。將稀疏表示理論應用于WMSN紅外和可見光圖像融合中，在原始DCT冗余字典基礎上，結合K-SVD字典訓練算法和同步正交匹配追蹤SOMP算法對WMSN紅外和可見光圖像進行有效的稀疏表示，并選擇自適應加權平均融合規則對稀疏表示系數進行融合處理。仿真結果表明，相對于傳統的基于空域及變換域的紅外和可見光圖像融合方法，該方法更能從WMSN含噪圖像中有效地保留源圖像的有用信息，獲得較好的融合效果。

無線多媒體傳感器網絡；圖像融合；稀疏表示；同步正交匹配追蹤；自適應加權平均

1 引言

無線多媒體傳感網絡WMSN(Wireless Multimedia Sensor Networks)[1]是由一組具有計算、存儲和通信能力的多媒體傳感器節點組成的分布式感知監測網絡，能夠針對特定監測區域進行大范圍的、快速的節點布置[2]，其在各個領域的應用越來越廣泛。但是，在使用WMSN進行監測的過程中，需要傳輸大量的圖像數據，而其網絡能量受限；同時，外界環境的變化(如低照度、雨霧環境)導致采集的圖像含有大量的高斯噪聲，WMSN不能進行全天候高質量的圖像采集，因而需要對其進行必要的圖像處理。

在監測過程中，因為紅外圖像具有較強的目標識別能力，不受光照、煙霧等條件限制，但圖像信噪比低、背景信息不充分[3]；而可見光圖像清晰度一般較高，能夠反映目標場景的細節信息，與人眼視覺特性吻合，但在被遮擋或照度不佳的情況下，對比度較低，目標特征不明顯。為了保證監測的可靠性，可以同時采集紅外圖像和可見光圖像，并利用圖像融合技術進行紅外、可見光圖像的融合，這樣可得到對目標場景更為精確、全面的分析和判決[4]。將此技術運用于WMSN監測網絡，不僅可以在一定程度上降低網絡傳輸數據量，也能實現全天候的圖像采集。

目前，紅外和可見光圖像融合的主要方法有兩類：空域融合和變換域融合。空域融合方法主要是進行像素平均，該方法操作簡單，但會導致融合圖像對比度降低。變換域融合方法是先對源圖像進行某種變換，再把這些變換系數作為融合算子進行融合處理。

但是，此過程只是對變換系數進行操作，任何一個系數的改變都有可能引起所有像素值的變化。同時，這兩類方法都沒有充分利用圖像的結構特征和內在稀疏性，難以獲得WMSN高質量的融合圖像。

本文充分考慮WMSN圖像的結構特征，采用具有全局性操作的稀疏逼近思想[5]，提出一種基于稀疏表示的WMSN紅外和可見光圖像融合方法。仿真實驗表明，該算法得到的融合圖像在主觀和客觀評價上都取得了較好的效果。

2 WMSN圖像的稀疏表示

WMSN中采集的紅外和可見光圖像能夠壓縮，說明它們具有冗余性，因此可以在冗余字典上對其進行稀疏表示。為保證稀疏表示平移不變性，首先必須對圖像進行交疊采樣，即通過一固定尺寸大小的滑動窗口將圖像交疊采樣為大小相同的圖像塊并按列展開。那么，WMSN圖像在超完備字典中的稀疏表示可按照以下模型進行描述：

(1)

2.1 超完備字典構建

字典的設計和產生是超完備稀疏表示理論的重要研究內容之一。超完備字典僅使用表示系數的少數非零值即可捕捉圖像內在結構，在很大程度上決定了圖像結構特征能否被有效地表示[6]。

目前有兩種方法獲得超完備字典：一是采用多種變換基構造超完備字典，其數學模型簡單，自適應性不強；二是通過學習、訓練樣本來獲得超完備字典，如K-SVD[7]、PCA[8]、MOD[9]等訓練方法。WMSN監測中，采集的紅外和可見光圖像存在大量的邊緣、紋理等細節信息特征。而且，在低照度或雨霧等條件下采集的紅外和可見光圖像會存在高斯等噪聲，圖像會出現嚴重退化，不能滿足WMSN圖像的質量要求。而從文獻[10～12]可以看出，K-SVD字典訓練算法可在同一原始字典上同時實現多類圖像的稀疏估計與去噪，對含噪圖像具有較好的去噪魯棒性；算法非常靈活，可與多種稀疏分解最優原子搜索算法結合使用。

故采用K-SVD訓練算法在初始化字典DCT上同步更新字典與稀疏系數，大致過程如下：

(2)

其中，乘積DS被分解成K個秩為1的矩陣和。設其中K-1項是固定的，所剩的一個即是要處理的第k個。矩陣Ek代表的是去掉原子dk的成分在所有I個訓練樣本中所造成的誤差。

2.2 稀疏分解方法

(3)

Figure 1 Process of the proposed image fusion based on sparse representation圖1 基于稀疏表示的WMSN紅外和可見光圖像融合框架

(3)更新稀疏系數及殘差，分別如式(4)和式(5)所示：

(4)

(5)

3 基于稀疏表示的WMSN紅外和可見光圖像融合

3.1 基于稀疏表示的圖像融合框架

在圖像融合過程中，本文引入稀疏表示理論，提出了一種新的WMSN紅外和可見光圖像融合方法。根據以上構造的超完備字典，將輸入的紅外和可見光圖像(在仿真部分以同一場景采集的兩幅紅外和可見光圖像為例)進行分塊并列向量化，然后計算各列向量在字典下的稀疏表示系數。此方法的具體實現過程如下：

(1)圖像列向量化。假設待融合圖像為配準好的j幅大小為256×256的圖像(包括j/2幅紅外圖像xR和j/2幅可見光圖像xO)，利用一尺寸大小為4×4的滑動窗分別對這些圖像進行交疊采樣為大小相同的圖像塊，并按列展開16×1維列向量。

(6)

3.2 融合規則

在圖像融合處理過程中，融合規則的選擇是非常重要的，會直接影響到最后的融合結果。采用絕對值最大法(MAV)可能會造成亮度對比度過高、部分圖像信息丟失等現象[14]。

而自適應加權融合規則可以根據每個系數間的差異進行權值分配;稀疏系數越大，所攜帶的信息量也越多，相應地權值也會越大。基于以上分析，在利用SOMP算法獲得各圖像塊的稀疏系數后，根據式(7)計算出融合后的稀疏系數：

(7)

4 實驗仿真和結果分析

為了驗證該方法在WMSN圖像融合中的有效性和優越性，分別用本文方法及另外三種圖像融合方法對加噪的紅外和可見光圖像進行了融合效果比較。這些方法分別是基于空間梯度SG(Spatial Gradient)的紅外和可見光圖像融合、基于離散小波變換DWT(Discrete Wavelet Transform)的紅外和可見光圖像融合和基于稀疏表示的絕對值最大融合規則SR-MAV(Sparse Representation based on Absolute Value Maximum fusion rule)的紅外和可見光圖像融合方法。

采用 MATLAB 平臺，以在低照度和煙霧環境下的圖片為例。考慮到WMSN圖像監測的復雜場景及高噪聲強度，本文采用加噪的低照度與煙霧環境下的紅外和可見光圖像，以近似真實地反映實際情況。如圖2和圖3所示，采用上述四種紅外和可見光圖像融合方法得到了不同的效果。

從仿真結果(如圖2和圖3所示)可以看出：在低照度和煙霧環境下，采用基于空間梯度SG和離散小波變換 DWT的融合方法所得的融合圖像模糊，細節信息不清晰。主要原因是信號本身和噪聲都被當成有用信號被融合，造成邊緣和細節的銳度下降，而且背景噪聲也沒有很好地被去除。而基于稀疏表示的SR-MAV融合方法以能否被稀疏表示為標準將噪聲與有用信息區分開來，受環境影響較小，從而能夠獲得干凈的融合圖像。但是，采用基于SR-MAV的融合方法所得的融合圖像的亮度、對比度都過高，視覺效果并不是很好。

Figure 2 Results of noisy images fused in low illumination environment圖2 低照度下的加噪圖像融合結果

為了更客觀地評價融合圖像的效果和性能，避免主觀評價帶來的局限性，本文采用互信息量MI、均方根誤差RMSE、邊緣評價因子QAB/F作為客觀評價標準[15]。

從表1和表2的數據可以看出，本文方法：互信息量最大，表明從源圖像中繼承的信息越多；邊緣評價因子參考值最接近1，表明融合圖像保留了源圖像的邊緣信息也越多；均方根誤差RMSE最小，表明其融合圖像中的信息是最接近原始圖像的。

從視覺效果和客觀評價標準參考值均可看出，基于SG、DWT、SR-MAV的融合算法不如本文算法。

Figure 3 Results of noisy images fused in the fog environment圖3 煙霧環境下的加噪圖像融合結果

性能指標融合方法SGDWTSR-MAV本文方法MI2.1182.1622.2112.313RMSE4.6874.4964.3893.925QAB/F0.4060.4280.4500.471

Table 2 Object performance of different

前兩種融合圖像稍顯模糊，細節均被噪聲干擾，有用信息不能有效獲得，所以其互信息量和邊緣評價因子小、均方根誤差大；基于SR-MAV的融合方法在亮度及對比度上的處理不夠理想，存在一些邊緣、紋理等的失真。鑒于以上分析，本文方法在強噪聲的低照度和煙霧環境下能從源圖像中繼承更多的有用信息，具有更好的融合性能，適用于WMSN紅外和可見光圖像的融合處理。

5 結束語

WMSN監測過程中，其網絡能量受限，加之低照度或雨霧等條件影響，不能進行全天候的有效監測。本文利用WMSN圖像內在稀疏性和結構特征，提出一種新的基于稀疏表示的圖像融合方法，并將其應用于WMSN紅外和可見光圖像融合中；采用這種圖像融合方法，能在保證全天候監測的同時，減少數據傳輸量。仿真結果表明，在低照度和雨霧環境下的WMSN監測環境中，基于稀疏表示的圖像融合方法更有效地捕捉了WMSN圖像的各種結構特征，有效保留了圖像的有用信息，具有良好的融合效果。此結論在WMSN圖像融合系統中具有一定的實用價值。本文為考慮算法的實時性，所有源圖像均采用了基于DCT冗余字典的K-SVD訓練方法，因此未來可以考慮針對不同種類的圖像使用不同的超完備字典。

[1] Akyildiz I F,Melodia T,Chowdhury K R.A survey on wireless multimedia sensor networks[J]. Computer Networks, 2007, 51:921-960.

[2] Harjito B, Han Song. Wireless multimedia sensor networks applications and security challenges[C]∥Proc of International Conference on Broadband, Wireless Computing, Communication and Applications,2010:842-846.

[3] Yang L, Zhou Y, Yang J, et al. Variance WIE based infrared images processing[J]. Electronics Letters, 2006, 42 (15):857-859.

[4] Kuang Yan, Wu Yun-feng. Research on image fusion for visible and infrared images[C]∥Proc of the 10th International Conference on Electronic Measurement & Instruments, 2011:77-79.

[5] Wan Tao,Qin Zeng-chang.An application of compressive sensing for image fusion[J]. International Journal of Computer Mathematics, 2011, 88(18):3915-3930.

[6] Fadili M J, Starck J L, Bobin J，et al. Image decomposition and separation using sparse representations:An overview[J].Proc of the IEEE, 2010, 98(6):983-994.

[7] Aharon M, Elad M, Bruckstein A. K-SVD:An algorithm for designing overcomplete dictionaries for sparse representation[J]. IEEE Transactions on Signal Process, 2006, 54(11):4311-4322.

[8] Jolliffe I T. Principal component analysis[M]. New York:Springer, 2002.

[9] Engan K, Aase S O, Hus?y J H. Multi-frame compression:Theory and design[J]. Signal Process, 2000, 80(10):2121-2140.

[10] Elad M, Aharon M. Image denoising via sparse and redundant representations over learned dictionaries[J]. IEEE Transactions on Image Process, 2006, 15(12):3736-3745.

[11] Protter M,Elad M.Image sequence denoising via sparse and redundant representations[J]. IEEE Transactions on Image Process, 2009, 18(1):27-35.

[12] Yu Nan-nan, Qiu Tian-shuang, Bi Feng, et al. Image features extraction and fusion based on joint sparse representation[J]. IEEE Journal of Selected Topics in Signal Processing, 2011, 5(5):1074-1082.

[13] Tropp J A, Gilbert A C, Strauss M J. Algorithms for simultaneous sparse approximation:Part I:greedy pursuit[J]. Signal Processing, 2006,86 (3):572-588.

[14] Li X, Qin S-Y. Efficient fusion for infrared and visible images based on compressive sensing principle[J]. IET Image Processing, 2011, 5(2):141-147.

[15] Liu Zheng, Blasch E, Xue Zhi-yun,et al. Objective assessment of multiresolution image fusion algorithms for context enhancement in night vision:A comparative study[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012,34(1):94-109.

LUOHui,born in 1969,MS,associate professor,his research interests include multimedia information process, and wireless communication system.

劉潔麗(1988-),女,湖南岳陽人，碩士生，研究方向為多媒體信息處理。E-mail:Liujieli082711@163.com

LIUJie-li,born in 1988,MS candidate,her research interest includes multimedia information process.

祁美麗(1987-),女,江蘇連云港人，碩士生，研究方向為無線傳感器網絡。E-mail:qml_jxnc@163.com

QIMei-li,born in 1987,MS candidate,her research interest includes wireless sensor network.

InfraredandvisibleimagefusioninWMSNbasedonsparserepresentation

LUO Hui，LIU Jie-li，QI Mei-li

(School of Information Engineering,East China Jiaotong University,Nanchang 330013,China)

When Wireless Multimedia Sensor Network (WMSN) is used for environment detection and the infrared image and the visible image collected from the same scene are fused, the traditional approaches have large amount of fused data and do not fully consider the internal sparsity and the complexity of structure features, so the fusion quality is low.The theory of sparse representation is applied to WMSN infrared and visible image fusion. Based on the original DCT redundant dictionaries, the K-SVD training method is combined with the Simultaneous Orthogonal Matching Pursuit (SOMP) algorithm to do effective sparse representation for WMSN infrared images and visible images.And adaptive weighted average fusion rule is selected to deal with the sparse representation coefficients.Experimental results show that,compared with traditional infrared and visible image fusion methods based on spatial and transformed domains, the proposed method can effectively preserve the useful information and get the better fused image.

WMSN;image fusion;sparse representation;simultaneous orthogonal matching pursuit;adaptive weighted average

1007-130X(2014)05-0957-06

2013-01-17;

：2013-05-10

國家自然科學基金資助項目(61261040)

TP391.4

：A

10.3969/j.issn.1007-130X.2014.05.029

羅暉(1969-),男,江西南昌人，碩士，副教授，研究方向為多媒體信息處理和無線通信系統。E-mail:lh_jxnc@163.com

通信地址：330013 江西省南昌市華東交通大學信息工程學院

Address:School of Information Engineering,East China Jiaotong University,Nanchang 330013,Jiangxi,P.R.China