基于加速引導濾波的圖像像素級融合

陳洋，王世峰，都凱悅，王銳

（長春理工大學 光電工程學院，長春 130022）

隨著視覺傳感器的不斷發展，紅外傳感器和可見光傳感器獲得的圖像質量得到了提升，在導彈引導、航空航天、視屏監控、機器人、自主導航、醫學等領域得到了廣泛的應用，單一圖像往往不能反映詳細的信息，需要不同的圖像進行融合，這樣才能反映出機器提供給人們的詳細信息，例如在遙感圖像處理中，常常融合多聚焦的圖像，用以提高特征提取的效果[1，2]。紅外圖像是根據物體的熱輻射特性成像，能夠拍攝到被遮擋的物體，發現隱蔽的目標，由于可見光圖像受光照和氣候等因素影響較大，因此將紅外圖像和可見光圖像進行融合取長補短，可以得到空間中良好的視覺效果。

基于像素級的融合能夠保留更多的原始信息，其中常用的方法是：1.基于空間域的圖像融合，例如加權平均法，像素加權平均法是將感興趣區域附上相對大的權值以獲得優勢顯示，這種方式計算簡單，并且實時性好，缺點是權值的大小無法準確確定。2.基于變換域的圖像融合。如基于離散余弦變換的圖像融合（DCT）[3-5]。還有將多尺度、多分辨算法應用到圖像融合中，如基于小波變換的圖像融合算法，基于Contourlet變換的圖像融合算法等，雖然基于變換域的圖像融合算法可根據不同的頻段特性選擇不同的融合策略，但是不同的頻率段的像素缺乏相關性，重構后的圖像會顯得生硬而不自然，并且計算復雜度高，不利于實時處理顯示[6，7]。

為了使融合過后的圖像自然，耗時少，文中采用了基于改進的引導濾波的圖像融合算法，充分利用可見光圖像和紅外圖像的優勢，適當提高目標對比度，提高觀察效果。

1 引導濾波介紹及其改進

引導濾波器是基于局部線性模型的局部線性平移變量濾波器。和高斯濾波不同的是，引導濾波對圖像濾波的同時也對邊緣起到了一定的保留效果，和雙邊濾波相比，它具備保護邊緣的優點，同時克服了雙邊濾波在主要邊緣附近梯度變形的不足[8，9]。

1.1 引導濾波器

現在定義引導濾波器。引導濾波器的關鍵是假設引導圖像Ii和濾波輸出qi之間的是局部線性模型。設qi是Ii在以像素k為中心，濾波器模板wk的線性變換：

其中，ak是在濾波器模板wk（大小為（2r+1）*（2r+1））保持不變的線性系數。從上面等式可知Ii，qi兩幅圖像擁有相同的邊緣信息，因為?q=a?I，為了確定的線性系數ak和bk，又假設輸出圖像qi是輸入圖像pi減去噪聲n得到：

為了最小化qi與pi之間的差距，定義損失函數如下，并且參考嶺回歸模型[10]引入了正則化參數用于限制ak

根據線性回歸模型可知ak，bk的解如下：

其中，μk是Ii在窗口|w|中的像素平均值，是窗口wk中的方差，|w|是窗口wk中像素的數量，是待濾波圖像pi在窗口wk中的均值。

此外，在計算每個窗口的線性系數時，可以發現一個像素會被多個窗口包含，也就是說，每個像素都由多個線性函數所描述。因此，如之前所說，要具體求某一點的輸出值時，只需將所有包含該點的線性函數值求平均值即可[11]，如下：

公式（7）至公式（17）給出了引導濾波的基本步驟和偽代碼。fmean為一個均值濾波器（對應的窗口大小為（（2r+1）*（2r+1））），corr為相關運算，var為方差，cov為協方差運算。

（1）對引導圖像I和輸入圖像P進行均值濾波并做相關運算

（2）求引導圖像I的方差varI并且求出與源圖像P的協方差covIP

（3）確定線性系數a和b

（4）求均值meana、meanb和輸出濾波結果q

1.2 算法改進

對引導圖像Ii和輸入圖像qi通過最近鄰或者雙線性插值的方式下采樣減少像素點，這樣所有的均值濾波都是在低分辨率情況下進行，在計算meana和meanb后進行上采樣恢復到原有的尺寸大小，假設縮放比例為s，那么縮小后在進行均值濾波的時間復雜度從O(N)變為O(N/s^2)，最后采用的上采樣方式依舊是最近鄰或者雙線性插值，采樣過后的圖像和原圖像稍有差距，但是對實驗結果影響不大。公式（18）至公式（34）以下是給出的改進算法的偽代碼[12]。

（1）對引導圖I、輸入圖p降采樣，r′是新的濾波器模板尺寸

（2）對降采樣的后的圖像進行均值濾波并做相關運算

（3）求引導圖像I的方差varI并且求出與源圖像P的協方差covIP

（4）確定線性系數a和b

（5）求均值meana、meanb

（6）對均值meana、meanb上采樣，從而得到最后的結果q

2 融合算法的基本流程

首先對紅外圖像進行濾波處理，通過加速引導濾波得到突出目標的紅外圖像，然后將它與可見光圖像融合。

2.1 最大值濾波

利用滑動窗口對紅外圖像進行最大值濾波處理，獲得紅外圖像中高亮部分。假設輸入圖像是IIR(z)，輸出圖像

其中，r(x)表示以x為中心坐標，滑動窗口邊長是r。

圖1 最大值濾波效果

圖1（a）是原始的紅外圖像，圖1（b）是經過最大值濾波后的圖像，可以清晰地看出目標人物變得高亮。

2.2 加速引導濾波

其中，fastguidedfilter()表示加速引導濾波器，濾波器模板大小為（2r+1）*（2r+1），ε表示正則化參數，s表示采樣尺度。圖2是加速引導濾波后的圖像。

圖2 濾波過后的圖像

2.3 像素級融合

融合規則有很強的靈活性，但最終目的是將濾波后圖像和原始可見光圖像融合成一幅圖像。這里采用加權平均法進行圖像融合。

其中，I是融合后的圖像，Iv是可見光圖像，IFGFIR是經過加速引導性濾波后的紅外圖像，α、β是圖像權值，根據具體情況而言選擇不同的權值。

3 實驗與討論

實驗采用的是CPU i7-4790@3.6GHz，內存8GB。下面圖3到圖6是從公共數據集中（www.imagefusion.org）找的不同場景，低分辨率的可見光圖像（左圖）和紅外圖像（右圖）。

圖3 測試組一

圖4 測試組二

圖5 測試組三

圖6 測試組四

為客觀評價不同融合方法用于紅外圖像和可見光圖像融合圖像的性能，文中選擇了基于平穩小波變換的圖像融合法（SWT），和基于空間域的主成分分析的圖像融合法（PCA）進行對比。分別從主觀和客觀評價算法，客觀評價中由于標準的融合圖像無法獲得，這里采用的是無參考的評價標準：標準差（STD）、信息熵（En）、平均梯度（AG）和運行時間（t）作為主要的客觀評價標準[13，14]。具體的融合圖像的質量評價參數見表1至表4。

表1 圖3中融合后的圖像的質量評定

表2 圖4中融合后的圖像的質量評定

表3 圖5中融合后的質量評定

表4 圖6中融合后的質量評定

融合后的圖像如圖7到圖10所示，其中的圖a是利用PCA法融合后的圖像，圖b是利用SWT法融合后的圖像，圖c是文中方法融合后的圖像。主觀上看圖7測試組一目標無論從人物的輪廓，還是背景上看，文中所述方法效果好于其它的兩個方法。圖8測試組二，PCA方法丟失文字信息，SWT方法對比原始紅外圖像，可以知道背景中丟失部分窗口亮燈信息。圖9測試組三，PCA的方法過于明亮，SWT的方法過于暗淡，并且在招牌的字體對比對不夠大，并且人物和車輛相比于文中提出的方法較為暗淡，沒有凸顯車輛和人物目標。圖10測試組四，文中的方法在雖不影響觀察效果，但是相比于PCA法和SWT法，還是過于明亮。

圖7 融合后的測試組一

圖8 融合后的測試組二

標準差（STD）反映了相對灰度均值的離散程度，標準差越大融合效果越好。信息熵（En）表示圖像中所包含的平均信息量的多少；平均梯度（AG）能反映圖像中細節反差和紋理變換，它在一定程度上反映了圖像的清晰程度；運行時間（T/s）反應的是算法的復雜程度，運行時間越小越利于實時的處理。從表1到表4可以看見文中提到的方法的參數指標。相比較而言，雖然在表2和表4中個別指標略低于其他兩種融合方式，但從整體而言文中的圖像融合方法要略好于PCA融合法和SWT融合法。

圖9 融合后的測試組三

圖10 融合后的測試組四

4 結論

本文提出了一種利用加速引導濾波器對紅外圖像與可見光圖像像素級融合的算法，先將紅外圖像進行加速引導濾波，增加目標區域的對比度，然后與可見光圖像融合得到融合結果。實驗表明，所采用的方法能夠使融合圖像具有較好的視覺效果，并且其客觀的評價較高、運算速度較快。

在此基礎上，今后的工作在于1）采用高分辨率圖像進行像素融合，2）在實驗條件允許下，可結合深度學習改進文中算法。