基于自適應分割的多曝光圖像融合算法

王書朋，趙 瑤

(西安科技大學 通信與信息工程學院，西安 710054)

0 引言

自然場景的動態(tài)范圍遠大于普通相機所能捕獲的動態(tài)范圍[1]。由于兩個動態(tài)范圍之間的差異，普通相機拍攝的單幅圖像難以保留自然場景下的所有內容。為了完美地呈現(xiàn)場景下所有內容，多曝光圖像融合算法成為眾多學者研究的熱點之一。拍攝同一場景下不同曝光級別的一系列圖像，通過多曝光融合算法將其合成一幅能反映場景所有信息的圖像[2]。

多曝光圖像融合算法主要分為基于變換域和空間域兩類方法[3]。基于變換域的融合算法先將圖像序列轉化至變換域，然后設計融合規(guī)則，最后通過逆變換重構得到融合圖像，主要包括金字塔變換[4]、小波變換[5]、基于兩尺度分解的融合算法[6]等，此類方法復雜度高、實時性差，而且受噪聲影響較大。空間域的多曝光圖像融合算法又可分為兩種類型[3]：基于像素的融合方法和基于圖像塊的融合方法。基于像素的融合算法一般思路為：根據(jù)特定的質量標準衡量圖像序列中每個像素點，選擇包含顏色和細節(jié)信息最多的像素，或者采用加權平均合成亮暗細節(jié)豐富的融合圖像。Song等[7]對圖像的亮度、對比度和梯度進行求解，然后運用概率模型對曝光率程度不相同的輸入圖像進行合成處理。Gu等[8]利用結構張量計算像素梯度，提出了一種利用二次平均濾波和非線性壓縮對梯度場進行迭代修正的新方法，該方法產(chǎn)生的自然度不夠，視覺效果不好。為了能獲得準確的權重圖進行圖像融合，Li等[9]提出了一種基于遞歸濾波的權重細化的融合算法,該算法在平滑權重的同時丟失了有用的邊緣信息。付爭方等[10]提出了一種基于Sigmoid函數(shù)擬合的多曝光圖像融合算法；但該算法只能在一定程度上改善融合效果。基于像素的圖像融合算法流程簡單，易于實現(xiàn)；但是，僅強調了單個像素而忽略了相鄰像素之間的關系，因此，在融合圖像中可能會產(chǎn)生暈影或偽邊緣，算法魯棒性差。為了充分考慮像素間的關系，基于圖像塊的多曝光融合進入研究者視野。Goshtasby等[11]依據(jù)信息熵大小來判決分塊后的圖像塊所包含信息量的多少，從而確定融合的圖像塊。為了保持細節(jié)，Zhang等[12]采用對比度來測量曝光質量，并在中間圖像中保留細節(jié)。Ma等[13]提出了一種基于結構塊分解的多曝光融合算法，將提取的圖像塊分解為三個獨立的分量，再分別處理三個分量得到融合結果，該方法在大多數(shù)場景下可以產(chǎn)生較高質量的結果圖；但是一些場景的過曝光區(qū)域細節(jié)保留不完整。Huang等[14]改進了Ma等[13]的結構塊分解算法，設計了新的融合規(guī)則，提出了彩色多曝光圖像融合算法，該算法在一定程度上提高了融合質量；但是忽略了圖像塊的選擇對融合結果的影響。在上述幾種基于塊的融合算法中，圖像塊的大小及形狀都是固定的，可能包含具有不同顏色和亮度特性的區(qū)域。如果采用相同的參數(shù)融合這些具有不同特性的區(qū)域，必然會造成部分區(qū)域中顏色或紋理信息的損失，降低融合圖像質量。

針對上述問題，本文提出了一種基于自適應結構塊分割的多曝光融合算法。該算法利用超像素分割將圖像分割為顏色一致的圖像塊，再對每個圖像塊通過結構分解得到三個獨立分量：信號強度分量、圖像結構分量和亮度分量。根據(jù)分量特性設計合適的融合規(guī)則，構建分量上的權重圖。然后，采用引導濾波[15]平滑三個分量的權重圖及信號強度分量和平均亮度分量，有效地克服了塊效應缺陷。最后，重構融合后的三個分量，得到最終的融合圖像。實驗結果表明，本文提出的圖像融合算法可以更好地保留源圖像中的細節(jié)和顏色信息，產(chǎn)生的融合圖像更符合人眼視覺特性。

1 多曝光圖像融合

本文提出了一種自適應分割的多曝光圖像融合算法，所提算法流程如圖1所示。假設所有輸入圖像序列都是已經(jīng)配準好的。首先，采用超像素分割[16]對選取的參考圖像進行自適應圖像塊分割，將圖像劃分為互不相交的圖像塊。然后，通過圖像塊結構分解得到三個獨立的分量：信號強度分量、圖像結構分量和亮度分量[13]。針對各分量的不同特性，分別設計相應的融合規(guī)則，得到各分量的融合結果。最后，根據(jù)三個融合后的分量重構出最終的融合圖像。

圖1 本文算法流程Fig. 1 Flowchart of proposed algorithm

1.1 自適應圖像塊分割

對于輸入的圖像序列，根據(jù)顏色分布的相似性將每幅圖像劃分為互不相交的圖像塊。本文首先從輸入圖像序列Xk(1≤k≤K)中選擇曝光不足和過曝光像素點最少的圖像作為參考圖像Xref,其中K為輸入圖像個數(shù)。然后采用簡單的線性迭代聚類(Simple Linear Iterative Clustering, SLIC)[17]方法將參考圖像分割為N個圖像塊。分割公式如下:

[P1,P2，…,Pn,…,PN,nlabels]=Slic(Xref)

(1)

其中：Slic(·)為圖像的超像素分割過程；Xref為參考圖像;nlabels為超像素分割的標簽，即分割結果,將其直接用于其他的源輸入圖像，保證統(tǒng)一的圖像塊分割。分割結果如圖2所示。

圖2 SLIC圖像分割效果Fig. 2 SLIC image segmentation effect

1.2 結構分解

針對所有通過分割得到的彩色圖像塊({Xk(Pn)}k=1,2，…,K,n=1,2，…,N)依次進行分解,得到三個獨立分量：信號強度分量、圖像結構分量和亮度分量。其中，Xk(Pn)表示第k幅輸入圖像的第n塊彩色圖像塊。為了書寫方便，省略圖像塊的索引(即n),直接用{xk}k=1,2，…,K表示第k幅輸入圖像同一位置的圖像塊。分解公式[13]如下：

ck·sk+lk

(2)

其中：‖·‖表示向量的2范數(shù)；μxk為圖像塊的均值；ck、sk和lk分別表示信號強度分量、圖像結構分量和平均亮度分量。對圖2(a)進行結構分解，結果如圖3所示。

圖3 結構分解結果Fig. 3 Structural decomposition results

1.3 構建權重圖

對于信號強度分量，信號強度和圖像對比度呈正相關，即：信號強度越大，圖像對比度越高；圖像對比度越高，可見度越好，細節(jié)越豐富，因此，為了得到理想的融合結果，本文算法采用取大原則構建信號強度分量權重圖，計算式如下：

(3)

其中，wc,k表示第k(1≤k≤K)幅圖像的信號強度分量權重。

不同于信號強度分量，結構分量的融合目標是盡可能地保留所有輸入圖像的細節(jié)和紋理特征。當圖像塊的范數(shù)‖xk-μxk‖越大時，表示圖像塊具有更豐富的紋理和細節(jié)信息，應該被賦予更大的權值，因此，本文采用該范數(shù)的指數(shù)函數(shù)計算融合權重，如式(4)所示。

ws,k=‖xk-μxk‖α

(4)

其中，指數(shù)α作為增益參數(shù),當α越大，則賦予紋理豐富的圖像塊以更大的權重。根據(jù)實驗經(jīng)驗，本文取α=4。

亮度分量權重是根據(jù)全局平均亮度和當前塊的局部平均亮度計算的。像素的亮度值在動態(tài)范圍的中心時，本文認為其曝光較好，應給其賦予較大的融合權重；亮度值在動態(tài)范圍兩端時，表明像素的曝光不足或過度曝光，則賦予較小的權值，因此，亮度分量的權重函數(shù)定義為：

(5)

其中，σg和σl為標準差，分別描述全局平均亮度μk和當前塊的局部平均亮度lk的離散程度。標準差取默認值[13]為：σg=0.2和σl=0.5。參考圖像(圖2(a))的三個分量所對應的權重如圖4所示。

圖4 參考圖像的權重圖Fig. 4 Weight maps of reference image

1.4 精細化處理

精細化后的三種權重圖為：

(6)

其中：GF(·)為圖像的引導濾波運算；Wj,k′為濾波后的權重圖；r為引導濾波的半徑，半徑越大，平滑效果越好，但邊緣保持能力下降；ε表示正則化參數(shù)。根據(jù)實驗經(jīng)驗，本文取r=3和ε=0.15。參考圖像精細化后的權重如圖5(b)～(d)所示。

對于信號強度分量(Ck)和亮度分量(Lk)分別進行引導濾波，得：

(7)

(8)

其中，Ck′和Lk′分別為濾波后的強度分量和亮度分量，參考圖像濾波后的強度分量和亮度分量如圖5(e)、(f)所示。同樣的，設置r=3，ε=0.15。

圖5 精細化后的結果Fig. 5 Refined results

1.5 融合

首先，根據(jù)修正后的權重圖，分別計算信號強度分量、圖像結構分量以及亮度分量上的融合分量：

(9)

圖6 融合后的分量結果Fig. 6 Fused component results

(10)

2 實驗與結果分析

為了驗證所提算法的有效性，本文將所提算法與以下7 種算法進行比較，分別為：增強的拉普拉斯金字塔(Boosting Laplacian Pyramid, BLP)算法[19]、密集尺度不變特征變換(Dense Scale Invariant Feature Transform, DSIFT)[20]、基于中值濾波和遞歸濾波的快速融合(Fast Multi-exposure image fusion with Median filter and Recursive filter, FMMR)方法[9]、引導濾波(Guided Filtering, GF)算法[6]、亮度估計(Illumination Estimation, IE)方法[21]、曝光融合算法[22]、基于塊結構分解的多曝光融合(Structural Patch Decomposition Multi-Exposure image Fusion, SPD-MEF)算法[13]。實驗在12組圖像序列進行，包括了室內或室外、背景簡單或復雜等場景。實驗中的源圖像來自https://ece.uwaterloo.ca/～k29ma/。實驗所用計算機的處理器為Intel Core i5，主頻為3 GHz，內存為4 GB。所有算法均使用Matlab 2015a 實現(xiàn)。

2.1 主觀視覺分析

為了直觀地展示圖像融合的效果，本文選取了兩組實驗進行對比分析。

圖7(a)為一組室內不同曝光級別的圖像序列。從圖7中可以看出：BLP算法的融合結果產(chǎn)生了嚴重的亮度突變和顏色損失；DSIFT和GF算法造成了明顯的顏色信息失真，在圖3(c)和(e)中，兩把椅子顏色差別很大，而在源圖像中它們的顏色是一樣的； FMMR算法得到的融合圖像，全局亮度發(fā)生改變，主要表現(xiàn)為圖像的左邊區(qū)域比右邊區(qū)域亮，這與源圖像序列不符；IE方法生成的融合圖像對比度較低，圖像偏暗；文獻[22]算法的融合圖像具有較好的亮度分布和細節(jié)保留，但局部對比度降低，主要是場景的過曝光和曝光不足區(qū)域;SPD-MEF算法能夠較好地恢復場景的顏色和亮度，但過曝光區(qū)域的細節(jié)保留依然不理想；本文算法的融合結果具有較高的對比度，顏色和細節(jié)信息也保留更完整，融合效果更好。

圖8(a)是戶外場景的多曝光圖像序列。從圖8中可以看出：BLP算法在融合圖像上造成了明顯的偽影現(xiàn)象，尤其是云朵區(qū)域；DSIFT和GF算法融合圖像的亮度分布與源圖像不符，塔右邊區(qū)域明顯比左邊區(qū)域亮；FMMR、IE和文獻[22]算法的融合圖像在過曝光區(qū)域都未能保持良好的對比度，并且草坪區(qū)域的顏色信息保留不好，色彩效果較差，且文獻[22]算法局部細節(jié)保留不完整，丟失了塔的上半部分細節(jié)；SPD-MEF算法顏色信息保留完整，但過曝光區(qū)域過亮，損失細節(jié)紋理信息；本文算法的融合圖像亮度分布與源圖像一致，保留了完整的細節(jié)和顏色信息，符合人眼感知。

圖7 House圖像序列不同算法融合結果Fig. 7 Fusion results of different algorithms for House image sequence

圖8 Tower圖像序列不同算法融合結果Fig. 8 Fusion results of different algorithms for Tower image sequence

2.2 客觀指標評價

為了定量評估所提算法的性能，本文對12組不同場景的多曝光圖像序列的融合結果進行客觀指標評價。評價指標采用互信息(Mutual Information, MI)[23]和標準差(Standard Deviation, SD)[24]。

MI指標的評價結果如表1所示。MI用于度量融合圖像與輸入圖像在灰度分布上的相似程度，即融合圖像保留源圖像信息量的多少[25]。本文中，計算融合圖像與每一幅輸入圖像的MI值，用所有MI的總和表示最終的MI值[26]。其定義如式(11)所示：

(11)

其中：A,B,…,Z為輸入圖像；F為融合圖像；I是單個輸入圖像和融合圖像的互信息。MI的值越大，表示融合圖像保留輸入圖像的信息量越多。從表1可以看出，本文算法在MI指標上有著明顯的優(yōu)勢，表明所提算法完整地保留了輸入圖像的顏色和細節(jié)信息。

SD作為圖像融合質量評價指標，用于描述圖像的整體對比度，SD值越大，表明圖像對比度越高。其定義如下：

(12)

其中：H×M表示圖像的大小；F為融合圖像；μ為融合圖像的均值。

SD指標的評價結果如表2所示。從表2可以看出，在大多數(shù)場景下，本文算法可以獲得最好性能或者與最優(yōu)值差距較小。

表1 不同算法的MI評價指標對比Tab. 1 MI evaluation index comparison of different algorithms

表2 不同算法的SD評價指標對比Tab. 2 SD evaluation index comparison of different algorithms

總體來說，本文算法在源圖像的顏色和細節(jié)保留有一定優(yōu)勢，融合結果更符合人眼視覺感知。這是因為本文算法利用超像素分割對圖像進行自適應圖像塊分割，增強了算法的魯棒性；同時，該算法根據(jù)分量特點設計不同融合規(guī)則，提高了融合質量。綜合主客觀分析驗證了所提算法的可靠性和有效性。

3 結語

針對傳統(tǒng)多曝光圖像融合存在顏色和細節(jié)信息保留不完整的問題，本文提出了一種能夠更完整地保留場景顏色和細節(jié)的多曝光圖像融合算法。首先，利用超像素分割將輸入圖像分割成顏色一致的圖像塊，實現(xiàn)圖像塊的自適應分割，增強了算法的魯棒性。然后，將分割后的圖像塊分解成三個獨立的分量，并設計不同的融合規(guī)則進行加權融合。最后，利用引導濾波平滑三個分量的權重圖及信號強度分量和亮度分量圖，有效地克服了塊效應缺陷，減少了偽影，提高了融合質量。實驗結果表明，所提算法得到的融合結果在主觀感知和客觀指標上都具有優(yōu)勢。后續(xù)可進一步研究將所提算法擴展成同時可以適用于動態(tài)場景的多曝光融合算法。