細節保留的多曝光圖像融合

李衛中，易本順，邱　康，彭　紅

(1 武漢大學 電子信息學院，湖北 武漢 430072；2 湖北工程學院 物理與電子信息工程學院，湖北 孝感 432000；3 地球空間信息技術協同創新中心，湖北 武漢 430079)

?

細節保留的多曝光圖像融合

李衛中1，2，易本順1，3 *，邱康1，彭紅1

(1 武漢大學 電子信息學院，湖北 武漢 430072；2 湖北工程學院 物理與電子信息工程學院，湖北 孝感 432000；3 地球空間信息技術協同創新中心，湖北 武漢 430079)

針對傳統的多曝光圖像融合算法存在的細節丟失嚴重和鬼影現象，提出了一種細節保留的多曝光圖像融合算法。該算法首先計算曝光序列的3個特征指標：圖像細節、曝光亮度和色彩信息，其中圖像細節通過引導濾波計算，曝光亮度的權值由高斯方程分配，而曝光序列的色彩信息用色彩飽和度表示。然后，利用差分圖和鄰域相關系數檢測多曝光序列中運動物體，利用3個特征指標和運動目標檢測結果分別計算靜態場景和動態場景的融合權值圖。為了消除噪聲的影響，采用遞歸濾波器來修正融合權值圖。最后，采取加權融合的方式得到融合圖像。選取10組不同的曝光序列，分別從主觀和客觀兩方面與6種傳統的融合算法進行了比較。實驗結果表明，本文算法保留了豐富的細節信息，呈現出了更加生動自然的現實場景，并且有效去除了由運動物體產生的鬼影現象，效果優于其他比較算法，在靜態場景和動態場景的曝光融合中都取得了好的效果。

多曝光圖像；圖像融合；圖像細節；引導濾波；鬼影

1　引　言

普通數碼相機成像的動態范圍一般為2～3個數量級，而現實場景的亮度變化范圍高達8～10個數量級[1]，遠遠超過了CCD/CMOS成像設備所能捕捉的動態范圍[2-4]。因此利用普通的數碼相機很難完整地捕捉現實場景的所有信息，例如:短曝光圖像只能捕捉到明亮區域的場景細節，而長曝光圖像往往只能呈現較暗區域的場景細節[5-6]。為了完美地呈現現實場景的所有細節信息，可以用數碼相機拍攝一系列同一場景不同曝光亮度的圖像，然后利用多曝光圖像融合技術合成一幅反映現實場景所有信息的圖像。

近年來，國內外的許多學者在多曝光圖像融合方面展開了研究。周曉波等[7]提出了基于圖像分塊的多曝光圖像融合算法，但該方法容易產生塊效應。付爭方等[8]提出了基于S曲線的多曝光圖像融合算法，但該方法只能在一定程度上改善融合效果。Mertens等[9]提出了基于金字塔的多曝光圖像融合算法，該方法獲得了較好的融合效果，但丟失了較亮區域和較暗區域的細節信息。Shen等[10]提出了基于改進金字塔的多曝光圖像融合算法，較好地保留了細節信息，但增加了算法的運算復雜度。Bruce[11]提出了基于局部熵的多曝光圖像融合算法，該算法較好地保留了場景細節，但全局對比度低且色彩退化嚴重。Vanmali等[12]利用高斯方程實現了一種低復雜度的多曝光圖像融合算法，該算法雖然有效地降低了計算復雜度，但場景細節丟失嚴重并且顏色失真明顯。而且以上算法均適合于靜態場景的多曝光圖像融合，如果場景中存在運動物體，融合結果將產生嚴重的鬼影現象。國內外的很多學者對消除鬼影現象進行了研究。Gallo等[13]利用RANSAC(RANdom Sample Consensus)過程有效消除了鬼影，但卻產生了色彩失真和塊效應。Li等[14]利用直方圖均衡化和中值濾波檢測運動物體，該算法一定程度上減少了鬼影現象，但不能完全消除鬼影。Oh等[15]利用矩陣秩最小理論檢測運動物體，雖然能有效減少運動物體對融合結果的影響，但算法的運算復雜度高。Liu等[16]利用圖像的尺度不變特征變換(SIFT)實現多曝光圖像融合，有效地保留了細節信息，但不能完全消除鬼影現象。

為了更好地消除運動物體的鬼影現象，本文提出了一種細節保留的多曝光圖像融合算法。首先計算圖像的3個特征指標：圖像細節、曝光亮度和色彩信息；然后利用差分圖和鄰域相關系數進行運動物體檢測；根據特征指標和運動物體檢測結果計算權值圖并利用遞歸濾波對權值圖進行修正；最后采用加權融合的方式得到融合圖像。該算法在靜態場景和動態場景的曝光融合中都能產生較好的融合結果。

2　曝光融合

本文的算法不僅適用于靜態場景，而且適用于動態場景。該算法主要由圖像特征指標計算、運動物體檢測、權值圖計算以及加權融合等4個步驟組成。

2.1特征指標計算

針對靜態場景融合的特點，選擇圖像細節、曝光亮度和色彩信息3個特征指標來計算曝光融合的權值。

2.1.1圖像細節

(1)

(2)

2.1.2曝光亮度

人的視覺系統觀察到的細節信息多少與圖像的曝光亮度有直接關系，曝光亮度合適的圖像能呈現出豐富的紋理細節和色彩信息，而欠曝光或者過曝光區域則幾乎不能傳遞任何細節信息。因此，在曝光融合過程中，應該對曝光合適的像素分配較大的權值，而對欠曝光或者過曝光區域的像素分配很小的權值。具體為：首先將原序列轉換成灰度圖并作歸一化處理，然后根據各像素的曝光亮度，利用高斯方程為每個像素分配相應的權值，同時排除欠曝光或過曝光區域像素對融合結果的影響，其權值分配方程為：

(3)

2.1.3色彩信息

色彩信息是衡量圖像質量的重要指標，飽和的色彩能讓圖像看起來更加生動。本文采用色彩飽和度來衡量圖像的色彩信息，其計算過程為：

(4)

2.2運動物體檢測

(5)

(6)

(7)

(8)

(9)

2.3計算權值圖

為了保留更多的場景細節以及豐富的色彩信息，同時消除運動物體對融合結果的影響，將圖像特征指標與運動檢測結果加權相乘得到權值圖，即：

(10)

(11)

2.4加權融合

由于權值圖在處理過程中容易引入噪聲，為了消除噪聲的影響，以便得到精確的權值圖，需要對權值圖進行濾波處理。遞歸濾波是一種實時的邊緣保持濾波器，已廣泛用于圖像和視頻處理[19]。將權值圖進行遞歸濾波處理能有效濾除噪聲，從而得到精確平滑的權值圖Wk。 其處理過程如式(12)所示：

(12)式中RF(·)表示遞歸濾波操作。得到精確的權值圖后，通過加權融合得到最后的融合圖像F，即：

(13)

3　實驗結果與分析

所有的實驗都是在Intel i5處理器(3.5 GHz， 64位)，4 G內存的PC平臺上利用MATLAB (R2012a)編程完成。分別在靜態場景和動態場景對多組曝光序列進行了測試，并將本文算法與Mertens等[9]、Bruce[11]、Gallo等[13]、Li等[14]、Oh等[15]以及Liu等[16]提出的算法進行了比較分析。

實驗過程中對算法的相關參數進行了設置。為了獲得圖像的細節，引導濾波的濾波半徑和平滑系數分別取r=5和ε=0.1。遞歸濾波器的空間參數和值域參數分別設為σs=80和σr=3。大量的測試顯示，當門限值T1=0.15、T2=0.85，同時選擇9×9鄰域時，可以精確地檢測運動物體。

3.1靜態場景的測試與分析

圖1(彩圖見期刊電子版)和圖2(彩圖見期刊電子版)分別為不同的多曝光序列融合結果以及局部細節圖。在圖1中，Mertens算法呈現出了較好的全局對比度以及豐富的色彩，但較亮區域的細節有所損失(如圖1(b)中的教堂天窗的細節部分不夠清晰)。Li算法呈現出了較好的全局對比度，但較亮區域的天窗細節損失嚴重。Bruce提出的算法導致融合后的圖像亮度較暗，整體對比度較低，色彩不夠鮮艷，天花板左側部分細節損失嚴重。Liu算法呈現出了較好的對比度，但天窗區域的周邊比較模糊。本文算法呈現出了較好的視覺效果，同時保留了豐富的場景細節，如教堂頂部的天窗和左右兩側的天花板呈現出的細節更加清晰，色彩更加自然。

在圖2中，Mertens算法呈現出了較好的全局對比度和色彩飽和度，但局部對比度低，塔體部分較暗，塔體細節損失嚴重。與Mertens算法相比，Li算法和Bruce算法一定程度上保留了塔體的細節，但這兩種方法都呈現出了一定的顏色退化現象，例如花草的顏色不夠鮮艷，并且場景細節也不夠清晰。Liu算法可較好地保留細節，但與本文算法相比，色彩稍顯暗淡(如圖2(e)中草坪上花朵的顏色)。本文算法展現出了較好的對比度和色彩飽和度，清晰地呈現了場景的細節(如圖2(f)中塔體的細節)，并且色彩更加鮮艷、真實，視覺效果好。

(a)輸入的Memorial多曝光序列

(b)Mertens(c)Li(d)Bruce(e)Liu(f)Proposed method

圖1Memorial圖像序列曝光融合結果

Fig.1Exposure fusion results of Memorial sequence

(a)輸入的Tower多曝光序列

(b)Mertens(c)Li(d)Bruce(e)Liu(f)Proposed method

圖2Tower圖像序列曝光融合結果

Fig.2Exposure fusion results of Tower sequence

3.2動態場景的測試與分析

圖3(彩圖見期刊電子版)、圖4(彩圖見期刊電子版)和圖5(彩圖見期刊電子版)分別為曝光序列Arch、Sculpture garden和Puppet的測試結果。從實驗結果可以看出，Mertens算法雖然呈現出了較好的對比度和色彩飽和度，但產生了嚴重的鬼影(如圖3(b)和圖4(b)中的行人，圖5(b)中的橄欖球)。 Gallo的算法能有效消除鬼影現象，但引入了塊效應(如圖3(c)中走廊邊緣的地板)和顏色扭曲失真(如圖3(c)中柱子底部方框區域以及圖4(c)中的方框區域)。Li的算法一定程度上減少了鬼影，但仍然存在鬼影現象(如圖3(d)和圖4(d)中的行人以及圖5(d)中的橄欖球)。Liu算法和Oh算法在很大程度上減少了鬼影現象，但仔細觀察仍然可以發現鬼影存在(如圖4(e)中的行人以及圖5(e)和圖5(f)中的橄欖球)。相比之下，本文算法能有效消除鬼影現象并較好地保留場景細節，視覺效果好。

(a)輸入的Arch多曝光序列

(b)Mertens(c)Gallo(d)Li(e)Liu(f)Oh(g)Proposed method

圖3Arch圖像序列曝光融合結果

Fig.3Exposure fusion results of Arch sequence

(a)輸入的Sculpture garden多曝光序列

(b)Mertens(c)Gallo(d)Li

(e)Liu(f)Oh(g) Proposed method

圖4Sculpture garden圖像序列曝光融合結果

Fig.4Exposure fusion results of Sculpture garden sequence

(a)輸入的Puppet多曝光序列

(b)Mertens(c)Gallo(d)Li

(e)Liu(f)Oh(g)Proposed method

圖5Puppet圖像序列曝光融合結果

Fig.5Exposure fusion results of Puppet sequence

3.3客觀評價

采用信息熵和圖像清晰度[20]兩項客觀指標評價算法的性能。信息熵用來衡量圖像包含的信息量多少，信息熵越大，則圖像的信息量越大，表明其保留的細節越豐富，計算方法如式(14)所示：

(14)

式中pz為灰度圖中像素z的概率。

圖像的清晰度利用圖像的平均梯度來描述，其值越大表示圖像所包含的微小細節越豐富，表現為圖像越清晰，其計算公式為：

(15)

式中zr，c表示位于第r行第c列的像素灰度值，R和C分別表示輸入圖像的行數和列數。

選取多組不同場景的多曝光序列，分別計算信息熵和圖像清晰度兩項指標，測試結果如表1和表2所示。從測試結果可以看出，在大多數情況下，本文算法要優于其它的對比算法，即本文算法保留了更多的場景細節。

表1　圖像信息熵評價結果

表2　圖像清晰度評價結果

3.4計算效率

表3給出了4種多曝光圖像融合算法的計算效率對比結果，所對比的4種算法都采用MATLAB編程實現，所有的運行時間都是在Intel i5處理器(3.5 GHz， 64位)，4 G內存的PC平臺上運行得到。從對比結果可以看出，本文算法的計算效率明顯優于Liu和Oh的算法，與Li提出的快速曝光融合算法相當。

表3計算效率對比

Tab.3Comparison of computation efficiency

(second)

4　結　論

本文提出了一種具有較好細節保留特點的多曝光圖像融合算法。利用圖像的特征指標計算權值圖，同時消除運動物體對融合結果的影響，以避免產生鬼影現象。選取10組不同的曝光序列，分別從主觀和客觀兩方面對算法進行比較分析，實驗結果表明本文算法很好地保留了亮區和暗區細節信息，呈現出了更加生動自然的現實場景，并且有效去除了由運動物體產生的鬼影現象。本文算法優于6種比較算法，在靜態場景和動態場景都產生了更好的融合效果。

[1]CHAURASIYA R K， RAMAKRISHNAN K R. High dynamic range imaging [C].IEEEInternationalConferenceonCommunicationSystemsandNetworkTechnologies(CSNT)，2013: 83-89.

[2]QIAN X， YU H， CHEN S，etal.. A high dynamic range CMOS image sensor with dual-exposure charge subtraction scheme [J].IEEESensorsJournal， 2015， 15(2): 661-662.

[3]武星星， 劉金國， 周懷得，等. 制冷對電子倍增CCD相機成像質量的影響[J].光學 精密工程， 2015， 23(10增): 528-532.

WU X X， LIU J G， ZHOU H D，etal.. Influence of cooling on imaging quality of EMCCD camera [J].Opt.PrecisionEng.，2015， 23(10Suppl.): 528-532. (in Chinese)

[4]劉慧， 劉學斌， 陳小來，等. 基于驅動時序控制CCD曝光時間的設計與實現[J].紅外與激光工程， 2015，44(S1): 199-204.

LIU H， LIU X B， CHEN X L，etal.. Design and implementation of CCD exposure time control based on driver timing [J].InfraredandLaserEngineering， 2015，44(S1): 199-204. (in Chinese)

[5]WANG T H， CHIU C W， WU W C，etal.. Pseudo multiple exposure based tone fusion with local region adjustment [J].IEEETransactionsonMultimedia， 2015， 17(4): 470-484.

[6]呂偉振， 劉偉奇， 魏忠倫，等. 基于DMD的高動態范圍成像光學系統設計[J].紅外與激光工程， 2014，43(4): 1167-1171.

LV W ZH， LIU W Q， WEI ZH L，etal.. Design of high dynamic range imaging optical system based on DMD [J].InfraredandLaserEngineering， 2014，43(4): 1167-1171. (in Chinese)

[7]周曉波，程海龍，賈琦. 圖像分塊融合算法速度優化處理研究[J].北京交通大學學報， 2014， 38(5): 33-36.ZHOU X B， CHENG H L; JIA Q. Optimization of image block fusion algorithm in speed [J].JournalofBeijingJiaotongUniversity， 2014， 38(5): 33-36.(in Chinese)

[8]付爭方，朱虹，薛杉，等.基于Sigmoid函數擬合的多曝光圖像直接融合算法[J].儀器儀表學報，2015，36(10):2321-2329.

FU ZH F，ZHU H， XUE SH，etal..Direct fusion algorithm for multi exposed images based on Sigmoid function fitting [J].ChineseJournalofScientificInstrument，2015，36(10):2321-2329.(in Chinese)

[9]MERTENS T， KAUTZ J， VANREETH F. Exposure fusion: a simple and practical alternative to high dynamic range photography [J].ComputerGraphicsForum，2009， 28(1): 161-171.

[10]SHEN J B， ZHAO Y， YAN S C，etal.. Exposure fusion using boosting Laplacian pyramid [J].IEEET.Cybernetics， 2014， 44(9): 1579-1590.

[11]BRUCE N D B. ExpoBlend: information preserving exposure blending based on normalized log-domain entropy [J].Computers&Graphics， 2014， 39: 12-23.

[12]VANMALI A V， DESHMUKH S S， GADRE V M. Low complexity detail preserving multi-exposure image fusion for images with balanced exposure [C].IEEENationalConferenceonCommunications， 2013: 1-5.

[13]GALLO O， GELFAND N， CHEN W C，etal.. Artifact-free high dynamic range imaging [C].IEEEInternationalConferenceonComputationalPhotography(ICCP)， 2009: 1-7.

[14]LI S， KANG X. Fast multi-exposure image fusion with median filter and recursive filter [J].IEEETransactionsonConsumerElectronics， 2012， 58(2): 626-632.

[15]OH T H， LEE J Y， TAI Y W，etal.. Robust high dynamic range imaging by rank minimization [J].IEEETransactionsonPatternAnalysisandMachineIntelligence， 2015， 37(6): 1219-1232.

[16]LIU Y， WANG Z. Dense SIFT for ghost-free multi-exposure fusion [J].JournalofVisualCommunicationandImageRepresentation， 2015， 31(8): 208-224.

[17]HE K， SUN J， TANG X. Guided image filtering [J].IEEETransactionsonPatternAnalysisandMachineIntelligence， 2013， 35(6): 1397-1409.

[18]JINNO T， OKUDA M. Multiple exposure fusion for high dynamic range image acquisition [J].IEEETransactionsonImageProcessing， 2012， 21(1): 358-365.

[19]GASTAL E S L， OLIVEIRA M M. Domain transform for edge-aware image and video processing [J].ACMTransactionsonGraphics， 2011， 30(4): 1-11.

[20]金偉其， 賈曉婷， 高紹姝，等.彩色融合圖像的質量主觀評價[J].光學 精密工程，2015，23(12):3465-3471.

JIN W Q， JIA X T， GAO SH SH，etal.. Subjective evaluation of quality for color fusion images [J].Opt.PrecisionEng.， 2015， 23(12): 3465-3471. (in Chinese)

李衛中(1983-)，男，湖北孝感人，博士研究生，2005年、2008年于中國地質大學分別獲得學士、碩士學位，現為武漢大學電子信息學院博士研究生，主要從事光學圖像及多媒體信息處理方面的研究。E-mail: weizhong@whu.edu.cn

易本順(1965-)，男，湖北武漢人，教授， 博士生導師，中國通信學會高級會員，1986年、1989年和1996年于華中理工大學分別獲得工學學士、碩士和博士學位，主要從事多媒體信息處理以及無線通信網絡方面的研究。E-mail: yibs@whu.edu.cn

(版權所有未經許可不得轉載)

Detail preserving multi-exposure image fusion

LI Wei-zhong1，2， YI Ben-shun1，3*， QIU Kang1， PENG Hong1

(1.SchoolofElectronicInformation，WuhanUniversity，Wuhan430072，China；2.SchoolofPhysicsandElectronicInformationEngineering，HubeiEngineeringUniversity，Xiaogan432000，China；3.CollaborativeInnovationCenterforGeospatialTechnology，Wuhan430079，China)*Correspondingauthor，E-mail：yibs@whu.edu.cn

A detail preserving multi-exposure image fusion algorithm was proposed to address the problem of the loss of visual details and ghost artifacts in traditional multi-exposure images. Firstly， three image features， image details， exposure brightness and color information，were calculated. In which，the image details were obtained by using a guided filter， the each exposure intensity was weighted by a Gaussian function and the color information was measured by color saturation. Then， the difference maps and correlation coefficients were used to detect the motion objects in dynamic scenes and the focused weight map of static and dynamic scenes were calculated respectively by using feature indexes and detection results. In order to remove the noise effect， a recursive filter was used to correct the focused weight image， and the focused image was obtained by a pixel-by-pixel weighted sum of the input images. Ten kinds of multi-exposure image sequences were tested in the experiments and obtained results were compared with that of six kinds of traditional methods. The experimental results demonstrate that the proposed algorithm exhibits good visual appearance and preserves more details. It also effectively removes ghost artifacts in dynamic scenes. It concludes that the proposed algorithm is better than 6 classical methods and it produces desirable images in both static scenes and dynamic scenes.

multi-exposure image; image fusion; image detail; guided filter; ghost artifact

2016-05-04；

2016-07-02.

國家自然科學基金資助項目(No.61471272)

1004-924X(2016)09-2283-10

TP391.4

A

10.3788/OPE.20162409.2283