基于Retinex理論的多曝光圖像融合算法

王克強 張雨帥 王保群

摘 要：多曝光圖像融合技術是將一組場景相同但曝光程度不同的圖像序列直接融合成為一幅含有更多場景細節信息的高質量圖像。針對現有算法局部對比度差和色彩失真的問題，結合Retinex理論模型提出了一種新的多曝光圖像融合算法。首先，基于Retinex理論模型，利用光照估計算法將曝光序列圖像分為入射光分量序列和反射光分量序列，然后分別采用不同的融合方法對這兩組序列進行處理。對于入射光分量，要保證場景的全局亮度的變化特性并且削弱過曝光和欠曝光區域的影響;而對于反射光分量，要采用適度曝光的評價參數來更好地保留場景的色彩及細節信息。分別從主觀和客觀兩方面對所提算法進行了分析。實驗結果表明，同傳統基于圖像域合成的算法相比，該算法在結構相似度（SSIM）上平均提升了1.7%，另外在圖像色彩和局部細節上的處理效果更好。

關鍵詞：高動態范圍成像;多曝光圖像;圖像融合;Retinex;曝光適度

Abstract： Multi-exposure image fusion technology directly combines a sequence of images with the same scene but different exposure levels into a high-quality image with more details of scene. Aiming at the problems of poor local contrast difference and color distortion of existing algorithms， a new multi-exposure image fusion algorithm was proposed based on Retinex theoretical model. Firstly， based on Retinex theoretical model， the exposure sequence images were divided into an illumination component sequence and a reflection component sequence by using the illumination estimation algorithm， and then two sets of sequences were processed by different fusion methods. For the illumination component， the variation characteristics of global brightness of scene were guaranteed and the effects of overexposed and underexposed regions were weakened， while for the reflection component， the evaluation parameters of moderate exposure were used to better preserve the color and detail information of scene. The proposed algorithm was analyzed from both subjective and objective aspects. The experimental results show that compared with traditional algorithm based on image domain synthesis， the proposed algorithm has an average increase of 1.7% in Structural SIMilarity （SSIM） and has better effect in the processing of image color and local details.

Key words： high dynamic range imaging; multi-exposure image; image fusion; Retinex; well-exposedness

0 引言

普通數碼相機成像的動態范圍遠低于現實場景的動態范圍，其捕捉的畫面很難完整地呈現現實場景的所有細節信息。將場景多個不同曝光程度的低動態范圍（Low Dynamic Range， LDR）圖像融合成高動態范圍（High Dynamic Range，HDR）圖像是克服相機有限的動態范圍并降低照片中噪聲的有效方法，這種成像技術稱為HDR成像[1]。由于拍攝時的相機抖動以及場景內可能存在運動對象，需要對所有LDR圖像先進行對齊[2]，然后根據預定義的參考圖像同步所有運動對象[3]，再將校正后的圖像合成HDR圖像，以包括所有LDR圖像的細節，最后使用色調映射算法[4]將HDR圖像最終轉換為LDR圖像，以便通過常規顯示設備來展示。

除了HDR成像技術之外，目前更為流行的一種技術是多曝光圖像融合。不同于HDR成像那樣需要生成中間HDR圖像，多曝光圖像融合技術直接從所有LDR圖像中合成信息量更大且視覺效果更好的LDR圖像。Mertens等[5]在多尺度圖像分解下，利用曝光程度、對比度和飽和度的三個質量評價參數來確定給定像素對最終合成圖像的貢獻程度，利用多分辨率融合有效地保留了全局對比度，但是局部對比度較低。Zhang等[6]提出了一種基于梯度信息的曝光融合方案，認為當像素獲得更好的曝光狀態時，梯度幅度變得更大，并且隨著像素接近曝光過度/曝光不足而逐漸減小。Shen等[7]提出了一種基于概率模型的多曝光圖像融合算法，建立了一種廣義隨機游動框架，通過將融合問題表示為概率估計，計算出兩種質量度量下的全局最優解，以此得到最終的合成圖像。Ma等[8]提出的方法將每個彩色圖像分解為三個概念上獨立的分量：信號強度、信號結構和平均強度，對這三個分量分別進行處理后得到融合圖像。