徐桂忠,黃祥林
(1.中國傳媒大學 理工學部,北京100024;2.中國電子科技集團公司創新科學技術研究院,北京100089)
基于YUV空間的高動態范圍圖像的合成方法
徐桂忠1,2,黃祥林1
(1.中國傳媒大學 理工學部,北京100024;2.中國電子科技集團公司創新科學技術研究院,北京100089)
在多曝光融合算法的基礎上,針對高動態范圍圖像在合成過程中,暗區域細節呈現不理想的情況,提出了一種對所有輸入圖像的亮度分量、色差分量分別進行加權融合的改進方法,采用上述改進方法,顯著改善了多幅不同曝光度的高動態范圍圖像在合成過程中的暗區域的圖像細節呈現,有效拓展目標圖像暗區域的亮度區間。
YUV;高動態范圍;圖像生成
現實生活場景有很高的動態范圍,但是受到硬件條件的限制,普通相機的標準動態范圍與實際場景中的高動態范圍[1]存在巨大差距,用普通相機所拍攝的視頻或者照片,往往只能夠得到場景中的一部分動態范圍內的信息,這會導致包含有關鍵信息的部分高動態數據或者被直接舍棄,或者被大幅度削弱,從而無法為深入分析提供有效數據源。在視頻處理領域該問題體現為采集到的圖像往往在亮區域和暗區域丟失了很多細節,使得移動設備雖然有很高的空間分辨率,但是成像效果卻不理想。近些年來,隨著寬動態拍照技術的逐漸普及,出現了很多對此進行后期處理的軟件方法,其中,Burt等[2]最早提出將圖像融合技術用于動態范圍擴展,Goshtasby等[3]使用分塊熵方法進行多曝光圖像融合,Mertens等人[4]提出的多曝光融合算法,采用拉普拉斯金字塔完成圖像融合,拓展傳統相機的動態范圍,此外,謝騫[5]基于多曝光融合算法,提出的將YUV顏色空間中的亮度分量Y和色差分量UV分離處理的高動態范圍(High-Dynamic Range,HDR)合成方法,也非常實用。
但是,對于亮度分量的計算,如果采用Mertens等人在RGB顏色空間計算權重因子的方法,雖然能夠獲得較好的合成效果,但是暗區域細節呈現不理想,如果采用謝騫的合成方法,雖然暗區域對比度會拓寬,但是過曝區域的亮度區間會受到擠壓,從而導致圖像整體不均衡。
針對Mertens和謝騫等人的多曝光圖像融合方法,造成的暗區域細節呈現不理想、過曝區域的亮度區間受到擠壓等問題,本文提出了一種新的算法,使用該新算法在YUV空間進行多曝光圖像的融合時,不僅有效拓展暗區域的亮度區間,而且明顯提升暗區域的細節呈現。
2.1 預處理
分離M張曝光值不同的輸入圖像的YUV分量,分別記作亮度分量Yw與色差分量Uw、Vw,其中,w=1,2,...,M,M為正整數,亮度分量Yw為某一輸入圖像的所有像素點的亮度分量的集合。
2.2 亮度分量的處理方法
在Mertens等人提出的多曝光融合方法的基礎上,對亮度分量Yw進行加權融合處理,得到待合成的目標圖像的亮度分量Y″。對亮度分量Yw進行加權融合處理,得到待合成的目標圖像的亮度分量Y″的融合流程圖,如圖1所示。

圖1
本文所提出的亮度分量的具體融合方法為:

(1)
i=1,2,…,R,j=1,2,…,C,R、C分別為第w張輸入圖像的像素的行數與列數。


(2)采用Mertens等人提出的多曝光融合算法,計算飽和度權重因子Sij,w與曝光適度權重因子Eij,w;
(3)根據Cij,w、Sij,w與Eij,w,采用公式(2),計算質量權重因子Wij,w;
(2)
(4)結合高斯金字塔與拉普拉斯金字塔,據Wij,w計算目標圖像的亮度分量Y″。
2.3 色度分量的處理方法

2.4 目標圖像的生成
根據YUV顏色格式,例如:NV12,NV21和YV12等,對數據格式定義的標準,融合Y″、U″與V″,最終將融合結果輸出,得到目標圖像。
本文以3張不同曝光程度的HDR圖像為例,分別給出采用Mertens等人提出的多曝光融合算法、本文提出的改進的多曝光融合算法的仿真結果,驗證本文提出的改進的多曝光融合算法的有效性。

圖2

圖3
圖2為典型場景下,采用Mertens等人提出的多曝光融合算法的HDR圖像合成效果圖,圖3是采用本文提出的多曝光融合算法的HDR圖像合成效果圖,其中,紅色橢圓為人工標記痕跡,目的是更清晰的展現兩種方案合成效果的不同之處,可以很明顯的看出,本文提出的HDR圖像合成方案,能夠有效拓展目標圖像暗區域的亮度區間,提升目標圖像暗區域的圖像細節。

[1]毛學剛,李明澤,范文義.三維虛擬校園的設計與實現 [J].測繪信息與工程,2008,33(1):47-48.
[2]BurtPJ,KolczynskiRJ.Enhancedimagecapturethroughfusion[C].Proceedingsof4thInternationalConferenceonComputerVision,Berlin,Germany,2008,173-182.
[3]GoshtasbyA.Fusionofmulti-exposureimage[J].ImageandVisionComputing,205,23(8):611-618.
[4]MertensT,KautzJ,VanReethF.Exposurefusion[C].ProceedingsofPacificGraphics2007,Hawaii,Nov,2007,382-390.
[5]謝騫.寬動態視頻監控技術研究[D].
(責任編輯:宋金寶)
Composition Method of High Dynamic Range Image in YUV Space
XU Gui-zhong1,2,HUANG Xiang-lin1
(1.Faculty of Science and Technology,Communication University of China,Beijing 100024,China2.Information Science Academy of China Electronics Technology Group Corporation,Beijing 100089,China)
Aimed at the problem that the dark regions details of the high dynamic range image failed to show an ideal situation in the process of synthesis,an improved algorithm is proposed on the basis of multiple exposure fusion algorithm to merge the brightness components and the color components of all the input images with the linear weighting respectively.With the improved method,the showing of the detail for the dark area of an image caused significant improvements in the process of synthesis for multiple high dynamic range images with different exposure,which effectively expands the brightness range of dark area for the target image.
YUV;high dynamic range;image generation
2017-05-10
徐桂忠(1988-),男(漢族),山東東營人,中國傳媒大學博士研究生.E-mail:xuguizhong@cetc.com.cn
O422
A
1673-4793(2017)03-0011-03