一種基于雙通道CMOS相機的低照度動態場景HDR融合方法

賀 理，陳 果，郭 宏，金偉其

（1.北京理工大學 光電學院 光電成像技術與系統教育部重點實驗室，北京 100081；2.91216 部隊，遼寧 葫蘆島 125000）

0 引言

現實世界自然場景晝夜光照動態范圍高達108∶1以上[1]，傳統的成像和顯示器件的動態范圍都難以適應如此大的自然場景光照變化。為此，高動態范圍（high dynamic range，HDR）成像和顯示技術應運而生，成為當前國內外研究的重要方向。當前，低照度CMOS、電子倍增EMCCD 等新型成像器件已延拓到夜間環境，當場景存在局部燈光（如：城市照明光、各類指示燈光、探照燈光等）時，成像系統往往出現“局部飽和”或其他區域曝光不足的所謂“燈下黑”現象，造成較亮及較暗區域的場景細節信息丟失。

HDR圖像通常通過兩幅或多幅不同曝光度達到低動態范圍（low dynamic range，LDR）圖像融合獲得。例如使用單臺相機通過多次曝光獲取多幅同一場景不同曝光度的LDR圖像，并通過融合策略獲得HDR圖像[2-4]，從而捕獲HDR 場景圖像，但這種方法僅適用于靜態場景成像，對于動態場景由于分時曝光，融合圖像中的運動目標易出現“鬼影”。雖然采用多個成像系統同步采集同一個場景的方法[5-6]可避免場景目標運動造成的鬼影現象，但相對成本較高，系統體積較大。近年來，通過單一相機在一幀曝光周期內取不同的兩個積分時間進行兩次采樣獲得雙曝光圖像技術得到發展，可避免運動目標的“鬼影”現象，例如長春辰芯公司的GSENSE 400BSI 雙通道低照度CMOS 探測器在單通道輸出模式大約具有60 dB的動態范圍，通過雙通道輸出則可拓展到90 dB的動態范圍。另外，也有基于單幅LDR圖像延拓出HDR圖像的方法研究[7-9]，其通過拓展或增強單幅圖像獲得成像場景的動態范圍提升。例如，2005年Reinhard等[10]根據人眼視覺細胞響應機理提出了S形映射曲線拓展方法，相比于線性曲線和Gamma 曲線，具有增強高光、陰影和重要的中間亮度區域對比度的效果。2015年Wang 等[9]利用反S形映射曲線，將一幅正常曝光的圖像轉化為模擬的多幅不同曝光度圖像，進而通過圖像融合從而獲得更大的動態范圍。這類方法主要針對正常曝光圖像的拓展，且設置參數較多，不適用于過度曝光或欠曝光圖像的動態范圍拓展，且存在場景較亮或較暗區域的細節丟失嚴重，生成HDR圖像效果低于多曝光圖像融合效果的現象；對于不同積分時間圖像的HDR融合，傳統基于相機響應函數的融合方法需考慮積分時間等參數，生成的HDR圖像細節受到圖像壓縮、色調映射等因素的影響。因此，基于像素級多尺度圖像融合方法受到人們關注，傳統的多尺度圖像融合方法主要有基于圖像金字塔的拉普拉斯金字塔（Laplacian pyramid,LP）[11]、基于小波變換的雙樹復小波變換（dual-tree complex wavelet transform,DTCWT）[12]、基于幾何學的Curvelet 變換（Curvelet transform,CVT）[13]等方法，這些方法能夠較好保留圖像的特征信息，但未充分考慮不同曝光圖像像素值對融合結果的影響。另一種基于曝光適度評價的融合方法（well-exposedness assessment,WEA）[14]，利用對圖像分成b×b大小的分塊，試圖通過有限次采樣分析不同曝光圖像像素值的亮暗變化，估算出場景中每個像素值的最佳曝光適度下的像素值，但是這種融合結果受分塊尺寸影響較大。

針對上述問題，本文利用基于GSENSE 400BSI雙通道低照度CMOS相機，研究利用簡化的反S形映射曲線拓展夜間場景成像動態范圍，并在充分考慮不同曝光圖像像素值對融合結果影響的前提下采用多尺度圖像融合的方法，以在低照度動態場景下獲取更佳的HDR 成像質量。

1 雙通道低照度CMOS相機及其成像

1.1 雙通道低照度CMOS相機

基于長光辰芯光電技術有限公司 GSENSE 400BSI 低照度CMOS 器件，實驗研制了雙通道低照度CMOS相機（如圖1），在HDR 模式下可同時采集多種場景不同曝光級數下的雙通道圖像。相機探測器規模2048×2048，幀頻24 fps，單通道圖像動態范圍60 dB。表1給出了探測器各曝光級數對應的增益倍數。

圖1 GSENSE 400BSI 探測器（左）及研制的雙通道低照度CMOS相機（右）Fig.1 The GSENSE 400BSI detector(left) and the developed dual-channel low-light-level CMOS camera(right)

表1 各曝光級數對應的增益倍數Table1 Gain multiples for each exposure level

1.2 雙通道曝光圖像的選取

通常，相機需進行曝光光圈、曝光時間、ISO 等參數設置。本文雙通道低照度CMOS相機的曝光參數可簡化為曝光時間，圖像像素灰度值取決于相機入射光能量E與曝光時間Δt的乘積：

式中：B為圖像像素灰度值；f為相機響應函數（camera response function，CRF）。

假定成像系統具有n＋1級曝光級數并以增量曝光方式排序，分別定義Eimin和Eimax為曝光級數為i時，成像系統最低和最高可獲取的場景光輻射度。場景中任何光輻射度高于Eimax的區域將記為過曝光區，任何光輻射度低于Eimin的區域將記為欠曝光區。相機在曝光級數i時可獲取光輻射度范圍εi＝(Eimin,Eimax)。圖2是曝光級數i時的相機響應曲線，其中縱坐標表示相機獲得的像素值（8位），橫坐標表示相機拍攝的場景光輻射度。

圖2 曝光級數i時相機CRFFig.2 The CRF on exposure level i

圖3給出實驗用相機各個曝光增益編號對應可獲取的光輻射度范圍，可以看出：與文獻[15]不同，GSENSE 400BSI的增益編號與增益倍數不是單調的；在幀曝光周期內增益倍數越大，傳感器積分時間越長，能夠捕獲更暗區域細節信息，反之增益倍數小可獲取場景中更亮區域細節信息。因此，對于低照度HDR 場景成像應用背景，為了最大限度獲取場景的較亮區域和較暗區域的場景細節，減少冗余信息，選擇低照度高動態場景選取0級和7級曝光級數作為HDR融合圖像源，即曝光級數0級獲取場景的較亮區域細節信息，曝光級數7級獲取場景的較暗區域細節信息。

圖3 相機各曝光級數對應的動態范圍Fig.3 The dynamic range corresponding to each exposure level of the camera

2 雙通道低照度CMOS相機HDR融合方法

2.1 雙通道曝光圖像動態范圍的拓展

Wang 等[9]對一幅曝光圖像采用了反S形映射曲線方程進行變換，引入了多個變換參數。本文借鑒反S形映射拓展成像范圍的思想，并進一步對映射處理的圖像引入反Gamma 校正增強和制定動態范圍拓展原則，由低照度CMOS相機輸出的兩幅LDR圖像進行自適應動態范圍拓展，實現低照度HDR 成像。

簡化的反S形映射曲線方程變換：

式中：Bw為生成的擴展圖像的像素值；B(i,j)為輸入圖像在像素(i,j)處的歸一化像素值；η為控制生成拓展圖像平均像素值水平因子；Bsmax是常數，實驗中被設置為382.5。

引入圖像拓展程度系數k，k＝1時定義為輸入圖像拓展的初始圖像，上拓展時k＝2,3…；下拓展時k＝1/2,1/3…。并通過對實際圖像實驗，定義了圖像拓展系數k與調整參數η的關系近似為η＝0.2k。圖4給出不同拓展系數k時的圖像映射曲線圖。可以看出：簡化的反S形曲線能保持中間范圍像素值的條件下，對兩端欠曝光區域和過曝光區域的動態范圍進行有效的拉伸。

圖4 不同k值對應的簡化反S形曲線圖Fig.4 The simplified inverse s-shaped curves corresponding to different k values

使用式(2)分別對采集的雙通道圖像進行動態范圍拓展：對高曝光圖像采用上拓展（Up,模擬增加曝光時間），對低曝光圖像采用下拓展（Down,模擬減少曝光時間），得到曝光度由高到低的圖像序列，依次定義為圖像T1、T2、T3、T4。為了確保拓展圖像與輸入圖像像素值處于同一數量級，且能夠最大限度模擬不同曝光程度的圖像效果，對經過簡化的反S形映射處理圖像使用反Gamma 校正（γ＝2.2）。以單臺相機通過多次曝光獲取LDR圖像序列為例（如圖5所示），圖像依據曝光度由高到低編號為1#，4#，將2#和3#圖像假設作為雙通道采集圖像T2和T3，分別應用反S形映射對圖像兩端欠曝光區域和過曝光區域的動態范圍進行拉伸，然后使用反Gamma 校正規范像素值范圍，確保處理圖像能夠在8 bit 顯示器有效顯示。

圖5 動態范圍拓展流程Fig.5 Dynamic range expansion process

通過雙通道圖像動態范圍拓展方法，獲得的T1～T4的模擬不同曝光圖像序列與原曝光圖像序列直觀對比效果較為一致，說明了方法對圖像動態范圍拓展的有效性，獲得的圖像不僅符合增加/降低探測器積分時間的規律，更符合以往構建多曝光圖像序列的經驗，同時引入噪聲少，有利于后續圖像的融合。對于實驗平臺采集的圖像，為了合理確定拓展系數k，在輸入圖像中按直方圖分布設置4個區域R1、R2、R3、R4，分別用圖像總像素數的0.25、0.50、0.75 作為圖像分塊像素值，分別為B0.25、B0.50、B0.75，如圖6所示。

設像素值z的像素數為nz，z出現的概率為：

式中：n為一幅圖像的總像素數。

以z為上限的累計概率為：

圖6 依據直方圖分塊方法Fig.6 Histogram segmentation method

可以看出，這3個劃分像素值對應3個累計概率prlow、prmiddle、prmax。如果prz小于prlow，則這些像素位于R1 區域；如果prz大于prlow，小于prmiddle，則這些像素位于R2 區域；如果prz大于prmiddle，小于prmax，則這些像素位于R3區域；如果prz大于prmax，則這些像素位于R4區域。拓展原則為：圖像T1相對于圖像T2在R1區域像素數比值不大于0.1，圖像T4相對于圖像T3在R4 區域的像素數比值不大于0.1，通過取最優值的方法確定圖像拓展系數k值，進而得到所需要的動態范圍拓展圖像。

2.2 動態范圍拓展后圖像融合

選擇圖像T3作為基準圖像，按上節方法劃定R1、R2、R3、R4四塊作用于新的圖像序列，分別使用高斯模型估算出最佳曝光適度下的像素值，然后利用權重函數得到各圖像的權重，最終使用拉普拉斯金字塔的多分辨率方法融合圖像。

高斯模型為：

式中：GRi,Ti為使用高斯模型計算得到的Ti圖像Ri分塊像素值的高斯分布；BRi,Ti為Ti圖像Ri分塊像素值；為Ti圖像的中值像素值。各中值像素值為：

式中：N為滿足條件的像素數。為保證較理想的人眼視覺感受像素值取值應在0.5附近，估算的最佳曝光適度下的像素值取0.5與中值像素值的加權和：

式中：uTi代表Ti圖像的最佳曝光適度下的像素值；β為權重平衡參數，實驗中取值0.5。最終得到Ti圖像融合權重：

對圖像權重進行歸一化：

將動態范圍拓展后的4 幅圖像分別進行拉普拉斯金字塔分解，將式(9)得到的4幅權重圖進行高斯金字塔分解，分別得到不同分辨率的圖像和權重圖。記圖

像Ti的第l層拉普拉斯金字塔分解為L{Ti}l，記權重W?Ti的第l層高斯金字塔分解為得到融合式：

最后，將金字塔L{R}l進行拉普拉斯逆變換，得到最終的HDR融合圖像R。

3 拓展與融合成像實驗及其結果分析

雙通道CMOS相機對室內低照度高動態場景（1#場景）在各曝光級數的圖像如圖7所示。實驗環境照度標注在曝光級數為7級的圖像上（下同）。對選用曝光級數0級和曝光級數7級增益圖像，使用本文的動態范圍拓展方法進行處理。

圖71 #場景采集各曝光級數圖像Fig.7 Eight exposure level imagesin scene 1#

如圖8(a)所示，分別為對場景1雙通道采集圖像動態范圍上拓展和下拓展處理圖像，拓展系數k分別為4和1/6。為了說明動態范圍拓展效果，使用累計直方圖估計曝光時間倍率的方法[16]，取像素值映射曲線在像素值0處的斜率，分別估算出動態拓展圖像相對于原圖像的曝光積分時間倍率為2.01和1/2.40。本文簡化曝光參數為積分時間一個參數，根據多曝光高動態范圍成像原理，得到動態范圍拓展后各個曝光級數可捕獲光輻射度范圍的關系如圖8(b)所示，該方法可以對采集的雙通道圖像的動態范圍起到明顯拓展作用，降低了因基于兩幅LDR圖像生成HDR圖像帶來動態范圍偏低的影響。

相同的方法分別獲得2#～6#場景的雙通道圖像及其拓展圖像，2#場景在暗室中使用LED 臺燈作為高亮目標，3#場景在室外利用路燈、燈字牌作為高亮目標，4#場景在室外將屋內照明作為高亮目標，5#場景在室外利用白熾燈作為高亮目標，6#場景在室外利用路燈、車燈作為高亮目標，如圖9所示。為了驗證該實驗平臺的HDR 成像特點，避免因多次曝光圖像融合造成“鬼影”問題，3#～6#場景是對動態場景采集圖像。圖中前兩列是利用實驗平臺采集的曝光級數0級和7級的圖像，后兩列是對雙通道圖像動態范圍拓展后獲得的圖像。各場景的拓展系數及估算曝光倍率見表2。

圖8 場景1#采集圖像動態范圍拓展Fig.8 Dynamic range expansion of images in scene 1#

對雙通道圖像動態范圍拓展后分別使用LP 法、CVT 法、WEA 法和本文方法進行的融合結果如圖10所示。相比于圖9的雙通道圖像可以看出：融合算法得到的HDR圖像在較亮和較暗區域的細節信息可見性提升明顯，這說明圖像動態范圍拓展是有意義的；LP 法和CVT 法因采用多尺度融合策略，能較好保留圖像中細節特征，但未充分考慮不同曝光圖像中像素值對融合結果的影響，最終融合效果不太理想；WEA法通過曝光適度評價確定各曝光圖像融合權重，但因采用單分辨率融合策略，在低照度場景下對過曝光區域效果不理想；本文方法在通過曝光適度評價確定各曝光圖像融合權重的同時，采用多尺度拉普拉斯金字塔融合策略，較好保證了欠曝光區域和過曝光區域的成像效果。

實驗表明：對雙通道圖像動態范圍拓展，能夠降低因基于兩幅LDR圖像融合帶來動態范圍偏小的影響，本文融合方法能夠更好地凸顯過曝光和欠曝光區域的細節信息，使圖像視覺效果更加自然。

圖9 各場景圖像采集及拓展Fig.9 Images acquisition and expansion

表2 各場景的拓展系數k 及估算曝光倍率Table2 The expansion ratio kand estimated exposure ratio of each scene

在客觀評價方面，對各場景圖像融合結果分別采用均值、信息熵和邊緣相關融合質量指數Q，QW，QE（The fusion quality index,The weighted fusion quality index,The edge-dependent fusion quality index）進行的評價結果如表3所示（各指標中最優數值用黑體標出）。均值反映圖像亮度的平均水平[17]，數值越大，圖像亮度平均水平越大；圖像信息熵反映圖像包含的平均信息量[17]，即圖像灰度分布的聚集特征；邊緣相關融合質量指數是將結構相似理論引出圖像融合質量評價所提出的3 項評價指標[18]。從表3可以看出，本文方法在像素均值和信息熵方面占有較大優勢，在邊緣相關融合質量方面數值指標較為接近。

4 結論

針對當前使用單臺相機多次曝光和基于單幅LDR圖像獲取HDR圖像存在的問題，本文基于GSENSE400 BSI型號傳感器提出使用兩幅不同曝光量圖像的場景高動態范圍圖像融合方法。考慮兩幅圖像僅能捕獲場景有限的動態范圍，通過對圖像虛擬曝光進一步拓展圖像的動態范圍。除此之外，本文在圖像融合時，通過估算最佳曝光適度下的像素值生成權重圖，并采用多分辨率的金字塔分解方式，使得生成的HDR圖像效果更好，能夠較好解決低照度動態場景中HDR圖像融合問題。

圖10 各場景HDR圖像融合結果Fig.10 HDR image fusion results of each scene

表3 融合結果評價指標Table3 Evaluation of fusion result