一種細節保持的單曝光HDR圖像生成方法

周燕琴，陳國明，朱雄泳，呂緒洋

（廣東第二師范學院，計算機學院，廣州510303）

0 引言

信噪比是指最大不失真信號與噪聲信號的比值。一般來說，信噪比值越大，信號的失真度越小，混在信號里的噪聲越小，表示出來用信息越多。信噪比在數字圖像一個重要概念圖像動態范圍，是指是相機在單幀內可以記錄的最大亮度值和最暗亮度值之比，亮度單位是cd/m2[1]。圖像的動態范圍越大，即拍攝圖像時所探測的光照強度范圍越廣，圖像呈現的細節信息越豐富。高動態范圍圖像（High-Dynamic Range）最大特點是能夠更好地反映出真實環境中的視覺效果。

相比傳統的低動態范圍圖像，高動態范圍圖像（HDR）表達視覺信息變得越來越重要。獲得HDR圖像可以通過高動態范圍相機采集，考慮到高動態范圍相機價格昂貴以及現有的圖像和視頻大多還是在低動態范圍的數位格式中保存。如何快速高效地將單幅LDR圖像擴展為HDR圖像成為研究熱點。因此，現階段主要采用逆色調映射來實現單曝光低動態范圍圖像（LDR）生成真實場景的高動態范圍（HDR）圖像。色調映射方法[2-3]是將HDR圖像的亮度信息進行壓縮，進而呈現LDR圖像的相關設備上。色調映射的逆運算[4]則是通過一次性的線性或非線性函數對LDR圖像的亮度范圍進行擴展，低動態范圍擴展為高動態范圍。目前，針對單曝光高動態范圍圖像（HDR）算法優化及硬件實現，國內外已經有許多研究學者做了將lDR轉換為HDR方面的研究。2009年Kovaleski等人[5]提出了一種反色調映射實時自動生成視頻增強方法，對于圖像過曝光丟失顏色處理不夠理想。2014年Kovaleski等人[6]繼續提出改進反色調映射HDR圖像生成算法，利用交叉雙邊濾波器保邊去噪，對于高曝光細節處理有效，但欠曝光細節上處理欠佳。文獻[7]提出基于人類視覺系統（HVS）模型，采用了反色調映射加高斯濾波去噪處理，在處理大面積高光區域LDR圖像時仍存在細節丟失[7]。Huo等人[8]提出一種優先檢測提取高光區域進行預處理重建后進行反色調映射的方法。文獻[9]提出基于主成分析結合金字塔融合生成HDR圖像算法[9]。以上兩種方法運算速度都達不到實時處理，且運算處理時間較長。

針對已有方法的不足做一些改進與優化，本文為了保持彩色圖像顏色的恒定性，提出首先將顏色通道緊密相關的RGB空間轉換到亮度和色度分離的HSV空間；其次對曝光導致圖像不均衡細節模糊不清進行非線性拉伸提高圖像整體暗區的亮度，盡可能復原暗區域細節信息；采用提取亮光區域，對提取的部分進行形態學修正，修復高光區域被亮光遮住的細節部分；然后對亮度圖進行反色調映射運算；最后將新的亮度分量圖像、色度分量、飽和度分量圖融合得到最終的HDR圖像。通過實驗驗證了本文提出的方法的有效性。

1 算法描述

RGB色彩模型與人類顏色感知的不對應，簡單的對R GB三通道進行處理難以保證RGB按照相同的比例增強或衰減，與實際場景相比色彩存在一定失真，HSV顏色空間更接近人眼感覺顏色。所以，首先將輸入LDR圖像從RGB顏色空間轉換為HSV顏色空間，分離出色度分量H、飽和度分量S和亮度分量V。RGB到HSV轉化公式如下：

其中，R、G、B分別為RGB空間中三個分量的像素值，H、S、V為HSV空間中三個分量的值，max表示取括號中像素值的最大值，min表示取括號中像素值的最小值。因為在HSV空間中H分量用角度表示，故當H<0時，需要將H分量加上360。

分離出來V通道圖像存在整體亮度偏暗、暗處細節不清楚等問題。為了達到好的顯示效果，有必要提高圖像對比度，暗區域亮度，增強細節。圖像全局增強方法有很多，如線性對比度拉伸和直方圖均衡化等，但對于處理單幅曝光灰度圖效果不理想。Lee等人[10]提出了一種基于全局雙伽馬校正圖像增強方法，可有效提高圖像的整體亮度，防止過度增強，但得到的圖像灰度值范圍很窄，對比度大大地減少，丟失部分細節的信息?；谫ゑR校正原理設假通道像素圖像的灰度值被歸一化到[0，1]范圍內，該函數由雙伽馬校正函數由G1和G2融合而成，數學表達形式如下：

其中，L是輸入圖像的灰度值，x控制圖像增強變量。如圖（a）所示。當x<1時，G1如淺綠虛線所示，低灰度值區域的動態范圍變小，拉伸了高灰度值區域圖像對比度，圖像整體灰度值變小。當x>1時，G2如紅色虛線所示，低灰度區域動態范圍變大，進而圖像對比度增強。雙伽馬函數G通過求G1和G2平均得到，它沒有充分考慮到圖像的實際情況進行調整，圖像增強效果只是隨機偶然性增強或衰弱。為了有效解決根本性問題，本文提出了修正的雙邊伽馬調整函數，數學表達式如下：

其中θ是調整參數，取值范圍為[0，1]，其值的大小直接決定了圖像增強的好壞，通過多次實驗θ=0.428時圖像增強效果最優。

對于問題1非線性雙邊伽馬優化后仍存在高光區域和問題2如何生成HDR圖像，本文先后提出提取局部特征處理高光區域的方法和進行反色調映射運算生成HDR圖像方法。將待處理的V'亮度灰度圖像進行腐蝕操作計算公式如下：

式中，b表示一個大小為3×3平坦的結構元對亮度圖像V'(x,y)進行卷積運算求重合區域的最小值定義腐蝕操作，這樣使圖像中較大片高光區域亮度逐漸降低，小亮點亮度幾乎看不見。

同時，對V'亮度灰度圖(x,y)進行反色調映射處理。色調映射要解決大幅度衰減場景亮度變換到可以顯示的范圍，同時要保持圖像細節與顏色，色調映射目的是壓縮動態范圍。反色調映射是色調映射的逆過程。因此，反色調映射計算是為了拉伸圖像動態范圍。Banterle等人[11]提出擴展映射模型，該方法核心求解反向色調映射算子，采用色調映射模型方法：

其中，Lm(x,y)代表的是量化亮度值，Ld(x,y)壓縮后像素亮度值?？紤]到白色像素最小亮度值和高亮度值被壓縮過程中可能會受損導致信息的丟失。因此對上面的提出改進得到方程（6），其中Lwhite代表白色像素最小亮度值。

圖1是亮度通道灰度圖經過本文反色調變換拉伸得到的結果圖，從對比圖中可看出，亮度通道灰度圖先后經過雙伽馬拉伸和動態范圍擴展圖像對比度增強，圖像曝光區細節清晰可見，圖像處理增強效果明顯。

圖1 亮度通道灰度圖與動態范圍擴展灰度圖結果對比

本文算法基本步驟如下：

步驟1：將輸入的LDR圖像從RGB顏色空間轉換為HSV顏色空間，分離出色度分量H、飽和度分量S和亮度分量V。

步驟2：對分離出來V通道圖像進行非線性雙邊伽馬校正處理。

步驟3：對步驟2得到V'灰度圖像提取高光區域進行形態學腐蝕操作。

步驟4：構造反色調映射函數，對V'亮度灰度圖(x,y)進行動態范圍擴展。

步驟5：將步驟3得到高光區域和步驟4得到的反色調映射擴展融合得到新的亮度分量。

步驟6：將步驟1分離的色度分量H、飽和度分量和步驟5得到新的亮度分量進行融合。

步驟7：將步驟6得到的HSV顏色空間下的HDR圖像轉換到RGB顏色空間，得到最終的HDR圖像。

2 仿真結果與分析

仿真實驗平臺配置是Intel Core i5-8400 CPU，16GB內存。為突顯本文算法的實驗效果，與其他主流單幀HDR圖像生成方法進行仿真對比，包括Kovaleski等人提出基于雙邊濾波反色調映射方法，Huo提出檢測高光區域反色調映射HDR圖像生成算法。文章篇幅有限，從實驗結果中隨機抽取三組予以展示，最后對仿真結果給出客觀分析。

圖2是第一組實驗結果對比圖，原圖選用室外建筑物背光場景圖，（a）原圖LDR圖像，（b）Kovaleski方法結果圖，（c）Huo算法結果圖，（d）本文方法結果圖。為突出算法效果，結果圖用矩形框對過曝光區域和欠曝光區域迚行了標注。（b）圖中高曝光和欠曝光區域分別用紅色標記和綠色標記出來，不難發現Kovaleski算法對高曝光細節處理有效，但欠曝光細節上處理效果欠佳。（c）圖中欠曝光區域相對來說能夠較好地恢復圖像細節，高曝光區域整體較模糊存在細節丟失。（d）圖是本文方法產生的結果圖，欠曝光區域的細節對比度清晰，同時較好地保留過曝光區域的細節信息。

圖2 戶外建筑

圖3是第二組實驗結果對比圖，（a）原圖LDR圖像，（b）圖中高曝光和欠曝光區域分別用紅色標記和綠色標記出來，不難發現Kovaleski算法對高曝光細節處理有效，但欠曝光細節上處理效果欠佳。（c）圖中欠曝光區域相對來說能夠較好地恢復圖像細節，高曝光區域整體較模糊存在細節丟失。（d）圖是本文方法產生的結果圖，欠曝光區域的細節對比度清晰，同時較好地保留過曝光區域的細節信息。

圖3 教學樓

圖4為實驗結果對比圖，原圖選用建筑物室內曝光場景圖，（a）原圖LDR圖像，（b）Kovaleski方法結果圖，（c）Huo算法結果圖，（d）本文方法結果圖。（b）圖中高曝光細節處理比較模糊，原圖欠曝光暗沉，此處相比較暗處處理效果較好，整體看起來細節處處理比較模糊不清晰。（c）圖中欠曝光區域相對來說能夠較好地恢復圖像細節，高曝光區域較模糊存在嚴重細節丟失。（d）圖欠曝光區域的細節對比度清晰，同時較好地保留過曝光區域的細節信息，整體圖像處理效果比較理想。

圖4 教堂

本文細節保持算法是針對高曝光和欠曝光區域修復丟失細節信息，從而得到HDR圖像具有更大的信息量和更豐富的細節信息。提取高光區域形態學腐蝕修正不會影響處理欠曝光整體暗區域亮度拉伸細節處理。從仿真實驗效果可以看出無論是在室外強陽光照射下還是在室內曝光不足昏暗的情況，都有著較好的細節保持特性。

為了進一步說明主觀評價與客觀評價的一致性，選取Church、Outdoor building、Academic Building三組HDR圖像信息熵、均值和標準差三種客觀評價指標。因為圖像信息熵越大，HDR圖像包含的更多的信息，細節信息更豐富。均值反映了圖像平均亮度，當圖像灰度值在128附近時，均值適中，視覺效果好。標準差反映了圖像整體對比度，對比度值越大，圖像整體的對比度較大。

表1給出了三種方法生成的HDR圖像信息熵對比數據，從數據上可以看出，本文方法生成的HDR圖像信息熵均高于Kovaleski算法和Huo算法，說明本文方法在修復圖像細節效果比較顯著。如圖5和圖6兩組不同方法生成HDR圖像均值和標準差的對比數據，對比第三組實驗均值和標準差，從中可發現本文方法均值在128左右波動，標準差相對較高，均值適中（128左右），視覺效果好。標準差反映了圖像整體對比度，圖像均衡度更高。說明本方法生成的HDR圖像均衡性較好。

圖5 不同方法生成圖像均值的對比

圖6 不同方法生成圖像標準差的對比

表1 不同方法生成HDR圖像信息熵（單位：bit）

表2給出了3種算法的時間復雜度評價。

表2 不同方法生成HDR圖像耗時對比（單位：/s）

表2數據對比，顯示本文提出方法細節保持的HDR圖像生成方法處理速度較快，相比較Kovaleski算法和Huo算法，本文方法在實時性方面具有一定的優勢，很大程度上減少了計算量，提高了算法運算速度。

3 結語

本文提出一種新的生成HDR圖像算法，首先提取多曝光LDR圖像序列的顯著特征，選取圖像對比度、彩色飽和度、曝光亮度三個測度因子作為顯著特征生成加權圖，然后分別對源圖像和生成的加權圖進行高斯金字塔分解，對應子圖層相乘得到一組新子圖層，最后對新子圖層作拉普拉斯逆變換生成HDR圖像。本文通過改進金字塔技術解決了圖像細節模糊的問題，將對比度動態范圍拉伸解決了圖像對比度反轉，色彩飽和更符合人眼的直觀視覺等特點，為了提高算法的運算速率設計一個簡單高效卷積核進行卷積運算，大大降低了運算的復雜度。應用改進金字塔融合技術最大限度獲得場景完整信息。