高動態范圍成像研究進展

白本督, 劉　軍, 范九倫

(西安郵電大學 通信與信息工程學院, 陜西 西安 710121)

高動態范圍成像研究進展

白本督, 劉軍, 范九倫

(西安郵電大學 通信與信息工程學院, 陜西 西安 710121)

摘要:高動態范圍成像技術是近年來圖像處理、計算機圖形學等領域的研究熱點。基于高動態范圍成像技術的主要流程，從高動態范圍場景的捕獲、高動態范圍圖像的合成、色調映射、當前高動態范圍成像技術遇到的挑戰以及高動態范圍成像的發展趨勢等5個方面，綜述高動態范圍成像技術的研究進展。

關鍵詞:高動態范圍成像；多曝光；輻射亮度；色調映射；去鬼影；單次曝光高動態范圍成像

現實世界的場景有非常寬廣的亮度范圍，亮度變化從10-4cd/m2到106cd/m2，動態范圍達10個數量級，而人類視覺系統(human visual system, HVS)在同一場景中可感知的動態范圍也超過5個數量級[1]。但是，當前相機成像傳感器單次曝光可捕獲的動態范圍卻非常有限，最大動態范圍不超過3個數量級，由于記錄的像素值采用8 bit每顏色通道來存儲，導致生成的標準圖像(也稱低動態范圍圖像，low dynamic range, LDR)中常常會出現過曝光或者欠曝光的現象，丟失了部分場景信息。

高動態范圍(high dynamic range, HDR)成像技術彌補了成像傳感器動態范圍較低的不足，該技術可以精確捕獲真實場景的相對輻射亮度，完整地保留場景信息，獲得的HDR圖像不僅有助于HVS對場景的辨識，而且在圖像處理、計算機圖形學等領域有重要的應用。

高動態范圍成像技術是一組技術的綜合，依據高動態范圍成像技術的主要流程，以下內容將分7部分展開。第1節首先介紹動態范圍的基本概念，然后第2節引入高動態范圍成像的主要技術。第3至第5節逐項綜述相關技術的研究進展，包括高動態范圍成像技術的場景捕獲，高動態范圍圖像的合成與色調映射。接著在第6節討論了高動態范圍成像面臨的主要難題，最后基于高動態范圍成像面臨的主要障礙——鬼影問題，討論分析了高動態范圍成像技術未來的研究趨勢。

1動態范圍

動態范圍(dynamic range)是一個無量綱量，表示某一個物理量變化的跨度，即其變化值的最小值到最大值之間的區域，通常以比值、數量級、分貝、“Ev”或者“f-stops”來度量。動態范圍對于不同的對象有不同的表示方法，高動態范圍成像中動態范圍指光信號的變化跨度。

光的亮度(luminance)單位為坎德拉每平方米(cd/m2)，常見光源的近似亮度值如圖1所示。

圖1　常見光源的亮度范圍

場景的動態范圍一般取決于兩個因素：最大亮度與最小亮度，場景的動態范圍表示為

式中Lmax和Lmin分別表示最大和最小場景亮度，獲得的動態范圍以數量級表示。

數碼相機的動態范圍取決于其成像傳感器感光單元所能接收的最大亮度(感光單元飽和)與最小可感應亮度(讀出噪聲和統計噪聲)，相機的感光度(ISO)也會影響相機的動態范圍，一般情況下感光度越低受噪聲影響越小則動態范圍越高。當然，相機的動態范圍還與相機將光信號轉換為數字信號的模數轉換的位深度(bit depth)有關，位深度越大則記錄的動態范圍越大。數碼相機的動態范圍為

其中,Lsaturation為相機記錄的最大飽和亮度，Lnoise為相機記錄的最小可感知亮度，計算的結果表示為f-stops或者Ev。

在實際的應用中，數碼相機的動態范圍以輸出的RAW格式圖像位深度作為一個重要的衡量標準。當前，大部分中高端數碼單反相機的圖像文件可以記錄10～14位深度，因此理論上的動態范圍為10～14 f-stops，由于受噪聲影響，實際上平均動態范圍與理論動態范圍還有2 f-stops左右的差距。當前數碼相機的動態范圍還比較有限，專業的相機評價機構DxOMark實驗室對眾多高端單反相機的動態范圍測試結果表明，當前數碼相機最大的動態范圍能達到12 f-stops(即4096)左右已經算性能優異了[2]。常見圖像的動態范圍為圖像中記錄的最亮像素值與最暗像素的比，JPEG格式的圖像文件記錄8位深度，所有其可記錄的最大動態范圍為8 Ev(256)。顯示器的動態范圍是顯示器發出的最大亮度至最小亮度的整個數量級跨度范圍，當前普通顯示器的最大動態范圍不超過3個數量級。

2高動態范圍成像技術

高動態范圍成像技術源自于膠片時代的專業攝影技術，是廣大專業攝影師和攝像師群體針對大場景高動態范圍攝影/攝像成像的主要手段。19世紀50年代的Gustave Le Gray是當今主流多曝光合成高動態范圍成像技術的先驅[3]。Le Gray在試圖拍攝既有大海又有藍天的場景時發現單次曝光難以捕獲整個場景。于是，Le Gray使用一張膠片拍攝天空，另一張具有更長曝光時間的膠片拍攝大海，然后在暗室將兩張膠片合成為一張既有大海又有天空的高動態范圍照片。

隨著數字成像技術的發展，尤其是近年來數字成像技術在分辨率方面的飛速發展，使得圖像/視頻的質量在分辨率方面日臻突破人類視覺可分辨極限。制約數字成像質量的另外一個主要因素——圖像的動態范圍——引起越來越多的研究者關注。在過去的20年，HDR成像技術獲得了迅速的發展，靜態場景的HDR成像技術已日臻成熟，現階段面臨的主要難題是動態場景的HDR成像，主要包括包圍曝光圖像的對齊和運動目標的去鬼影。2011年，美國蘋果公司發布的iPhone4s搭載了高動態范圍成像技術，使得高動態范圍成像技術開始步入大眾視野。

由于還沒有成熟的HDR成像傳感器，當前的HDR成像方法都基于一個原理：捕獲目標場景的包圍曝光圖像，如圖2所示。由于當前傳感器單次曝光捕獲的動態范圍有限，不同的曝光量捕獲的亮度范圍不同，通過對同一場景以不同的曝光量多次曝光(即包圍曝光)，實現覆蓋整個場景的亮度范圍，最終將這組覆蓋場景亮度范圍的圖像合成為一張HDR圖像。

圖2　HDR成像原理

當前廣泛使用的多曝光HDR成像流程如圖3所示。采用單部成像設備多曝光或特殊設計的成像設備單次同時曝光捕獲一組目標場景的包圍曝光LDR圖像；通過算法將包圍曝光圖像做對齊、去鬼影處理；將處理后的包圍曝光圖像以及圖像對應的曝光參數作為輸入參數求解方程解得相機響應函數(camera response function, CRF)；將處理后的圖像依據CRF合成為一張HDR圖像；將HDR圖像直接顯示在HDR顯示設備上或者將HDR圖像色調映射后顯示在LDR顯示設備上。

圖3　多曝光HDR成像流程

3高動態范圍場景的捕獲

當前HDR場景的捕獲策略主要有兩種:一種是不同時的連續多次曝光捕獲，另一種是基于硬件的單次曝光捕獲。

3.1多曝光

多曝光是當前HDR成像中捕獲場景主要采取的方式，使用單部成像設備對同一場景以不同的曝光時間連續拍攝多張LDR圖像，然后利用成像設備的響應函數將這些圖像合成為一張HDR圖像[4-8]。對于靜態場景，多曝光的方式可完整捕獲場景動態范圍且可合成高質量的HDR圖像，當前數碼單反相機以及移動終端中的HDR成像都是采用這種方式，但該方法只適用于靜態場景的HDR成像，對于動態場景HDR成像會出現嚴重的鬼影問題。

為了解決多曝光HDR成像導致的鬼影問題，采用分光的模式并行多個成像單元同步曝光提高現有單個成像設備的動態范圍是一種有效手段。專業設計的多傳感器相機[9-11]利用分光器將進入相機鏡頭的光線分向每個傳感器，實現同時包圍曝光的目的。由于該方法將入射光分為多束，因此對于亮度高的場景可以實現高質量的HDR成像，但對于亮度低的場景則成像質量不能保證。

多部相機組合的裝置[12-15]通過給每部相機設置不同的曝光時間、不同的光圈值或者不同的感光度實現每部相機的不同曝光，最后同時觸發多部相機的快門實現同步單次包圍曝光。該方案不局限于高光場景,相對于分光模式[9-11]成像可應用的自然場景更廣。但是，由于不同相機之間的位移差，使得該方法需對獲得的包圍曝光圖像做視差校正(disparity correction)處理。

3.2單次曝光

單次曝光高動態范圍成像設備包括對成像傳感器[16-20]、光圈[21]或者快門[22]進行特殊設計的相機。該類特殊設計的成像設備通過在成像傳感器前放置一個光學掩膜，或者通過控制傳感器中像素點的曝光時間、感光度，或者采用專門設計的光圈、快門的相機鏡頭實現相鄰像素間以不同的曝光量曝光，最終達到單次包圍曝光的目的。但是，由于是在單個成像傳感器上實現同時包圍曝光，該方法會犧牲圖像的分辨率，捕獲的動態范圍也遠達不到HVS可感知的動態范圍。

3.3多曝光優化

迄今為止，HDR成像的研究主要致力于如何將多張連續曝光的低動態范圍圖像合成為一張受鬼影、噪聲、重影、運動模糊干擾更小的高動態圖像，而關于低動態范圍圖像的獲取步驟中最優的圖像曝光集合即多曝光優化問題的研究則比較少。

針對當前HDR成像中包圍曝光圖像集合冗余多的問題，2003年，文[23]構造了3類高動態范圍相機響應函數，并給出了相應的最佳曝光集合，但其給出的組合能獲得的最大動態范圍有限，不能根據場景的動態范圍靈活地調整曝光集合以達到最優，同時對于不同場景的捕獲還需要用戶預先選擇動態范圍。2008年，文[24]提出了3個不同的算法分別實現最小系統包圍、最小圖像包圍和基于反饋包圍曝光組合。其中最小圖像包圍曝光算法獲得的曝光組合最小，但需要預捕獲目標場景。2015年，文[25]提出了一種簡單有效的最小包圍曝光集合求解算法。該算法首先依據相機響應函數建立曝光集合與動態范圍的映射，然后采用測光表或者相機內置測光器直接獲取目標場景最亮和最暗亮度，最后通過遍歷的方法尋找涵蓋目標場景動態范圍的最小包圍曝光集合。

如圖4所示，優化后的曝光序列與圖2中味精優化的曝光序列相比明顯變少。此類多曝光優化算法在保證合成的HDR圖像質量的前提下，可有效減少當前廣泛采用的包圍曝光方式捕獲圖像的數量，從而降低多曝光方式捕獲HDR場景的總捕獲時間，降低了合成的高動態范圍圖像中可能出現的重影噪聲，同時節省了存儲空間，也間接提高了后期高動態范圍圖像的合成效率[25]。因此，多曝光優化算法對于HDR成像中包圍曝光圖像捕獲有很高的實用價值。

圖4　優化后的曝光序列

4高動態范圍圖像的合成

當前合成HDR圖像的方式主要分為兩種：輻射亮度域合成和圖像域合成，如圖5所示。

圖5　HDR圖像合成的兩種方式

4.1輻射亮度域合成

合成HDR圖像較早實現的方式是在輻射亮度域的合成，這種方式需要依據成像設備的響應函數來實現。成像設備的響應函數表示入射到成像傳感器上的場景輻射亮度與成像設備記錄的像素值之間的關系，是HDR圖像合成的重要基礎，響應函數的準確度直接影響合成的HDR圖像的質量以及記錄的亮度信息準確度。文[4-6]最早提出了3種不同的相機響應函數求解方法，為HDR成像奠定了基礎。在這些基礎上，文[26]充分考慮成像過程中各種噪聲的影響來計算CRF，并從噪聲概率統計角度設計權重圖譜，文[27]根據所有相機響應共有的約束因子定義了相機響應的理論空間(theoretical space)，通過收集201部相機的CRF創建CRF數據庫，結合相機響應的理論空間約束因子與CRF數據庫建立了一個低維參數的相機響應實驗模型，基于這個模型計算的CRF將更準確。文[28]從一致性、精確性、魯棒性以及運算效率等4方面對一些CRF計算方法進行了評估[5-6,26-27]，評估結果表明：文[27]提出的算法精確度最高，文[6]提出的算法一致性最好，并且抗噪聲干擾能力也很強，文[5]提出的算法抗噪聲干擾能力最強。

獲得CRF后，根據CRF計算一組包圍曝光的LDR圖像相應的亮度值，以像素點或像素塊為單位，對相同位置的單位亮度加權平均[1]171-182獲得最終的HDR圖像。

4.2圖像域合成

圖像域合成[29-30]方法以保留包圍曝光LDR圖像組里每一張中曝光最優部分的方式，直接將多張圖像合成為一張圖像。合成的圖像保留了場景的細節信息，但損失了場景的動態范圍。算法不需要計算CRF，而是直接對相同位置的像素加權平均獲得最終的HDR圖像，每張圖像對應的權重圖譜決定了最終的感知特性。本質上合成的這張HDR圖像相當于HDR圖像色調映射后的LDR圖像。

如果需要場景的亮度信息，合成HDR圖像則只能采用輻射亮度域合成的方式，如果僅為了視覺上的辨識，兩種方式都可行，但采用圖像域合成的方式則計算效率更高。

5色調映射

HDR成像的最終目的是呈現真實世界的場景亮度感受給HVS，但當前的普通顯示設備能呈現的動態范圍不超過3個數量級，遠不能完整顯示HDR內容[31]。色調映射技術可以壓縮HDR圖像的動態范圍同時保留最大可感知的細節信息，實現HDR內容在普通顯示設備上的顯示。根據映射目的，可將色調映射算法分為3類[32]：(1) 視覺系統模擬器算子[33-34]：該類算子模擬HVS在不同環境下對可見光的感知屬性，實現感知上的真實性。(2) 場景重構算子[35]：保留原始場景的信息，比如對比度、銳度以及顏色等。(3) 主觀質量最優[36]：依據藝術目的或主觀偏好映射HDR圖像。

根據采用的算法原理，色調映射算法可以分為4類[37]：(1) 全局映射算法[33,38]：采用同一個映射函數對HDR圖像中所有的像素值映射。該類方法復雜度低、運算速度快且保持了全局對比度，但可處理的動態范圍有限，可能會丟失高亮或者昏暗區域的細節信息。(2) 局部映射算法[39-40]：映射算法在像素空間上是變化的，算法中的參數根據HDR圖像局部信息做調整。該類方法能夠擴展局部較小的對比度、縮減局部較大的對比度，做到很好保存細節信息，但其運算復雜且耗時，且容易出現色偏，導致映射后的場景整體明暗不協調。(3) 分割算法[41-42]：HDR圖像被分割為許多子區域，不同的區域采用不同的映射算法。這類算法可以較好保存細節信息和對比度，但復雜度比較高。(4) 頻域/梯度域算子[43-44]：對HDR圖像的亮度圖(luminance)在梯度域進行多尺度壓縮，再從壓縮后的梯度分布中恢復出新的亮度圖，從而實現了動態范圍的壓縮，同時很好地保留了細節及邊緣信息，但可能會出現光暈效應。

色調映射算法調整了HDR圖像中的對比度關系，映射后的LDR圖像中較好地保留了場景的細節和局部對比度信息，但往往會出現色貌(color appearance)的改變。有大量關于色調映射壓縮亮度動態范圍的算法，但關于色彩信息的研究則較少。近些年來，研究人員希望能夠實現壓縮動態范圍的同時保持彩色信息不失真，這類技術主要介紹了如何在LDR圖像中重建HDR圖像的色貌。文[45]基于圖像色貌模型提出iCAM06算法，采用雙邊濾波器將HDR圖像分解為基本層和細節層，從而準確預測圖像的復雜色貌，實現了圖像色貌的再現，在視覺感知上更加真實，但該算法校正參數多且運算復雜度高。文[46]提出了一個全自動色貌飽和校正算法，算法的輸入為兩張圖像：色調映射后的LDR圖像和原始的HDR圖像，利用HDR圖像中包含的原始飽和值和色度值來校正色調映射后的LDR圖像。該方法可以自動校正色調映射后的圖像色貌，使映射后的圖像更加真實，且該方法可直接應用于已有的色調映射方法。

為了對比不同映射算法之間差異性，文[47-50]基于精神物理學對色調映射算法做了相關測試，測試結果顯示，不同的色調映射算法在感知的不同方面有優越性，但沒有一個算法能實現在感知的多個方面最優。基于這些評估，可以根據需要采用最合適的映射算法實現HDR內容在LDR顯示媒介上的呈現。

6HDR成像的難點

HDR成像的難點分類如表1所示。當目標場景中不存在運動目標時，單部成像設備多曝光的方法獲得的包圍曝光圖像可能會出現未對齊的問題，這種問題通常由相機抖動引起，在不同的LDR圖像中出現全局運動，未對齊的包圍曝光圖像合成的HDR圖像會出現運動模糊問題，使用三腳架固定相機拍攝可以緩解這種問題。然而，當場景中存在運動目標時，合成的HDR圖像會發生同一個目標出現在不同位置的情況，也就是鬼影[7]，如圖6所示。鬼影問題在這4種成像方法中都會遇到，是當前HDR成像中的最大難題。

表1　HDR成像的難點分類

圖6　產生鬼影的原理

文[51]提出了一種包圍曝光圖像對齊的算法，其思想是首先計算相鄰圖像間的運動向量，基于向量對相鄰的圖像變形，兩兩實現對齊，但該算法對于全局運動大的情況會失效。文[52]提出的基于中值閾值位圖(median threshold bitmap, MTB)的對齊方法能夠準確地對齊有輕微全局運動的一組包圍曝光圖像，且運算效率高，許多HDR圖像合成軟件都采用此方法。

由于相機抖動以及場景中存在運動目標常常同時出現，因此許多算法的圖像對齊與鬼影去除是同步進行的。近年來，研究者提出了不少的方法解決去鬼影問題[53-61]，大體上可分為兩類：鬼影檢測及去除[55,60]首先檢測出會產生鬼影的區域，然后根據檢測結果去除鬼影；直接去除鬼影[7,53]通過估算包圍曝光之間的相關性，在合成HDR圖像的同時去除鬼影。

6.1鬼影檢測及去除

大多數去鬼影的方法都是先檢測會產生鬼影的區域，然后對這些區域做去鬼影處理。通常，一組曝光圖像在全局上都對齊的情況下，鬼影檢測算法依據某些準則判斷圖像組中相同像素坐標或者塊坐標位置上的色彩是否具有一致性，以此來確定會產生鬼影的區域。這些準則包括計算LDR圖像對應輻射亮度圖的方差圖譜(variance image, VI)[55]，LDR圖像對應的輻射亮度圖兩兩之間的變化檢測(change detection)[60]，局部鄰域熵的差[55]，像素次序的關聯[62]，灰度域像素值直方圖的多級閾值[63]，屬于背景像素的概率[58-59]，不同曝光圖像相同坐標位置像素值的相關性[64-65]，梯度方向之間的差[66]，不同曝光間像素關聯的中值位圖[67]等。

檢測到的鬼影將通過兩類方法去除[56]：1)去除鬼影同時保留一個曝光中的運動目標[55,57]，這類方法參考圖像的選取依據飽和像素最少或者鬼影區域曝光最佳的準則；2)徹底去除鬼影，不保留運動目標[59,62]，這類方法適合運動目標非常小的場景。

6.2直接去除鬼影

直接去除鬼影的方法首先將包圍曝光圖像對齊，然后應用算法合成HDR圖像的同時去除鬼影。

文[51]基于梯度域的光流(optical flow)計算運動區域的運動向量，根據向量對相鄰幀的圖像做一致性的處理，達到去鬼影的目的，但該方法只適用于運動幅度非常小的場景。在文[51]的基礎上，文[68]提出了基于塊的運動估計方法來提高相鄰曝光間的一致性，同時根據色彩相似度優化了飽和區域的運動向量，但得到的HDR圖像可能會出現塊效應。文[54]提出了基于能量的光流方法實現圖像的對齊與鬼影去除，算法求得的密集位移域(dense displacement fields)可以表示任意復雜的運動，對于去鬼影有一定效果。但是，該方法對于運動幅度較大的目標以及運動目標遮擋過的背景HDR成像效果不好。文[7]提出一種基于塊的優化算法合成HDR圖像的同時對齊了圖像也去除了鬼影。該方法將曝光等級處在中間的一張LDR圖像作為參考圖像，其他圖像基于塊與其對齊、合并，通過最小化一個基于塊的能量公式獲得局部最優相似性，同時實現了LDR圖像對齊和HDR圖像的合成處理。由于選定了一張參考圖像，因此參考圖像的噪聲可能會傳播給最終的HDR圖像，該方法對被運動目標遮擋過的HDR區域不能實現HDR成像。文[53]提出了一種先進的自動去鬼影方法，通過計算空間一致性和最小化的一個MRF類型的全局能量函數，獲得一組圖像中相同像素位置上具有一致性的彩色像素子集。然后，加權平均這個彩色像素子集合成HDR圖像。該算法不需要選擇參考圖像，也不需要對圖像背景建模，但不能恢復HDR的運動目標的動態范圍，還可能會發生運動目標出現不完整或者多次出現的情況。文[69]構造了一個求解最小秩的框架合成HDR圖像，場景背景表示為一個低秩矩陣，運動目標表示為一個稀疏矩陣，在鬼影區域的相關物理約束條件下，鬼影檢測就相當于低秩矩陣的填充問題。文[70]改進了文[69]的算法，圖像未對齊、運動目標、噪聲以及其他非線性的干擾因素都被當做稀疏矩陣中的異常值，提出了一個秩最小求解算法，對齊圖像的同時去除了稀疏矩陣中的異常值。該方法可以在一個參考圖像上手動標出可能出現異常的區域，避免了在合成的HDR圖像中出現運動目標重疊。

文[56]和文[71]對HDR成像中的去鬼影算法進行了評估，結果顯示：對于某些特定場景這些算法都可能會失效，尤其對于存在復雜的非剛體運動目標的場景、運動目標與背景交界處出現高亮區域或陰影區域的場景以及運動目標為HDR的場景，很難實現完全的無鬼影HDR成像。當前，專門設計的HDR成像裝置可以減輕這些問題[11,13-14]，但也不能完全實現無鬼影的HDR成像。要實現無鬼影的HDR成像除了算法上的改進還需要成像傳感器性能上的提高。

7研究趨勢

鬼影是阻礙HDR成像發展的一大難點，當前提出的去鬼影算法主要是針對多曝光捕獲動態場景的包圍曝光圖像而提出的，為了在源頭去除鬼影的影響，近些年有一些單次曝光捕獲包圍曝光圖像的方法被提出，該類方法可實現同步捕獲包圍曝光圖像，有效地避免了HDR圖像重建中鬼影的影響。單次曝光的方法主要分為單傳感器曝光和多傳感器單次同時曝光。

7.1單傳感器

由于單個傳感器空間上的多曝光是同步進行，因此該類方法可有效避免鬼影。2000年，文[16]提出了類似于拜耳模式的色彩濾波陣列方法，通過在單個傳感器前放置光學掩膜實現空間域多曝光，從而實現HDR成像。圖7為該方法采用的光學掩膜，此光學掩膜以圖7右側的多曝光子像素為一個像素單元，子像素中不同的空間位置透光率不同，e3>e2>e1>e0。該方法可同時曝光捕獲一組包圍曝光圖像，對于動態場景的HDR成像受鬼影影響小，但該方法犧牲了圖像分辨率，對于運動場景還會遇到運動模糊問題。

圖7　光學掩膜濾波陣列

2003年，文[19]提出了在時間域和空間域上自適應調整曝光的HDR成像方法，如圖8所示。通過調整空間光調制器的透光率來避免傳感器像素出現飽和。空間域上不同空間位置的入射光亮度不同，根據入射光亮度調整空間光調制器不同空間位置的透光率實現成像傳感器在空間域上的曝光自適應調整。在時間域上根據入射光的變化調整空間光調制器的透光率實現成像傳感器在時間域上的曝光自適應調整，同時獲得透射率函數。根據透射率函數和捕獲的圖像數據恢復出HDR圖像。由于空間光調制器Tt+1時刻的透射率需要根據成像傳感器的前一時刻的反饋It來作為調整依據，因此該方法對于運動場景的HDR成像質量不能保證。

圖8　時間域和空間域調整曝光的原理

設置不同的曝光時間或者在傳感器前放置透射率不同的濾鏡，實現包圍曝光，是當前基于硬件擴展方式實現HDR成像主要采取的策略。近些年來，研究者提出了其他基于硬件的策略實現HDR成像。2014年，文[22]通過編碼的電子快門(coded electronic shutter)以行變換曝光的方式實現單次曝光捕獲，如圖9所示。EFCS(electronic front curtain shutters)表示電子前簾快門，對該電子快門編碼，以不同行的電子快門開啟曝光的時間起點不同曝光的終止時間相同的方式實現傳感器每行不同曝光，然后從捕獲的單張圖像中恢復出包圍曝光圖像。MRCS(mechanical rear curtain shutter)表示機械后簾快門，該快門用于終止傳感器曝光。由于傳感器行之間的曝光量是通過曝光時間的長短來實現的，因此存在曝光不同步的問題，對于運動的目標可能會出現局部鬼影問題，該方法還會損失圖像分辨率，難以保證圖像的銳度，且該方法的運算效率還有待提高。

圖9　以行變換的電子快門曝光

隨著計算攝像學(computational photography)的發展，科研人員提出了一些有關HDR成像的理論框架。2014年，文[21]提出了一個基于編碼的光圈(coded aperture)同時捕獲多個不同曝光的HDR成像理論框架，如圖10(a)所示。所謂光圈編碼，是指將光圈設計成特殊的圖案而不是現在普遍使用的圓形或者正六面形光圈，編碼的光圈就是有特殊圖案的一個光學遮罩。編碼的光圈可分解為N個不同的子光圈，每個子光圈實現不同的曝光，從而實現場景包圍曝光圖像的捕獲，如圖10(b)所示。該框架根據編碼的光圈對應的解碼濾波算法將捕獲的單張RAW格式圖像分解為N張不同曝光的圖像。但是，當捕獲的RAW格式圖像中出現飽和像素時，該方法則無法準確恢復出飽和像素所對應的包圍曝光像素點。

(a) 成像系統示意

(b) 編碼的光圈分解示意

2015年，文[72]提出了一種采用取模相機(Modulo Camera)實現無限制的高動態范圍(Unbounded High Dynamic Range，UHDR)成像框架，其核心思想為：在整個曝光過程中，當傳感器像素單元飽和時將飽和的像素單元清零(重置)，像素單元可繼續接收入射光，如果入射光亮度很高，則可能會進行多次清零。曝光結束后，最終獲得的圖像記錄的是取模后的像素值，由于取模相機對光的響應是線性的，因此不需要計算相機響應函數，直接根據能量優化算法和自然圖像的屬性就能恢復HDR圖像。圖11(a)是該相機捕獲的取模圖像，可以看出在高亮的區域有條紋紋理，這些條紋紋理都是由于像素單元飽和后取模的結果；圖11(b)是由取模圖像恢復的HDR圖像色調映射后的結果。由于不知道傳感器清零的次數，提出的算法對于亮度平滑變化的場景能夠很好的恢復場景的HDR圖像，但對于存在局部對比度變化劇烈的場景則不能準確恢復場景的HDR圖像，針對該問題又提出了多曝光的UDHR成像方法，此方法能以最少的曝光次數捕獲場景的HDR圖像。總的來說，文[72]提出了一個新穎的HDR成像思路，為HDR成像發展提供了更多選擇。

圖11　取模圖像與恢復圖像

與上述通過硬件方式單次曝光擴展動態范圍的方法不同，2015年，文[73]提出了基于軟件控制的方法單次曝光擴展動態范圍。該方法以空間上兩行交替變化成像傳感器增益(感光度ISO)的方式捕獲了一張混合的RAW格式圖像，如圖12所示。通過對捕獲的RAW格式圖像進行自適應調節濾波實現HDR圖像的重構。與硬件擴展動態范圍的方法相比，該方法不需要昂貴的專用硬件，也不需要復雜的設計以及傳感器之間精準的幾何校正，只需要在Cannon單反相機中安裝Magic Lantern固件，就能以空間上兩行交替變化成像傳感器增益的方式捕獲一張混合的RAW格式圖像，再通過文[73]提出的HDR圖像重構算法即可獲得HDR圖像。

圖12　變換感光度的成像模式

7.2多傳感器

利用光學元件(如分光器或分光棱鏡)將入射光分向多個同步的成像傳感器實現動態范圍擴展。成像傳感器曝光量的調整可通過在傳感器前放置不同透光率的光學濾鏡(中性灰度濾鏡，Neutral density filter，NDF)或者設置不同的傳感器感光度實現。此類多傳感器或多相機單次曝光指多傳感器或者相機以相同曝光時間或快門速度同時曝光。曝光時間或快門速度相同的傳感器或相機捕獲的包圍曝光圖像在后期處理時可有效避免鬼影。

2011年，文[10]在相機鏡頭與傳感器之間的不同空間位置上放置了兩個分光器，通過多次反射實現光路再利用，提高光的使用效率，如圖13所示。對成像設備而言，入射光的利用效率至關重要。理論上，該方法對進入光圈后的光利用率可達99.96%，遠高于其他類似的多傳感器HDR成像方法。不過，一旦分光器的透光率確定，該系統的曝光組合將隨之確定，系統靈活性不夠。

圖13　3傳感器成像結構

2014年，文[74]采用兩部Arri ALEXA相機以圖14的構造方式實現HDR視頻捕獲。將帶抗反射涂層的玻璃板作為分光器，分光器的透射率為94%、反射率為6%，從而實現擴展4 f-stops的動態范圍。與文[10]方法不同，文[74]將分光器的放置位置由相機鏡頭與傳感器之間變為相機鏡頭前，該方法最明顯的優勢就是不需要復雜的硬件設計，同時可靈活改變分光器的透光率，實現靈活調整曝光。但是，該成像系統也有以下幾點不足：整個成像系統比較笨重；分光器面積較大導致該系統受雜散光和鏡頭光暈干擾；分光器還會導致最后捕獲的高亮場景圖像中出現雙輪廓(double contours)；分光器還會導致光的偏振等；由于只采用了兩部相機，該系統可捕獲的最大動態范圍約18 f-stops(約2.6×105)，還無法捕獲高度逆光場景的整個動態范圍。

圖14　雙相機成像的垂直結構

文[9，11]設計了多傳感器的HDR成像系統，原理如圖15所示。采用分光器將入射光四等分，分別入射到每個傳感器上，傳感器之間曝光的調整可通過在傳感器前放置不同透光率的中性灰度濾鏡，該方法捕獲的動態范圍很廣，可達24 f-stops(約1.68×107)。但是，該方法的不足主要有：光的利用率比較低，利用率僅為33.2%，由于光的利用率低也導致對場景的昏暗區域成像質量難易保證。

圖15　4傳感器成像結構

利用分光器將入射光分向不同相機的方式對光的利用率較低[74]，2014年，文[13]提出一種雙部相機空間域包圍曝光方法，以求充分利用入射光，如圖16所示。在相機鏡頭前安置NDF，實現兩部相機的曝光量調整，保證場景曝光同步，可緩解合成HDR圖像時的鬼影問題。該方法的難點在于對兩部相機拍攝圖像的精確配準，亦即視差估計(disparity estimation)，或稱視差校正。

圖16 雙部相機平行結構

文[14]針對雙部相機可能會遇到的遮擋(Occlusion)問題,提出了類似于文[13]的三部相機HDR成像方案，該方案可有效解決遮擋問題，如圖17所示，同時可提高圖像的視差估計的準確度，合成的圖像質量也優于兩部相機的結果。

圖17　3部相機平行結構

8結語

詳細論述了目前HDR成像技術的發展狀況，對HDR成像技術取得的成果以及HDR成像技術的發展趨勢做了討論總結。靜態場景的HDR成像以及色調映射技術已逐漸成熟，但動態場景的HDR成像到目前為止還有許多挑戰。隨著近些年HDR成像技術的發展，HDR成像已經逐漸走進大眾視野，可以預知，HDR成像將會在成像領域給人類帶來更震撼的視覺體驗。就像在視覺感受上人類經歷了從灰度圖像到彩色圖像的跨越，從低分辨率圖像到高分辨率圖像的跨越以及2D到3D的跨越，從LDR圖像到HDR圖像也會給人類在視覺感受上帶來同樣的跨越，但要實現大眾普及，研究人員仍有大量的難點需要突破。

參考文獻

[1]REINHARD E, HEIDRICH W, DEBEVEC P, et al. High dynamic range imaging: acquisition, display, and image-based lighting[M/OL]. 2nd ed. San Mateo: Morgan Kaufmann, 2010:1-594[2015-11-22]. http://www.doc88.com/p-0019918551381.html.

[2]DXOMARK. DxOMark Sensor scores[EB/OL].[2015-11-22].http://www.dxomark.com/About/Sensor-scores/Use-Case-Scores.

[3]Photographer: Gustave Le Gray[EB/OL].[2015-11-22].http://www.getty.edu/art/exhibitions/le_gray/index.html.

[4]MANN S, PICARD R W. On being “undigital” with digital cameras: Extending Dynamic Range by Combining Differently Exposed Pictures[C/OL]// Proceedings of IS&T 48th Annual Conference. Washington:Society for Imaging Science and Technology, 1995:442-448[2015-11-22]. http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.21.3141.

[5]DEBEVEC P E, MALIK J. Recovering High Dynamic Range Radiance Maps from Photographs[C/OL]//Proceedings of the 24th Annual Conference on Computer Graphics and Interactive Techniques. Los Angeles: ACM, 1997:369-378[2015-11-22]. http://dl.acm.org/citation.cfm?doid=1401132.1401174.DOI:10.1145/1401132.1401174.

[6]MITSUNAGA T, NAYAR S K. Radiometric self calibration[C/OL]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Fort Collins: IEEE, 1999,1:374-380[2015-11-22]. http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=786966&tag=1.DOI:10.1109/CVPR.1999.786966.

[7]SEN P, KALANTARI N K, YAESOUBI M, et al. Robust patch-based HDR reconstruction of dynamic scenes[J/OL]. ACM Transactions on Graphics, 2012, 31(6):203[2015-11-22]. http://dl.acm.org/citation.cfm?id=2366222.DOI:10.1145/2366145.2366222.

[8]KALANTARI N K, SHECHTMAN E, BARNES C, et al. Patch-based high dynamic range video[J/OL]. ACM Transactions on Graphics, 2013, 32(6):202[2015-11-22]. http://dl.acm.org/citation.cfm?doid=2508363.2508402.DOI:10.1145/2508363.2508402.

[9]KRONANDER J, GUSTAVSON S, BONNET G, et al. A unified framework for multi-sensor HDR video reconstruction[J/OL]. Signal Processing: Image Communication, 2014, 29(2):203-215[2015-11-22]. http://www.sciencedirect.com/science/article/pii/S0923596513001355.DOI:10.1016/j.image.2013.08.018.

[10] TOCCI M D, KISER C, TOCCI N, et al. A versatile HDR video production system[J/OL]ACM Transactions on Graphics, 2011,30(4):41[2015-11-22]. http://dl.acm.org/citation.cfm?doid=2010324.1964936.DOI:10.1145/2010324.1964936.

[11] KRONANDER J, GUSTAVSON S, BONNET G, et al. Unified HDR reconstruction from raw CFA data[C/OL]//IEEE International Conference on Computational Photography. Cambridge :IEEE, 2013:1-9[2015-11-22]. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=6853818.DOI:10.1109/ICASSP.2014.6853818.

[12] SUN N, MANSOUR H, WARD R. HDR image construction from multi-exposed stereo LDR images[C/OL]//IEEE International Conference on Image Processing. Hong Kong:2010:2973-2976[2015-11-22]. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=5653371.DOI:10.1109/ICIP.2010.5653371.

[13] BATZ M, RICHTER T, GARBAS J-U, et al. High dynamic range video reconstruction from a stereo camera setup[J/OL]. Signal Processing: Image Communication, 2014, 29(2):191-202[2015-11-22]. http://www.sciencedirect.com/science/article/pii/S0923596513001331.DOI:10.1016/j.image.2013.08.016.

[14] KEINERT J, WETZEL M, SCHOBERT M, et al. Cost-Effective Multi-Camera Array for High Quality Video with Very High Dynamic Range[J/OL]. Digital Photography X, 2014, 9023(1):1-15[2015-11-22]. http://proceedings.spiedigitallibrary.org/proceeding.aspx?articleid=1844626.DOI:10.1117/12.2039563

[15] LEE B, SONG B C. Multi-image high dynamic range algorithm using a hybrid camera[J/OL]. Signal Processing: Image Communication, 2015, 30:37-56[2015-11-22]. http://www.sciencedirect.com/science/article/pii/S092359651400160X.DOI:10.1016/j.image.2014.11.002.

[16] NAYAR S K, MITSUNAGA T. High dynamic range imaging: spatially varying pixel exposures[C/OL]//IEEE Conference on Computer Vision and Pattern Recognition. Hilton Head Island: IEEE, 2000:472-479[2015-11-22]. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=855857.DOI:10.1109/CVPR.2000.855857

[17] CHENG H-Y, CHOUBEY B, COLLINS S. A high-dynamic-range integrating pixel with an adaptive logarithmic response[J/OL]. Photonics Technology Letters, 2007, 19(15):1169-1171[2015-11-22]. http://ieeexplore.ieee.org/xpl/freeabs_all.jsp?arnumber=4268351.DOI:10.1109/LPT.2007.901466.

[18] AGUERREBERE C, ALMANSA A, GOUSSEAU Y, et al. Single shot high dynamic range imaging using piecewise linear estimators[C/OL]//IEEE International Conference on Computational Photography. Santa Clara: IEEE, 2014:1-10[2015-11-22]. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=6831807.DOI:10.1109/ICCPHOT.2014.6831807.

[19] BNAYAR S K, BRANZOI V. Adaptive dynamic range imaging: Optical control of pixel exposures over space and time[C/OL]//IEEE International Conference on Computer Vision. Nice: IEEE, 2003:1168-1175[2015-11-22]. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=1238624.DOI:10.1109/ICCV.2003.1238624.

[20] HAJSHARIF S, KRONANDER J, UNGER J. HDR reconstruction for alternating gain (ISO) sensor readout[C/OL]// Eurographics 2014-Short Papers. Strasbourg: The Eurographics Association ,2014[2015-11-22]. http://www.diva-portal.org/smash/record.jsf?pid=diva2%3A700103&dswid=-7045.

[21] TEIXEIRA R, AIZAWA K. Simultaneous acquisition of multiple images with higher dynamic range[C/OL]//IEEE International Conference on Acoustics, Speech and Signal Processing. Florence :IEEE, 2014:1355-1359[2015-11-22]. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=6853818.DOI:10.1109/ICASSP.2014.6853818.

[22] CHO H, KIM S J, LEE S. Single-shot High Dynamic Range Imaging Using Coded Electronic Shutter[J/OL]. Computer Graphics Forum, 2014, 33(7):329-338[2015-11-22]. http://onlinelibrary.wiley.com/doi/10.1111/cgf.12501/full.DOI:10.1111/cgf.12501.

[23] GGOSSBERG M D, NAYAR S K. High dynamic range from multiple images: Which exposures to combine[C/OL]// Proceedings of the ICCV Workshop on Color and Photometric Methods in Computer Vision (CPMCV). Nice: IEEE Computer Society, 2003, 3(3) [2015-11-22]. http://citeseer.ist.psu.edu/viewdoc/summary?doi=10.1.1.123.3522.

[24] BARAKAT N, HONE A N, DARCIE T E. Minimal-bracketing sets for high-dynamic-range image capture[J/OL]. IEEE Transactions on Image Processing, 2008, 17(10):1864-1875[2015-11-22]. http://ieeexplore.ieee.org/xpls/icp.jsp?arnumber=4623179. DOI: 10.1109/TIP.2008.2001414.

[25] 白本督, 范九倫. 高動態范圍成像最小包圍曝光方法[J/OL]. 西安郵電大學學報, 2015, 20(5): 43-47[2015-11-22].http://dx.chinadoi.cn/10.13682/j.issn.2095-6533.2015.05.008.

[26] ROBERTSON M A, BORMAN S, STEVENSON R L. Estimation-theoretic approach to dynamic range enhancement using multiple exposures[J/OL]. Journal of Electronic Imaging, 2003, 12(2):219-228[2015-11-22]. http://electronicimaging.spiedigitallibrary.org/article.aspx?articleid=1097956.DOI:10.1117/1.1557695.

[27] GROSSBERG M D, NAYAR S K. Modeling the space of camera response functions[J/OL].IEEE Transactions on Pattern Analysis and Machine Intelligence,2004, 26(10):1272-1282[2015-11-22]. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=1323796.DOI:10.1109/TPAMI.2004.88.

[28] AKYUZ A O, GENCTAV A. A reality check for radiometric camera response recovery algorithms[J/OL]. Computers & Graphics, 2013, 37(7):935-943[2015-11-22]. http://www.sciencedirect.com/science/article/pii/S0097849313001015.DOI:10.1016/j.cag.2013.06.003.

[29] MERTENS T, KAUTZ J, VAN REETH F. Exposure fusion:A simple and practical alternative to high dynamic range photography[J/OL]. Computer Graphics Forum, 2009, 28(1):161-171[2015-11-22]. http://onlinelibrary.wiley.com/doi/10.1111/j.1467-8659.2008.01171.x/full.DOI:10.1111/j.1467-8659.2008.01171.x.

[30] ZHANG W, CHAM W-K. Gradient-directed composition of multi-exposure images[C/OL]//IEEE Conference on Computer Vision and Pattern Recognition. San Francisco: IEEE, 2010:530-536[2015-11-22]. http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=5540168.DOI:10.1109/CVPR.2010.5540168.

[31] SEETZEN H, WARD G, WHITEHEAD L, et al. High Dynamic Range Display Systems[J/OL]. ACM Transactions on Graphics, 2004, 23(3):757-765[2015-11-22]. http://dl.acm.org/citation.cfm?id=1015797.DOI:10.1145/1015706.1015797.

[32] EILERTSEN G, WANAT R, MANTIUK R K, et al. Evaluation of Tone Mapping Operators for HDR-Video[J/OL]. Computer Graphics Forum, 2013, 32(7):275-284[2015-11-22]. http://onlinelibrary.wiley.com/doi/10.1111/cgf.12235/full.DOI:10.1111/cgf.12235.

[33] PATTANAIK S N, TUMBLIN J, YEE H, et al. Time-dependent visual adaptation for fast realistic image display[C/OL]// SIGGRAPH’00 Proceedings of the 27th Annual Conference on Computer Graphics and Interactive Techniques. New Orleans: ACM, 2000:47-54[2015-11-22]. http://dl.acm.org/citation.cfm?id=344810. 10.1145/344779.344810.

[34] CYRIAC P, BERTALMIO M, KANE D, et al. A tone mapping operator based on neural and psychophysical models of visual perception[C/OL]//Proceedings of SPIE 9394, Human Vision and Electronic Imaging XX. San Francisco :SPIE, 2015: 93941I-93941I-10[2015-11-22]. http://proceedings.spiedigitallibrary.org/proceeding.aspx?articleid=2209754.DOI:10.1117/12.2081212.

[35] DALY S, MANTIUK R, KEROFSKY L. Display adaptive tone mapping[J/OL]. ACM Transactions on Graphics, 2008, 27(3):68[2015-11-22]. http://dl.acm.org/citation.cfm?doid=1360612.1360667.DOI:10.1145/1360612.1360667.

[36] AKYUZ A O, HADIMLI K, AYDINLILAR M, et al. Style-based tone mapping for HDR images[C/OL]//Proceedings of SIGGRAPH Asia 2013 Technical Briefs. Hong Kong :ACM, 2013: Article 23[2015-11-22]. http://dl.acm.org/citation.cfm?id=2542384.DOI: 10.1145/2542355.2542384.

[37] BANTERLE F, ARTUSI A, Debattista K, et al. Advanced high dynamic range imaging :theory and practice[M/OL]. Natick:CRC Press, 2011: 33-113[2015-11-22].http://dl.acm.org/citation.cfm?id=1996408.

[38] DRAGO F, MYSZKOWSKI K, ANNEN T, et al. Adaptive logarithmic mapping for displaying high contrast scenes[J/OL].Computer Graphics Forum, 2003, 22(3):419-426[2015-11-22]. http://onlinelibrary.wiley.com/doi/10.1111/1467-8659.00689/pdf.

[39] REINHARD E, STARK M, SHIRLEY P, et al. Photographic tone reproduction for digital images[J/OL]. ACM Transactions on Graphics, 2002, 21(3):267-276[2015-11-22]. http://dl.acm.org/citation.cfm?doid=566654.566575.DOI:10.1145/566654.566575.

[40] ASHIKHMIN M. A tone mapping algorithm for high contrast images[C/OL]//Proceedings of the 13th Eurographics workshop on Rendering. Pisa: Eurographics Association, 2002:145-156[2015-11-22]. http://citeseer.ist.psu.edu/viewdoc/summary?doi=10.1.1.18.7977.DOI:10.2312/EGWR/EGWR02/145-156.

[41] YEE Y H, PATTANAIK S. Segmentation and adaptive assimilation for detail-preserving display of high-dynamic range images[J/OL]. The Visual Computer, 2003, 19(7):457-466[2015-11-22]. http://link.springer.com/article/10.1007/s00371-003-0211-5.

[42] LISCHINSKI D, FARBMAN Z, UYTTENDAELE M, et al. Interactive local adjustment of tonal values[J/OL]. ACM Transactions on Graphics, 2006, 25(3):646-653[2015-11-22]. http://dl.acm.org/citation.cfm?doid=1141911.1141936.DOI:10.1145/1141911.1141936.

[43] FATTAI R, LISCHINSKI D, WERMAN M. Gradient domain high dynamic range compression[J/OL]. ACM Transactions on Graphics, 2002, 21(3):249-256[2015-11-22]. http://dl.acm.org/citation.cfm?doid=566654.566573.DOI:10.1145/566654.566573.

[44] CHOUDHURY P, TUMBLIN J. The trilateral filter for high contrast images and meshes[C/OL]//Proceedings of the 14th Eurographics Workshop on Rendering Techniques. Leuven :The Eurographics Association, 2003:1-11[2015-11-22]. http://dl.acm.org/citation.cfm?id=1198565.DOI:10.1145/1198555.1198565.

[45] KUANG J, JOHNSON G M, FAIRCHILD M D. iCAM06: A refined image appearance model for HDR image rendering[J/OL]. Journal of Visual Communication & Image Representation, 2007, 18(5): 406-414[2015-11-22]. http://www.sciencedirect.com/science/article/pii/S1047320307000533.DOI:10.1016/j.jvcir.2007.06.003.

[46] POULI T, ARTUSI A, BANTERLE F, et al. Color correction for tone reproduction[C/OL]//21st Color and Imaging Conference. Albuquerque : Society for Imaging Science and Technology , 2013, 2013(1): 215-220. [2015-11-22]. https://www.researchgate.net/publication/257929785_Color_Correction_for_Tone_Reproduction.

[47] AKYUZ A O, FLEMING R, RIECKE B E, et al. Do HDR displays support LDR content?:a psychophysical evaluation[J/OL]. ACM Transactions on Graphics, 2007,26(3):38[2015-11-22]. http://dl.acm.org/citation.cfm?doid=1276377.1276425.DOI:10.1145/1276377.1276425.

[48] LEDDA P, CHALMERS A, TROSCIANKO T, et al. Evaluation of tone mapping operators using a high dynamic range display[J/OL]. ACM Transactions on Graphics, 2005, 24(3):640-648[2015-11-22]. http://dl.acm.org/citation.cfm?doid=1073204.1073242.DOI:10.1145/1073204.1073242.

[49] CAKIK M, WIMMER M, NEUMANN L, et al. Evaluation of HDR tone mapping methods using essential perceptual attributes[J/OL]. Computers & Graphics, 2008, 32(3):330-349[2015-11-22]. http://www.sciencedirect.com/science/article/pii/S0097849308000460.DOI:10.1016/j.cag.2008.04.003.

[50] YOSHIDA A, BLANZ V, MYSZKOWSKI K, et al. Perceptual evaluation of tone mapping operators with real-world scenes[C/OL]//Proceedings of SPIE 5666, Human Vision and Electronic Imaging X. San Jose :SPIE, 2005:192-203[2015-11-22]. http://proceedings.spiedigitallibrary.org/proceeding.aspx?articleid=857715.DOI:10.1117/12.587782.

[51] KANG S B, UYTTENDAELE M, WINDER S, et al. High dynamic range video[J/OL]. ACM Transactions on Graphics, 2003, 22(3):319-325[2015-11-22]. http://dl.acm.org/citation.cfm?doid=882262.882270.DOI:10.1109/MCG.2008.23.

[52] WARD G. Fast, robust image registration for compositing high dynamic range photographs from hand-held exposures[J/OL]. Journal of Graphics Tools, 2003, 8(2):17-30[2015-11-22]. http://www.tandfonline.com/doi/abs/10.1080/10867651.2003.10487583.

[53] GRANADOS M, KIM K I, TOMPKIN J, et al. Automatic noise modeling for ghost-free HDR reconstruction[J/OL]. ACM Transactions on Graphics, 2013, 32(6):201[2015-11-22]. http://dl.acm.org/citation.cfm?doid=2508363.2508410.DOI:10.1145/2508363.2508410.

[54] ZIMMER H, BRUHN A, WEICKERT J. Freehand HDR imaging of moving scenes with simultaneous resolution enhancement[J/OL].Computer Graphics Forum, 2011, 30(2):405-414[2015-11-22]. http://onlinelibrary.wiley.com/doi/10.1111/j.1467-8659.2011.01870.x/full.

[55] JACOBS K, LOSCOS C, WARD G. Automatic high-dynamic range image generation for dynamic scenes[J/OL]. IEEE Computer Graphics and Applications, 2008, 28(2):84-93[2015-11-22]. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=4459868.DOI:10.1109/MCG.2008.23.

[56] SRIKANTHA A, SIDIBE D. Ghost detection and removal for high dynamic range images: Recent advances[J/OL]. Signal Processing: Image Communication, 2012, 27(6):650-662[2015-11-22]. http://www.sciencedirect.com/science/article/pii/S0923596512000306.DOI:10.1016/j.image.2012.02.001.

[57] GROSCH T. Fast and robust high dynamic range image generation with camera and object movement[C/OL]//Proceedings of Vision, Modeling and Visualization. Aachen :IOS Press, 2006:277-284[2015-11-22]. http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.546.8488.

[58] KHAN E A, AKYIIZ A, REINHARD E. Ghost removal in high dynamic range images[C/OL]//IEEE International Conference on Image Processing. Atlanta: IEEE, 2006:2005-2008[2015-11-22]. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=4106952.DOI:10.1109/ICIP.2006.312892.

[59] PEDONE M, HEIKKILA J. Constrain propagation for ghost removal in high dynamic range images[C/OL]//International Conference on Computer Vision Theory and Applications. Funchal: INSTICC, 2008:36-41[2015-11-22]. http://www.ee.oulu.fi/research/imag/mvg/files/pdf/cpgr_paper-1.pdf.

[60] SILK S, LANG J. Fast high dynamic range image deghosting for arbitrary scene motion[C/OL]//Graphics Interface. Toronto: ACM, 2012:85-92[2015-11-22]. http://dl.acm.org/citation.cfm?id=2305291.

[61] LEE D K, PARK R H, CHANG S. Ghost and noise removal in exposure fusion for high dynamic range imaging[J/OL]. International Journal of Computer Graphics & Animation, 2014, 4(4):1-18[2015-11-22]. http://www.airccse.org/journal/ijcga/papers/4414ijcga01.pdf.DOI:10.5121/ijcga.2014.4401.

[62] SIDIBE D, PUECH W, STRAUSS O. Ghost detection and removal in high dynamic range images[C/OL]//2009 17th European Signal Processing Conference. Glasgow: IEEE, 2009:2240-2244[2015-11-22]. http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=7077430&tag=1.

[63] MIN T H, PARK R H, CHANG S. Histogram based ghost removal in high dynamic range images[C/OL]//IEEE International Conference on Multimedia and Expo. New York: IEEE, 2009:530-533[2015-11-22]. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=5202550.DOI:10.1109/ICME.2009.5202550.

[64] GALLO O, GELFAND N, CHEN W-C, et al. Artifact-free high dynamic range imaging[C/OL]//IEEE International Conference on Computational Photography. San Francisco: IEEE, 2009:1-7[2015-11-22][2015-11-22]. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=5559003.

[65] RAMAN S, CHAUDHURI S. Bottom-up segmentation for ghost-free reconstruction of a dynamic scene from multi-exposure images[C/OL]//Proceedings of the Seventh Indian Conference on Computer Vision, Graphics and Image Processing. Chennai: ACM, 2010:56-63[2015-11-22]. http://dl.acm.org/citation.cfm?doid=1924559.1924567.DOI:10.1145/1924559.1924567.

[66] ZHANG W, CHAM W-K. Gradient-directed multiexposure composition[J/OL]. IEEE Transactions on Image Processing, 2012, 21(4):2318-2323[2015-11-22]. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=6030938.DOI:10.1109/TIP.2011.2170079.

[67] PECE F, KAUTZ J. Bitmap movement detection: HDR for dynamic scenes[C/OL]//Proceedings of Conference on Visual Media Production. London: IEEE, 2010:1-8[2015-11-22]. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=5693088.DOI:10.1109/CVMP.2010.8.

[68] MANGIAT S, GIBSON J. High dynamic range video with ghost removal[C/OL]//Proceedings of SPIE 7798, Applications of Digital Image Processing XXXII. San Diego: SPIE, 2010,7798:1-8[2015-11-22]. http://proceedings.spiedigitallibrary.org/proceeding.aspx?articleid=754702.DOI:10.1117/12.862492.

[69] LEE C, LI Y, MONGA V. Ghost-Free High Dynamic Range Imaging via Rank Minimization[J/OL]. IEEE Signal Processing Letters, 2014, 21:1045-1049[2015-11-22]. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=6814772.DOI:10.1109/LSP.2014.2323404.

[70] OH T, LEE J, TAI Y, et al. Robust High Dynamic Range Imaging by Rank Minimization[J/OL]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014，37(6):1219-1232[2015-11-22]. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=6915885.DOI:10.1109/TPAMI.2014.2361338.

[71] HADZIABDIC K K, TELALOVIC J H, MANTIUK R. Comparison of Deghosting Algorithms for Multi-exposure High Dynamic Range Imaging[C/OL]//Proceedings of the 29th Spring Conference on Computer Graphics. Smolenice: ACM, 2013:21-28[2015-11-22]. http://dl.acm.org/citation.cfm?doid=2508244.2508247. DOI:10.1145/2508244.2508247.

[72] ZHAO H, SHI B, FERNANDEZ-CULL C, et al. Unbounded High Dynamic Range Photography Using a Modulo Camera[C/OL]//2015 IEEE International Conference on Computational Photography. Houston: IEEE, 2015: 1-10[2016-03-02].http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=7168378&tag=1.DOI:10.1109/ICCPHOT.2015.7168378.

[73] HAJISHARIF S, KRONANDER J, UNGER J. Adaptive dualISO HDR reconstruction[J/OL]. Eurasip Journal on Image & Video Processing, 2015, 2015(41): 1-13[2016-03-02].http://link.springer.com/article/10.1186/s13640-015-0095-0.DOI: 10.1186/s13640-015-0095-0.

[74] FROEHLICH J, GRANDINETTI S, EBERHARDT B, et al. Creating cinematic wide gamut HDR-video for the evaluation of tone mapping operators and HDR-displays[C/OL]//Proc. of SPIE9023, Digital Photography X. San Francisco: SPIE, 2014: 1-10[2015-11-12].http://proceedings.spiedigitallibrary.org/proceeding.aspx?articleid=1844625.DOI:10.1117/12.2040003.

[責任編輯:陳文學]

Recent research in high dynamic range imaging

BAI Bendu,LIU Jun,FAN Jiulun

(School of Communication and Information Engineering, Xi’an University of Posts and Telecommunication, Xi’an 710121, China)

Abstract:High dynamic range (HDR) imaging can precisely capture the scene irradiance, which has been a hot research topic in image processing and computer graphics for two decades. Based on the main flow of HDR imaging, the recent research and advances in HDR imaging are reviewed in detail, including the methods of capturing HDR scenes, the ways to combine exposure-bracketed images into an HDR image, tone mapping, the challenges and the development trend in HDR imaging.

Keywords:high dynamic range imaging, multiple exposure, radiance, tone mapping, deghosting, single-shot high dynamic range imaging

doi:10.13682/j.issn.2095-6533.2016.03.001

收稿日期：2015-11-30

基金項目：公安部技術研究計劃重點資助項目(2014JSYJA018)

作者簡介：白本督(1972-)，男，博士，副教授，從事圖形圖像處理研究。E-mail：baibendu@xupt.edu.cn 劉 軍(1989-)，男，碩士研究生，研究方向為刑偵圖形處理。E-mail：liujun0422@163.com

中圖分類號：TN911.74

文獻標識碼：A

文章編號：2095-6533(2016)03-0001-14