用于高動態場景圖像序列獲取的自動曝光模型

侯幸林，周培培，趙景波

(1.常州工學院 汽車工程學院，江蘇 常州 213032;2.常州工學院 電氣信息工程學院，江蘇 常州 213032)

0 引言

自然景物的輻射度可以達到10 個數量級，但是傳統的相機只能捕捉大約4 個數量級的動態范圍。高動態范圍(high dynamic range，HDR)場景往往包含多個亮度區域，采用傳統相機單次曝光難以獲得清晰的圖像。最常用的HDR 成像技術是包圍曝光技術［1-2］，它可以捕捉同一場景不同曝光時間的一組多曝光圖像，且獲取包含明暗區域場景細節的最小圖像集對高動態圖像融合［3-4］具有重要意義，圖像集的數量和質量嚴重影響著成像效率和成像效果。

在HDR 成像領域，針對多曝光圖像獲取模型，研究人員提出了多種方法。在Piao 等［5］的方法中，通過改變曝光時間，將圖像的中值調整到系統輸出的中間范圍，從而捕獲到第一個圖像。然后，將曝光不足和曝光過度的像素調整到顯示范圍的中間，捕獲另外兩個圖像，這些圖像被合并在一起以獲得HDR 場景圖像序列。然而，當一個HDR 場景包含3 個以上不同的亮度區域時，該方法將無能為力。斐波納契包圍法是在Gupta 等［6］的研究中提出的，該方法捕獲一系列圖像中的每個曝光時間是前兩次曝光時長的總和，然而，該曝光時間設置方法并無科學依據，不能自適應不同的高動態場景。Hirakawa 等［7］提出了一種基于直方圖的曝光時間選擇方法，可以根據不同的場景自動調整每個鏡頭的曝光時間。Reza 等［8］探索出了一種利用像素聚類和局部熵自動優化選擇曝光時間的方法，三幅不同曝光設置下的圖像被自動捕獲，該方法與Piao 等［5］的方法有相同的局限性。趙金波等［9］提出了一種基于最優曝光的最小包圍曝光集合的獲取方法，該方法在實際多曝光捕獲時，通過計算目標場景最優曝光圖像的動態范圍，以及目標場景最小、最大輻照度，從而獲取最小包圍曝光集合。然而，針對任意的高動態場景，其最優曝光圖像的動態范圍無法精確獲得。近年來，強化學習(reinforcement learning，RL)逐步應用到不同的計算機視覺任務中，如分類［10］、檢測［11］以及圖像獲取［12-13］等方面，Yang 等［14］的目標是建立一個系統，用戶可以通過給預覽圖像打分來自動調整單個圖像的曝光。Yu 等［15］使用RL 學習局部曝光，以便通過分割和精修進行曝光融合。Wang 等［16］的模型傾向于使用RL 通過分析預覽圖像來確定生成HDR 圖像的最佳曝光間隔，并直接從多曝光融合網絡中獲得獎勵，通過聯合訓練，其圖像獲取與圖像融合網絡可以相互受益。該類方法通過自主強化學習，獲得較好的圖像數據，同時得到較好的融合圖像。然而，該類方法對數據集的需求大，需要有圖像融合網絡作為強化學習的評價機制，網絡復雜難以訓練，耗時長，計算量大，對硬件要求高。

綜上，已有模型均為HDR 場景的圖像獲取提供了解決方案，但都受到一定的限制。本文為HDR 場景提供了一種魯棒的多曝光圖像獲取模型，無需數據集與訓練環節，計算量較小，實現簡單方便，對硬件要求低。如圖1 所示，該模型的基本思想是對場景中亮度不同的區域進行不同時長的曝光，通過計算每個不同亮度區域的最佳曝光時間，使HDR 場景高效呈現在一個最小圖像集中。

圖1 本文方法的流程圖

根據不同曝光時長的兩幅初始圖像，構造聯合概率分布函數(probability distribution function，PDF)，分割HDR 場景。已知在一定范圍內，相機響應曲線是近似線性的，因此根據平均梯度和曝光度可計算每個區域的粗略曝光時間。然而，實際的相機響應曲線并不是嚴格線性的，因此，獲得的曝光時間不能滿足最佳圖像區域捕獲的要求。針對該問題，本文提出了一種自動包圍曝光的調整機制，通過分析圖像的統計特性來獲得精確的曝光時間。最后，可以得到一組曝光程度不同的HDR 圖像序列。

1 基于PDF 的場景分割

如圖2 所示，HDR 場景包含天空、城堡、草坪和大門等多個亮度區域，為了給不同亮度區域提供不同的曝光時間，需要把HDR 場景劃分為不同的區域，本文提出了基于PDF 的場景分割方法。

圖2 一組高動態場景的多曝光圖像序列

在不同曝光時間(t1和t2)下拍攝的2 幅場景圖像表示為f1和f2，構成這些圖像的像素的灰度值本質上是隨機變量。聯合分布函數P(f1，f2)是基于2 幅圖像像素的灰度值分布情況來確定的，P(f1，f2)可以用L×L 矩陣來表示，其中L 表示圖像中的灰度級。P(f1，f2)矩陣中的元素分布著一些有用的性質，它顯示了像素灰度值從橫坐標值變為縱坐標值的概率。對于HDR 場景，有多個不同的亮度區域。當曝光時間發生變化時，灰度值的差異也會發生變化，并反映在PDF 中。因此，這些隨機變量的PDF 可用于場景分割。

已知攝像機的相機響應曲線在一定范圍是近似線性的，設T2=2T1，矩陣P(f1，f2)中的非零值將主要分布在直線y=0.5x 的兩側。對于f1中灰度值為I (I＜128)的像素，f2對應的灰度值為2I。這些像素用于確定PDF 的位置(I，2I)。對于f1中灰度I (I＞127)的像素，f2中對應的灰度值將為255，這使得坐標為(I，255)的概率很大。

對于HDR 場景，不同的亮度區域將反映在PDF 中。圖3(a)(b)顯示的2 幅圖像樣本，曝光時間T2=4T1。如圖3(c)為2 幅圖像的聯合概率分布函數，x 和y 分別表示灰度值的變化范圍為0～255，大多數非零值位于直線y=0.25x 附近，非零值集中在2 個區域，主要對應于場景的暗區和亮區。根據非零值的分布可以對場景進行分割。圖3(d)顯示了場景分割的結果，該場景被分為2個亮度區域。每個分割后的場景區域都可以看作多個低動態范圍(low dynamic range，LDR)區域的組合，此時，每個LDR 區域可以用一個合適的曝光時間來拍攝。

圖3 基于聯合概率分布函數(PDF)的場景分割示意圖

2 基于虛擬曝光的粗曝光時間估計

場景分割后，每個LDR 區域需要設置不同的曝光時間，使每個LDR 場景區域都能得到很好的曝光。然而，最佳曝光時間是未知的，為了得到最佳曝光時間，首先通過虛擬曝光來估計粗略曝光時間，然后基于模糊控制對其進行精確調整。

圖像f1和f2不僅可用于HDR 場景的分割，分割出來的區域還可以用來估計粗略的曝光時間。基于近似線性的相機響應曲線，將虛擬曝光定義為參考圖像乘以時間系數的圖像獲取過程。比較圖像f1和f2中特定的亮度區域，將表現較好的作為參考圖像，通過優化圖像最大曝光度以獲得時間系數。對于一個可以分割成2 個亮度區域的HDR 場景，不同的曝光時間使得一個區域在2 幅圖像中的表達不同。

根據曝光度和平均梯度，選擇表現較好的一個作為該區域的虛擬曝光時間。圖像質量可以聯合曝光度和平均梯度來衡量，如式(1)所示。

式中:(i，j)是像素的位置索引，h‖=［10-1］，，σ=0.2，對于每個像素，使用乘法將2 種度量信息融合為標量權重映射函數:

式中:wW和wG用于控制每個度量的影響。在下面的實驗中，設置wW=0.5 和wG=0.5。高動態場景內，某個亮度區域的圖像質量使用以下平均值進行評估:

式中:(i，j)是位于該區域的像素的索引，M 是該區域的總像素數。當圖像區域的平均值位于灰度值范圍的中間時，圖像具有良好的曝光質量。對于選定的參考圖像區域，如果圖像的平均灰度大于128，則選擇較小的時間系數(δ＜1);當平均灰度小于128 時，則選擇較大的時間系數(δ＞1)。通過優化曝光度來選擇最佳時間系數δ:

式中:fR是標準化的參考圖像，δ 是時間系數。通過推導，可以得到:

式中:M 和N 是圖像區域的長度和寬度。顯然，該函數為二次函數，可以通過計算二次函數的極值來得到最優解。

最后，可得到粗曝光時間trough=δopttR，其中tR是參考圖像區域的當前曝光時間。

3 基于模糊控制的曝光時間精調

基于虛擬曝光技術，計算得到場景每個亮度區域的粗曝光時間trough。然后，將曝光時間設置為trough來捕獲一組多曝光圖像。然而，由于相機線性響應曲線和虛擬曝光機制的假設，獲得的曝光時間不是最佳的選擇，針對此問題，提出了一種基于模糊控制的曝光時間精調方法。

為了滿足快速成像的要求，調整算法必須具有快速、魯棒、低復雜度的特點。由于灰度直方圖是對不同灰度級像素數的統計，因此，圖像的曝光度與其直方圖有著直接的關系。圖像直方圖廣泛應用于自動曝光控制，可用于反映光照條件以及圖像是否曝光良好。對于一幅LDR 圖像，如果直方圖位于灰度范圍的中心，則圖像通常曝光良好。當直方圖位于灰度范圍的兩端時，圖像視覺效果較差。本文采用灰度直方圖來調整曝光時間。但是，根據直方圖只能判斷出圖像曝光度為很暗、稍暗、曝光良好、稍亮和很亮5 個模糊概念，無法根據這些語言概念直接得到曝光時間精確調整的數學模型。模糊控制器可以解決這類問題，其輸出可為曝光時間調整的推薦值，使用模糊控制器來精調曝光時間。

模糊控制器的設計包括3 個步驟:模糊邏輯定義、帶規則的模糊推理和去模糊化。第1 步，定義由模糊控制隸屬函數組成的模糊控制基變量。第2 步，構造模糊控制規則并進行模糊規則推理，使規則庫中的規則能夠確定曝光調整時間。第3步，將模糊推理的結果從語言概念轉換為量化的曝光時間。

3.1 模糊化

模糊化需要將量化的輸入值轉換為模糊值。根據圖像區域的直方圖以及直方圖的主域位置，可推斷出圖像是亮的還是暗的。直方圖的主域定義為一個包含30 個連續灰度級且像素數最大的區間。一般來說，如果直方圖的主域位于灰度中心(128 左右)，圖像是可以接受的。當主域位于離中心稍遠的位置時，圖像效果較差。如果主域位于灰度的一端，則圖像是不可接受的。因此，直方圖主域位置可用于模糊控制。此外，曝光過多和曝光不足的像素數目可以指示曝光程度。如果過度曝光的像素數超過總像素的一定比例，則應縮短曝光時間。理想情況下，分割后的場景區域的動態范圍較低，因此曝光過多和曝光不足的像素不會同時出現在分割區域中。針對某個特定的亮度區域，過曝光和欠曝光的像素歸一化差異diff將用于模糊控制，其定義如下:

式中:No和Nu分別表示曝光過多和曝光不足的像素數，N 是該亮度區域的總像素個數，Th 是閾值。

結合灰度直方圖主域位置(條件1)、過曝光和欠曝光的像素歸一化差異diff(條件2)2 個因素來調整曝光時間，并為這2 個條件分別定義語言變量，語言變量是由多個描述不同特征的語言術語組成的。根據條件1，定義5 個語言術語，分別是極左(FL)、稍左(LL)、中間(M)、稍右(LR)和極右(FR)。對于條件2，diff 為正表示曝光時間應縮短，反之則應增加曝光時間。條件2 定義了3個語言術語，分別為負(N)、相等(E)和正(P)。條件1 和條件2 對應的隸屬函數如圖4(a)(b)所示。模糊控制器的作用是調整曝光時間，定義的輸出語言術語是大減(LD)、微減(SD)、不變(U)、微增(SI)和大增(LI)。輸出模糊域定義為［-mTc，mTc］，其中Tc是當前曝光時間，m 是比例因子。實驗中模糊域［-mTc，mTc］應歸一化到［-1，1］。成員函數如圖4(c)所示。利用條件1和條件2 的隸屬函數，可以將精確的輸入轉化為模糊項。如果圖像區域的直方圖主域位于［110，143］(M)且過曝光和欠曝光的像素歸一化差異在［-0.2，0.2］(E)中，則認為該區域曝光良好，當前曝光時間為最佳曝光時間。如果有任意一個變量超出最佳范圍(M 或E)，曝光時間都將被調整。

圖4 2 個條件變量與1 個輸出變量的隸屬函數

3.2 模糊規則推理

模糊推理系統由一組模糊規則和模糊推理機制組成。模糊規則是根據專家經驗定義的語言變量之間的關系，使用“如果……那么……”的規則。如表1 所示，如果條件1 直方圖主域位置為FL，條件2 過曝光和欠曝光的像素歸一化差異為E，則輸出曝光時間調整為LI。

表1 模糊控制器模糊規則

在該模糊邏輯系統中，輸入和輸出語言變量的真實度在0 到1 之間。“0”表示完全不真實，“1”表示完全正確。這樣，一個清晰的輸入可以被翻譯成一個語言變量?！叭绻敲础币巹t可以產生模糊邏輯推理，將輸入語言變量與輸出語言變量聯系起來。

模糊邏輯推理是模糊控制器中模糊規則的計算。聚合是模糊推理的第1 步，用于確定輸入語言變量的實現程度。這里使用模糊算子來綜合各種先決條件的有效程度。合成是第2 步，它利用條件的有效性來確定結果的有效性，并生成最終的模糊輸出語言項。

3.3 去模糊化

模糊化是利用隸屬函數將模糊輸出的語言項轉換為清晰的輸出值。本文采用了區域中心去模糊化方法，清晰值的位置將輸出區域均勻地分成2部分。該規則去模糊化的穩態性能較好，且能盡量減少系統振蕩。

實驗中，當輸出的絕對值小于0.05 時，對應的曝光時間是最佳的。對場景的每個亮度區域重復這一曝光時間調整過程，可為每個亮度區域獲取最優的曝光時間，最終，為整個高動態場景獲取一個多曝光圖像序列。

4 實驗及結果分析

為了驗證所提出方法的有效性，在MATLAB平臺上將其應用于Basler 相機。對于HDR 場景，首先用曝光時間T(T∈［10 ms，200 ms］)進行場景分割，然后進行虛擬曝光，得到每個亮度區域的粗曝光時間，最后利用模糊控制器得到精確的曝光時間。實驗拍攝的場景中，天空比建筑物明亮得多，是典型的HDR 場景。場景分割的曝光時間分別設置為15 ms 和30 ms，采用本文提出的聯合概率分布函數場景分割方法，將該場景分割成了2個不同的區域，分割結果如圖5(a)所示，其中亮區為天空，暗區為建筑，與預期效果一致。然后進行虛擬曝光和模糊控制，得到曝光良好的圖像，如圖5(b)(c)所示。

如圖5(b)所示，當建筑物曝光良好時，天空區域就會過度曝光。相反，當天空曝光良好時，建筑區域出現欠曝光現象。對于“建筑”區域，虛擬曝光獲得的曝光時間正好是最佳曝光時間。對于“天空”區域，經過5 次調整后得到最佳曝光時間。在這個過程中，總共進行了9 次曝光，最終獲得2幅圖像。如圖5 所示，建筑物和天空的細節在2幅圖像中得到了很好的表達。

圖5 本文模型在HDR 場景中的拍攝圖像

為了證明本方法的優勢，選擇同一個HDR 場景，與已有性能較好的文獻［5］的方法和文獻［8］的方法進行對比。在文獻［5］的方法中，通過改變曝光時間來將曝光不足、曝光過度和中值像素調整到系統輸出的中間范圍，從而獲取3 幅圖像，如圖6(a)所示，很明顯，第1 張照片曝光過度，基本沒有有用信息。

圖6 本文方法與已有方法獲取的圖像序列

實際上，如果場景中存在亮度高或低的小區域，則會嚴重影響成像效果。在文獻［8］的方法中，通過聚類將場景分割成多個區域，然后通過改變曝光時間來獲取圖像，直到圖像區域信息熵調整到最大，如圖6(b)所示，右側和左下方2 個亮度區域在2 幅圖中差別甚微，可見該組圖像序列存在嚴重的信息冗余。本文方法的結果如圖6(c)所示，在不同的曝光設置下，3 個亮度區域均得到了很好地表達，與實際拍攝場景下人眼的視覺效果更相近。

在圖6 的場景下，每種圖像獲取方法捕獲了3幅圖像。在HDR 成像中，圖像序列將被融合成1幅高動態場景圖像，通過融合圖像的質量可以更好地反映曝光方法的有效性。這里，采用了3 種圖像融合方法［3，17-18］，對獲取的圖像序列進行融合。圖7 第1 行為基于文獻［5］獲取的圖像序列采用3 種不同融合方法得到的融合圖像，圖7 第2行為基于文獻［8］獲取的圖像序列得到的3 幅融合圖像，圖7 第3 行是采用本文方法所獲取圖像的序列得到的融合圖像?？梢钥闯?，采用文獻［17］的融合方法時，文獻［5］和［8］方法的融合圖像細節缺失嚴重，且圖像的對比度較差，本文方法圖像序列融合后的效果明顯更好;采用文獻［18］的融合方法時，文獻［5］和［8］方法的圖像均出現了明顯的偽影，本文方法的圖像序列融合后偽影現象明顯削弱;采用文獻［3］的融合方法時，文獻［5］方法的圖像整體亮度偏低，文獻［8］方法和本文方法的圖像融合效果較好?？傮w來看，通過3種不同的融合方法，采用本文方法獲取的圖像序列取得的融合圖像結果包含了更多的細節，圖像的對比度更好，沒有偽影出現，整體的視覺效果更舒適?？梢姡疚奶岢龅母邉討B場景圖像序列獲取方法可視性更好。

圖7 不同方法獲取的圖像序列在不同融合方法下的圖像

為了進一步表示本文方法的高動態場景圖像序列獲取效果，在其他HDR 場景上使用了該方法。圖8(a)為場景區域分割結果，圖8(b)(c)是每個區域的曝光結果，圖8(d)為采用文獻［17］的融合算法得到的高動態場景的融合圖像，在該圖像中，場景中的暗區和亮區都得到了很好地表達。

圖8 實際高動態場景中的多曝光圖像序列

5 結論

本文算法通過精確控制算法，自動調整曝光時間，更具目標性，能夠更快速地獲取所需圖像，從而縮短了圖像采集時間，降低了因用戶抖動產生鬼影的概率，因此，與已有的圖像獲取方式相比具有費時少的優勢;本文算法獲取較少的圖像，依然可以表征同一個高動態范圍的目標區域，從源頭降低了曝光圖像的數量，為后續的高動態圖像融合操作等提供了更高效的源數據，因此，本文算法在圖像獲取效率上具有優勢。

為了獲得適合不同亮度區域的曝光時間，提出使用聯合概率分布函數將HDR 場景分割成多個LDR 區域，對每個LDR 場景，采用虛擬曝光方法得到粗曝光時間。為了獲得最佳曝光時間，提出了基于模糊控制的曝光時間精調機制，獲取一個多曝光的HDR 場景圖像序列。實驗結果表明了這種曝光方法的有效性。然而，這種曝光方法只能應用于相對靜態的場景。當運動物體出現在場景中時，該方法可能會失效。因此，未來工作中將繼續研究動態場景的多曝光控制方法。