基于彈載相機的快速自動曝光算法設計

田宗浩，劉 楨，張曉龍

(陸軍炮兵防空兵學院，合肥 230031)

0 引言

圖像制導彈[1]是目前國內制導類彈藥的一個重要類別，通過接受目標反射或輻射的可見光信息形成圖像，實現目標檢測、定位和跟蹤。彈載相機成像初期目標像素點較少、場景動態范圍大，光照變化情況較復雜，在高速飛行時伴有劇烈抖動，在復雜的地理環境和惡劣的光照條件下，目標成像容易出現過曝、欠曝等現象，損失大量的圖像信息；另外，彈載相機空中完全自主控制，并高速運動，成像場景稍縱即逝，空間成像任務不可逆轉，快速、準確的調整相機的曝光參數對于成像效果極其重要。

結合彈載相機的成像環境和任務特點，為后端目標識別、跟蹤提供高質量、豐富的圖像信息，需要對彈載相機進行快速的自動曝光控制，更好捕獲目標的紋理特征。

1 系統研究關鍵技術概述

圖像采集是將物體反射的光信號轉換為電信號[2]，光信號的強弱對成像的質量至關重要。戰場環境復雜，作戰任務多樣，彈載相機經常在順光或者逆光的情景下工作，亮度動態范圍大，只有對彈載相機進行快速、準確的曝光控制，才能得到高質量的彈載圖像。

1.1 自動曝光算法分析

自動曝光算法的核心問題在于當前圖像亮度與理想亮度的關系，并通過負反饋方式不斷調節曝光參數。目前，自動曝光算法研究主要集中在平均亮度法[3-5]、分區權重均值法[6-8]、亮度直方圖法[9-10]、圖像信息熵算法[11-14]以及神經網絡學習算法[15]等，關鍵技術難點在于亮度指標的確定和曝光參數的控制方式。

平均亮度法以圖像的全局平均亮度和“中灰”進行曝光控制，在目標和背景對比度較低時效果良好，而逆光和正面強光時效果一般。分區權重均值法是將圖像劃分為若干區域，按照各區域對平均亮度的重要程度賦予權重參數，文獻[8]提出基于目標主體搜索分區方法，保證目標區域曝光正常，但目標搜索過程復雜，當目標不唯一或者沒有目標時，曝光控制結果往往差強人意。文獻[12]利用圖像熵的性質搜索圖像的感興趣區域，并依據熵值大小劃分區域、設定權重，但是熵本身靈敏度不高，且容易出現曝光震蕩現象。文獻[14]需要統計大量圖像亮度與曝光參數的數據樣本，利用神經網絡學習圖像亮度與曝光參數的對應關系。

自動曝光算法的另一個重要研究內容是曝光參數控制，合適的調整方式能快速、準確計算出曝光參數，解決曝光調整緩慢和曝光震蕩等問題。目前，自動曝光參數控制過程可以總結為直接設置法和迭代逼近法[16]兩種方式。其中，直接設置法需通過大量的實驗確定圖像亮度信息和曝光參數之間的一一對應關系，建立曝光參數和圖像亮度之間的函數關系或者查找表，通過當前圖像的亮度值，確定唯一的曝光參數。該方法需要大量的統計實驗，算法執行速度快，但是圖像亮度和曝光時間、增益之間的復合關系復雜，統計實驗耗時耗力，并且函數關系與圖像傳感器有關，算法泛化性低。迭代逼近法依據圖像亮度與理想亮度指標之間的差值不斷調整曝光參數，其實質為一個負反饋控制過程，通過設定步長ΔT修正曝光參數，不斷逼近圖像的理想亮度，步長過小，曝光調節緩慢，步長過大，在后期曝光調整中容易出現曝光震蕩，影響視覺效果，例如固定步長法、動態步長法[8]、二分法[15]等，如圖1所示。

圖1 迭代逼近法求曝光時間

1.2 彈載相機自動曝光算法需求分析

圖像制導彈的命中精度和彈載相機的成像質量密不可分，當外界環境亮度的動態范圍遠大于彈載相機成像亮度的動態范圍，拍照過程中容易產生過曝或欠曝現象，導致圖像信息丟失。其中，曝光過度對成像質量造成的影響是不可逆轉的，很難通過后期算法處理對過曝像素進行恢復，而曝光不足帶來的信息丟失可以通過后期圖像增強算法進行部分恢復。為此，針對彈載相機復雜的工作環境以及空間拍攝任務不可逆特點，采集到圖像要盡量避免過曝，或將過曝比例限制在一個合理的范圍區間，減少過曝導致的圖像信息永久性缺失。

圖像制導彈藥體積小、過載大，為此彈載相機采用定焦、定光圈鏡頭，影響圖像亮度的參數主要為曝光時間和增益，圖2和圖3分別為不同曝光時間和增益時相機的成像情況。

圖2 不同曝光時間圖像對比

圖2為同一場景、不同曝光時間的圖像，從圖中看出，降低曝光時間會使圖像的亮度整體下降如綠色方框所示，部分過曝像素淹沒的細節特征被重現如紅色方框所示。

圖3為最大曝光時間仍不能達到理想亮度情況下，設定不同增益的圖像，從中可以看出，增益增大的同時，圖像亮度整體增加，同時圖像中的噪聲信號也被放大。

圖3 不同增益圖像對比

通過對圖2和圖3的分析，為使圖像獲得理想亮度，需要協調控制相機的曝光時間與增益。傳統的自動曝光算法很難適應彈載相機的應用場景。為此，通過分析圖像亮度均值與曝光時間和增益的對應關系，優化固定分區自動曝光算法，并依據彈載相機工作光照條件，細化過曝狀態調參過程，合理控制曝光時間和增益調整步長，使彈載相機快速獲得最佳的曝光成像效果。

2 彈載相機自動曝光算法設計

與傳統自動曝光控制算法類似，彈載相機自動曝光算法也由亮度統計模塊和曝光控制模塊構成，通過調參達到理想亮度，如圖4所示。亮度統計模塊用來統計當前圖像的亮度信息，與預設的參考亮度信息Yref進行比較，按照一定的曝光參數調整規則計算出下一幀圖像的曝光時間和增益值。

圖4 彈載相機自動曝光控制系統

2.1 優化加權固定分區的亮度統計模塊設計

圖像亮度是曝光控制的重要參數，受彈丸高速運動和旋轉影響，目標在視場中的位置、尺度以及光照劇烈變化，在計算圖像整體亮度時應充分考慮像素的位置影響因素，使圖像亮度均值更具針對性，提高自動曝光算法在特殊光照下的適應性。

將整幅圖像劃分為M×N塊，M和N代表對成像場景的細分程度。通過分析每塊區域的亮度均值，確定當前圖像的曝光狀態，有效降低離散亮度或暗點對計算結果的影響，特別是離散噪點的波動影響，突出區域集中的亮度值，提高計算結果的平穩度，如圖5所示。

圖5 圖像固定分區示意圖

圖像分塊處理后，對每塊區域賦予不同的權重，將圖像亮度信息與像素位置進行關聯。對于圖像制導彈而言，目標在視場中心出現的概率遠大于邊緣，結合人眼視覺感知機制以及高斯分布在自然科學與行為科學中處理量化隨機問題的優勢，用二維高斯函數作為分區后圖像各個子塊的權重，根據各個子塊的亮度均值Yi,j及相應權重計算圖像整體亮度均值Ycurr。

(1)

(2)

式中:(i,j)代表分區后子塊的位置;(μ1,μ2)為中心子塊位置;σ為高斯分布標準差。

基于上述固定分區圖像亮度統計模塊設計，得到圖像各子塊亮度值，并通過分析獲得后續曝光控制需要的亮度均值、最大亮度值以及圖像過曝/欠曝比例，其算法流程如圖6所示。

圖6 固定分區的亮度統計模塊算法流程圖

2.2 曝光參數控制模塊設計

結合圖像傳感器本身的電氣特性，彈載相機在不同曝光狀態下各曝光參數與圖像亮度存在的關系，將圖像亮度統計模塊傳入參數按照一定的控制準則調整曝光參數。

2.2.1 曝光參數與亮度均值之間的關系

曝光時間和增益是影響彈載相機圖像亮度的主要參數，不過曝情況下，圖像亮度和曝光時間存在線性關系[10-13]，如式(3)所示。

(3)

式中:Ycurr和Tcurr為當前圖像亮度和曝光時間;Ytarg和Ttarg為目標圖像亮度和曝光時間。

當最大曝光時間仍不能滿足圖像理想亮度的要求時，改變增益會整體提升圖像的亮度。在圖像領域，增益λ用來表示兩個亮度之間相對大小的關系，其在圖像領域的表達式可以簡化為:

(4)

式中，Y1和Y2為前后兩幀圖像亮度值。

根據增益信號放大器的工作機理及所選用的圖像傳感器數據，增益和寄存器數值之間存在圖7所示的對應關系。

圖7 寄存器值和相機增益之間對應關系圖

圖7可以分析出，寄存器的值和增益之間存在線性關系，如式(5)所示。

λ=0.3×x

(5)

式中x為寄存器的值。利用式(4)和式(5)可以確定改變寄存器值后圖像達到的理論亮度值為：

(6)

式中:x1和x2為前后兩幀圖像的寄存器值;Y1和Y2為前后兩幀圖像的亮度值。

由此，依據當前相機的增益參數AGCcurr和圖像亮度Ycurr，利用式(4)～式(6)推導出達到理想亮度Ytarg時相機增益的設置值AGCtarg：

(7)

2.2.2 過曝狀態統計分析

依據過曝像素比例ξ將過曝狀態分為5個等級，即輕微過曝、一般過曝、強過曝、較強過曝和嚴重過曝,如圖8所示，根據過曝狀態決定曝光參數調整的步長。

圖8 過曝等級劃分

當ξ<0.05時，為輕微過曝狀態，即整幅圖像可允許的過曝上限；當ξ≥0.05時，圖像過曝，此時圖像亮度值與曝光參數之間關系不確定，不能定量調整曝光參數至圖像不過曝狀態。為此，利用燈箱對各過曝狀態與曝光參數之間的關系進行統計分析，先將圖像亮度調整至所允許的過曝狀態，再利用曝光參數與圖像亮度之間的定量關系進行準確調節，確定曝光參數調整趨勢，實現曝光參數的精細化控制。

表1 過曝比例與增益變化率調整表

圖9 不同過曝狀態增益調整變化量

當AGC=0時，通過調整曝光時間控制圖像亮度，統計分析了同一個過曝狀態下，不同像素過曝比例ξ與曝光時間調整系數ηT的關系如表2所示。

表2 過曝比例與曝光時間調整系數表

利用表2擬合得到ηT與ξ之間關系，如式(8)和圖10所示。

ηT=-0.588×ξ+0.97

(8)

圖10 過曝比例與曝光時間調整圖

由此根據當前圖像過曝像素的比例ξ決定下一幀圖像的曝光時間T為：

T=ηT×Tcurr

(9)

另外，不同光照條件下，圖像過曝成像特點不同，利用光源模擬了順光、逆光條件下相機的成像情況。通過統計分析多張圖像的直方圖信息可以發現，順光條件下，圖像過曝會導致圖像亮度整體偏亮，如圖11所示；逆光條件下，圖像明暗差異較大，在直方圖統計中出現亮暗兩個峰值區域，如圖12所示。

圖11 順光條件下亮度直方圖

圖12 逆光條件下亮度直方圖

通過對順光、逆光曝光過度圖像的直方圖信息統計分析得出，降低曝光參數會使圖像整體變暗，因曝光過度而淹沒的圖像信息被重現。但在逆光條件下，圖像亮暗區域兩極分化，降低曝光參數會使亮區域變暗，暗區域更暗，過多降低曝光并不能實現圖像包含信息最大化。

結合順光和逆光條件下圖像亮度直方圖的特點，充分分析圖像各子塊亮度均值分布情況：

1)順光條件下，圖像的整體亮度均值偏大，即：

Ycurr>Ytarg

(10)

2)逆光條件下，由于亮暗區域兩級分化，圖像亮度均值附近δ鄰域內的像素比例很低，出現波谷，即：

F″(U(Yavg,δ))=0

(11)

其中，F″(x)為亮度直方圖擬合函數二階導數,U(Yavg,δ)為圖像亮度均值Yavg的δ領域。為此，順光條件下，用圖像的整體亮度均值評估圖像曝光；而逆光條件下，由于亮暗兩級分化，為防止曝光參數調整損失更多的暗區域紋理細節，以暗區域亮度均值為標準，將暗區域曝光調整至合適范圍。

2.2.3 曝光參數控制準則

圖像亮度與曝光時間、增益之間的關系明確后，需結合彈載相機的工作環境特點進行曝光控制算法設計，即控制算法要快速、準確定位到理想圖像亮度，減少曝光震蕩現象。

結合彈載相機成像的特殊要求，曝光控制算法采用“先曝光時間、后增益調整”的控制策略。即在最大曝光時間內能達到圖像理想亮度的情況下，優先調整曝光時間；當最大曝光時間仍不能達到圖像理想亮度的情況下，調整增益值提升圖像亮度。

為此，依據對當前相機曝光狀態的分析，將曝光參數調整分為過曝調整和未過曝調整，利用當前圖像的亮度信息和理想亮度值進行比較，進行曝光時間和增益控制，其整個曝光參數調整的算法流程如圖13所示。

圖13 曝光參數調整算法流程圖

圖13給出了曝光參數控制的基本流程，圖像過曝比例確定當前相機的成像效果，當ξ>0.05時，判定當前成像處于過曝狀態，相反則處于未過曝狀態。

過曝狀態下，依據各子塊亮度均值的分布情況確定當前光照條件，利用當前圖像的過曝比例對曝光參數進行調整，使下一幀圖像快速調整至未過曝狀態，減少曝光參數一次性調整過度造成圖像亮度急劇下降現象。

通過對過曝情況統計分析，當曝光時間未達到曝光時間最大值時，即Tcurr≤Tmax，利用當前圖像亮度均值以及其δ鄰域內像素比例確定當前的光照條件：

當Ycurr>Ytarg時，順光，圖像整體過亮，利用式(8)和式(9)確定下一幀圖像的曝光時間。

當U(Yavg,δ)<0.1時，逆光，圖像亮暗區域兩極分化，利用暗區域的亮度均值Ycurr_black與整幅圖像的亮度均值Ycurr確定曝光時間T：

(12)

同理，當增益值AGCcurr>0時，判斷當前圖像的光照條件：

當Ycurr>Ytarg時，順光，圖像整體過亮，依據當前圖像過曝比例確定過曝狀態，并以此確定增益調整步長：

(13)

當U(Yavg,δ)<0.1時，逆光，圖像亮暗區域兩極分化，利用暗區域的亮度均值Ycurr_black與整幅圖像的亮度均值Ycurr確定增益值AGC。

(14)

圖像處于未過曝狀態時，圖像包含的亮度信息都是有效的，為增加曝光參數的適應范圍，減少曝光震蕩現象，該算法設定多個亮度閾值控制曝光參數，并將圖像分為過暗、過亮以及正常3種狀態，有針對性調整相機的曝光參數，使圖像達到理想亮度范圍。

以理想亮度Ytarg為中心，設定δ鄰域，當YcurrYtarg+δ時，圖像過亮，需減小曝光時間和增益；當Ycurr在Ytarg的δ鄰域內，則需要依據當前圖像的亮度最大值調整曝光參數。另外，曝光參數調整過程中，為防止亮度最大值過曝，設定理想亮度最大值Ymax以及其上限Ymax_H，使得圖像曝光參數調整過程中圖像亮度始終保持不過曝。

當Ycurr

(15)

利用當前圖像的亮度均值Ycurr和最大亮度值Ycurr_max計算出對應的增益調整參數AGCtarg和AGCmax，將其中的最小值作為最終的增益調整參數，防止增益調整過大導致圖像過曝。

若Tcurr≤Tmax，優先調整曝光時間增加圖像亮度，并且控制曝光時間為亮度均值和亮度最大值求得曝光時間的最小值，控制整體曝光不過曝，其調整過程滿足式(16)：

(16)

當曝光時間達到Tmax后仍不能滿足圖像亮度要求情況下，適當增加增益值提高圖像亮度，依據式(3)求得曝光時間為Tmax時的圖像亮度均值Ycalc_avg和最大值Ycalc_max，在此基礎上，可以利用式(15)求得增益調整值。

當Ycurr>Ytarg-δ時，圖像過亮，同理按照圖像過暗的曝光參數調節過程對其曝光時間和增益進行調節，具體過程見圖13，這里不再贅述。

當Ycurr∈[Ytarg-δ,Ytarg+δ]時，利用當前圖像的亮度最大值Ycurr_max與理想亮度最大值Ymax_H調整曝光參數。若Ycurr_max≤Ymax_H，不需要調整當前的曝光參數；若Ymax_H≤Ycurr_max≤Ymax，由于當前圖像并未過曝，則需要按照曝光時間或者增益模式下的調節方式對當前的曝光參數進行微調，調節過程見圖13。

3 彈載相機自動曝光控制效果評估

為驗證該系統自動曝光算法的效果，在不同光照環境進行測試試驗，并且利用無人機搭載相機模擬彈丸空中飛行進行動態試驗，以此評估曝光參數是否調整到適當范圍。

3.1 靜態測試

為驗證本算法對于不同光照環境的適應性，利用簡易燈箱和光源模擬外界光照環境，如圖14所示。調整光源亮度至不同亮度等級，仿真外界強光、弱光以及正常光照等成像條件，統計不同亮度下的圖像亮度均值，其結果如圖15所示。

圖14 靜態測試場景

圖15 不同光照亮度均值變化結果

圖15為光源從暗到亮調整過程中圖像亮度均值的變化情況，從中可以分析出，在自動曝光算法調控下，圖像的亮度均值始終在理想亮度的上下限范圍內，驗證了該算法對不同光照環境的適應性。

為驗證算法對不同光照環境變化的響應速度，模擬最惡劣的光照情況，即相機從最暗(或最亮)光照調整到不同亮度情況下需要調整的幀數，以此衡量算法的相應速度。為此，將光源亮度劃分為10個等級，從1到10亮度依次增大，統計相機調整到理想亮度需要調節的幀數，其結果如表3所示。

表3 相機自動曝光控制響應速度表

表3可以看出，極端情況下相機曝光參數調整范圍在2至5幀時間內，滿足彈載相機自動曝光算法對不同光照環境適應性和實時性要求。

3.2 無人機掛載測試

為進一步驗證自動曝光算法在真實環境下的適應性，利用無人機搭載相機進行動態模擬，利用文獻[6]和文中算法對相機在復雜光照條件下進行自動曝光控制，結果如圖16。

圖16 不同光照條件下兩種算法曝光控制效果對比圖

可以看出，文中提出的基于高斯權重的固定分區亮度統計可以保證圖像中心區域亮度最大，并且圖像整體亮度均值處于理想范圍。另外，文中算法在順光和逆光條件下適應性較好，特別對于逆光過曝場景，圖像以暗區域亮度信息為基準，保證圖像暗區域達到合適曝光，展現更多的紋理細節，再次驗證了算法控制過程的有效性。

4 結論

為實現彈載相機在寬動態條件下清晰成像，建立了基于高斯權重的固定分區自動曝光控制算法，總結出彈載相機在不同曝光狀態下的曝光參數調整規則，實現曝光參數的快速、準確計算。實驗結果表明，文中算法對于不同光照環境的適應性較強，在順光和逆光等極端惡劣光照條件下可在5幀內達到合適曝光，減少曝光震蕩，使彈載圖像展現更豐富的紋理特征。