基于序列光圈拍攝的逆光圖像重建方法

李 響，馬榮貴，何逸煦

(長(zhǎng)安大學(xué) 信息學(xué)院，陜西 西安 710064)

0 引 言

在逆光條件下[1]，人眼所看到的事物與照相機(jī)所呈現(xiàn)的圖像差別巨大。隨著照相機(jī)控制快門優(yōu)先將光圈由小逐漸調(diào)大時(shí)，照相機(jī)的進(jìn)光量也逐漸增大，圖像從前景灰暗模糊逐漸轉(zhuǎn)化為背景過亮過曝，但轉(zhuǎn)化過程中很難出現(xiàn)前景與背景亮度同時(shí)適中的情況。而逆光圖像因獲取的部分圖像亮度、對(duì)比度、可視質(zhì)量降低，影響了對(duì)細(xì)節(jié)信息的讀取而造成圖像難以使用，為工程的后續(xù)研究帶來難度。因此，需要一種逆光圖像的重建技術(shù)改善逆光圖像難以使用的情況。

常見的逆光圖像重建技術(shù)[2-3]可以分為基于灰度值變換算法[4]和基于Retinex圖像增強(qiáng)算法[5]。基于灰度變換的直方圖均衡化[6-7]方法將灰度值高度集中在過亮或過暗區(qū)域的逆光圖像的灰度級(jí)分布調(diào)整為近似于均勻分布，以抵消一部分圖像逆光效果，但該方法易使圖像大面積失真。而圖像的直方圖匹配方法[8-9]通過將逆光圖像直方圖控制成為某個(gè)特定需要的形狀以減少失真所帶來的負(fù)面影響，但該方法需要不停調(diào)整圖像灰度直方圖，操作復(fù)雜費(fèi)時(shí)且圖像還原度不高。Retinex算法將逆光圖像S分解為入射圖像L和反射圖像R，通過去除逆光圖像中入射光照L保留反射光照R以消除逆光對(duì)于圖像帶來的影響。SSR算法[10]假設(shè)入射光L具有緩變平滑性，但是逆光圖像的入射光通常難以達(dá)到緩慢平滑變化，因此SSR算法會(huì)在改善的暗部輪廓處出現(xiàn)光暈現(xiàn)象而影響圖像觀感。MSR算法[11]通過聯(lián)合多尺度的濾波結(jié)果來補(bǔ)償光暈現(xiàn)象。但處理后存在陰影邊界突兀、部分顏色失真等缺陷。MSRCR算法[12-13]通過加入色彩恢復(fù)因子消除了圖像色彩失真的缺陷。但MSRCR方法在圖像RGB三個(gè)通道上分別引入不同色彩因子值而使圖像計(jì)算量大大增加。為提高逆光圖像還原方法的運(yùn)行速度，田文啟等人提出一種基于閾值分割的自適應(yīng)的逆光恢復(fù)算法[14]。該算法先對(duì)逆光圖像進(jìn)行分割處理，將分割后的圖像分為逆光區(qū)與非逆光區(qū)。對(duì)逆光區(qū)進(jìn)行Retinex算法進(jìn)行亮度變換，對(duì)非逆光區(qū)進(jìn)行亮度提升，將兩類區(qū)域進(jìn)行融合輸出圖像。

在上述提到的多種方法中，都只能對(duì)前景陰暗模糊背景正常的逆光圖像進(jìn)行增強(qiáng)處理而無法對(duì)前景正常背景過曝的逆光圖像進(jìn)行較好的還原，且處理效果與失真程度都有不同程度的不可控性。基于此提出一種基于光圈序列的逆光圖像還原方法。

1 改進(jìn)的逆光圖像重建方法

改進(jìn)的逆光圖像重建方法主要采用以多張圖片交叉融合的方式，實(shí)現(xiàn)更易于控制的效果。具體操作流程如圖1所示。

1.1 實(shí)驗(yàn)圖像分類

當(dāng)拍攝主體位于照相機(jī)與照相機(jī)之間時(shí)，照相機(jī)所呈現(xiàn)的圖像前景反射光較弱，背景反射光較強(qiáng)，導(dǎo)致圖像背景亮度遠(yuǎn)高于前景形成逆光圖像。逆光圖像由于背景光強(qiáng)造成灰度直方圖為雙峰圖像。前景可用圖像由于背景過度曝光，其灰度直方圖的右峰居于220到255之間。當(dāng)峰2居于該峰1右側(cè)且遠(yuǎn)高于峰1時(shí)為前景可用圖片，代表背景過曝；當(dāng)峰2居于該峰1左側(cè)且略低于峰1時(shí)為背景可用圖片，代表前景陰暗。基于此規(guī)則將圖像分為前景圖像與背景圖像。

該文選擇Canon EOS R照相機(jī)在同一位置同一角度對(duì)逆光下物件進(jìn)行拍攝。將光圈從小到大連續(xù)調(diào)節(jié)成像并標(biāo)號(hào)，其具體信息如表1所示，成像如圖2所示，其中圖2下半部分展示了編號(hào)4與編號(hào)9實(shí)驗(yàn)圖像的灰度直方圖。

圖1 逆光圖像方法流程

表1 實(shí)驗(yàn)圖像基礎(chǔ)信息

由逆光圖像灰度直方圖特性可知，本組實(shí)驗(yàn)圖像均屬于灰度直方圖。通過光圈由小向大調(diào)節(jié)，實(shí)驗(yàn)圖像從前景正常背景曝光逐步轉(zhuǎn)化到背景正常前景陰暗。

1.2 用于處理光照不均圖像的改進(jìn)分割算法

文獻(xiàn)[14]論證了使用Otsu閾值分割算法處理逆光圖像的可行性。Otsu算法的假設(shè)TH是存在閾值，將圖像所有像素分為兩類，類(C1TH)的概率為p2，均值為m2。圖像全局均值為mG，則有：

(1)

圖像的類間方差表達(dá)式有：

圖2 前景圖像、背景圖像以及編號(hào)4(左)與編號(hào)9(右)的灰度直方圖

σ2=p1(m1-mG)2+p2(m2-mG)2

(2)

將兩式整理有：

σ2=p1p2(m1-m2)2

(3)

(4)

計(jì)算整幅圖像的前景均值與背景均值：

(5)

將平均值相加avg=avg1+avg2。TH從灰度級(jí)st遍歷到nd，當(dāng)avg最大時(shí)，TH即為分割閾值。圖3為用Otsu算法和改進(jìn)閾值算法分割后的結(jié)果。

圖3 Otsu算法與改進(jìn)閾值算法對(duì)比

通過圖3可以看出，改進(jìn)閾值算法相較于Otsu算法而言，減小了前景中某部分灰度值過高而被當(dāng)作背景誤分的情況，使前景分割的更完整。

1.3 基于輪廓的圖像拼接方法

受照相機(jī)抖動(dòng)、參照物位移、光源不穩(wěn)定等諸多因素，照相機(jī)難以保證呈現(xiàn)的每張照片前景與背景的相對(duì)位置的統(tǒng)一，可能會(huì)出現(xiàn)前景參照物體與背景相對(duì)位置的偏移，因此需要圖像拼接技術(shù)減少前景與背景位置偏移所帶來的干擾[16]。本實(shí)驗(yàn)中照相機(jī)在確定光圈后的拍照過程中僅改變了光圈的大小，而對(duì)于前景參照物體，相機(jī)位置，背景位置等一概不做更改。因此，對(duì)于任意一組前景背景圖像所分割出的輪廓邊界形狀是完全一樣或者高度相似的，可以使用基于輪廓的圖像配準(zhǔn)方法將分割后的前景與背景進(jìn)行圖像拼接。以編號(hào)1前景圖像和編號(hào)7背景圖像進(jìn)行拼接為例：首先將前景圖像與背景圖像的二值化模板進(jìn)行邊界提取。結(jié)果如圖4上半部分所示，在前景邊界圖像中提取長(zhǎng)寬比為3∶2的特征區(qū)域。文中特征區(qū)域選定為150*100像素的前景帽子部分。將特征區(qū)域內(nèi)所有輪廓點(diǎn)坐標(biāo)進(jìn)行提取并使用多項(xiàng)式逼近法進(jìn)行曲線擬合得到擬合曲線a擬合結(jié)果如圖4中部所示。

圖4 圖像邊界提取及特征區(qū)域曲線擬合

在圖4中擬合出的曲線結(jié)果為：

(2.551·10-8x5-9.255·10-6x4+1.194·10-3x3+7.836·10-2x2+3.357x-33.11)

用相同大小的特征框遍歷背景邊界圖像，可以得到多條擬合曲線bn。將多條曲線bn與曲線a進(jìn)行相似度對(duì)比。其中，相似度對(duì)比公式為：

(6)

由公式可知，值最小的區(qū)域即為待拼接區(qū)域。該文截取匹配過程中三處有代表性背景框圖b1、b2、b3，如圖4下半部分所示，并給出各擬合曲線與特征區(qū)域擬合曲線a的相似度，其中b1的擬合曲線為：

(5.19·10-9x5-2.453·10-62 1 5x4+3.683·10-4x3-3.408·10-2x3+2.426x-14.83)

曲線擬合度為152.718；b2的擬合曲線為：

(-1.152·10-2x2+2.555x-26.47)

曲線擬合度為354.17；b3的擬合曲線為：

(1.214·10-7x5-4.673·10-5x4+7.291·10-3x3-5.788·10-1x2+23.78x-329.5)

曲線擬合度為400.598。通過此方法，將圖像中的邊界轉(zhuǎn)化成一條直觀的可用函數(shù)表示的曲線，使前景與背景匹配更加準(zhǔn)確。相較于傳統(tǒng)的邊界點(diǎn)重合的輪廓匹配方法，曲線匹配不受前后背景圖像像素值差異的限制。但是，當(dāng)原圖像存在縮放問題時(shí)，該方法無法很好地解決。前景與背景拼接后的圖像集合如圖5所示。

圖5 前景圖像與背景圖像拼接集合

圖5中各圖像中的編號(hào)表示該子圖像是由哪兩張?jiān)紙D像拼接而成，例如圖1-6表示由編號(hào)1前景圖像與編號(hào)6背景圖像拼接而成。集合中共計(jì)25張子圖像，其中多張圖像差別不大，需要進(jìn)一步篩選。

1.4 基于圖像逆光度分析與信息熵結(jié)合的圖像篩選方法

多張前景可用圖像與背景可用圖像進(jìn)行拼接后的合成圖像會(huì)出現(xiàn)拼接邊緣處不自然、圖像區(qū)分度低人眼無法直觀辨別等問題。為解決上述問題，采用圖像逆光度分析與信息熵結(jié)合的圖像篩選方法以得出視覺效果最好的合成圖像。

1.4.1 圖像逆光度分析

逆光場(chǎng)景和非逆光場(chǎng)景的灰度直方圖分布是完全不同的。逆光場(chǎng)景的灰度直方圖分布是極亮和極暗灰度級(jí)上的像素分布高，其灰度級(jí)分布的方差σ很大；非逆光場(chǎng)景的像素主要集中在中間的灰度級(jí)上，其灰度級(jí)分布的方差σ較小。逆光環(huán)境的灰度直方圖有良好的統(tǒng)計(jì)特性，可以在很大程度上反映圖像的逆光情況。因此，通過方差σ描述兩類直方圖的差異，其計(jì)算公式為：

X=(x1,x2,…,x256)T

(7)

(8)

(9)

其中，X為灰度直方圖歸一化后的256維向量；xi表示第i個(gè)灰度級(jí)在圖像中出現(xiàn)的概率；μ表示總體均值；σ2表示方差。在逆光圖像處理中，令圖像n的逆光度為：DBLn=σn，當(dāng)(DBLx-y

1.4.2 圖像信息熵

當(dāng)逆光度作為單一判別逆光圖像還原效果時(shí)，會(huì)出現(xiàn)幾張合成后的非逆光圖像在人眼識(shí)別上都可用，且逆光度的數(shù)值上下差別變化不大的情況。同時(shí)，逆光度不能給出合成圖像在分割后的結(jié)果是否自然，分割結(jié)果是否清晰等確定性結(jié)果。而圖像信息熵代表圖像混亂程度，其值越大，代表信息含量越大，包含的內(nèi)容越多在一定程度上也能反映圖像的清晰程度與平滑度越高。因此，可以使用信息熵作為逆光度分析后的補(bǔ)充。其具體公式為：

H(x)=-∑p(x)logp(x)

(10)

并規(guī)定0log(0)=0。從上式中可以得出，信息熵具有單調(diào)性，發(fā)生概率越高的事件，其攜帶的信息量越低；同時(shí)具有非負(fù)性和累加性，即多隨機(jī)事件同時(shí)發(fā)生存在的總不確定性的量度是可以表示為各事件不確定性的量度和[17]。表2為實(shí)驗(yàn)圖像與拼接圖像的逆光度與信息熵值匯總。

圖像甄選規(guī)則為，合成圖像首先與合成它的兩張父圖像進(jìn)行逆光度與信息熵的對(duì)比，合成圖像要同時(shí)低于兩張父圖像，信息熵要同時(shí)高于兩張父圖像。所有滿足條件的圖像取信息熵最大的圖像為本方法的結(jié)果圖像。文中結(jié)果圖像為5-7，其最終結(jié)果如圖6文中方法所示，該結(jié)果相較于其他圖像，具有最高的信息熵，即該圖像表達(dá)的內(nèi)容最為豐富。

表2 實(shí)驗(yàn)圖像與拼接圖像逆光度與信息熵

2 仿真結(jié)果分析與比較

文中所給出的運(yùn)行結(jié)果和運(yùn)行時(shí)間均在同一臺(tái)電腦下得到，其內(nèi)存為8 GB，顯卡為Inter HD Graphics 530，CPU為Inter Core i3-6100 3.70 GHz，操作系統(tǒng)為Windows 10，使用軟件為Python 3.6.5和Matlab R2014b。結(jié)果如圖6與表3所示。

圖6 各方法對(duì)比結(jié)果圖像

表3 多種方法圖像處理結(jié)果對(duì)比

續(xù)表3

文中方法與其他6種方法在圖像信息熵、平均梯度、色調(diào)失真度、亮度均值四類評(píng)價(jià)標(biāo)準(zhǔn)中進(jìn)行對(duì)比。其中，色調(diào)失真度是圖像與原圖在HSV顏色模型空間中色調(diào)(H)的偏差程度，該值越大代表顏色失真程度越高，原圖的色調(diào)失真度為0。平均梯度表示圖像中細(xì)節(jié)處反差與紋理變化特征，該值越大代表圖像層次越豐富，圖像清晰度越高。圖像信息熵值代表圖像包含內(nèi)容含量，該值越大代表圖像中的內(nèi)容越豐富。從多種方法對(duì)比中可以看出，雖然直方圖均衡化方法的信息熵與平均梯度最大，但直方圖均衡化方法顏色失真程度嚴(yán)重遠(yuǎn)高于其他方法且暗部改善很小。直方圖匹配化相較于直方圖均衡化在暗部改善上雖有提升，但信息熵值遠(yuǎn)不如直方圖均衡化。Retinex算法的三種逆光圖像還原方法雖然可以大幅度改善暗部，但相應(yīng)地也損失掉了一些原有背景的內(nèi)容，處理后的圖像相較于原圖較為模糊。文獻(xiàn)[10]方法大幅度提升了圖像的質(zhì)量，但是前景與背景像素色溫差別較大，顯得圖像整體不夠自然。除直方圖均衡化外，文中方法熵值與平均梯度都最大，色調(diào)失真度最小且亮度均值適中，表明文中方法對(duì)比其他方法，可以更多地保留圖像信息，取得的效果最自然，是最好的逆光圖像還原方法。

3 結(jié)束語(yǔ)

針對(duì)當(dāng)前諸多逆光圖像重建方法都僅針對(duì)單一圖像進(jìn)行還原，且重建效果不易控制等問題，該文創(chuàng)新性地提出了將多張逆光圖像結(jié)合并篩選的圖像重建方法并取得了較好的圖像重建效果。并且，該方法改進(jìn)的閾值分割算法相較于傳統(tǒng)Otsu分割算法，對(duì)逆光圖像的前景分割更為完整。

同時(shí)，采用了基于曲線擬合的圖像拼接方法，不但可以更好地對(duì)前景背景圖像邊界進(jìn)行拼接配準(zhǔn)，還可以減少因不同逆光圖像間像素不一致帶來的影響。最后，引入了圖像逆光度分析與圖像信息熵交叉的篩選圖像方法，使篩選出的重建圖像在亮度適中時(shí)保留最多的圖像細(xì)節(jié)。對(duì)比其他現(xiàn)有的逆光圖像重建方法，該方法相較于傳統(tǒng)逆光圖像重建方法，重建效果易于控制、圖像色彩失真度較低并且保留了較高的圖像細(xì)節(jié)。在不考慮圖像時(shí)間復(fù)雜度的情況下是最好的逆光圖像重建方法。