單幅圖像估計(jì)光照方向算法研究及其應(yīng)用

張 闖，呂東輝

（上海大學(xué) 通信與信息工程學(xué)院，上海 200072）

0 引言

數(shù)字圖像的光照方向估計(jì)是計(jì)算機(jī)視覺研究領(lǐng)域的重要課題之一，一方面，光照方向是SFS（Shape from Shading）的各種算法中最重要的參數(shù)之一[1]，另一方面，光照方向問題也是人臉識(shí)別中具有挑戰(zhàn)性的一個(gè)課題[2]。同時(shí)，光照方向在圖像篡改認(rèn)證方面也有著極其重要的意義[3]。

當(dāng)前，數(shù)字圖像作為很多信息的載體，已經(jīng)成為了一種被廣泛應(yīng)用的交流手段，它可以全面、方便地展示這個(gè)世界，但通過Photoshop等圖像編輯軟件修改數(shù)字圖像不再是一件難事。一些不法分子人為篡改圖像以達(dá)到混淆視聽、以假亂真的目的，這些篡改圖像若被大量地用在媒體、法庭證物、保險(xiǎn)和科學(xué)發(fā)現(xiàn)等領(lǐng)域，將會(huì)對(duì)政治及社會(huì)穩(wěn)定產(chǎn)生嚴(yán)重影響。因此，高效準(zhǔn)確地鑒別出圖像的真?zhèn)尾?duì)造假者進(jìn)行相應(yīng)的懲罰，將會(huì)對(duì)道德風(fēng)氣的樹立及社會(huì)穩(wěn)定發(fā)展起到重要作用。如今各種檢測數(shù)字圖像真實(shí)性的方法就是在這樣的背景下產(chǎn)生的，其中通過光照方向的矛盾方法來判別圖像的真?zhèn)蝃4]。在具有良好光照的真實(shí)圖像中，各處物體表面的光照方向通常具有一致性，而篡改圖像很難做到。通過鑒別圖像中懷疑區(qū)域的光照方向是否一致，可以得到圖像是否造假的初步結(jié)論，其簡潔、直觀、高效的性能是一種優(yōu)良的檢測方法。

呂穎達(dá)等描述了點(diǎn)光源距離不同情形下的圖像光照方向估計(jì)，但這種算法僅限于二維情形[5]，陳波等探討了僅針對(duì)人像合成篡改的鑒別方法[6]。本文將主要針對(duì)不同于上述兩種算法的圖像光照方向估計(jì)的幾種典型方法進(jìn)行研究，分別對(duì)模擬圖像、實(shí)拍圖像和合成圖像進(jìn)行驗(yàn)證，綜合考察算法的各項(xiàng)性能指標(biāo)，給出客觀的算法評(píng)價(jià)。拓展應(yīng)用于通過數(shù)碼合成圖像中不同區(qū)域的光線矛盾來鑒別圖像真?zhèn)巍Ｗ詈缶C合近年來國內(nèi)外學(xué)者在數(shù)字圖像光照方向方面的主要研究成果，探討了估計(jì)數(shù)字圖像光照方向存在的問題及未來研究方向。

1 估計(jì)光照方向算法研究

給定一幅圖像，可以根據(jù)圖像中的亮度、邊緣[7]及紋理[8]等判斷圖像的光照方向。由于本文探討的估計(jì)光照方向各種算法都是基于圖像的亮度信息，并且都有各自的前提條件，為便于對(duì)各種典型算法進(jìn)行性能比較，同時(shí)也考慮到實(shí)際拍攝的圖像中各處物體表面點(diǎn)亮度受到諸多因素的影響，統(tǒng)一設(shè)定前提條件：1）光源模式為無限遠(yuǎn)處點(diǎn)光源；2）反射模型為朗伯表面反射模型；3）圖像成像幾何關(guān)系為正交投影。對(duì)于不符合這些假設(shè)的圖像，探討的算法對(duì)其失效。

常用以描述光照方向的兩個(gè)物理量是光源偏角τ和光源傾角γ，如圖1所示。

朗伯表面亦稱為漫反射表面[9]，即在固定光照情況下，從任何視角上觀測都具有相同亮度的表面，如圖2所示。朗伯表面不吸收任何入射光，與朗伯表面相對(duì)的是鏡面反射，事實(shí)上，絕大多數(shù)物體的反射效應(yīng)是兩者兼有的。

估計(jì)光照方向的典型算法有：

1）Pentland算法[10]。在假設(shè)圖像物體表面法向量各向同性的前提下，利用多個(gè)方向的圖像亮度差分的統(tǒng)計(jì)平均值來估計(jì)光照方向。

2）Lee算法[11]。將物體表面近似為一個(gè)局部球面，并在局部球面坐標(biāo)系中從水平方向及垂直方向求圖像所有像素點(diǎn)的亮度差分的數(shù)學(xué)期望來估計(jì)光照方向。

3）Zheng算法[12]。該方法是基于像素點(diǎn)的方法，估計(jì)出每個(gè)像素點(diǎn)的光照方向后求其統(tǒng)計(jì)平均值。

4）Yang算法[13]。該法是利用賦予每個(gè)像素點(diǎn)以不同的權(quán)重值來估計(jì)圖像光照方向。這是因?yàn)閳D像中各點(diǎn)對(duì)估計(jì)光照方向的貢獻(xiàn)是不同的，最亮點(diǎn)的作用顯然要比其他點(diǎn)更大。

5）Farid算法[14]。提出對(duì)圖像提取遮擋輪廓，沿著對(duì)象遮擋輪廓分成若干局部塊，估計(jì)局部塊的光源偏角，并首次應(yīng)用在圖像篡改認(rèn)證方面，但無法實(shí)現(xiàn)對(duì)光源傾角的估計(jì)。

以上幾種估計(jì)光照方向的算法都是通過理論建模來估計(jì)光源偏角和光源傾角，多從微元的角度進(jìn)行理論分析，最終得出一種適用于整個(gè)物體表面的光照估計(jì)算法。當(dāng)然，它們都假定用以討論算法的圖像區(qū)域是合適的，但是面對(duì)一幅待估計(jì)的圖像，并不是圖像上所有的像素點(diǎn)都有進(jìn)行計(jì)算的價(jià)值。從平面區(qū)域和陰影區(qū)域中難以估計(jì)出光照方向，所以這類區(qū)域不適合作為估計(jì)的對(duì)象。此外，不同的物體表面由于其材質(zhì)和紋理的差異，對(duì)光線的吸收與反射也各不同。對(duì)于假設(shè)物體表面為朗伯表面的算法而言，將不同紋理或材質(zhì)的物體表面混同進(jìn)行估計(jì)顯然是不合理的。如何區(qū)分、鑒別一幅圖像中的各個(gè)區(qū)域，并尋找出合適的待估計(jì)區(qū)域是也比較關(guān)鍵。

這就要求人為選取待估計(jì)區(qū)域時(shí)要盡量符合以下兩個(gè)條件：1）選取的區(qū)域要盡量具有良好的光照性。2）該區(qū)域最好紋理、材質(zhì)統(tǒng)一，盡量為同一物體表面。但是，區(qū)域中真正具有良好光照并且紋理、材質(zhì)統(tǒng)一的物體表面不會(huì)是一個(gè)規(guī)則的圖形，而且區(qū)域中可能存在多種類型的表面，這就需要用一定的技術(shù)手段將多種表面進(jìn)行區(qū)分，并且對(duì)需要的表面以種子點(diǎn)為中心自動(dòng)生成，而此生成區(qū)域中的像素點(diǎn)才是真正有估計(jì)意義的像素集合。對(duì)于朗伯表面可以認(rèn)為每個(gè)可見凹面或凸面都存在一個(gè)最亮點(diǎn)，它滿足

通過設(shè)定最亮點(diǎn)為種子點(diǎn)，可以進(jìn)行區(qū)域生長。區(qū)域生長的方法可以概括為[13]：

1）依據(jù)式（1）尋找圖像上的最亮點(diǎn)，并設(shè)為種子點(diǎn)。

2）在種子點(diǎn)周圍進(jìn)行區(qū)域生長，對(duì)其每一鄰域元素I（x，y），計(jì)算鄰域元素與種子點(diǎn)的亮度差dI（x，y）。若dI（x，y）同時(shí)滿足|dI（x，y）|≤ε（ε為一固定域值）；該點(diǎn)沒有被分配過，則將該點(diǎn)并入種子點(diǎn)區(qū)域。

3）當(dāng)區(qū)域生長無法繼續(xù)時(shí)，停止運(yùn)算。否則，繼續(xù)重復(fù)步驟3）。

4）對(duì)于沒有劃分的點(diǎn)，視作背景區(qū)域并置0。

采用以上規(guī)則對(duì)待估計(jì)圖像中感興趣區(qū)域進(jìn)行生長和分割，從原圖像中得到了不同類型的區(qū)域。算法僅需針對(duì)具有同一紋理或材質(zhì)的凸凹區(qū)域進(jìn)行估計(jì)即可。

2 光照方向檢測實(shí)驗(yàn)結(jié)果與分析

本文采用上述幾種典型算法對(duì)數(shù)字圖像進(jìn)行光照估計(jì)后得出的數(shù)據(jù)誤差、適用范圍等客觀結(jié)果來評(píng)判算法的準(zhǔn)確性與適用性，并就其實(shí)用性能和應(yīng)用性能的驗(yàn)證做出嘗試。具體來說，首先，通過這些算法對(duì)控制變量的模擬生成圖像進(jìn)行批處理，可以得出不同算法在估計(jì)光源偏角與光源傾角時(shí)的準(zhǔn)確程度以及各自合理的適用范圍，由此可對(duì)這些算法的優(yōu)缺點(diǎn)進(jìn)行直觀比較。其次，通過估計(jì)實(shí)際拍攝圖像的光照角度，將估計(jì)出的結(jié)果與用其他方法（如太陽影長法、公式法等）[15]得到的光照角度進(jìn)行比較，從而得出算法對(duì)實(shí)際圖像的適用情況。最后，將嘗試運(yùn)用這些算法對(duì)合成圖像的光線矛盾進(jìn)行檢測。通過對(duì)不同合成區(qū)域的光照角度估計(jì)，對(duì)比估計(jì)結(jié)果是否存在明顯差異，繼而驗(yàn)證算法能否初步應(yīng)用于某些篡改圖像的有效鑒別上。

2.1 估計(jì)光源偏角

2.1.1 光源傾角不變的模擬生成圖像

用Matlab生成一組光源傾角γ=45°不變，光源偏角τ從0°～90°，每隔5°變化的模擬小球圖像，共計(jì)20幅。圖像大小為200×200，黑色背景亮度為0，最亮點(diǎn)亮度為200。部分模擬小球圖像如圖3所示。

將計(jì)算機(jī)生成的模擬小球圖像作為實(shí)驗(yàn)對(duì)象，分別采用Pentland，Lee，Zheng，Yang及Farid 5種算法估計(jì)該組模擬圖像的光源偏角τ，實(shí)驗(yàn)結(jié)果相對(duì)誤差比較如圖4所示。

由圖4不難看出，5種算法中，Yang算法對(duì)于τ的估計(jì)誤差最小，Zheng算法其次，Pentland算法和Lee算法對(duì)于τ的估計(jì)誤差趨于一致，而Farid算法對(duì)τ的估計(jì)誤差最大。總的來說，5種算法對(duì)小球圖像偏角τ的估計(jì)誤差都很小，均達(dá)到令人滿意的程度。

2.1.2 實(shí)際拍攝圖像

這里所用的實(shí)際圖像為室外自然光照條件下通過Sony DSC-T10在不同時(shí)間拍攝的小球和雞蛋的圖像。通過嚴(yán)格的理論推導(dǎo)將計(jì)算得到的太陽方位角和太陽高度角換算成xyz直角坐標(biāo)系中的光源偏角與傾角。通過該類圖像，可以驗(yàn)證區(qū)域生長的完備性以及算法的實(shí)用性能，實(shí)驗(yàn)結(jié)果如表1所示。其中圖5a光照方向?yàn)棣?15.4°，γ=36°，圖5b光照方向?yàn)棣?-6°，γ=76°。實(shí)際圖像如圖5所示。

表1 已知光照方向的實(shí)際拍攝圖像及各算法的估計(jì)值

從表1實(shí)驗(yàn)數(shù)據(jù)可以看出，5種不同算法對(duì)實(shí)際圖像的光源偏角τ的估計(jì)值趨于一致，與圖像偏角的真實(shí)值較為接近，最大差值為9°，小于人眼視覺所能察覺的最小值12°[16]。

2.1.3 篡改合成圖像

這里所用的兩幅篡改圖像是將不同圖像中的人物拼接到一起，如圖6所示，圖6a是從網(wǎng)上下載的關(guān)于小布什和韓國議員的篡改合成照片，圖6b是將另外一幅光照方向不同的圖像中的人物拼接合成的篡改圖像。這兩幅篡改圖像的光照方向均未知。針對(duì)每一幅圖像，分別選取兩個(gè)感興趣的區(qū)域，采用不同的算法估計(jì)的光照方向結(jié)果如表2所示。

表2 光照方向未知的篡改圖像及各算法的估計(jì)值

由圖6和表2可知，對(duì)于光照方向未知的圖像，通過這5種算法分別估計(jì)出對(duì)應(yīng)的感興趣區(qū)域的光源偏角τ，同一幅圖像的同一感興趣區(qū)域，各算法估計(jì)的值趨于一致，而同一幅圖像的不同感興趣區(qū)域各算法估計(jì)的值則明顯不同。數(shù)據(jù)表明，圖6a中小布什所對(duì)應(yīng)的區(qū)域1（實(shí)線方框區(qū)域）的光線來自畫面左上角，而韓議員對(duì)應(yīng)的區(qū)域2（虛線方框區(qū)域）的光線則來自畫面左下角。圖6b中紅衣女子對(duì)應(yīng)的感興趣區(qū)域1的光線則來自右上角，白衣小女孩所對(duì)應(yīng)的區(qū)域2的光線則來自左上角，這與眼睛看到的光照方向基本一致。因此對(duì)比各感興趣區(qū)域的光照方向，這種不一致性可以揭示出圖像中不同對(duì)象是篡改合成的。

2.2 估計(jì)光源傾角

2.2.1 光源偏角不變的模擬生成圖像

用Matlab生成一組光源偏角τ=45°不變，傾角γ從0°～90°，每隔5°變化的模擬小球圖像，共計(jì)20幅。圖像大小為200×200，黑色背景亮度為0，最亮點(diǎn)亮度為200。部分模擬小球圖像如圖7所示。

將計(jì)算機(jī)生成的此類模擬小球圖像作為實(shí)驗(yàn)對(duì)象，分別采用Pentland，Lee，Zheng算法估計(jì)該組模擬生成圖像的光源傾角γ，3種算法對(duì)應(yīng)的實(shí)驗(yàn)結(jié)果相對(duì)誤差比較如圖8所示。

估計(jì)光源傾角γ之所以只采用這3種方法是因?yàn)閅ang算法所采用的計(jì)算方法與Zheng的相同，而Farid算法則不適用于估計(jì)光源傾角γ。由圖8實(shí)驗(yàn)數(shù)據(jù)可知，3種算法中，Pentland算法對(duì)于光源傾角較小的情況比較適用，當(dāng)傾角趨近于90°時(shí)算法失效，而Lee算法則對(duì)光源傾角較大的情況比較適用，對(duì)小于30°的情況失效，Zheng算法估計(jì)傾角的實(shí)驗(yàn)誤差要略大于另外2種算法，在接近0°或90°時(shí)基本失效。

2.2.2 數(shù)字圖像

對(duì)于實(shí)際拍攝圖像及篡改合成圖像，Zheng和Lee這兩種算法估計(jì)傾角γ時(shí)受制于所約束的條件，并不能有效估計(jì)出相應(yīng)的值，只有Pentland算法的表現(xiàn)尚可，相應(yīng)的實(shí)驗(yàn)結(jié)果如表3所示，數(shù)字圖像如圖9所示。

由表3和圖9可以看出，無論是實(shí)際拍攝圖像還是篡改圖像，Pentland算法均可以估計(jì)出比較理想的傾角γ值。當(dāng)然對(duì)于未知傾角γ的篡改圖像，感興趣區(qū)域1和感興趣區(qū)域2的傾角γ也有一致的可能性，這種情況下，可以結(jié)合之前估計(jì)出的偏角τ值來共同判斷感興趣區(qū)域的光照方向是否一致。

表3 實(shí)際拍攝圖像及篡改圖像的估計(jì)值

3 小結(jié)

本文用Matlab語言仿真的5種估計(jì)光照方向的算法在各種圖像上都有不錯(cuò)的表現(xiàn)。對(duì)于模擬圖像的τ來說，5種算法表現(xiàn)都十分良好。估計(jì)實(shí)際圖像的τ，也基本上接近真實(shí)值，并可以由此判斷出明顯光線矛盾的合成圖像。但是就γ來說，Pentland，Zheng和Lee 3種算法都不盡如人意，Lee算法在估計(jì)模擬圖像的γ時(shí)有穩(wěn)定的表現(xiàn)，而Pentland算法和Zheng算法的有效范圍較小，并且誤差的大小隨真實(shí)角度變化明顯。對(duì)于實(shí)際圖像，只有Pentland算法的表現(xiàn)尚可，另2種算法受制于條件，并不能有效估計(jì)出γ的值。總而言之，結(jié)合對(duì)τ和γ估計(jì)的判斷比較，這些算法均能夠通過數(shù)碼合成圖像中不同部位的光線矛盾來判別圖像的真?zhèn)危w現(xiàn)了這些算法具有一定的應(yīng)用性，可以發(fā)揮鑒別圖像真?zhèn)蔚淖饔谩?/p>

由于算法大多假定物體表面是具有朗伯表面特性，而實(shí)際估計(jì)過程中不可能完全滿足，所以算法本身也存在著局限。目前算法所對(duì)應(yīng)的區(qū)域仍屬于半自動(dòng)的狀態(tài)，如果算法能夠自行選取感興趣區(qū)域，減少人為參與，將大大提高算法的工作效率和智能性。此外，從實(shí)驗(yàn)結(jié)果中也可以看出，對(duì)γ的估計(jì)不如τ來得理想，如何能夠估計(jì)出更合理、更接近實(shí)際的傾角應(yīng)該是光照方向研究領(lǐng)域的一項(xiàng)重點(diǎn)研究內(nèi)容。還有一點(diǎn)值得注意的是，對(duì)多光源數(shù)碼圖像的光照方向估計(jì)[17]也是將來的研究方向之一。

[1]SHEA J，BANKS M，AGRAWALA M.The preferred angle of illumination in shape from shading[EB/OL].[2010-11-22].http：//vis.berkeley.edu/courses/cs294-10-fa07/wiki/images/a/ae/JamesOsheaFinalPaper.pdf.

[2]張智斌，賴劍煌，鄧東皋.未知光源參數(shù)的人臉光照恢復(fù)方法[J].計(jì)算機(jī)研究與發(fā)展，2005，42（4）：629-634.

[3]吳瓊，李國輝，涂丹，等.基于真實(shí)性鑒別的數(shù)字圖像盲取證技術(shù)綜述[J].自動(dòng)化學(xué)報(bào)，2008，34（12）：1458-1465.

[4]FARID H.A survey of image forgery detection[J].IEEE Trans.Signal Processing Magazine，2009，26（2）：16-25.

[5]呂穎達(dá)，申鉉京，陳海鵬，等.基于光照方向不一致性的圖像盲鑒別方法[J].吉林大學(xué)學(xué)報(bào)：信息科學(xué)版，2009，27（3）：293-298.

[6]陳波，朱秋煜.基于光照方向的人像合成圖像檢測[J].計(jì)算機(jī)仿真，2009，26（3）：202-204.

[7]NILLIUS P，EKLUNDH J O.Automatic estimation of the projected light source direction[EB/OL].[2010-11-22].http：//citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.13.6561&rep=rep1&type=pdf.

[8]CHANTLER M J，PETROU M，PENIRSCHE A，et al.Classifying surface texture while simultaneously estimating[J].International Journal of Computer Vision ，2005，62（1）：83-96.

[9]BASRI R，JACOBS D W.Lambertian reflectance and linear subspaces[J].IEEE Trans.Pattern Analysis and Machine Intelligence，2003，25（2）：218-233.

[10]PENTLAND A.Local shading analysis[J].IEEE Trans.Pattern Analysis and Machine Intelligence，1984，16（2）：170-187.

[11]LEE C H，ROSENFELD A.Alhedo estimation for scene segmentation[J].Pattern Recognition Letters，1983，1（3）：155-160.

[12]ZHENG Q，CHELLAPPA R.Estimation of illuminant direction，albedo，and shape from shading[J].Pattern Recognition Letters，1991，13（7）：680-702.

[13]楊杰，鄧志鵬，郭英凱，等.兩種新的光照方向估計(jì)方法[J].上海交通大學(xué)學(xué)報(bào)，2002，36（2）：894-896.

[14]JOHNSON K，F(xiàn)ARID H.Exposing digital forgeries by detecting inconsistencies in lighting[EB/OL].[2010-11-22].http：//citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.87.7368&rep=rep1&type=pdf.

[15]張闖，呂東輝，頊超靜.太陽實(shí)時(shí)位置計(jì)算及在圖像光照方向中的應(yīng)用[J].電子測量技術(shù)，2010，33（11）：87-89.

[16]PENTLAND A.Finding the illumination direction[J].Journal of Optical Society of America，1982，72（4）：448-455.

[17]WANG Y，SAMARAS D.Estimation of multiple directional illuminants from a single image[EB/OL].[2010-11-22].http：//citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.75.5021&rep=rep1&type=pdf.