基于透視投影下空間光照一致性分析的圖像拼接篡改檢測

張 旭 胡晰遠(yuǎn) 陳 晨 彭思龍

在照片發(fā)明的初期,由于需要經(jīng)過專業(yè)的工序才能變更沖印內(nèi)容,因此作為現(xiàn)實(shí)場景的記錄方式,照片被視為有說服力的法庭物證.但是隨著數(shù)碼相機(jī)、手機(jī)等電子拍攝工具的普及,人們可以隨時(shí)隨地的拍攝各種數(shù)字照片;在互聯(lián)網(wǎng)高度發(fā)達(dá)的今天,人們又可以隨時(shí)將照片上傳到網(wǎng)上或者從網(wǎng)上下載各種各樣的圖片;各種圖像編輯工具的推出,普通用戶就可以輕而易舉地對圖像進(jìn)行各種操作;隨著圖像處理技術(shù)的不斷增強(qiáng),特別是機(jī)器學(xué)習(xí)方法的應(yīng)用讓計(jì)算機(jī)生成圖像越來越逼真[1].這一切都使得人們對看到的圖像不再深信不疑.其中,將一個(gè)人的頭像從一張照片中摳取并粘貼到另一張照片中,制造該人參與第二張照片所呈現(xiàn)的事件的假象,是最常見的一類人臉圖像篡改.

出于娛樂和美觀等目的來修改圖像,豐富了人們的生活;但是為了商業(yè)、政治等利益或者出于敲詐勒索等目的而惡意篡改圖像,就會侵犯人們的名譽(yù)和財(cái)產(chǎn)[2].如圖1 所示,據(jù)英國《每日郵報(bào)》2015年1 月24 日的報(bào)道,ISIS 公布?xì)⒑θ毡救速|(zhì)視頻用以制造國際輿論.由于兩個(gè)人質(zhì)間無論是面部光照方向及地面陰影方向都有明顯差別,鑒定專家認(rèn)為ISIS 發(fā)布的視頻是利用不同影像拼接得到的.根據(jù)《最高人民法院關(guān)于適用中華人民共和國刑事訴訟法的解釋》中第九十二條規(guī)定:對視聽資料有疑問的,應(yīng)當(dāng)進(jìn)行鑒定.用來檢測圖像篡改的圖像取證技術(shù)已成為證據(jù)科學(xué)領(lǐng)域一個(gè)重要研究方向.

圖1 被質(zhì)疑造假的日本人質(zhì)視頻截圖Fig.1 The photo of Japanese hostages which is considered as a spliced image

由于篡改手段的多樣性和隱蔽性,影像取證是公安司法部門在信息安全和司法物證領(lǐng)域中面臨的技術(shù)難題.對于拼接篡改來說,由于不同照片的相機(jī)參數(shù)和所記錄場景的物理幾何特性存在差異,在不同照片進(jìn)行拼接合成的過程中,很難做到完全一致.因此已有的研究從圖像視頻的成像過程、拍攝場景的真實(shí)性以及篡改手段的特定痕跡等入手,對拼接篡改進(jìn)行取證,提出了眾多的取證方法.圖像取證領(lǐng)域的學(xué)者Farid 教授將這些方法進(jìn)行歸納為5 類:基于像素插值、圖像格式、相機(jī)噪聲、場景物理特性和成像幾何特征的方法[3].前三類通過檢測重采樣[4]、JPEG 格式有損壓縮[5]和傳感器模式噪聲[6]等圖像篡改過程中引入的數(shù)字屬性變化來揭示數(shù)字圖像篡改.近幾年,深度學(xué)習(xí)技術(shù)在圖像取證領(lǐng)域取得的一些應(yīng)用成果[7],也多是基于這些數(shù)字屬性特征進(jìn)行圖像分類.但是,由于許多原始數(shù)字屬性隨著照片的沖印也一并受到損失[8],使這些方法失去作用.然而照片內(nèi)容卻可以很大程度的保留和復(fù)現(xiàn),因此基于圖像內(nèi)容的物理屬性和幾何特征的方法就成了研究的熱點(diǎn).基于運(yùn)動模糊[9]、透視失真[10?11]、光照色彩[12]、眼睛高光[13]、陰影[14?16]、光照環(huán)境[17?21]、色溫[22]、色彩紋理[23]等各種篡改檢測方法,都在相關(guān)的實(shí)戰(zhàn)案例中得到了成功應(yīng)用.但是各種方法都有各自的局限性,只有存在適當(dāng)?shù)膽?yīng)用條件,才能提供具備說服力的證據(jù).

其中,作為場景的基本自然物理?xiàng)l件,光照環(huán)境是檢測圖像篡改的重要手段.Kee 等[16]利用光線沿直線傳播的特點(diǎn),通過若干陰影點(diǎn)和對應(yīng)的物體點(diǎn)的幾何關(guān)系,分析圖像不同物體間的光照方向是否一致.如果照片中沒有足夠的投射陰影,也可以利用不同物體反映的光照參數(shù)是否一致來檢測是否存在拼接篡改.對于單一無限遠(yuǎn)光源,Johnson 等[17]假設(shè)在在平行投影下,物體遮蔽線處法向量同照片垂直的z軸方向分量為0,遮蔽線各點(diǎn)的垂線就是其法向量,得到2 維光照方向.如果輔以若干知道3 維法向量的點(diǎn),就可以計(jì)算3 維光照方向.Carvalho等[18]基于用戶交互,通過用戶的經(jīng)驗(yàn)標(biāo)定出物體上一些點(diǎn)的3 維法向量,進(jìn)而得到物體3 維光照方向.對于有多光源的復(fù)雜光照,Johnson 等[19]利用球諧光照模型來求解全局光照環(huán)境,擴(kuò)展了光照估計(jì)的適用范圍.這些光照估計(jì)方法都基于無窮遠(yuǎn)光源、朗伯體漫反射表面、凸物體以及表面反射率恒定等假設(shè).

對于人臉照片的拼接篡改檢測來說,因?yàn)橛卸喾N途徑可以獲取3 維人臉結(jié)構(gòu),可以更加方便地進(jìn)行估計(jì)光照:掃描儀可以精確地得到人臉3 維點(diǎn)云,但是由于設(shè)備要求較高,限制了使用范圍;而一些3 維重建技術(shù)比如3DMM (3D morphable model)[24],可以優(yōu)化得到較為精確的人臉表面法向量.FaceGen 就是基于3DMM 的一個(gè)開放軟件,但是重建人臉需要正面無表情人臉,并不能滿足實(shí)際應(yīng)用需求.而Zhu 等[25]利用King[26]檢測的68 個(gè)人臉標(biāo)定點(diǎn),對不同姿態(tài)不同表情的人臉圖像,都可以重建模型.雖然該方法的重建精度沒有掃描儀和3DMM 算法高,但是由于沒有較高的使用限制條件,也成了人臉篡改檢測的一個(gè)得力工具.利用重建的人臉,Kee 等[20]在估計(jì)人臉姿態(tài)后計(jì)算對應(yīng)的光照參數(shù).Peng 等[21]考慮了人臉的非凸結(jié)構(gòu)存在光照自遮擋現(xiàn)象以及眉毛等紋理反射率同皮膚不一致的問題,放寬了約束條件,提出了改進(jìn)的光照估計(jì)算法.利用上述方法分析圖1 中的日本人質(zhì)的照片,都會得到和專家意見相似的分析結(jié)果.

但是,正如文獻(xiàn)[17]用到的平行投影假設(shè),多數(shù)方法同樣是基于平行投影的假設(shè)來估計(jì)光照方向.如果將在投影平面上得到物體正面投影時(shí)物體對應(yīng)的坐標(biāo)系作為物體坐標(biāo)系,那么,在平行投影下,各物體坐標(biāo)系和相機(jī)坐標(biāo)系平行,用來估計(jì)光照的法向量是圖像中每個(gè)物體在各自的坐標(biāo)系中旋轉(zhuǎn)到對應(yīng)姿態(tài)得到的法向量,等同于在相機(jī)坐標(biāo)系中的法向量.但是由于相機(jī)成像模型是透視投影的針孔模型,得到正面投影時(shí),物體其實(shí)是朝向相機(jī)光心的,各物體坐標(biāo)系不再和相機(jī)坐標(biāo)系平行,如果仍然按照平行投影處理,利用物體坐標(biāo)系下的法向量估計(jì)的物體坐標(biāo)系光照必然和相機(jī)坐標(biāo)系光照有著明顯誤差.但由于人臉和相機(jī)距離超過1 米后,透視效果明顯減弱,近似于平行投影,因此得到的相機(jī)參數(shù)存在顯著誤差[20?21].通過這些方法估計(jì)出的光照,即便差別很大,也仍有可能是真實(shí)的照片.所以,因?yàn)檎掌泄庹辗较虿灰恢露毁|(zhì)疑造假的日本人質(zhì)照片,如圖1 所示,需要被重新審視.

為了克服這種誤差,本文提出了一種透視投影下物體的空間光照估計(jì)算法,并通過各物體的空間光照一致性對圖像拼接篡改進(jìn)行檢測.本文后續(xù)的內(nèi)容安排如下:第1 節(jié)介紹了光照模型和光照估計(jì)算法的原理;第2 節(jié)分析了投影方法對光照估計(jì)的影響;第3 節(jié)詳細(xì)地描述本文提出的算法;第4 節(jié)給出實(shí)驗(yàn)比較和分析;第5 節(jié)為全文的結(jié)論.

1 光照模型和光照估計(jì)算法概述

如圖2 所示,在光照參數(shù)為l的場景光照L的作用下,人臉上法向量為N的頂點(diǎn)X0會反射部分光E進(jìn)入相機(jī),生成2 維圖像I,其中X0的對應(yīng)投影點(diǎn)為x.通過人臉掃描或者三維重建得到的3 維人臉結(jié)構(gòu)X后,就可以利用若干頂點(diǎn)的亮度信息b和其他信息組成的矩陣M,估計(jì)光照參數(shù)l.其中,過程(1)是光照模型,(2)是相機(jī)模型,(3)是人臉模型,(4)是光照估計(jì).前面三個(gè)模型是光照估計(jì)的基礎(chǔ),特別是光照模型,為光照估計(jì)提供了理論依據(jù).此前,研究人員提出了許多不同的光照模型.其中,由于人臉近似于反射率為ρ的漫反射朗伯體表面,因此在光照估計(jì)算法中常用的兩個(gè)模型是Lambert模型[27]和球諧函數(shù)SH 模型[28?29].Lambert 模型可以較好地表現(xiàn)類似陽光的簡單光照,而SH 模型對具有多光源的現(xiàn)實(shí)場景中的復(fù)雜光照也可以很好地表現(xiàn).

其中,Ld是漫反射光,La是環(huán)境光,RNl 同N 和l之間的夾角θ有關(guān),且限定不小于0,因?yàn)樵谠擁旤c(diǎn)背后入射的光線不會到達(dá)該頂點(diǎn),所以可以表示如下:

考慮到人臉的紋理信息ρ和結(jié)構(gòu)信息G(如果物體是朗伯體,紋理ρ就是一個(gè)常數(shù);如果是凸物體,結(jié)構(gòu)G就等于1),光照模型的原理可統(tǒng)一為如下形式:

如果將人臉各點(diǎn)的法向量、紋理、結(jié)構(gòu)等信息用矩陣M(X)表示,那么就可以用矩陣形式描述人臉圖像各點(diǎn)亮度b(x):

其中,l和M(X)在不同的光照模型中有不同的形式,具體可以參考文獻(xiàn)[17?21].

圖2 光照模型和光照估計(jì)原理圖Fig.2 The principle of Illumination model and lighting estimation

給定一張人臉圖像I,就知道了圖像中各點(diǎn)的RGB 亮度值b.如果知道圖像上若干點(diǎn)的法向量和紋理、結(jié)構(gòu)信息得到矩陣M,就可以通過最小二乘算法來估計(jì)光照參數(shù)l:

因?yàn)長ambert 模型和SH 模型中l(wèi)分別有4 個(gè)和9 個(gè)參數(shù),因此估計(jì)光照至少需要4 個(gè)或9 個(gè)點(diǎn).文獻(xiàn)[17?21]中的光照估計(jì)方法可統(tǒng)一為如下形式:

估計(jì)出圖片中不同物體的光照參數(shù)l后,文獻(xiàn)[17?21]通過光照參數(shù)之間的差別d(lij)來判斷光照是否一致:

其中,對于SH 模型,Q是9×9 矩陣,具體形式可以參考文獻(xiàn)[19];對于Lambert 模型,則可以認(rèn)為Q=1,直接計(jì)算光照方向的差別.

如果單純利用人臉皮膚區(qū)域和人臉凸區(qū)域的情況下,光照估計(jì)的關(guān)鍵就是得到人臉上各點(diǎn)較為精確的法向量N.此前多數(shù)方法都是基于平行投影的假設(shè)來估計(jì)光照.而我們知道相機(jī)成像模型針孔模型是透視投影,下面我們將分析投影方法的不同會對法向量N和估計(jì)的光照l造成哪些影響.

2 投影方法對光照估計(jì)影響的分析

2.1 平行投影和透視投影

圖3 是平行投影和透視投影下光照差異的示意圖,左邊為平行投影,右邊為透視投影.其中,外圍實(shí)線框是成像平面,外圍虛線框是對應(yīng)的空間視野.約定垂直于照片向里為相機(jī)坐標(biāo)系z軸正方向(光軸),坐標(biāo)系滿足右手螺旋定理.相機(jī)坐標(biāo)系Cc和照片平面垂直,用向上虛線箭頭表示.初始人臉坐標(biāo)系Cf0同Cc一致,對應(yīng)的初始法向量為Nf0,是頭頂朝下面朝里的人臉.將Cf0繞x軸翻轉(zhuǎn)180 度得到和光軸相反的坐標(biāo)系Cf,此時(shí)人臉姿態(tài)是頭頂朝上的正面人臉Pf,對應(yīng)的正面法向量為Nf=RfNf0,其中Rf=[1,0,0;0,?1,0;0,0,?1]為對應(yīng)的旋轉(zhuǎn)矩陣,稱為正面姿態(tài)矩陣.投影平面上物體正面投影對應(yīng)的坐標(biāo)系為物體投影坐標(biāo)系Cp,用實(shí)線框中朝下的虛線箭頭表示其z軸正方向,Cp和Cf保持平行.物體在Cp中也就是照片中的姿態(tài)Pp用實(shí)線框中實(shí)線細(xì)箭頭表示,對應(yīng)的投影法向量為Np=RpNf,Rp為Pp和Pf間的旋轉(zhuǎn)矩陣,稱為照片姿態(tài)矩陣;此時(shí)物體在場景空間中的實(shí)際姿態(tài)Ps用虛線框中實(shí)線細(xì)箭頭表示,在Cc中對應(yīng)的空間法向量為Ns=RsNf,Rs為Ps和Pf間的旋轉(zhuǎn)矩陣,稱為空間姿態(tài)矩陣.得到物體正面投影時(shí)物體對應(yīng)的空間坐標(biāo)系定義為物體正面坐標(biāo)系Cd,用虛線框中虛線細(xì)箭頭表示其z軸正方向,物體在Cd中的姿態(tài)Pd同物體在Cp中的姿態(tài)Pp保持一致,對應(yīng)法向量Nd=Np.利用式(6)和(7),得到Np和Ns對應(yīng)的照片投影光照lp和實(shí)際空間光照ls:

那么,在平行投影下,Cd和Cp互相平行,Rs同Rp相同,投影到成像平面后,Ps和Pp一致:

可以看到,在平行投影的假設(shè)下,Ns=Np,對應(yīng)的ls=lp.也就是說,各物體在照片中的投影光照(圖3(a)中實(shí)線框中實(shí)線粗箭頭),就是它們在場景空間中的實(shí)際光照(圖3(a)中虛線框中實(shí)線粗箭頭).

圖3 平行投影和透視投影對光照估計(jì)的影響示意圖Fig.3 The influences of the projection methods on the lighting estimation

在透視投影下,只有面朝光心O的人臉才能在成像平面上得到正面人臉.當(dāng)人臉不在相機(jī)光軸上時(shí),Cd和Cf不再平行,而是存在一定夾角,Rs和Rp不相等,投影到成像平面后,Ps和Pp不一致:

可以看到,在透視投影下,Ns=Np,對應(yīng)的ls=lp.也就是說,各物體在照片中的投影光照(圖3(b)中實(shí)線框中實(shí)線粗箭頭),并不是它們在場景空間中的實(shí)際光照(圖3(b)中虛線框中實(shí)線粗箭頭).

由于相機(jī)模型是基于透視投影的針孔模型,因此照片中各人臉的投影姿態(tài)并等同于它們在空間中的實(shí)際姿態(tài).同一張照片中不同物體投影光照存在明顯差異的時(shí)候,在真實(shí)場景空間中仍有可能具有相同的光照參數(shù).因此,我們需要在統(tǒng)一的坐標(biāo)系下進(jìn)行光照估計(jì)和比較,才能正確進(jìn)行光照一致性分析.相機(jī)坐標(biāo)系就是一個(gè)很好的選擇.而本文所說的空間光照,也就是在相機(jī)坐標(biāo)系下的光照.

2.2 經(jīng)典相機(jī)標(biāo)定在取證中的局限

對于相機(jī)針孔模型,從空間3 維點(diǎn)XXX到圖像2維點(diǎn)x的映射關(guān)系為:

其中,K和[R,TTT]分別是相機(jī)的內(nèi)參和外參矩陣.其中,R是相機(jī)坐標(biāo)系和物體坐標(biāo)系間的旋轉(zhuǎn)矩陣,可以參數(shù)化為歐拉角(α,β,γ);TTT是兩坐標(biāo)系間的平移矩陣,表示物體坐標(biāo)系原點(diǎn)在相機(jī)坐標(biāo)系中的坐標(biāo)(Tx,Ty,Tz)T.內(nèi)參矩陣K形式如下:

其中,(cx,cy)是相機(jī)主點(diǎn),fx和fy分別是圖像水平和豎直方向上的像素單位焦距,skew是元器件斜度.一般情況下認(rèn)為fx和fy都等于f,同時(shí)skew為0.

將上述參數(shù)組成一個(gè)9 個(gè)未知參數(shù)的向量,定義為透視參數(shù)σ=(f,cx,cy,α,β,γ,Tx,Ty,Tz)T,其中,σex=(α,β,γ,Tx,Ty,Tz)T為外參,σin=(f,cx,cy)T為內(nèi)參.這樣,式(13)可表示成:

Pm是由σ決定的映射矩陣,求解Pm的問題就是相機(jī)標(biāo)定問題.構(gòu)造nd個(gè)圖像點(diǎn)ximi和對應(yīng)XXXi的投影點(diǎn)xi之間的誤差函數(shù):

應(yīng)用Levenberg-Marquardt 方法就可以求解.

相機(jī)標(biāo)定求解的精度依賴于XXX的精度以及XXX和xim的配準(zhǔn)精度.傳統(tǒng)的相機(jī)標(biāo)定方法使用標(biāo)定板[30]、規(guī)則幾何圖像[31]進(jìn)行標(biāo)定,標(biāo)定精度高,但往往不會出現(xiàn)在待鑒定的篡改圖像中.對于人臉來說,文獻(xiàn)[20?21]利用圖像中人臉標(biāo)定點(diǎn)xim和人臉3 維模型點(diǎn)XXX的約束關(guān)系來求取映射矩陣.表面上,上述兩個(gè)條件都可以將誤差控制在允許范圍內(nèi),得到可以接受的映射矩陣.但是,如圖4(a)所示,隨著人臉中心和相機(jī)中心距離的增加,透視效果明顯減弱,在超過1 米后,人臉投影幾乎保持不變,圖4(b)中可以看出無窮遠(yuǎn)下的關(guān)鍵點(diǎn)和它們在透視人臉上的對應(yīng)點(diǎn)之間的距離誤差急劇下降,因此在人臉相機(jī)間的距離超過一米后,通過關(guān)鍵點(diǎn)估計(jì)的相機(jī)參數(shù)就會存在顯著的誤差.事實(shí)上,估計(jì)出的焦距?f趨近于一個(gè)無窮大的值,接近于平行投影,而估計(jì)出的旋轉(zhuǎn)矩陣?R對應(yīng)的人臉姿態(tài)Ps則非常接近于人臉投影姿態(tài)Pp,得到的光照仍然近似于照片投影光照,也就是平行投影下的光照,ls ≈lp:

圖4 人臉透視形變程度隨人臉到相機(jī)距離變化的情況Fig.4 The influences of the distance from the face to the camera on the facial perspective distortion

總之,由于相機(jī)模型是基于透視投影的針孔模型,而且多數(shù)照片中人臉距離相機(jī)都超過1 米,因此,之前基于平行投影假設(shè)或者根據(jù)人臉關(guān)鍵點(diǎn)標(biāo)定相機(jī)后進(jìn)行光照估計(jì)的算法,會錯誤地將各人臉在照片中的投影姿態(tài)Pp作為空間中的實(shí)際姿態(tài)Ps,因而利用投影法向量Np計(jì)算得到的光照是照片投影光照lp,而不是具有統(tǒng)一坐標(biāo)系的空間光照ls.如果直接根據(jù)投影光照進(jìn)行一致性分析,就會由于原理上的錯誤而得到錯誤的判斷結(jié)果.接下來,我們將闡述如何得到相機(jī)坐標(biāo)系下的空間法向量Ns,進(jìn)而得到空間光照ls的方法.

3 本文算法

在已有光照估計(jì)方法的基礎(chǔ)上,本文提出了一種基于透視投影下的空間光照估計(jì)方法,其算法流程可分為5 個(gè)步驟,如圖5 所示:1)利用文獻(xiàn)[26]中的算法檢測68 個(gè)人臉標(biāo)志,并利用文獻(xiàn)[25]中的方法重建待分析人臉3 維模型;2)計(jì)算照片中人臉模型Nf0、人臉投影姿態(tài)矩陣Rp、人臉中心投影位置h和照片姿態(tài)下的投影光照lp;3)通過經(jīng)典方法或者本文提出的優(yōu)化方法進(jìn)行相機(jī)標(biāo)定,求得透視參數(shù);4)用透視參數(shù)?K得到相機(jī)坐標(biāo)系下的人臉空間法向量Ns,進(jìn)而求得空間光照ls;5)利用所提出的判定依據(jù)對照片人臉空間光照及其他空間信息的合理性進(jìn)行分析.其中,圖5 中第2 步和第4 步的圖從上到下依次為用于計(jì)算光照的姿態(tài)、估計(jì)的光照渲染球以及透視參數(shù)下人臉的重投影圖像.

圖5 算法流程圖Fig.5 The workflow of the proposed method

3.1 新的旋轉(zhuǎn)矩陣求解方法

通過第2 節(jié)的分析,我們知道相機(jī)內(nèi)外參數(shù)估計(jì)的精度影響著在相機(jī)坐標(biāo)系下物體空間光照參數(shù)的估計(jì)準(zhǔn)確度.但是經(jīng)典的標(biāo)定方法又不能勝任多數(shù)人臉圖像篡改的案例.然而,第2 節(jié)的分析給了我們啟發(fā):既然可以較準(zhǔn)確地得到照片中人臉的姿態(tài)Pp,它和人臉在空間中的實(shí)際姿態(tài)Ps有什么關(guān)系呢？

如圖6 所示,將人臉中心在相機(jī)坐標(biāo)系中的空間位置定位為H,H同相機(jī)光心O之間的連線定義為OH,OH的長度DOH就是人頭距離相機(jī)光心的距離.在照片中投影得到正面人臉的人臉坐標(biāo)系Cd的z軸就和OH重合并指向光心O.固定O、H和人臉姿態(tài)Pd,無論相機(jī)如何轉(zhuǎn)動,焦距如何改變,投影在成像平面上的人臉模型3 維點(diǎn)都是固定的同一簇射線.因此人臉在成像平面上的投影圖像的姿態(tài)Pp始終等于Pd,改變的只是投影圖像的位置、大小和形變.我們將相機(jī)光軸同OH之間的旋轉(zhuǎn)矩陣稱為相機(jī)姿態(tài)矩陣,并用Rc來表示.可以看出,Pp和Ps之間的關(guān)系就是Rc,Pp經(jīng)過Rc旋轉(zhuǎn)得到Ps,有Ns=RcNp.相應(yīng)的,Rs=RcRp,因此相機(jī)和人臉之間的旋轉(zhuǎn)矩陣R就可以表示為:

3.2 計(jì)算相機(jī)姿態(tài)矩陣

給定一張照片,照片中人臉中心定義為h=(hx,hy,1)T.那么就可以得到位于OH上、z軸坐標(biāo)H1z=1 的空間點(diǎn)H1的坐標(biāo):

從O指向H1間的向量定義為vOH1=(H1x,H1y,1)T.和光軸平行的單位向量定義為vOA=(0,0,1)T.通過計(jì)算vOA和vOH1間的旋轉(zhuǎn)矩陣求得相機(jī)姿態(tài)矩陣Rc.

圖6 固定人臉和相機(jī)光心,人臉的照片姿態(tài)就保持不變,不隨相機(jī)焦距變化和姿態(tài)旋轉(zhuǎn)而變化Fig.6 The poses of the face in the photo remain the same once the face and the optical center are fixed

給出任意兩個(gè)單位向量vf=(vfx,vfy,vfz)T和vt=(vtx,vty,vtz)T,從vf到vt的旋轉(zhuǎn)矩陣Rft可以通過Rodrigues 旋轉(zhuǎn)方程計(jì)算得到,如圖7 所示.首先,可以計(jì)算得到垂直于vf和vt所在平面的旋轉(zhuǎn)軸oft=vf ×vt=(ox,oy,oz)T.vf和vt之間的夾角θft=arc cos(vf ·vt).用s表示sin(θft),用c表示cos(θft),用b表示(1?c),并用oij表示oi×oj.那么,Rft(vf,vt)可以表示為:

利用式(20)可以得到相機(jī)姿態(tài)矩陣Rc:

可以看出,Rc是關(guān)于K和h的函數(shù).

圖7 Rodrigues 旋轉(zhuǎn)公式的示意圖Fig.7 The principle of Rodriguesrotation formula

3.3 空間光照的估計(jì)

現(xiàn)在,利用式(12)、(18)、(21),圖像中第i個(gè)人臉在相機(jī)坐標(biāo)系下的空間法向量Nsi就可以表示為:

然后利用Nsi求的Ms,通過式(10)就可以得到空間光照lsi:

這樣,不同人臉的光照就被統(tǒng)一到了相機(jī)坐標(biāo)系下.通過重建的人臉3 維模型Nf0、估計(jì)的照片姿態(tài)矩陣Rp、照片中人臉中心的位置h以及人臉圖像I中皮膚的RGB 亮度值b,只要知道相機(jī)內(nèi)參矩陣K,就可以得到相機(jī)坐標(biāo)系下各人臉的人臉空間光照,然后進(jìn)行空間光照一致性分析.

相機(jī)內(nèi)參矩陣K可以利用照片中的規(guī)則幾何標(biāo)定得到,或者從照片的可交換圖像文件格式(Exchangeable image file format,EXIF)中獲取精確的相機(jī)焦距.如果照片中沒有有效的信息可以計(jì)算相機(jī)內(nèi)參,我們就可以通過照片中不同人臉的空間光照一致的約束,得到使空間光照lsi和lsj之間差別d(lsij)(式(8))最小的相機(jī)參數(shù):

空間光照估計(jì)算法具體步驟如下:

步驟1.輸入為照片中m個(gè)人臉對應(yīng)的3 維點(diǎn)法向量Nf0,估計(jì)的照片姿態(tài)矩陣Rp,圖像人臉中心的位置h以及圖像人臉皮膚的RGB 亮度值b;

步驟2.如果相機(jī)內(nèi)參K已知,通過式(19)得到各個(gè)人臉的圖像中心點(diǎn)h對應(yīng)的空間位置H1;

步驟3.通過式(21)計(jì)算各個(gè)人臉的空間位置H1對應(yīng)的相機(jī)姿態(tài)矩陣Rc;

步驟4.通過式(23)計(jì)算各個(gè)人臉的空間光照ls;

步驟5.如果相機(jī)內(nèi)參K未知,則計(jì)算兩兩人臉之間的空間光照差別diff(lsij),求解優(yōu)化方程(24),收斂或者達(dá)到迭代次數(shù)后,輸出相機(jī)內(nèi)參K以及各物體的空間光照ls.

3.4 人臉空間坐標(biāo)

相機(jī)坐標(biāo)系Cc中空間人臉中心坐標(biāo)H=[Hx,Hy,Hz]T可以通過下式得到:

可以看出H關(guān)于K,h和DOH的函數(shù).得到圖像中各人臉在相機(jī)坐標(biāo)系下的位置坐標(biāo),就可以將相互位置是否合理作為判斷圖像合理性的一個(gè)輔助依據(jù).

給定一張人臉照片,式(13)可以寫成:

同樣的,式(15)可以寫作如下形式:

其中Pn是由ω決定的一個(gè)新的映射矩陣.由于Rp和h可以較為準(zhǔn)確地從人臉圖像中得到,因此式(27)中就只有K和DOH未知,ω是包含4 個(gè)未知數(shù)[f,cx,cy,DOH]T的向量.利用光照一致性優(yōu)化得到的?K,就能估計(jì)出DOH的大小:

經(jīng)典的相機(jī)標(biāo)定方法將物體坐標(biāo)系原點(diǎn)TTT=(Tx,Ty,Tz)T作為參數(shù)一起估計(jì),即便DOH固定,TTT仍然隨著旋轉(zhuǎn)矩陣R的變化而變化.相比于經(jīng)典方法,式(27)將DOH作為估計(jì)參數(shù)獨(dú)立于旋轉(zhuǎn)矩陣而存在,再加上未知參數(shù)數(shù)目從9 個(gè)減少為4 個(gè),針對人臉的標(biāo)定問題,該方法更容易得到魯棒的解.

3.5 等效焦距EFL

由于之前基于光照的取證方法無法獲得較為精確的焦距,因此對焦距的研究很少.本文簡要介紹焦距的一個(gè)常識性概念,等效焦距(The equivalent focal length,EFL).不同的相機(jī)傳感器有不同的尺寸,例如,索尼和尼康Dx 中使用的APS-C 的寬度、高度和對角線長度分別為22.3 mm、14.9 mm和27.3 mm,而iPhone 6 中使用的1/3CMOS 的相應(yīng)尺寸分別為4.8 mm、3.6 mm 和6.0 mm.為了便于比較性能,人們使用全幀膠片的對角線長度43.4 mm 作為參照標(biāo)準(zhǔn)來計(jì)算其他傳感器的等效焦距.其相關(guān)尺寸分別為36 mm、24 mm 和43.4 mm,如圖8 所示.對角線尺寸為XX mm 的傳感器,其轉(zhuǎn)換系數(shù)rd=43.4/XX,等效焦距=物理焦距× rd.同樣,我們可以將計(jì)算得到像素單位的焦距f轉(zhuǎn)換為mm 單位,使用照片主點(diǎn)c(cx,cy)和照片的4 個(gè)頂點(diǎn)vim之間的最大長度得到等效焦距Feq:

這樣,我們就能利用優(yōu)化得到的等效焦距范圍是否合理,作為圖像是否被篡改的一個(gè)輔助證據(jù).等效焦距越小,視野越大,圖像靠近邊緣形變越明顯,屬于廣角鏡頭;等效焦距越大,視野越小,圖像靠近邊緣形變越不明顯,屬于長焦鏡頭,越接近平行投影.

圖8 等效焦距示意圖Fig.8 The illustration of equivalent focal length

3.6 空間合理性指標(biāo)

傳統(tǒng)的光照估計(jì)方法只能得到平行投影光照lp,然后只能根據(jù)兩個(gè)光照lpi和lpj之間的差別d(lpij)的大小來進(jìn)行光照一致性分析進(jìn)而檢測圖像篡改.但是根據(jù)分析,d(lpij)差別大并不能說明問題,同時(shí)傳統(tǒng)的方法也只有投影光照可以用來分析,因而傳統(tǒng)光照分析方法得到的結(jié)果明顯具有局限性.

本文利用上面章節(jié)計(jì)算的信息對待檢驗(yàn)照片進(jìn)行空間信息合理性分析,包括空間光照ls、相機(jī)等效焦距Feq、人臉位置關(guān)系DH和人臉重投影圖像Ire.

1)空間光照ls:得到圖像中各人臉的空間光照ls后,就可以根據(jù)式(8)計(jì)算第i和j個(gè)人臉的空間光照差別d(lsij).同lp相比,ls是各人臉統(tǒng)一到相機(jī)坐標(biāo)系下的光照,用來描述人臉光照是否一致具有更高的準(zhǔn)確度;

2)相機(jī)等效焦距Feq:普通的數(shù)字相機(jī)和手機(jī)都有常見的焦距范圍,如果Feq明顯過小或過大同拍攝設(shè)備不符,就可以說明問題.另外,等效焦距越小,視野越大,圖像靠近邊緣失真越明顯,屬于廣角鏡頭;等效焦距越大,視野越小,圖像靠近邊緣失真越不明顯,屬于長焦鏡頭,越接近平行投影.如果估計(jì)的Feq和圖像中人臉失真程度不符,也可以說明問題;

3)人臉位置關(guān)系DH:通過式(25)可以計(jì)算每個(gè)人臉的空間位置坐標(biāo),進(jìn)而可以得到人臉同相機(jī)的距離DOH以及人臉之間距離DHH.如果同照片展示的物理事實(shí)有明顯不符,就可以說明問題,比如互相靠近的兩人間的距離過大;

4)人臉重投影圖像Ire:通過式(15)和(27)可以將人臉模型Nf0按照估計(jì)的相機(jī)參數(shù)重新投影,如果重投影圖像Ire和照片中的圖像差別過大,就可以說明問題.

4 實(shí)驗(yàn)結(jié)果及分析

4.1 真實(shí)圖像分析

我們首先使用一張晴天時(shí)拍攝的一個(gè)18 人足球隊(duì)的原始照片來驗(yàn)證我們提出的方法,如圖9 所示.這張照片是用華為P9 Plus 拍的,它的傳感器是1/2.9英寸的索尼IMX 286,物理焦距是4 毫米,等效焦距是29 mm.按照算法流程,首先提取標(biāo)定點(diǎn)并重建三維人臉模型.由于位于后排中間的運(yùn)動員佩戴運(yùn)動眼鏡的影響,無法正確標(biāo)定人臉關(guān)鍵點(diǎn)和重建人臉模型,我們將他看做偽造人臉.圖11 的第一個(gè)框中就是18 個(gè)隊(duì)員對應(yīng)重建人臉和投影光照渲染球.因?yàn)榇嬖诓顒e比較大的投影光照,按照投影光照進(jìn)行判斷,會認(rèn)為這張照片的光線不一致.

圖9 晴天下拍攝的一個(gè)足球隊(duì)的真實(shí)照片F(xiàn)ig.9 A pristine photo of a football team taken on a sunny day to verify our proposed approach

假設(shè)圖像主點(diǎn)位于圖像中心,通過任意兩個(gè)人臉和就可以優(yōu)化得到對應(yīng)的優(yōu)化焦距和相應(yīng)的空間光照ls.進(jìn)而得到優(yōu)化等效焦距、優(yōu)化等效焦距和實(shí)際等效焦距的差別以及投影光照差別d(lpij)和該焦距對應(yīng)的空間光照差別d(lsij).18 個(gè)隊(duì)員兩兩計(jì)算,就得到這4 個(gè)變量長寬為18×18 的矩陣圖,如圖10 所示.

圖10 圖9 中任意兩人優(yōu)化的等效焦距及其和真實(shí)焦距的誤差,投影光照差別及空間光照差別Fig.10 The maps ofbetween any two person in Fig.9

可以看出,優(yōu)化等效焦距在有些情況下很接近實(shí)際等效焦距,有時(shí)差別較大.從整圖來看,多數(shù)情況下d(lsij)都會比d(lpij)小,有時(shí)會小很多,說明即便單純用投影光照lp和空間光照ls來進(jìn)行一致性分析,統(tǒng)一坐標(biāo)系的空間光照ls更能表征光照一致性.

接下來,我們對圖中出現(xiàn)的幾種主要類型進(jìn)行分類說明:

1)當(dāng)d(lpij)本身較大時(shí),如果對應(yīng)的和Feq較為接近,d(lsij)會明顯小于d(lpij),其他信息也都合理.比如圖11 中第二排框,通過(6,11)兩人人臉估計(jì)透視參數(shù),d(lp(6,11))=0.0219,d(ls(6,11))=0.0001.照片中其他人的空間光照也都變得比較接近,尤其是投影光照差別明顯的人臉17和18.?Feq(6,11)=29.3 mm,和照片相比重投影模型沒有較大形變,而且相互空間位置比較合理,沒有過近或者過遠(yuǎn),,如圖12 第一列所示;

2)當(dāng)d(lpij)本身較大時(shí),如果對應(yīng)的和Feq差別較大,d(lsij)并不明顯小于d(lpij),其他信息合理性也很低,篡改的可能性就很大.比如圖11 中第三排框,通過(3,12)估計(jì)透視參數(shù),d(lp(3,12))=0.3508,d(ls(3,12))=0.3009,=5 mm,和照片相比重投影模型形變嚴(yán)重,而且相互空間位置過于接近,不符合實(shí)際,如圖12 第二列所示;

圖11 圖9 中18 名隊(duì)員的三維人臉模型和投影光照渲染球,以及三組通過不同人臉估計(jì)的透視參數(shù)對應(yīng)的人臉空間姿態(tài)、空間光照渲染球及重新投影的人臉透視模型對比Fig.11 The 3D face models and projected lighting of the 18 players in Fig.9,and three groups of spatial pose,spatial lighting and re-projected face model under the estimated perspective parameters using three different pairs of faces

3)當(dāng)d(lpij)本身較小時(shí),對應(yīng)的往往比較大,這是因?yàn)閷τ跓o限遠(yuǎn)空間光照來說,只有在兩人和相機(jī)光心之間連線的夾角比較小時(shí),投影光照才會比較接近,此時(shí)很難通過一致性約束得到準(zhǔn)確的透視參數(shù),所以便會得到長焦距,接近于平行光照,如果此時(shí)其他的信息合理性也低,那么圖像的篡改可能性較大.比如圖11 中第四排框,通過(5,10)估計(jì)透視參數(shù),d(lp(5,10))=0.0063,d(ls(5,10))=0.0098,=115 mm,重投影模型雖然沒有較大失真,但是相互空間位置過遠(yuǎn),互相搭肩的兩人距離超過了1 m,不符合實(shí)際,如圖12第三列所示.

圖12 根據(jù)人臉(6,11)、(3,12)、(5,10)優(yōu)化得到的參數(shù)估計(jì)出在人臉空間分布(上方為正視圖,下方為俯視圖)Fig.12 The estimated spatial poses of 18 human faces according to the optimized parameters of human faces (6,11),(3,12)and (5,10),respectively (The first row is the face view,and the second row is the top view of the faces)

4.2 公開數(shù)據(jù)集實(shí)驗(yàn)

由于多數(shù)用于篡改檢測的數(shù)據(jù)集中不包含人臉,而已有的人臉數(shù)據(jù)庫,包括最近公開的基于深度學(xué)習(xí)的計(jì)算機(jī)生成人臉庫ForensicsFaces[1],多是單一人臉.這些都不適用于評估本文算法.文獻(xiàn)[12]公開了真實(shí)人臉拼接照片數(shù)據(jù)集DSO ?1.由于DSO ?1 主要用于評估該文提出的光照色彩估計(jì)算法,里面多數(shù)照片都是距離很近的合影,而且有很多是在非無窮遠(yuǎn)光源的室內(nèi)光照和閃光燈下拍攝.我們主要選擇一些晴天下拍攝的真實(shí)照片和拼接照片進(jìn)行實(shí)驗(yàn).下給出4 個(gè)例子,如圖13 所示.

對于圖13(a),傳統(tǒng)方法會直接按照投影光照差別大d(lpa)=0.2463 判為篡改圖像,如圖中第二排虛線所示.本文算法無法得到將lpa優(yōu)化成空間光照lsa差別足夠小的透視參數(shù),=125 mm,實(shí)際上lsa同lpa基本相等.可以判斷這是一個(gè)篡改圖像.

對于圖13(b),d(lpb)=0.0093,傳統(tǒng)方法會判為真實(shí)圖像.由于d(lsb)非常小,本文算法無法得到合理的透視參數(shù),=94 mm,而圖中女生照片有明顯的透視形變,說明相機(jī)等效焦距較小,因此是個(gè)篡改圖像.實(shí)際上,由于閃光燈拍攝不符合無窮遠(yuǎn)光源的前提假設(shè),不滿足本文方法的空間光照一致性的約束,無法得到正確的透視參數(shù).但是傳統(tǒng)方法對閃光燈這種明顯點(diǎn)光源的照片按照投影光照一致判為真實(shí)圖像,其實(shí)從側(cè)面說明了傳統(tǒng)方法的局限.

圖13 對DSO-1 數(shù)據(jù)集中的四幅樣本圖像的檢測結(jié)果.(a)～(d)分別是對拼接圖像正確檢測,對原始圖像錯誤報(bào)警,對原始圖像正確檢測,對拼接圖像錯誤檢測Fig.13 The detection results of our method on four sample images in the DSO-1 dataset.(a)～(d)are respectively a correct detection for splicing image,a false alarm for pristine image,a correct detection for pristine image and a miss detection for splicing image

對于圖13(c),傳統(tǒng)方法會按照d(lpc)=0.0635較大判為篡改圖像.利用本文方法,得到優(yōu)化的=20.2 mm 下的d(lsc)=0.0167,較d(lpc)有明顯改變.同時(shí),二者頭部間距為0.24 m,距離相機(jī)都為1 米左右,比較符合照片的事實(shí),是真實(shí)照片的合理性較大.

對于圖13(d),傳統(tǒng)方法會按照d(lpd)=0.1065較大判為篡改圖像.利用本文方法,得到優(yōu)化的=34 mm 下的d(lsd)=0.0361,雖然本身較大判斷為篡改.但由于較d(lpd)有明顯改變,同時(shí),二者頭部間距為0.69 m,距離相機(jī)分別為1.87 米和1.61 米,比較符合照片的事實(shí),是真實(shí)照片的合理性較大.實(shí)際上這是一個(gè)篡改圖像,如果可以從相機(jī)中讀取準(zhǔn)確的等效焦距,就可以進(jìn)行比較.錯誤判斷的一個(gè)原因可能是原始的兩張照片是在相似的條件下拍攝的.

4.3 日本人質(zhì)案例鑒定

現(xiàn)在,我們不能再因?yàn)閳D1 中日本人質(zhì)照片的投影光照差別d(lp)=0.1327 足夠大,就認(rèn)為這張圖片是篡改照片.按照本文方法,優(yōu)化得到等效焦距=44 mm,相應(yīng)空間光照差別d(ls)=0.0755雖然明顯變小.兩人空間位置分別是(?0.5556,0.1015,3.3071)和(0.6310,0.0597,3.2316),比較符合事實(shí).而44 mm 的等效焦距,是普通數(shù)碼相機(jī)和攝像機(jī)常見范圍內(nèi)的數(shù)值.照片中人臉也沒有明顯的近距離形變.如圖14 所示,較強(qiáng)的空間光照的一致性以及等效焦距、空間位置以及重投影圖像的合理性,表明這張圖片很大程度上是一張真實(shí)圖片.

圖14 對圖1 中日本人質(zhì)的分析示意圖Fig.14 The analysis of the Japanese captivesphoto in Fig.1

4.4 實(shí)驗(yàn)結(jié)果分析

將以上案例的相關(guān)參數(shù)列表及判斷意見列為表1.其中,意見1 是傳統(tǒng)光照估計(jì)方法根據(jù)投影光照lp進(jìn)行光照一致性判斷給出的意見,意見2 是本文空間光照估計(jì)方法根據(jù)空間光照ls進(jìn)行光照一致性判斷給出的意見,意見3 是綜合空間信息進(jìn)行照片空間合理性分析給出的意見.結(jié)合對案例的分析,傳統(tǒng)的光照估計(jì)方法只能得到投影光照lp,基于此進(jìn)行的光照一致性分析具有明顯的局限性:對因透視投影造成的照片投影光照不一致現(xiàn)象無法進(jìn)行正確判斷,對閃光燈造成的照片投影光照一致則認(rèn)為光照一致.而基于透視投影下統(tǒng)一坐標(biāo)系后的空間光照進(jìn)行光照一致性分析則更符合物理事實(shí).與此同時(shí),結(jié)合透視投影下得到的其他空間信息,可以對照片的空間合理性進(jìn)行分析,比單純依靠光照一致性檢測人臉圖像篡改更有說服力.對相機(jī)參數(shù)未知的空間光照估計(jì)來說,圖像中兩個(gè)人臉同相機(jī)光心連線之間的夾角越大,投影光照差別越大,如果是真實(shí)圖像,越容易通過優(yōu)化方法得到另各種空間信息都較為合理的相機(jī)參數(shù);如果兩個(gè)人臉距離太小使得投影光照差別過小,就無法通過優(yōu)化得到合理的相關(guān)參數(shù).如果照片是篡改圖像或者不滿足平行光源假設(shè)的閃光燈照片,那么總會有一些參數(shù)不符合物理事實(shí),從而給出更有說服力的判斷意見.

5 結(jié)論

本文提出了一種透視投影下物體空間光照估計(jì)算法以及照片空間合理性分析方法.針對以往光照估計(jì)基于平行投影的假設(shè)、得到光照都是照片投影光照的不足,該算法將各物體坐標(biāo)系統(tǒng)一到相機(jī)坐標(biāo)系下,得到各物體相對于相機(jī)坐標(biāo)系的空間光照,從物理原理上使得光照估計(jì)方法的準(zhǔn)確度得到了顯著提高.同時(shí),根據(jù)空間光照一致性約束可以優(yōu)化得到相機(jī)參數(shù),并得到該參數(shù)下的等效焦距、人臉空間位置以及重新透視投影的圖像和原圖像的形變差異等信息.本文將空間光照的一致性和上述信息的合理性作為評判標(biāo)準(zhǔn),實(shí)驗(yàn)結(jié)果表明,相比于傳統(tǒng)光照估計(jì)方法僅依據(jù)照片投影光照一致性對人臉圖像進(jìn)行拼接篡改檢測,本文提出的空間光照一致性分析方法具有更高的準(zhǔn)確度,結(jié)合相關(guān)空間信息進(jìn)行照片空間合理性分析則更有說服力.

表1 實(shí)驗(yàn)中各案例相關(guān)參數(shù)列表及判斷意見Table 1 Comparisons of relevant parameters and corresponding judgment opinions of each case in the experiment

在圖像取證和圖像篡改檢測領(lǐng)域,單純依靠一種方法很難給出有效的意見,往往需要綜合考慮各種線索才能做出判斷.同時(shí),已有的取證算法也容易被反取證算法攻擊.因此,在完善提高已有算法的同時(shí),也需要不斷提出新的取證算法.而利用深度學(xué)習(xí)方法對圖像內(nèi)容進(jìn)行取證,同樣是一個(gè)值得探索和研究的方向.