基于光強信息的視頻插幀篡改檢測

吳鐵浩a，黃添強a,b，袁秀娟a，陳智文a

(福建師范大學 a.數學與計算機科學學院；b.網絡安全與密碼技術福建省高校重點實驗室，福州 350007)

1 概述

在數字多媒體愈發普及的時代，各種成像設備在各個領域的使用變得更加廣泛。隨著先進的視頻編輯軟件的出現和不斷升級，修改一張圖片或一段視頻變得越來越容易。這種技術一旦被非法者利用，將可能對社會產生不可預期的影響。因此，數字視頻篡改檢測技術的研究成為當今亟需快速發展的重要技術。

目前，國內外學者對數字視頻篡改取證的研究主要有2類：(1)針對視頻編碼(比如MPEG編碼)過程的特點。因為被篡改的數字視頻經常有經過重壓縮的過程，而經過重壓縮的視頻，其幀序列的內在規律會遭到破壞，所以可以通過分析特定格式視頻幀序列的內在規律是否遭到破壞來檢測。文獻[1]提出針對MPEG格式編碼的視頻序列，利用篡改前后的預測殘差周期性變化的特點進行分析。文獻[2]在此基礎上，針對其存在的問題，提出基于雙向運動矢量的數字視頻篡改取證算法，大大提高了檢測精度。(2)從現有的數字圖像篡改取證[3-4]算法的基礎出發，根據視頻拍攝過程中引入的模式噪聲，或者視頻幀序列的連續性及其他統計特性的特點進行分析。文獻[5]提出了基于模式噪聲相關性的視頻篡改檢測算法，首先提取視頻每一幀的模式噪聲，然后將僅剩模式噪聲的視頻幀分塊，最后通過計算時間上相鄰的塊級相關性，構建高斯混合模型，來鑒定數字視頻是否被篡改。文獻[6]同樣利用視頻模式噪聲，通過比較待鑒別幀的噪聲與模式噪聲之間的相關性，利用實驗經驗閾值判斷，定位篡改區域。文獻[7]提出一種利用模式噪聲聚類分析的視頻篡改檢測方法。這種方法將數據挖掘的相關算法應用到視頻篡改檢測研究，在檢測精度上取得了不錯的效果。

然而這2類算法都有一些局限性。視頻編碼過程的算法，雖然能夠取得不錯的檢測效果，但是受限于視頻格式，無法達到通用性；模式噪聲取證的算法雖然突破了視頻格式的限制，但是這種算法只能用于異源的篡改檢測，一旦插入幀是同一部攝像機拍攝的，那么這種算法就無法準確檢測出來。本文針對這2類算法的缺點，提出一種基于光強信息的數字視頻插幀篡改檢測算法。視頻場景的光強信息特征會隨著拍攝時間的轉移而不同，對于一段遭遇幀插入篡改的視頻，不管插入幀是不是與原視頻同源，只要是在不同時間點拍攝的，那么合成視頻的場景光強信息特征將會出現不連續的特點[8-9]。

2 亮度信息模型

本節介紹光照強度以及亮度信息模型的提取，所提取的亮度信息模型將用來作為視頻真偽的判斷依據。

2.1 光照簡介

之所以能夠看到物體，是因為當光線照射在物體上時，這些光線可能被吸收、透射或反射，那些被透射或反射的光傳到眼睛，從而產生影像的結果。從光照模型中提取適當的光照特征可以用來解決特定領域的問題。一般來說，光照的特征可分為3類：光的色彩，光的強度和光的方向。

不同波長的光有不同的顏色，白光是由紅、橙、黃、綠、青、藍、紫這7種顏色的光疊加的結果。光的色彩指的是一種或多種顏色的光疊加的混合光所呈現的顏色。

光照強度，也稱光強。其定義為照射在單位面積上的光通量。假設單位面積ds上的光通量為dφ，那么此單位面積的光強為E=dφ/ds。光強可以用來代表光照的強弱。

光的方向，指的是光線的入射方向。表達光的方向通常需要一個參考平面。

2.2 亮度信息提取

利用光照信息的目的是用于待測數字視頻的真偽檢測。由于待測視頻通常是彩色的，并且視頻中的色彩取決于場景本身，因此光的色彩不適合作為光照信息，用于視頻真偽檢測。另外，現有的關于估計光照方向的算法，比如：Pentland方法[10]和Lambert光照模型[11]，本身算法復雜度太高，而且由于光的反射和漫反射會影響光照方向的估計等原因，因此光的方向亦不適合視頻真偽檢測的判斷依據。本文主要考慮用光照強度構造光強信息模型。下面介紹在RGB顏色空間和HSV顏色空間的亮度信息提取方法。

(1)RGB亮度信息

一般而言，圖像可以表示為物體反射系數和光照的乘積，也就是：

其中，R(x,y)為反射系數，主要由物體的材料、形狀、姿態等因素決定，與光照無關；L(x,y)代表光照強度。

從原始圖像I(x,y)中提取反射系數R(x,y)和光照強度L(x,y)相當困難。然而，假設完全去除光照，把物體放在黑暗的空間里，那么拍攝得到的將是一幅全黑的圖像。因此，可以肯定的是，圖像的光照特征與圖像的灰度值存在某種關聯。為了描述圖像的光照特征，可以用圖像的亮度分布情況近似表示。

定義圖像在(x,y)處的亮度H(x,y)為R、G、B三原色中的最大值：

其中，R(x,y),G(x,y),B(x,y)分別代表圖像I在(x,y)處對應的紅、綠、藍通道的灰度值。

圖像的亮度分布情況可以用單幀圖像亮度的均值和方差來描述，即EH和VarH2。

其中，N和M分別為單幀圖像的長和寬。

(2)HSV亮度信息

HSV[12-14]是一種根據顏色的直觀特性創建的顏色空間。與RGB顏色空間不同的是，這個模型中顏色的參數分別是：色調(H)，飽和度(S)，亮度(V)。這3個參數是獨立的分量。HSV色彩空間模型如圖1所示。

圖1 HSV色彩空間模型

色調H：用角度度量，取值范圍為0～360°，從紅色開始按逆時針方向計算，紅色為0°，綠色為120°，藍色為240°。它們的補色是：黃色為60°，青色為180°，品紅為300°。

飽和度S：指色彩的純度，越高色彩越純，低則逐漸變灰，取值范圍為0.0～1.0。

亮度V：指的是色彩的明亮程度，取值范圍為0.0(黑色)～1.0(白色)。亮度本身不代表光照強度。

在HSV色彩空間中，只有色調和飽和度包含了顏色信息。飽和度與一定色調的亮度有關，純光譜色是完全飽和的，隨著白光的加入飽和度將逐漸減少。

由上述關于HSV色彩空間模型的相關介紹，在HSV色彩空間中，色調在一定程度上可以用來表示光的色彩。由前文討論過的，色調不宜作為光照信息。飽和度和亮度能夠準確地反映圖像中的亮度特征。可以設想，對于一段持續平穩拍攝的視頻，視頻內容的亮度也會隨著光照強度的變化而變化。一部攝像機在2個不同的時間點拍攝同一個場景，即使設備參數設置不變，但由于場景本身的光照強度已經發生改變，最終也將導致拍攝出來的視頻內容的亮度發生改變。對于單幀圖像來說，HSV的亮度和飽和度雖然不能代表光照強度，但是對于一段在戶外拍攝的視頻，亮度和飽和度的連續性會隨著光照強度的改變而改變。HSV的亮度和飽和度可以作為亮度特征用于視頻真偽檢測。分別提取單幀圖像的HSV色彩空間模型的飽和度和亮度，以它們的均值和方差作為亮度信息。計算公式如下：

其中，ES、VarS2分別為HSV色彩空間的飽和度的均值和方差；EV、VarV2分別為HSV色彩空間的亮度的均值和方差；RGB(:,:,2)表示從RGB色彩空間提取HSV色彩空間的飽和度；RGB(:,:,3)表示從RGB色彩空間提取HSV色彩空間的亮度；N和M分別為單幀圖像的長和寬。

3 檢測算法

光照強度是視頻場景的重要信息。對于戶外拍攝的視頻，由于環境因素等各種原因，一部攝像機所拍攝的視頻的光照亮度是平穩變化的。在2個不同的時間段拍攝的視頻，即使是同一部攝像機，所拍攝的視頻，其亮度特征也會有所不同。不同攝像機拍攝的亦是如此。另外，由于光具有波粒二象性，在一段連續時間內，光照強度的變化并非是一條直線，而是在一定范圍內具有波動性。因此，不同時間點拍攝的相同視頻內容的光照強度會在不同范圍內波動，并且有可能有重疊部分。為了更好地表達視頻的完整性并且分離出異常幀，本文利用歐氏距離來度量視頻幀與其他幀之間的光照強度距離。然后限定相關閾值，最后定位異常插入幀。圖2為本文算法流程。

圖2 本文算法流程

算法步驟如下：

(1)將待檢測的數字視頻轉化為連續的幀序列。

(2)對于幀序列的每一幀圖像，提取EH,VarH2,ES,VarS2,EV,VarV2這6個亮度特征信息。

(3)將從每一幀圖像提取的6個亮度特征信息標準化后融合成一個亮度特征，用亮度特性(Luminance Characteristics,LC)表示。

(4)計算每一幀的LC(i)與其余幀的歐式距離LDur(i)。

(5)以待測視頻的LDur的均值ELDur為參考，查找偏離ELDur程度大于閾值的連續幀序列。若查找結果為空，則視頻無異常；若查找結果不為空，則查找的幀序列為異常插入幀。

在算法步驟(3)中將EH,VarH2,ES,VarS2,EV,VarV2這6個特征標準化后融合，相關公式如下：

其中，式(9)～式(14)是將EH,VarH2,ES,VarS2,EV,VarV2這6個亮度特征標準化；式(15)將標準化的6個亮度特征融合；N表示視頻幀數；i表示幀序號。

用歐式距離來度量幀間光強距離和平均距離的關系：

式(16)得到視頻幀序列每一幀與其余幀的距離之和，式(17)是LDur的均值。由上述可知，LDur表示的是視頻幀序列每一幀與其余幀關于光照強度的相對關系，對于一段遭遇插入幀篡改的視頻，所插入的幀數至少要十幀以上。用LDur的均值ELDur作為參考值，若一段待檢測視頻的LDur序列中連續幾個相鄰值都偏離ELDur一定程度(用偏離度k表示)，那么可以判定這些值所對應的幀就是插入幀。經大量實驗，該檢測過程的2個閾值、連續相鄰幀數n和偏離度k應滿足：n≥12,k≥2.8。檢測算法如下：

4 實驗及結果分析

為評估本文算法的可行性和性能，用5段真實拍攝的經過插幀合成篡改的視頻進行測驗。實驗環境如下：操作系統為Windows XP，內存為3 GB，開發環境為Matlab7.0。由于實驗所用視頻的幀率為25 f/s，而人眼要能連貫地看到視頻畫面，幀率至少要12 f/s～16 f/s以上。所以對于篡改者來說，要篡改一段視頻，至少要連續篡改10幀以上。因此，為了減少實驗所用時間，在不影響實驗結果的前提下，實驗過程中可以采用隔幀采樣的方法。本文所用的隔幀采樣頻率為3。

第1段實驗視頻VID1(大小為640×480)，是由一部攝像機(編號1)在2個不同時間段拍攝同一場景的片段合成的。該段視頻共有301幀，第1幀～第180幀和第211幀～第301幀是在上午10點32分拍攝的，第181幀～第210幀是在下午16點15分拍攝的。圖3所示為VID1視頻的部分原始幀和插入幀。用本文算法進行實驗，所用時間為213 s，ELDur為2.8236×10–4，LDur曲線如圖4 所示。

圖3 VID1視頻的部分原始幀和插入幀1

圖4 VID1視頻的LDur曲線1

實驗結果顯示61～70處有異常。由圖4的LDur曲線，在幀序列序號61～70處的LDur值呈現出異常凸起。而ELDur為2.8236×10–4，凸起部分與ELDur的比值均大于閾值2.8。由實驗視頻數據知，該視頻的第181幀～第210幀是在不同時段用同一部攝像機拍攝的片段。因為實驗過程中采用隔幀采樣實驗的方法，且隔幀頻率為3。經計算，恰好應該在序號61～70處出現異常。實驗結果與預測結果一致，檢測率為100%。

第2段實驗視頻VID1(大小為640×480)，是由一部攝像機(編號1)在2個不同時間段拍攝同一場景的片段合成的。該段視頻共有560幀，第1幀～第101幀和第131幀～第560幀是在下午15點32分拍攝的，第301幀～第330幀是在16點41分拍攝的。圖5所示為VID1視頻的部分原始幀和插入幀。用本文算法進行實驗，所用時間為377 s，ELDur為1.7625×10–6，LDur曲線如圖6 所示。

圖5 VID1視頻的部分原始幀和插入幀2

圖6 VID1視頻的LDur曲線2

實驗結果顯示34～43處有異常。由圖6的LDur曲線，在幀序列序號34～43處的LDur值呈現出異常凸起。而ELDur為1.7625×10–6，凸起部分與ELDur的比值均大于閾值2.8。由實驗視頻數據知，該視頻的第101幀～第130幀是在不同時段同用一部攝像機拍攝的片段。因為實驗過程中采用隔幀采樣實驗的方法，且隔幀頻率為3。經計算，恰好應該在序號101～130處出現異常。實驗結果與預測結果一致，檢測率為100%。

第3段實驗視頻M2U1(大小為720×576)，是由另一部攝像機(編號2)在2個不同時間段拍攝同一場景的片段合成的。該段視頻共有433幀，第1幀～第150幀和第151幀～到第433幀是在9點14分拍攝的，第151幀～第180幀是在10點44分拍攝的。圖7所示為M2U1視頻的部分原始幀和插入幀。用本文算法進行實驗，所用時間為385 s，ELDur為3.5112×10–6，LDur曲線如圖8 所示。

圖7 M2U1視頻的部分原始幀和插入幀

圖8 M2U1視頻的LDur曲線

實驗結果顯示51～60處有異常。由圖8的LDur曲線，在幀序列序號51～60處的LDur值呈現出異常凸起。而ELDur為3.5112×10–6，凸起部分與ELDur的比值均大于閾值2.8。由實驗視頻數據知，該視頻第151幀～第180幀是在不同時段用同一部攝像機拍攝的片段。實驗過程中采用隔幀采樣實驗的方法，且隔幀頻率為3。經計算，恰好應該在序號51～60處出現異常。實驗結果與預測結果一致，檢測率為100%。

以上3個實驗充分說明了本文算法能夠對于視頻的同源插幀篡改進行有效檢測。為了檢驗算法對異源插幀篡改檢測的有效性，做了第4個實驗，實驗過程如下：

第4段實驗視頻VID12(大小為640×480)，是由2部攝像機(編號1和編號2)同時拍攝同一場景片段合成的。該段視頻共有301幀，第1幀～第60幀和第91幀～第301幀由編號1的攝像機拍攝的，第61幀～第90幀由編號2的攝像機拍攝的。圖9所示為VID12視頻的部分原始幀和插入幀。用本文算法進行實驗，所用時間為255 s，LDur曲線如圖10所示。

圖9 VID12視頻的部分原始幀和插入幀1

圖10 VID12視頻的LDur曲線1

實驗結果顯示21～29處有異常。由圖10的LDur曲線，在幀序列序號21～30處的LDur值呈現出異常凸起。而ELDur為3.5112×10–6，凸起部分的21～29處的LDur值與ELDur比值均大于閾值2.8，30處的比值略小于2.8，因此，30處判定為正常幀。由實驗視頻數據知，該視頻第61幀～第90幀是在同一時段用另一部攝像機拍攝的同一場景片段。因為實驗過程中采用隔幀采樣實驗的方法，且隔幀頻率為3。經計算，應該在序號21～30處出現異常。實驗結果與預測結果大致相同，檢測率為90%。

第5段實驗視頻VID12(大小為640×480)，是由2部攝像機(編號1和編號2)在2個不同時段拍攝同一場景的片段合成的。該段視頻共有692幀，第1幀～第40幀由編號1的攝像機拍攝的，第41幀～第692幀是由編號2的攝像機拍攝的。圖11所示為VID12視頻的部分原始幀和插入幀。用本文算法進行實驗，所用時間為324 s，LDur曲線如圖12所示。

圖11 VID12視頻的部分原始幀和插入幀2

圖12 VID12視頻的LDur曲線2

實驗結果顯示4～13處有異常。由圖12的LDur曲線，在幀序列序號1～30處的LDur值呈現出異常凸起。而ELDur為4.948×10–5，凸起部分的4～13處的LDur值與ELDur比值均大于閾值2.8，1～3處的比值略小于2.8，1～3處判定為正常幀。由實驗視頻數據知，該視頻的第1幀～第40幀是在同一時段用另一部攝像機拍攝的同一場景片段。因為實驗過程中采用隔幀采樣實驗的方法，且隔幀頻率為3。經計算，應該在序號1～13處出現異常。圖12表明檢測結果與預測結果大致相同。

從圖4、圖6、圖8、圖10和圖12這5個實驗結果可以看到，無論一段視頻遭遇的是同源還是異源的插幀篡改，該算法均能夠以較高的準確率檢測插入幀及其插入位置。

5 結束語

本文針對數字視頻插幀篡改，提出基于光照亮度信息的檢測算法。通過提取視頻每幀的6個光照亮度特征，將這6個特征標準化后融合，最后通過視頻幀間的光照強度距離和平均距離的相對關系，根據閾值，分離出可疑插入幀。由實驗結果得出，本文提出的算法能夠對同源異時、異源同時和異源異時的插幀篡改進行有效檢測。本文的檢測算法是基于光照亮度信息模型的，不足之處是無法對于室內拍攝的視頻進行有效的篡改檢測。所以針對于室內拍攝的視頻篡改檢測還有待研究。

[1]Wang Weilong,Farid H.Exposing Digital Forgeries in Video by Detecting Double MPEG Compression[C]//Proc.of the 8th Workshop on Multimedia and Security.New York,USA:ACM Press,2006:37-47.

[2]黃添強,陳智文.基于雙向運動矢量的數字視頻篡改鑒定[J].山東大學學報:工學版,2011,41(4):13-19.

[3]Li C T,Li Yue.Digital Camera Identification Using Colourdecoupled Photo Response Non-uniformity Noise Pattern[C]//Proc.of IEEE International Symposium on Circuits and Systems.Paris,France:IEEE Press,2010:3052-3055.

[4]Lukas J,Fridrich J,Goljan M.Digital Camera Identification from Sensor Pattern Noise[J].IEEE Transactions on Information Forensics and Security,2006,1(2):205-214.

[5]Hsu C C,Hung T Y,Lin C W,et al.Video Forgery Detection Using Correlation of Noise Residue[C]//Proc.of the 10th Workshop on Multimedia Signal Processing.[S.l.]:IEEE Press,2008:170-174.

[6]王俊文,劉光杰,張 湛,等.基于模式噪聲的數字視頻篡改取證[J].東南大學學報:自然科學版,2008,38(2):13-17.

[7]黃添強,吳鐵浩,袁秀娟,等.利用模式噪聲聚類分析的視頻非同源篡改檢測[J].計算機科學與探索,2011,5(10):914-920.

[8]Johnson M K,Farid H.Exposing Digital Forgeries by Detecting Inconsistencies in Lighting[C]//Proc.of the 7th Workshop on Multimedia and Security.New York,USA:ACM Press,2005:1-10.

[9]朱君波,王守覺,馮 浩.基于矢量運算的圖像光照處理算法[J].計算機應用,2010,30(6):1581-1583.

[10]陳 波,朱秋煜.基于光照方向的人像合成圖像的檢測[J].計算機仿真,2009,(3):202-204.

[11]陳海鵬,申鉉京,呂穎達,等.基于Lambert光照模型的圖像真偽盲鑒別算法[J].計算機研究與發展,2011,48(7):1237-1245.

[12]肖治民,林坤輝,周昌樂,等.基于HSV顏色空間的視頻鏡頭檢測[J].廈門大學學報,2008,47(5):665-668.

[13]楊 濤,張森林.一種基于HSV顏色空間和SIFT特征的車牌提取算法[J].計算機應用研究,2011,28(10):3937-3939.

[14]張國權,李戰明,李向偉,等.HSV空間中彩色圖像分割研究[J].計算機工程與應用,2010,46(26):179-181.