基于幀內預測模式多劃分的HEVC魯棒視頻水印算法

蔡春亭，馮 桂,王 馳，韓 雪

(華僑大學 信息科學與工程學院，福建 廈門 361021)

基于幀內預測模式多劃分的HEVC魯棒視頻水印算法

蔡春亭，馮 桂*,王 馳，韓 雪

(華僑大學 信息科學與工程學院，福建 廈門 361021)

(*通信作者電子郵箱fengg@hqu.edu.cn)

針對現有基于高效視頻編碼(HEVC)標準的水印算法魯棒性不足的問題,提出一種基于幀內預測模式多劃分的HEVC魯棒視頻水印算法。首先，針對嵌入水印后幀內誤差傳播的問題，對4×4亮度塊進行可嵌區域的選擇，并計算4×4亮度塊的紋理方向；其次,將33種角度預測模式劃分為四種模式集，依次記為：上水平、下水平、上垂直、下垂直；最后，將當前以及下一待嵌入水印的值與模式集建立映射關系,通過判斷當前4×4塊屬于哪個模式集來進行水印的嵌入，并將33種角度模式截斷為其中一種模式集。解碼端通過紋理方向和預測模式集提取水印。實驗結果表明，所提算法的平均峰值信噪比維持不變，且在重編碼攻擊下的誤碼率(BER)為14.1%。由此可知，該算法對視頻質量影響很小,在魯棒性上可以抵抗重編碼的攻擊。

高效視頻編碼；幀內預測模式；視頻水印；紋理方向

0 引言

近年來，非法使用數字化視頻的問題日益嚴重，視頻的版權問題變得尤為突出。因此，數字視頻水印技術成為研究的熱點[1]。隨著高清、超高清視頻的應用逐漸進入到人們的視野[2]，視頻壓縮技術受到了巨大的挑戰，為了應對這亟待解決的問題，國際電信標準化部門和國際標準化組織的視頻編碼專家組聯合制定了新一代高效視頻壓縮編碼標準(High Efficiency Video Coding, HEVC)。

現階段,H.264/AVC的視頻水印技術比較成熟，Noorkami等[3]提出將水印嵌入到4×4幀內預測模式的I宏塊的直流系數上。該算法具有一定的安全性，但根據密鑰選擇嵌入位置，對水印的不可見性造成影響。Mansouria等[4]提出在紋理復雜的4×4子塊嵌入水印，該算法對水印的視頻質量影響較小，但是一旦編碼模式發生變化，將會導致嵌入水印與提取水印不同步。Kim等[5]提出了基于H.264幀內編碼的數字水印存在的若干問題，通過實驗驗證了重編碼會使離散余弦變換(Discrete Cosine Transform, DCT)系數和幀內編碼模式發生改變。張維偉等[6]提出將水印嵌入到紋理度復雜的4×4塊量化DCT系數中，該算法的魯棒性較好，但嵌入水印后視頻的質量下降較大。隨著新一代高效視頻編碼的出現，基于HEVC的數字水印成為研究熱門。王家驥等[7]提出修改幀內預測模式的奇偶性，該算法對視頻質量影響較小，一旦含水印視頻受到常規攻擊后，預測模式容易改變，使得水印不能正常提取，魯棒性較低。張明輝等[8]提出將水印嵌入到預測模式的水平模式和垂直模式中，通過預測模式進行水印的提取，在解碼端用兩個紋理方向值的對比還原水印，當水印遭到攻擊時，一旦像素點的值改變，會對水印的提取造成誤判。鑒于以上分析，本文提出一種基于幀內預測模式多劃分的HEVC視頻水印。本文算法首先為了消除嵌入水印時的幀內誤差傳播，對4×4亮度塊進行可嵌區域的選擇，隨后將33種角度模式劃分為四個模式集，通過判斷當前待嵌入和下一水印的值符合哪個模式集來嵌入水印。在解碼端，當水印遭到攻擊導致預測模式發生改變時，通過紋理方向準確定位模式集能正常提取水印，使得誤碼率降低，魯棒性能提高。

1 水印的嵌入與提取

1.1 幀內誤差傳播分析與紋理計方向計算

相較與以往的視頻編碼標準(如H.264/AVC),HEVC引入了全新的編碼結構——編碼單元(Coding Unit, CU )、預測單元(Prediction Unit, PU )和變換單元(Transform Unit, TU )3個基本單元。CU的尺寸大小可以為8×8到64×64，CU根據預測模式又可劃分為一個或多個不重疊的PU，同時一個CU還可以按照四叉樹方式劃分為一個或多個變換單元(Transform Unit,TU)。這些特性使得一個8×8以上的PU鄰近塊可能存在著不同尺寸的PU，可能為DCT或離散正弦變換(Discrete Sine Transform, DST)變換，會給消除幀內誤差的分析帶來不便。而4×4 PU鄰近塊不存在著更小的尺寸，只存在DST變化，可以簡化水印的嵌入，又考慮到HEVC中不同尺寸的PU有著不同的紋理特性，其中越小的塊代表著紋理越復雜的區域，因此最終選定4×4 PU。

對于任意尺寸的PU都有35種預測模式，其中模式0為Planar模式，模式1為DC模式，模式2～33為角度模式。所有的預測模式都使用鄰近預測塊的像素作為參考樣本，通過鄰近塊編碼預測得到當前塊。模板如圖1所示，RX,Y表示相鄰塊的像素重建值，用作參考樣本，PX,Y表示當前塊的像素。

圖1 H.265/HEVC幀內預測模板

為了考慮消除嵌入水印時的幀內誤差傳播[9]，根據上述幀內預測模板可推論，當對右上、右邊、右下、下面、左下PU進行預測時，會選用鄰近塊的參考樣本進行預測。當選用圖2 中4×4塊作為參考塊時，選用的參考樣本區域如表1所示，即右上塊作為當前預測塊時，會以1、2、3和4像素點作為參考樣本，同理，其他塊選用像素點的方法類似。由此推論，若水印嵌入到圖2 中4×4區域的灰色部分，會對右上、右邊、右下、下面、左下像素塊的重建造成影響，由此類推，幀內誤差傳播的累加會對視頻的質量產生影響。若不在4×4亮度塊中的灰色區域嵌入水印，繼而可以消除幀內誤差傳播。

圖2 用于鄰近塊預測的4×4像素塊

4×4PU塊選用的像素位置4×4PU塊選用的像素位置右上1，2，3，4下面4，5，6，7右邊1，2，3，4左下4，5，6，7右下4

接下來，計算出當前4×4亮度塊的紋理方向，Tsai等[10]提出了一種簡單、準確的紋理算法，描述如下：把4×4像素塊分為4個2×2子塊和一個2×2的內部子塊，如圖3所示。利用式(1)分別計算每個子塊的平均值P0、P1、P2、P3、P4：

PK={f(xK,yK)+f(xK+1,yK)+f(xK,yK+1)+f(xK+1,yK+1)}

(1)

其中：K=0,1,2,3,4;f(x,y)表示在坐標(x,y)處的像素值，且(xK,yK)表示第K個2×2塊的起始位置，如圖4所示。

圖3 4×4亮度塊劃分為5個2×2子塊

圖4 PK塊的像素值

PK值表示兩個對角方向，一個水平方向和一個垂直方向，依次記為方向d45°、方向d135°、方向d0°、方向d90°。利用這4個角度可以進一步計算出方向d22.5°、方向d67.5°、方向d167.5°、方向d112.5°，計算式如下：

d0°=|P1-P0|+|P3-P2|

(2)

d90°=|P2-P0|+|P3-P1|

(3)

d45°=|P4-P1|+|P2-P4|

(4)

d135°=|P4-P0|+|P3-P4|

(5)

d22.5°=(d0°+d45°)/2

(6)

d67.5°=(d45°+d90°)/2

(7)

d112.5°=(d90°+d135°)/2

(8)

d157.5°=(d0°+d135°)/2

(9)

選取d22.5°、d157.5°、d112.5°、d67.5°中最小的值作為當前4×4亮度塊的紋理方向。

根據前文論述可知，紋理方向與角度預測模式存在著很強的聯系，如圖5所示，d22.5°、d157.5°、d112.5°、d67.5°分別落在預測模式2～10、11～18、19～26、27～34，依次記為上水平模式、下水平模式、上垂直模式和下垂直模式，且分別對應于角度模式6、14、22和30。

圖5 紋理方向與預測模式之間的關系

1.2 嵌入水印

令二值待嵌入水印序列為Wpri,利用密鑰k1產生的雙極性隨機序列為randpri，進行如下加密：

W=randpri×Wpri

其中：W={Wi|i=1,2,…,M,Wi∈{-1,1}}。水印的嵌入是在HEVC的I幀編碼中進行的，現描述如下：

步驟1 在I幀中，第一個編碼樹單元開始，找出其中尺寸為8×8的CU。

步驟2 在進行N×N編碼時，選擇4×4的PU并計算其紋理方向，若紋理方向的最小值Min為d22.5°時，記為上水平模式；Min為d157.5°時，記為下水平模式；Min為d112.5°時，記為上垂直模式；Min為d67.5°時，記為下垂直模式。

步驟3 假設當水印組合(Wpri,Waft)=(-1，1)時，且紋理方向為上水平模式，則嵌入水印；當(Wpri,Waft)=(-1，-1)時，且紋理方向為下水平模式，則嵌入水印；當(Wpri,Waft)=(1，-1)時，且紋理方向為上垂直模式，則嵌入水印；當(Wpri,Waft)=(1，1)時，且紋理方向為下垂直模式，則嵌入水印。其中：Wpri、Waft分別表示當前和下一待嵌入水印的值。

步驟4 若符合水印嵌入要求，則在模式粗選之前將33種角度預測模式進行截斷處理，處理方式為：當紋理方向判斷為上水平模式，則預測模式截斷為2～10；當紋理方向判斷為下水平模式時，則截斷為11～18；當紋理方向判斷為上垂直方式時，則截斷為19～26；當紋理方向判斷為下垂直方式時，則截斷為27～33。

步驟5 若當前PU總的率失真代價小于2N×2N分割模式，則保留水印，否則對水印位進行相應的調整，不保留嵌入信息，進行下個PU，轉到步驟2。

步驟6 記錄已嵌入水印中像素的位置,作為密鑰k2。

1.3 提取水印

水印的嵌入根據像素塊的紋理方向與幀內預測模式的關系進行嵌入，因此解碼端在提取水印時只需計算像素塊的紋理方向即可。具體過程如下：

步驟1 根據密鑰k2，先獲取對應位置4×4亮度塊預測模式的值Mode，再計算亮度塊的4個紋理方向d22.5°、d157.5°、d112.5°和d67.5°，最后求最小值Min。

步驟2 在視頻遭到攻擊時，預測模式有可能發生改變。為了解決這個問題，提出以下兩種方法：

1)當預測模式為2～34時，利用式(10)進行水印的提取：

(10)

2)當預測模式為0、1時，利用式(11)進行水印的提取：

(11)

步驟3 將提取出的水印序列與雙極性隨機序列randpri相乘，得到最終的二值水印序列。

1.4 整體算法

算法首先進行幀內誤差傳播的分析，由此選定3×3可嵌區域，并計算4×4PU紋理方向，最后利用紋理方向和預測模式緊密的聯系進行水印嵌入，根據預測模式和紋理方向進行水印的提取。

2 實驗結果與分析

算法在HEVC參考軟件HM14.0進行測試。編碼方式為IPPP…，參考軟件的主要編碼配置參數如下：原始QP(QuantizationParameter)為28，編碼24幀，圖像組(GroupOfPicture,GOP)為12，率失真優化量化(Rate-DistortionOptimizedQuantization,RDOQ)為1，其余參數采用默認配置。電腦基本配置:CPU為intelCorei5- 6300HQ2.3GHz,內存為8GB。通過在單幀(I幀)進行水印嵌入,而不是在每幀進行水印嵌入。測試了9個具有3種分辨率的序列，分別為3個416×240的BlowingBubles、RaceHorses和BaketballPass，3個832×480的BQMall、PartyScene和RaceHorse，以及3個1 280×720的FourPeople、SlideEditing和Slideshow。

2.1 視頻質量和魯棒性分析

表2列出了不同的測試序列嵌入水印前后的峰值信噪比(PeakSignal-to-NoiseRatio,PSNR)和碼率的變化(用碼率增長率表示)以及單幀水印的嵌入容量(Capacity,C)。PSNR的變化用ΔP=Pemb-Pori表示，碼率增長率用ΔBIR=(Remb-Rori)/Rori表示。其中:Pori表示原始測試序列的PSNR;Pemb表示嵌入水印后測試序列的PSNR;Rori表示原始測試序列的碼率;Remb表示嵌入水印后測試序列的碼率;C表示水印嵌入的總比特數。從表2中可知，PSNR下降最多的為-0.01 dB,部分序列的PSNR還增加了，總體PSNR的平均變化為0，這是由于本文通過紋理方向與預測模式緊密的聯系把33種角度模式劃分為4個模式集，用4個角度來表示。隨后根據角度來定位當前紋理方向屬于哪個模式集，模式的精確劃分減小了紋理方向的誤判率，所以嵌入水印后對視頻質量的影響不大。

除了表2的客觀驗證外，本文還給出了主觀驗證效果。圖6為832×480的BQMall序列在嵌入水印前后第一幀視頻質量的對比。由圖6可知，雖然嵌入水印后，PSNR有一定的下降，但是對視頻質量幾乎是沒有影響的。

表2 嵌入水印前后PSNR、碼率的變化和容量大小

圖6 嵌入水印前后的圖

本文的魯棒性用誤碼率(BitErrorRate,BER)來評價，計算式為：

BER=biterror/bittotal

其中:biterror表示提取錯誤的比特數；bittotal表示總的嵌入水印的比特數；BER越小，說明該算法的魯棒性能更好。在視頻遭到重編碼的攻擊時， 4×4亮度塊的幀內預測模式可能為0或1。為了能夠準確提取出水印信息，在解碼端計算4×4塊的4個紋理角度：d22.5°、d157.5°、d112.5°和d67.5°，并求其最小值Min。若Min為d22.5°或d157.5°，則提取的水印信息為-1，反之，水印信息為1。本文算法的優勢在于，若當前4×4塊的像素值發生變化，有可能導致d22.5°、d157.5°、d112.5°和d67.5°值的微小變化，但最小值Min變化的概率很小，因此不會造成水印信息恢復的較大失真。魯棒性測試結果如表3所示。

表3 魯棒性測試結果(重編碼攻擊)

由表3可知，無攻擊時，BER為0；在5個不同QP重編碼攻擊下，BER最小值為QP=28時的FourPeople序列，為0.012，BER最大值為QP=34時的BasketballPass序列，為0.361，都在可接受的范圍內。所有測試序列的BER平均值為0.141，因此具有良好的魯棒性。

2.2 對比測試

為驗證本文算法的性能，將本文算法與文獻[7-8]算法進行對比測試，采用文獻[7]的編碼參數配置，參數設置如下：QP為26，GOP為8，RDOQ為1，周期為16，幀率為每秒30幀，編碼96幀，剩余參數均為默認參數。對416×240的BlowingBubbles序列分別用本文算法與文獻[7-8]算法進行測試，結果如表4所示。本文算法與文獻[7-8]的算法在PSNR上變化都很小，但本文算法的碼率增長率比文獻[7-8]算法小，且在QP為26的重編碼攻擊時，本文算法的BER為0.049，而文獻[7]算法與文獻[8]算法的BER分別為0.400和0.072，說明本文算法的魯棒性能比文獻[7-8]算法更優。這主要是由于文獻[7]算法只根據修改幀內預測模式奇偶性來嵌入水印，而奇偶性的魯棒性能并不好，文獻[8]算法直接用兩個角度值的對比來恢復水印信息，一旦某個角度值發生變化，會造成結果誤判。雖然文獻[7] 算法的水印容量較高，但是文獻[7] 算法的BER高達0.400，而本文算法的BER平均值為0.141。因此本文在重編碼攻擊下的魯棒性更好。

表4 本文算法與文獻[7-8]算法性能對比

3 結語

針對現有基于HEVC的水印算法魯棒性不足的問題，本文提出一種基于幀內預測模式多劃分的HEVC魯棒視頻水印算法。首先，該算法進行幀內誤差傳播的分析，并對4×4塊的紋理方向進行計算，隨后將33種角度模式劃分為4種模式集，用4個紋理方向來準確定位該模式集，通過判定當前待嵌入水印和下一水印的值符合哪種模式集來嵌入水印。由實驗結果可知，與文獻[7-8]算法相比，本文算法碼率增加得更少，因此本文算法對視頻質量影響更小，且抗重編碼攻擊的性能更好。但是本文算法的水印容量存在不足，因此下一步將從提高水印容量這方向進行研究。

)

[1]COXIJ,MILLERML,BLOOMJA.DigitalWatermarking[M].SanFrancisco,CA:MorganKaufmann, 2002: 11-15.

[2]SULLIVANGJ,OHMJR,HANWJ,etal.OverviewoftheHighEfficiencyVideoCoding(HEVC)standard[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology, 2012, 22(12): 1649-1668.

[3]NOORKAMIM,MERSEREAURM.AframeworkforrobustwatermarkingofH.264-encodedvideowithcontrollabledetectionperformance[J].IEEETransactionsonInformationForensicsandSecurity, 2007, 2(1): 14- 23.

[4]MANSOURIAA,AZNAVEHAM,TORKAMANI-AZARF,etal.AlowcomplexityvideowatermarkinginH.264compresseddomain[J].IEEETransactionsonInformationForensicsandSecurity, 2010, 5(4): 649-657.

[5]KIMDW,CHOIYG,KIMHS,etal.Theproblemsindigitalwatermarkingintointra-framesofH.264/AVC[J].ImageandVisionComputing, 2010, 28(8): 1220-1228.

[6] 張維緯,張茹,劉建毅,等.基于紋理特征的H.264/AVC頑健視頻水印算法[J].通信學報,2012,33(3):82-89.(ZHANGWW,ZHANGR,LIUJY,etal.RobustvideowatermarkingalgorithmforH.264/AVCbasedontexturefeature[J].JournalonCommunications, 2012, 33(3): 82-89.)

[7] 王家驥,王讓定,李偉,等.一種基于幀內預測模式的HEVC視頻信息隱藏算法[J].光電子·激光,2014,25(8):1578-1590.(WANGJJ,WANGRD,LIW,etal.AninformationhidingalgorithmforHEVCbasedonintraprediction[J].JournalofOptoelectronics·Laser, 2014, 25(8): 1578-1585.)

[8] 張明輝,馮桂.基于紋理方向的高效視頻編碼魯棒視頻水印[J].計算機應用,2015,35(9):2531-2534.(ZHANGMH,FENGG.Robustvideowatermarkingalgorithmforhighefficiencyvideocodingbasedontexturedirection[J].JournalofComputerApplications, 2015, 35(9): 2531-2534.)

[9]LIUYX,JULM,HUMS,etal.ArobustreversibledatahidingschemeforH.264withoutdistortiondrift[J].Neurocomputing, 2015, 151(3): 1053-1062.

[10]TSAIAC,WANGJF,LINWG,etal.AsimpleandrobustdirectiondetectionalgorithmforfastH.264intraprediction[C]//Proceedingsofthe2007IEEEInternationalConferenceonMultimediaandExpo.Piscataway,NJ:IEEE, 2007: 1587-1590.

[11]QINC,CHANGCC,CHENPY.Self-embeddingfragilewatermarkingwithrestorationcapabilitybasedonadaptivebitallocationmechanism[J].SignalProcessing, 2012, 92(4): 1137-1150.

[12]XUDW,WANGRD.WatermarkinginH.264/AVCcompresseddomainusingExp-Golombcodewordsmaping[J].OpticalEngineering, 2011, 50(9): 097402.

[13]HOHENBERGERS,WATERSB.Online/offlineattribute-basedencryption[C] //PKC2014:Proceedingsofthe17thInternationalConferenceonPracticeandTheoryinPublic-KeyCryptography,LNCS8383.Berlin:Springer, 2014: 293-310.

[14]LAINEMAJ,BOSSENF,HANW,etal.IntracodingoftheHEVCstandard[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology, 2012, 22(12): 1792-1801.

[15]CHANGPC,CHUNGKL,CHENJJ,etal.ADCT/DST-basederrorpropagation-freedatahidingalgorithmforHEVCintra-codedframes[J].JournalofVisualCommunicationandImageRepresentation, 2014, 25(2): 239-253.

[16]ZHAOJ,LIZT,FENGB.Anoveltwo-dimensionalhistogrammodificationforreversibledataembeddingintostereoH.264video[J].MultimediaTools&Applications, 2016, 75(10): 5959-5980.

[17] 張明輝,馮桂.消除幀內誤差傳播的HEVC可逆水印算法[J].信號處理,2016,32(2):220-226.(ZHANGMH,FENGG.AreversiblewatermarkingalgorithmforHEVCintra-codedframeswithouterrorpropagation[J].JournalofSignalProcessing, 2016, 32(2): 220-226.)

ThisworkispartiallysupportedbytheNaturalScienceFoundationofFujianProvince(2016J01306),theResearchandInnovationProjectforCollegeGraduatesofHuaqiaoUniversity(1511301038).

CAI Chunting, born in 1991, M. S. candidate. His research interests include digital video watermarking based on high efficiency video coding.

FENG Gui, born in 1960, Ph. D., professor. Her research interests include signal and information processing, information security theory of communication system, multimedia communication.

WANG Chi, born in 1991, M. S. candidate. His research interests include algorithm optimization in 3D video coding.

HAN Xue, born in 1993, M. S. candidate. Her research interests include algorithm optimization in 3D video coding.

Robust video watermarking algorithm for HEVC based on intra-frame prediction modes of muli-partitioning

CAI Chunting, FENG Gui*, WANG Chi, HAN Xue

(DepartmentofInformationScienceandEngineering,HuaqiaoUniversity,XiamenFujian361021,China)

Considering the low robustness of existing watermarking algorithms based on High Efficiency Video Coding (HEVC) standard, a robust video watermarking algorithm for HEVC based on intra-frame prediction modes of multi-partitioning was proposed. Firstly, in order to eliminate the intra-frame error propagation after embedding the watermark, embeddable regions were selected and the texture direction was calculated for 4×4 luminance blocks. Secondly, a scheme was proposed that the 33 angular prediction modes were divided into four pattern sets, which were recorded as follows: upper horizontal, lower horizontal, upper vertical, lower vertical. Finally, the four pattern sets were mapped to the values of the current and next to be embedded watermarks. Once the current 4×4 luminance blocks met the pattern sets, the current 33 angular prediction modes were truncated into the current pattern sets and the watermark was embedded. The watermark was extracted by the texture direction and four prediction pattern sets at decoding side. The experimental results show that, the average Peak Signal to Noise Ratio (PSNR) of the proposed algorithm is almost unchanged. In addition, the proposed algorithm achieves the Bit Error Rate (BER) of 14.1% under re-encoded attacks. Therefore, the proposed algorithm has low video distortion and can well resist the re-encoded attacks in robustness.

High Efficiency Video Coding (HEVC); intra-frame prediction mode; video watermarking; texture direction

2016- 11- 28;

2017- 01- 22。

福建省自然科學基金資助項目(2016J01306)；華僑大學研究生科研創新能力培育計劃資助項目(1511301038)。

蔡春亭(1991—)，男，福建三明人，碩士研究生，主要研究方向：基于高效視頻編碼的數字視頻水印； 馮桂(1960—)，女，浙江紹興人，教授，博士，主要研究方向：信號與信息處理、通信系統信息安全理論、多媒體通信; 王馳(1991—)，男，湖北天門人，碩士研究生，主要研究方向：3D視頻編碼中的算法優化； 韓雪(1993—)，女，河南南陽人，碩士研究生，主要研究方向：3D視頻編碼中的算法優化。

1001- 9081(2017)06- 1772- 05

10.11772/j.issn.1001- 9081.2017.06.1772

TP309.2

A