基于空間轉換網絡的視頻盲水印方法

胡 海，李葉凡，王 晗，鄒 玲

(1. 武警部隊參謀部作戰勤務保障大隊，北京 100089；2. 北京林業大學信息學院，北京 100083；3. 北京電影學院數字媒體學院，北京 100088)

隨著互聯網和自媒體技術的發展，圖像、視頻等多媒體數據急劇膨脹給人們的工作和生活帶了極大的便利。人們可以通過網絡發布、共享、傳播自己或他人的多媒體數據及信息，并進行網絡貿易。于此同時，對多媒體數據的隨意存儲、復制以及修改他人原始作品等不法行為將嚴重侵害作者的著作權，給版權所有者帶來巨大的損失，也給信息安全造成強烈的沖擊。因此，如何有效地保護多媒體作品的版權、真實性和完整性，以及用戶的隱私、產權和財產安全已成為當今互聯網視頻時代的重要問題。

數字水印技術[1-2](digital watermarking)通過將特定數據嵌入到圖像、視頻等數字媒體中以建立版權人對產品的所有權[3-4]。隨著自媒體和影視行業的迅猛發展，視頻水印作為數字產品版權保護技術的市場需求更為迫切。相對于圖像數字水印，視頻數字水印技術研究相對滯后，其主要原因是視頻本身具有不同于靜止圖像的諸多特性，例如時間冗余、運動區域與非運動區域分布不均衡等。同時現有的標準視頻編碼格式又造成了已有水印技術引入上的局限性。特別地，對于視頻產權作品的竊取時使用的存儲、復制、錄屏等多種手段產生的壓縮、縮放、裁剪等攻擊形式對視頻水印嵌入和提取提出了一些區別于靜止圖像水印的獨特要求。傳統的視頻水印算法對于數據壓縮、加噪等信號處理攻擊具有較好的魯棒性，而對于經過縮放、裁剪等微小的幾何攻擊抵抗能力較差。目前大部分水印算法無法檢測到經過錄屏后視頻中所包含的水印信息。在抵抗壓縮、濾波和噪聲干擾等信號處理攻擊的同時能抵抗幾何形變的可追蹤水印技術，是目前視頻水印技術中的關鍵問題。

相比于靜止圖像，在視頻中嵌入水印對于算法的實時性和可靠性提出了更高的要求。由于視頻是大量圖像組成的序列，在存儲和傳輸過程中通常需要對其進行壓縮。在視頻水印嵌入的過程中，需要考慮數據對于壓縮編碼的要求。同時由于包含大量圖像序列數據，傳統的需要原始宿主信號的非盲水印算法也不能適應視頻水印的嵌入和提取，因此，視頻盲水印技術是研究的重點。

基于以上分析，本文提出基于空間變換網絡的自適應視頻水印方法。通過注意力機制獲取視頻中顯著區域，并針對離散余弦變換(discrete cosine transform, DCT)域的自適應視頻水印嵌入方案。通過對變換后的子塊提取中頻系數后嵌入水印，可以在保證水印魯棒性的前提下極大程度地保護水印的不可見性。在提取水印的過程中，通過習得的空間變換系數對待檢測的含水印視頻進行矯正，從而獲取原始視頻中水印嵌入位置以此對抗幾何攻擊，又保證了視頻水印所必要的盲檢測特性，保持了水印對于信號處理攻擊的魯棒性。

1 相關工作

目前對于視頻的攻擊主要分為信號處理攻擊、幾何攻擊和時域去同步攻擊。信號處理攻擊通過改變包含水印的視頻幀中像素值以降低水印能量從而影響視頻水印的提取。針對信號處理攻擊，使用DCT的方法將圖像信號轉換為頻域分量，進而從頻域中將水印嵌入DCT系數[5]?；贒CT域的水印方法主要包含全局和局部DCT 2類。在全局DCT方法中，對于整幅視頻幀進行DCT以獲取視頻幀的頻域能量系數。而局部DCT方法中，視頻幀被劃分為不重疊的塊，在每一個塊上進行DCT?；贒CT域的視頻水印嵌入方法[6-9]對于低通噪聲、模糊、銳化等信號攻擊具有較強的抗攻擊能力。但傳統的DCT方法(給出實驗比較方法)計算開銷較大且對于剪切旋轉等幾何攻擊抵抗能力有限。文獻[6]和[9]通過在DCT低頻系數中嵌入水印來抵抗圖像因尺度縮小而帶來的攻擊。這是由于對空域中視頻幀尺度的縮小近似于DCT域中高頻分量的消除。但隨著低頻分量的改變，將會引起視頻視覺質量的降低，因此，這些方法并不能保證視頻的原始質量?；诘皖lDCT系數嵌入水印的方法[8]使用U通道中的DCT系數進行水印嵌入。該方法并未使用DC分量作為水印嵌入區域，這是由于對于該分量的任何改變都易引起肉眼可見的頻閃。然后臨近該分量的其他系數通常也具有較大數值，任何針對該分量的修改也將帶來頻閃效應，因此該方法無法生成人眼視覺系統(human visual system, HVS)不可見的視頻水印。文獻[10]將水印嵌入DCT后，Y通道的低頻部分已獲得對于幾何攻擊魯棒的水印。

以上方法對于信號處理攻擊具有較強的魯棒性，但對于旋轉、裁剪等幾何攻擊如何獲得魯棒的數字水印，仍然是一個開放性的問題。文獻[11-13]利用圖像中的幾何不變特征點檢測的方式進行水印的嵌入和提取。然而，由幾何變換導致錯誤的特征點檢測將會影響整個水印提取的效果[14]。特別是尺度和局部縮放變換會嚴重影響到局部特征檢測算子的檢測效果。另外，對于一組圖像的顯著點檢測也很難保持一致，因此，基于特征匹配的水印方法主要應用于圖像的數字水印中。文獻[13, 15]在水印嵌入的過程中同時向圖像嵌入一個不包含任何信息的模板，該模板在提取水印前通過檢測其變換參數來矯正圖像。但此類方法中的模板很容易被攻擊者發現并篡改。不同于上述方法，本文通過模型對檢測圖像中的關鍵區域進行校正，以此保證在幾何攻擊下對視頻嵌入水印的正確提取。

2 基于空間轉換網絡的視頻盲水印

由于傳統方法無法很好地解決幾何攻擊，因此本文考慮在圖像中找到某個關鍵區域，能夠對經過縮放及裁剪等操作的圖片得到與未經變換前相同的檢測結果。并考慮使用空間轉換網絡(spatial transformer networks, STN)來獲取待加水印視頻幀中的顯著區域，以此來增強嵌入水印的幾何不變性，從而抵抗幾何攻擊。

2.1 基于空間轉換網絡的顯著區域檢測

STN[16]是一種關注空間變換可區分性的推廣形式。其提出的空間網絡變換層，具有平移不變性、旋轉不變性及縮放不變性等強大的性能。針對水印攻擊時的幾何攻擊中的旋轉、縮放以及裁剪等問題，STN可以用來轉換輸入的圖片數據，以此為后續水印嵌入和提取具有幾何不變性的圖像塊區域。本文將Spatial Transformer模塊嵌入主流圖像分類網絡(fully-connected convolutional networks, FCN)[17]，嵌入位置為圖片輸入層與后續分類層之間。通過對待嵌入水印視頻幀在空間域進行轉換，從而確定該幀的顯著區域[18]以及空間變換系數估計。在提取階段，對于待提取水印視頻通過空間變換系數進行空間矯正，以解決幾何攻擊帶來的水印提取過程中的匹配問題。本文實驗中將顯著區域定義為32×32的圖像塊D，以方便后續基于塊的水印嵌入以及提取操作。

2.2 自適應水印算法

水印嵌入算法流程如圖1所示。

根據3.1節中所確定的視頻水印插入位置，DCT將視頻幀信號轉換為基頻分量，由于其良好的能量壓縮能力，被用于主流的圖像和視頻壓縮方法中[19]，如JPEG，MPEG和H.26x。盡管有離散傅里葉變換可以提高運算速度，但其變換過程中需要進行復數運算，這在圖像編碼、特別是在實時處理中非常不便。這使得離散傅里葉變換在實際的圖像通信系統中很少使用，但其具有理論的指導意義。根據離散傅里葉變換的性質，實偶函數的傅里葉變換只含實余弦項，因此本文考慮使用其中的實數域的變換——DCT。不同于傳統的基于DCT視頻水印方法將視頻幀劃分為非覆蓋的相等圖像塊后在每一個圖像塊上使用DCT，本文基于注意力機制，通過找到圖像中的關鍵區域作為水印嵌入區域。將該區域劃分為8×8非覆蓋圖像塊，并進行二維DCT，即

其中，m,n=0,1,···,N-1。

其中，N=8，且

圖1 水印嵌入算法流程Fig. 1 Diagram of digital video watermarking

通過DCT后的頻域系數被分為3個不同的頻段，本文使用中頻段進行水印嵌入。其嵌入點一方面可盡可能地減少嵌入信息對主觀視覺的影響；另一方面，相對于高頻段系數，中頻部分可更好抵抗壓縮或噪聲攻擊對水印產生的損失。在本文中，嵌入視頻中的水印為字符串序列。在嵌入前，將字符串轉換為二進制序列，嵌入水印后載體數據DCT域采樣點的值為

其中，λ為自適應特征掩膜系數，是原始載體數據DCT域某點的值；α為嵌入強度，是直接影響數字水印不可見性和魯棒性很關鍵的一個因素：如果嵌入強度越大，數字水印的魯棒性就越強，但會降低水印的不可見性；如果降低嵌入強度，數字水印的不可見性將會相應提高，而水印的魯棒性會隨之受到影響。為了實現不依賴于宿主信號的盲水印要求，本文設置密鑰K，即

其中，d為二進制數字水印的信息值。通過比對DCT域某點λ′值和密鑰K的相似度來提取水印，若與K1相似度更大時對應的水印信息值為0，與K2相似度更大時對應的水印信息值為1。通過相似性比對，本文方法擺脫了傳統圖像水印技術對于原始圖像的依賴。通過密鑰比相似度計算即可預測該區域中是否包含有意義水印，其更適用于包含大量圖像序列的視頻水印提取。

3 視頻水印的嵌入、提取與相關檢查

3.1 水印嵌入

視頻水印嵌入算法如圖2所示。

圖2 視頻水印嵌入算法框圖Fig. 2 Framework of video watermark embedding

將待嵌入水印視頻進行部分解碼，保留I幀作為進一步水印嵌入的視頻幀，且以幀為單位將水印嵌入到視頻流的所有I幀中。水印嵌入形式為32×32的二值矩陣W。通過將字符編碼為二值形式，每一個字符對應8位的二值序列，在二值序列后補0至序列長度為1 024，從而構建二維32×32矩陣。本文的DCT基于YCbCr顏色空間的Y分量進行。Y分量為顏色的亮度成分，由于人眼對視頻中的此分量更敏感，通過對色度分量進行子采樣以減少色度分量，使肉眼察覺不到圖像質量的變化，所以本文使用Y分量進行水印嵌入以減少圖像質量在感官上產生的變化(圖3)。通過將3.1節中變換后的顯著區域從RGB彩色空間轉換到YCbCr彩色空間，提取Y分量。并將Y分量分成互不重疊的8×8子塊，即block-dct(x,y)，x,y∈(0～8),x,y∈N，對每個子塊進行二維DCT，得到block-dct(x,y)，其中x,y∈(0～8),x,y∈N。取水印二值矩陣W中的一個元素，嵌入到block-dct(x,y)的中頻系數中。對嵌入水印信息的圖像塊block-dct(x,y)進行二維逆DCT得到包含水印信息的Y分量，合并到YCbCr彩色空間后再轉換到RGB彩色空間。最后將包含嵌入水印信息的32×32正方形區域重新組合到原視頻幀上。加入水印前后的視頻幀如圖3(b), (d), (f)所示。

在此過程中，不同于傳統方法將視頻幀均勻分割后對每一個子塊均加入視頻幀進行檢測，本文只考慮在變換后的顯著區域對視頻幀進行水印嵌入，由此大大減少了視頻水印嵌入過程中所消耗的計算時間，同時也能夠保證在收到幾何攻擊后快速對嵌入區域進行矯正。

3.2 水印提取

視頻水印提取算法如圖4所示。

4.1節中水印生成過程屬于私有水印生成，考慮到視頻水印檢測的盲檢測特性(即檢測水印時不提供原始視頻)，為了獲得對于幾何攻擊魯棒的水印檢測結果，本文首先通過顯著區域檢測模型將顯著區域進行變換得到變換后檢測區域D′將該區域從RGB彩色空間轉換到YCbCr彩色空間并提取Y分量。將提取的Y分量分成互不重疊的8×8子塊block-dct(x,y)，其中x,y∈(0,8),x,y∈N，對每個子塊進行二維DCT，得到block-dct(x,y)。最后根據3.2節中所述提取系數的方法對每一個block-dct(x,y)提取中頻系數，得到水印信息。

3.3 相關檢測

本文考慮從2方面對視頻中所加水印進行評估與測試：

(1) 水印不可感知性能檢測。給定一個大小為m×n的原圖像I和水印圖像K，均方誤差(mean square error, MSE)定義為

通過使用客觀評價標準峰值信噪比(peak signal-to-noise ratio, PSNR)

來評價嵌入水印后視頻表觀偏離原始媒體的誤差，以衡量水印視覺質量。

圖3 加入水印前后視頻幀視覺效果對比(嵌入水印為字符串)Fig. 3 Comparison of original video frame and video frame with imperceptible watermark(water00mark11dewatermark)

圖4 視頻水印提取算法框圖Fig. 4 Framework of video watermark extraction

(2) 水印相關性檢測。根據文獻[7]中所使用的歸一化相關系數(normalized correlation, NC)檢測方法

對提取的水印與嵌入的水印進行相關性檢測，從而判斷所提取水印的質量，相關函數值越大，表示提取的水印與錯誤率越低。

4 實驗結果及分析

本文嵌入的水印序列為無意義水印，檢測水印是需計算認證水印序列與原始水印序列的NC系數。本文通過一系列外加的視頻干擾處理來檢測本文算法的有效性和魯棒性，包括信號處理攻擊，如高斯噪聲、椒鹽噪聲，JPEG壓縮，幾何攻擊，如不同尺度的放大與縮小變換等。算法魯棒性的評判標準是通過檢測到的水印與原始加入的水印相關與否來判定。

在檢測本文算法對于信號處理攻擊的魯棒性能時，隨機產生一系列不同強度的噪聲，將其嵌入到水印視頻的圖像像素中，噪聲相當于一個附加的干擾水印，其疊加結果更具有不可預知性和隨意性。使用不同種類的噪聲系列檢測100次后，分別計算所檢測到的水印與原始水印的相關值。從表1的結果中可以看出，本文算法對于所使用的全部信號處理攻擊具有穩定且較好的效果。

表1 常見信號處理攻擊測試結果Table 1 Comparisons of robustness against signal processing attacks

從表2的數據可以發現，文獻[20]無法處理來自于尺寸縮放的幾何攻擊，文獻[21]雖然在處理信號處理攻擊時具有良好的魯棒性，但對于尺寸縮放幾何攻擊表現較差。本文算法對于視頻幀被放大或者縮小等幾何攻擊，具有較強的魯棒性，特別是當圖像被放大或縮小一半時，仍然能正確檢測出水印(NC系數為0.988 9)。通過實驗表明，本文中所使用的DCT是基于YCbCr顏色空間中的Y分量進行，人眼對于亮度分量較為敏感。由此，可以在視頻中加入較大強度的水印而不會引起圖像質量在感官上產生明顯變化。另外，實驗中也發現，在嵌入視頻水印的過程中，對嵌入區域進行8×8的分塊可以提升DCT的效率。

表2 抗擊幾何攻擊的測試結果Table 2 Comparisons of robustness against geometric attacks

由于本文算法只對I幀進行水印嵌入，在不影響視頻質量的前提下I幀不可能被刪除，并且以幀為單位冗余嵌入到I幀中，故在理論上對視頻流的剪貼刪除操作具備魯棒性。在本次實驗中，隨意改變I幀、P幀和B幀之間的順序，同時刪除部分I幀。通過在100個不同的視頻中提取水印的實驗，本文算法均可以檢測出水印，相關系數平均值為0.999 5。通過該實驗可發現，即便對視頻幀的位置進行干擾，本文算法仍然可以在不使用原始視頻的情況下檢測出視頻中所嵌入的水印信息。

5 結束語

本文提出一種基于空間變換網絡的視頻盲水印方法，通過使用注意力機制選擇視頻中圖像的顯著區域作為水印的插入區域，通過空間變換網絡習得空間變換系數以矯正幾何攻擊所帶來的縮放、旋轉等幾何形變，從而保證水印在幾何攻擊下獲得較高的魯棒性。通過進一步的變換域中頻系數嵌入使得水印嵌入在魯棒的前提下更加隱蔽。實驗結果表明，本文方法具有較好的不可感知性、較強的魯棒性，具有一定的實用價值。