載體獨立的深度光照水印算法

陳浩，王鋒，張衛明，俞能海

載體獨立的深度光照水印算法

陳浩1,2，王鋒1,2，張衛明1,2，俞能海1,2

（1. 中國科學技術大學網絡空間安全學院，安徽 合肥 230001；2. 中國科學技術大學中國科學院電磁空間信息重點實驗室，安徽 合肥 230001）

隨著多媒體技術的發展與完善，數字產品的版權保護需求逐步增大。數字水印是一種保護數字產品版權的有效手段，它一般是通過在數字載體（如文本、圖像等）中添加重要標識信息（即數字水印），使載體帶有標識信息，但又不影響載體的正常使用。常見的數字水印嵌入方案是通過采用特定算法對載體進行修改來嵌入水印信息的。而在實際的應用場景中，有很多待保護的圖像或物件（如藝術畫作等）是不允許修改的。基于此背景，提出了一種新的載體獨立的深度光照水印算法，在嵌入端通過可見光調制的方法來表達水印信息，從而實現在不對原始載體進行修改的前提下進行水印信息嵌入，并達到版權保護的目的。通過對人眼視覺系統進行分析，提出了基于交替式投影的水印模板圖案來嵌入水印信息，使嵌入過程既不需要對原始載體進行修改，也不會影響人眼的視覺感官。而在提取端，設計了基于殘差連接的水印提取網絡，對采集的水印圖像經透視變換后送入該網絡來進行水印信息提取。實驗在多種條件下進行，并與3種基準算法進行了對比。實驗結果表明，所提算法生成的水印圖像具有較小的視覺失真，且對“投影?拍攝”過程具有很強的魯棒性。在不同距離、角度、光照等條件下，水印提取網絡具有很高的水印信息提取準確率，且相比其他通用網絡具有一定的優越性。

數字水印；人眼視覺系統；光照水印；深度神經網絡

0 引言

網絡技術的快速發展加快了圖像、音視頻等數字產品的傳播效率，但同時引起了非法復制的版權糾紛問題。因此，在這些環境中數字產品的產權保護成為緊迫問題，而應用于數字圖像產權保護的數字水印技術被廣泛研究[1-12]。數字水印技術一般是通過對數字載體進行修改，實現水印信息的嵌入。而為了實現對不同傳輸信道失真的魯棒性，往往會有不同的嵌入方式。但這些方案的共同缺點在于嵌入過程本身需要對載體進行修改。當面臨無法修改載體的水印需求時，這些方案的用處往往受限。例如，當需要保護博物館中的藝術畫作時，無法對藝術畫作本身進行修改，實現一種與載體獨立的數字水印方案尤為重要。

本文著眼于“載體獨立”的應用需求，旨在提供一種無須修改載體的數字水印方案來保護數字媒體的版權，即基于光照水印的技術[13-21]。光照水印指的是將含水印信息的光照投射到目標區域，當有光照的載體被相機拍攝時，能從采集到的圖像中提取出嵌入的水印信息。該方法通常用一些特殊設計的光照模式表示水印信息，并將這些模式投射到目標圖像上，實現水印的嵌入過程。而在提取端，通過一定的圖像處理過程，將投影的水印模式從拍攝的圖像中提取出來，從而實現水印信息解碼。

理想的光照水印應該同時滿足3個特性：高視覺質量、高嵌入效率和傳輸魯棒性。對于視覺質量的需求，光照投影的前后不應有明顯的視覺失真，要達到足夠的透明性。而嵌入效率的需求指的是水印嵌入端應盡可能地避免過多的計算，從而滿足高效的嵌入過程。傳輸魯棒性指的是對算法解碼端的要求，水印在嵌入過后還經過了投影?拍攝信道，需要保證在經歷了失真后仍然能夠進行提取。

傳統的光照水印方案主要是基于頻域信息變換來實現的，不能同時滿足上述3個特性。手機拍攝信道較為復雜，傳統的圖像處理操作不能很好地模擬傳輸信道的失真，這導致如果想要得到較高的提取準確率，就得保證較大的嵌入強度，但這樣又會引起較差的視覺質量。因此，算法的關鍵在于如何更好地兼顧視覺質量和傳輸魯棒性。

為了滿足視覺質量的需求，本文設計了一種基于人眼視覺模型（HVS，human visual system）的水印嵌入方案，當以較高的頻率觀察顏色互補的彩色區域時，人眼會出現視覺疲勞，在大腦中自動對彩色區域進行加工，使整體區域看起來趨于一致。因此，本文設計了一種基于顏色分解的新編碼方案，該方案通過創建兩個互補顏色的水印圖案來編碼“0/1”比特。為了從錯綜復雜的信道失真中恢復出嵌入的水印信號，本文選擇使用深度神經網絡作為水印的提取端。利用深度學習強大的特征提取能力，通過卷積神經網絡的輸出分析水印模板類別，從而實現消息的準確提取。

為了展示所提方法的有效性和優越性，本文在不同的拍攝環境（如不同的距離、不同角度和不同光照強度）下進行了大量的實驗。實驗結果表明，該方法在保證視覺質量的同時，始終可以實現出色的魯棒性。

綜上所述，本文的主要貢獻有以下3個方面。

1) 提出了一種基于深度學習的光照水印方案，該方案能有效地實現載體無關的水印嵌入過程，并應用于藝術作品的版權保護。

2) 結合BCH（Bose-Chaudhuri-Hocquenghem）編碼，設計了一種高效的水印疊加嵌入方案，并設計了基于深度神經網絡的提取方案，兩者結合能有效地兼顧水印的魯棒性與透明性。

3) 大量實驗表明，本文提出的算法在魯棒性和視覺質量上優于已有算法。

1 相關工作

其中

此后，Ishikawa[16]等提出不同的光照水印模板，利用沃爾什?哈達瑪變換（WHT，Walsh- Hadmard transform）反變換生成對應的水印空域模板，如式(5)所示。

其中，wh(,)表示沃爾什?哈達瑪矩陣分量。

Uehira[17]等提出了視覺質量更好、水印提取誤碼率更低的色差調制方案。在頻域模板經過DCT反變換后并沒有直接進行投射，而是將變換后的圖像當作YCbCr色彩空間中的Cb通道，與固定數值的Y、Cr通道組合后變換成RGB圖像，最后通過投影儀投射到目標圖像上。

前述方法僅考慮提取信息的準確性，這使嵌入的視覺質量較差，而降低嵌入強度時，頻域的嵌入方式又不能很好地抵抗拍照失真，無法滿足光照水印的需求。

2 基于深度學習的光照水印方法

光照水印系統框架如圖1所示，該框架包含兩個部分（水印嵌入過程和水印提取過程），左上方為水印信息編碼排布過程，右側為水印提取網絡，其主要結構為ResNet殘差網絡。首先使用BCH[22]編碼和循環冗余校驗[23]（CRC，cyclical redundancy check）對消息序列進行編碼，然后對編碼后的消息序列重新排列以生成要嵌入的消息矩陣。根據消息矩陣生成光照模板并對光源進行調制，最后照射到目標圖像上。在提取方面，首先對拍攝圖像進行透視變換矯正，然后將矯正的圖像輸入殘差神經網絡進行提取以恢復消息矩陣，之后對提取的消息矩陣進行BCH解碼和CRC校驗。若未檢測到CRC錯誤，則為最終消息序列。若出現CRC錯誤，則重新選擇消息序列并進行相同的解碼過程，直到未檢測到錯誤或嘗試了所有組合。

圖1 光照水印系統框架

Figure 1 Optical watermarking system framework

2.1 消息矩陣生成

2.2 基于疊加的水印嵌入

Figure 2 Watermark pattern generation process

其中

由于只對單通道進行調制，所以不同數據生成的塊色度差距會很小，這樣“0/1”比特對應模板圖案之間的差距幾乎不可見，反映到透射光源中也幾乎與普通單色光沒有差別。當使用足夠頻率的光源交替播放互補水印圖案時，嵌入的水印圖像很難被人類視覺系統察覺到，同時它可以很容易地被神經網絡提取出來。

2.3 水印提取

當使用手機拍攝含水印的圖像時，水印圖像隨著圖像載體本身被手機的攝像頭記錄下來。而在拍攝過程中，由于拍攝角度不同，圖像會產生不同的透視畸變，所以在水印提取之前，需要對失真圖像進行透視變換。透視變換公式為

2.4 信息解碼

圖3 水印提取網絡

3 實驗與分析

從拍攝圖像數據中裁剪出比周圍區域更亮的水印嵌入區域，將裁減區域修正成大小為512×512像素的正方形后切割成16×16個圖像塊，每塊大小為32×32像素。100張圖片共切割成25 600個圖像塊，即25 600個二進制水印數據，隨機選擇其中90%（23 040塊）作為神經網絡的訓練集，剩余10%作為驗證集。選擇與本文算法最相關的DCTCode[15]、WHTCode[16]、Color-Difference[17]這3種水印算法作為對比算法。

3.1 視覺質量比較

為了衡量嵌入水印圖像的視覺質量，采用平均主觀意見分（MOS）來進行測試。具體來說，為每種光照水印嵌入方案準備16幅隨機圖像，然后要求50位觀察者從1（視覺質量差）到5（視覺質量好）進行打分。從表1中可以發現本文所提算法的MOS遠高于其他算法。圖4展示了視覺質量的對比效果。

圖4 視覺質量的對比效果

Figure 4 Visual quality comparison

表1 不同算法視覺質量比較

從圖5可以看出，對比算法的效果圖中可以清晰地看到一些水印圖案形成的條紋，非常影響視覺效果。而本文算法充分利用人眼視覺的特性，將原本互補的水印圖案進行抵消，從而達到更好的視覺效果。

3.2 魯棒性測試

為了測試算法在不同拍攝條件下的魯棒性，在不同的光照強度、拍攝距離、拍攝角度以及JPEG質量因子的前提下進行了拍照和提取實驗。同時，在相同條件下將提取出的水印與原始水印進行誤碼率計算，得到的實驗結果如表2～表5所示。

對于光照強度實驗，本文選擇的光照強度為50～200 cd/m2（坎德拉/平方米），其中，數值越大，代表光照強度越強。將不同強度的光照射在載體圖片中，再使用手機拍攝后進行提取水印，不同光照強度下的誤碼率如表2所示。由表2可知，隨著光照強度的增強，算法的誤碼率逐漸降低，在光照強度為200 cd/m2時誤碼率僅有3.24%，且對于50～200 cd/m2的光照強度，算法的誤碼率均小于10%。這意味著提取出的水印能被糾錯碼進行糾錯。與此同時，在相同的光照強度下，本文算法相比其他算法有明顯的優勢。對于不同拍攝距離下的實驗，本文選擇的距離為30～70 cm。由表3可知，隨著拍攝距離增加，其他算法的誤碼率明顯上升，本文所提算法雖然也有上升，但仍在10%以內，性能優勢顯而易見。

表2 不同光照強度下的誤碼率

表3 不同拍攝距離下的誤碼率

對于拍攝角度實驗，本文選擇在目標圖片中心的上、下、左、右以15°、30°、40°的角度進行拍攝。不同拍攝角度下的誤碼率如表4所示，在各個方向上都是角度越大，誤碼率越高，且本文算法誤碼率均低于其他算法。其中，拍攝角度大于15°時誤碼率上升明顯，一方面是由于水印模板失真嚴重，另一方面是提取網絡沒有以大角度拍攝下的數據集進行訓練。因此要使其對大角度拍攝更加魯棒，還需添加更多樣的訓練數據集。

表4 不同拍攝角度下的誤碼率

表5 不同JPEG壓縮質量因子下的誤碼率

3.3 提取網絡比較

為了凸顯本文提取網絡的優勢，對本文網絡和現存流行的分類網絡（GoogLeNet[27]、MobileNet[28]、LeNet[29]、PNASNet[30]、VGGNet[31]、EfficientNet[32]、DenseNet[33]、DPN[34]）進行了提取實驗，并進行對比。為了公平比較，對所有網絡結構用相同的數據集進行訓練，得到的水印信息提取誤碼率如表6所示。

表6 不同網絡下水印信息提取誤碼率

由表6可知，本文提出的提取網絡誤碼率低于其他網絡，由于殘差網絡的跳連結構能很好地保證特征的連續性，本文的提取網絡能有效提取出設計模板的特征。

5 結束語

本文提出了一種新的載體獨立的深度光照水印算法，以滿足載體無關條件下的水印嵌入和提取過程，從而能有效保護如博物館藝術畫作等載體的版權。出于對HVS的研究和嵌入效率的考慮，本文提出了一種基于空域疊加的水印表達和嵌入方案。利用光照模板表達水印信息投影到圖片上實現水印的嵌入過程。在提取端，為了抵抗拍攝過程產生的失真，本文設計了基于殘差模塊的神經網絡來進行模板的分類，即消息的提取。實驗表明，所提算法比現存的流行算法有較高的魯棒性，且在水印的不可見性上有較大的優勢。

[1] COX I J, KILIAN J, LEIGHTON F T, et al. Secure spread spectrum watermarking for multimedia[J]. IEEE Transactions on Image Processing, 1997, 6(12): 1673-1687.

[2] SWANSON M D, KOBAYASHI M, TEWFIK A H. Multimedia data-embedding and watermarking technologies[J]. Proceedings of the IEEE, 1998, 86(6): 1064-1087.

[3] HARTUNG F, KUTTER M. Multimedia watermarking techniques[J]. Proceedings of the IEEE, 1999, 87(7): 1079-1107.

[4] LANGELAAR G C, SETYAWAN I, LAGENDIJK R L. Watermarking digital image and video data. A state-of-the-art overview[J]. IEEE Signal Processing Magazine, 2000, 17(5): 20-46.

[5] LIU Z. New trends and challenges in digital watermarking technology: applications for printed materials[M]//Multimedia Watermarking Techniques and Applications. Auerbach Publications. 2006: 257-305.

[6] HAITSMA J, KALKER T. A watermarking scheme for digital cinema[C]//Proceedings of Proceedings 2001 International Conference on Image Processing (Cat. No.01CH37205). 2001: 487-489.

[7] Digital Cinema Initiatives. Digital Cinema System specificationv1.2[R]. 2008.

[8] 常玉紅, 黃惠芬, 王志紅. 檢測圖像篡改的脆弱水印技術[J]. 網絡與信息安全學報, 2017, 3(7): 47-52.

CHANG Y H, HUANG H F, WANG Z H. Fragile watermarking technique for detecting image[J]. Chinese Journal of Network and Information Security, 2017, 3(7): 47-52.

[9] 劉文星, 陳偉, 劉淵. 圖像四叉樹剖分下的自適應數字水印算法[J].網絡與信息安全學報, 2017, 3(12): 40-47.

LIU W X, CHEN W, LIU Y. Adaptive digital watermarking algorithm under image quad-tree partition[J]. Chinese Journal of Network and Information Security, 2017, 3(12): 40-47.

[10] 王志紅, 黃惠芬, 常玉紅. 基于SVD分解和Hadamard變換的圖像半脆弱水印技術[J]. 網絡與信息安全學報, 2017, 3(5): 26-31.

WANG Z H, HUANG H F, CHANG Y H. Semi-fragile watermarking technology based on SVD decomposition and Hadamard transform[J]. Chinese Journal of Network and Information Security, 2017, 3(5): 26-31.

[11] GOHSHI S, NAKAMURA H, ITO H, et al. A new watermark surviving after re-shooting the images displayed on a screen[C]// Knowledge-Based Intelligent Information and Engineering Systems, 2005: 1099-1107.

[12] OKIHARA K, INAZUMI Y, KINOSHITA H. A watermarking method that improves the relationship between of the number of embedded bits and image degradation[J]. The Journal of the Institute of Image Information and Television Engineers, 2004, 58(10): 1465-1467.

[13] UEHIRA K, SUZUKI K, IKEDA H. Does optoelectronic watermark technology migrate into business and industry in the near Future? Applications of optoelectronic watermarking technology to new business and industry systems utilizing flat-panel displays and smart devices[J]. IEEE Transactions on Industry Applications, 2016, 52(1): 511-520.

[14] UEHIRA K, SUZUKI K, IKEDA H. Applications of optoelectronic watermarking technique to new business and industry systems utilizing flat-panel displays and smart devices[C]//Proceedings of 2014 IEEE Industry Application Society Annual Meeting. 2014: 1-9.

[15] UEHIRA K, SUZUKI M. Digital watermarking technique using brightness-modulated light[C]//Proceedings of 2008 IEEE International Conference on Multimedia and Expo. 2008: 257-260.

[16] ISHIKAWA Y, UEHIRA K, YANAKA K. Practical evaluation of illumination watermarking technique using orthogonal transforms[J]. Journal of Display Technology, 2010, 6(9): 351-358.

[17] UEHIRA K, UNNO H. Effects of JPEG compression on reading optical watermarking embedded by using color-difference modulation[J]. Journal of Computer and Communications, 2018, 6(1): 56-64.

[18] OSHITA K, UNNO H, UEHIRA K. Optically written watermarking technology using temporally and spatially luminance-modulated light[J]. Electronic Imaging, 2016, 28(8): 1-6.

[19] UNNO H, UEHIRA K. Lighting technique for attaching invisible information onto real objects using temporally and spatially color-intensity modulated light[J]. IEEE Transactions on Industry Applications, 2020, 56(6): 7202-7207.

[20] UNNO H, YAMKUM R, BUNPORN C, et al. A new displaying technology for information hiding using temporally brightness modulated pattern[J]. IEEE Transactions on Industry Applications, 2017, 53(1): 596-601.

[21] UNNO H, UEHIRA K. Display technique for embedding information in real object images using temporally and spatially luminance-modulated light[J]. IEEE Transactions on Industry Applications, 2017, 53(6): 5966-5971.

[22] BOSE R C, RAY-CHAUDHURI D K. On a class of error correcting binary group codes[J]. Information and Control, 1960, 3(1): 68-79.

[23] PETERSON W W, BROWN D T. Cyclic codes for error detection[J]. Proceedings of the IRE, 1961, 49(1): 228-235.

[24] HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. 2016: 770-778.

[25] LIN T Y, MAIRE M, BELONGIE S, et al. Microsoft COCO: common objects in context[C]//Computer Vision – ECCV 2014. 2014: 740-755.

[26] The USC-SIPI Image Database[EB].

[27] SZEGEDY C, LIU W, JIA Y Q, et al. Going deeper with convolutions[C]//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition. 2015: 1-9.

[28] YANG T J, CHEN Y H, SZE V. Designing energy-efficient convolutional neural networks using energy-aware pruning[C]//Pro- ceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. 2017 : 6071-6079.

[29] LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.

[30] LIU C, ZOPH B, NEUMANN M. Progressive neural architecture search[J]. Computer Vision and Pattern Recognition, 2017.

[31] SIMONYAN K, ZISSERMAN A. Very Deep convolutional networks for large-scale visual recognition[J]. Computer Vision and Pattern Recognition, 2014.

[32] TAN M, LE Q. EfficientNet: rethinking model scaling for convolutional neural networks[C]// ICML. 2019.

[33] HUANG G, LIU Z, VAN DER MAATEN L, et al. Densely connected convolutional networks[C]//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. 2017: 2261-2269.

[34] GALLA T. Theory of neural information processing systems[J]. Journal of Physics A, 2006, 39: 3849.

Carrier-independent deepopticalwatermarking algorithm

CHEN Hao1,2, WANG Feng1,2, ZHANG Weiming1,2, YU Nenghai1,2

1. School of Cyber Science and Technology, University of Science and Technology of China, Hefei 230001, China 2. CAS Key Laboratory of Electromagnetic Space Information, University of Science and Technology of China, Hefei 230001, China

With the development of multimedia techniques, the demand for copyright protection of digital products has also gradually risen. Digital watermarking is an effective means to protect the copyright of digital products. It is generally made by adding important identification information (i.e., digital watermark) to a digital carrier (e.g., text, image, etc.), so that the carrier carries the identification information but does not affect the normal use of the carrier. The common digital watermark embedding scheme is to embed the watermark information by modifying the carrier via specific algorithms. In the actual application scenarios, there are many images or objects to be protected (such as art paintings, etc.) that are not allowed to be modified. Based on this background, a new carrier-independent deep optical watermarking algorithm was proposed, which can realize watermark information embedding without modifying the original carrier and achieve the purpose of copyright protection. Specifically, a new watermark template expression scheme at the embedding end was proposed, which expressed the watermark information by visible light modulation. By analyzing the visual system of human eyes, a watermark template pattern based on alternating projection was proposed to embed the watermark information, which made the embedding process neither require modification of the original carrier nor affect the visual senses of human eyes. At the extraction end, a watermark extraction network based on residual connection was designed, and the captured watermarked images were fed into this network after perspective transformation to extract the watermark information. The experiments were conducted under various conditions and comparisons with three baseline algorithms were made. The experimental results show that the proposed algorithm generates watermarked images with less visual distortion and is robust to the "projecting-shooting" process. The watermark extraction network has high accuracy in extracting watermark information at different distances, angles and illumination conditions, and has certain advantages over other general networks.

digital watermarking, human visual system, optical watermarking, deep neural network

The National Natural Science Foundation of China(U20B2047, 62121002)

陳浩, 王峰, 張衛明, 等. 載體獨立的深度光照水印算法[J]. 網絡與信息安全學報, 2022, 8(4): 110-118.

TP309.2

A

10.11959/j.issn.2096?109x.2022056

陳浩（1993? ），男，遼寧本溪人，中國科學技術大學碩士生，主要研究方向為信息隱藏。

王鋒（1996? ），男，安徽潛山人，中國科學技術大學碩士生，主要研究方向為數字水印和深度學習。

張衛明（1976? ），男，河北定州人，博士，中國科學技術大學教授、博士生導師，主要研究方向為信息隱藏、密碼學、媒體內容安全和人工智能安全。

俞能海（1964? ），男，安徽無為人，博士，中國科學技術大學教授、博士生導師，主要研究方向為圖像視頻處理與分析、計算機視覺與模式識別、信息隱藏與媒體內容安全、信息檢索與數據挖掘。

2022?02?08；

2022?05?19

俞能海，ynh@ustc.edu.cn

國家自然科學基金(U20B2047, 62121002)

CHEN H, WANG F, ZHANG W M, et al. Carrier-independent deep optical watermarking algorithm[J]. Chinese Journal of Network and Information Security, 2022, 8(4): 110-118.