基于幀內預測模式調制的HEVC信息隱藏方法

楊潔，李松斌，鄧浩江

（中國科學院聲學研究所國家網絡新媒體工程技術研究中心，北京 100190）

基于幀內預測模式調制的HEVC信息隱藏方法

楊潔，李松斌，鄧浩江

（中國科學院聲學研究所國家網絡新媒體工程技術研究中心，北京 100190）

為了進一步提高HEVC信息隱藏過程中的嵌入效率，提出了一種HEVC幀內預測模式調制的信息隱藏方法。該方法根據密鑰生成每個CTU的空間點陣維數N（N=2，3，4），利用幀內預測模式選取規則選出N個頂角處的幀內預測模式，通過空間點陣映射算法計算出映射值F；然后從秘密信息比特文件中讀取N個比特，轉換成十進制數D。實現了在N個幀內預測模式中最多改變一個模式即可嵌入N個比特秘密信息。實驗驗證該方法具有高嵌入效率、小碼率增加以及視頻質量幾乎沒有下降的特性，通過抗隱寫實驗證實所提方法有高隱蔽性。

HEVC；信息隱藏；幀內預測模式；空間點陣

視頻信息隱藏方法根據秘密信息嵌入位置的不同，可大致分為兩類：一是在原始圖像或視頻中嵌入秘密信息；二是在圖像或視頻編碼過程中嵌入秘密信息。第一類方法一般對視頻幀像素進行操作，按照一定嵌入強度把秘密信息隱藏在像素中。視頻為運動圖像，該類方法的實質是圖像信息隱藏。該方法直觀、易于理解，但不能很好地抵抗壓縮編碼，即壓縮編碼后嵌入的信息可能丟失，而且，由于在像素上直接操作嵌入秘密信息，會造成視頻較大失真。第二類方法將信息嵌入到圖像視頻編碼處理過程中，即在編碼的過程中結合編碼標準某方面的特性進行信息的嵌入。

HEVC（high efficiency video coding）是目前最新、最高效的視頻壓縮編碼標準［1］，基于HEVC信息隱藏的相關研究還處在起步階段。現有的HEVC信息隱藏方法都是在編碼過程中進行的。Wang等［2～5］針對幀內預測模式進行了信息隱藏，文獻［2］利用最優預測模式和次優預測模式的統計概率分布，構建預測模式與秘密信息映射關系實現信息隱藏；文獻［3］利用分組碼實現平均修改1.25個預測模式，在4個連續的4×4亮度塊中嵌入3 bit秘密信息；文獻［4］建立預測模式角度差和秘密信息之間的映射關系，實現在4×4亮度塊中的信息隱藏；隨后，在文獻［3］的基礎上，文獻［5］利用Hamming+1減小碼率增量和視頻質量下降。Van等［6］通過調制DCT系數和運動矢量殘差值實現信息隱藏，文獻［7～9］在HEVC編碼過程中通過DCT或DST系數調制隱藏秘密信息。針對HEVC熵編碼過程，Jiang等［10］提出了CBIB概念，并結合運動矢量殘差中的CBIB，基于CABAC進行信息隱藏，同時不會引起碼率增加。

針對HEVC幀內預測模式，本文提出一種嵌入效率更高的信息隱藏算法，實現在N個預測模式中最多修改一個預測模式即可嵌入N bit秘密信息。本文以一個編碼樹單元作為信息隱藏算法的處理對象，在編碼樹單元中選取N（N是通過密鑰生成的隨機數）個預測模式作為待嵌入載體，然后根據本文提出的空間點陣方法將待嵌入載體N個一組映射成2N進制數，通過比對映射值與待嵌入秘密信息的關系來確定是否調制預測模式，實現秘密信息的嵌入。嵌入和提取的過程簡單、快速，并且具有很好的透明性、隱蔽性和安全性。在獲得較高嵌入率的同時，碼流的比特率僅有少量增加，對視頻的主客觀質量沒有造成必然影響。

2 HEVC幀內預測

2.1 HEVC劃分技術

空間域上的方向性幀內預測是H.264首次引入且獨有的高效編碼技術，可以較好地預測像素在空間域的相關性并捕獲圖像的空間紋理結構特性，使H.264的幀內編碼比之前的編碼標準更高效。HEVC也采用了空間域上的基于方向預測的幀內編碼方法。但是，為了更加靈活和高效地捕獲圖像的局部紋理特征，HEVC采用了更加精細的方向劃分和更加精確的預測值生成算法，在更大程度上降低了幀內預測殘差的能量，從而獲得更高的編碼效率。

圖1 CTU的PU樹結構

2.2 亮度幀內預測模式取值

亮度幀內預測模式由2種提案中的幀內預測模式簡化構成：任意方向幀內預測方法（ADI，arbitrary direction intra）和角度幀內預測方法（AIP，angular intra prediction），HEVC稱其為簡化的統一化幀內預測（simplified unified intra prediction），每種大小的PU都對應35種預測模式，所有預測模式的參考像素都是使用當前預測單元上面和左邊相鄰的像素經線性插值得到的亞像素。圖2給出了PU塊大小為32×32時的33種方向預測分布情況（不包含DC模式和Planar模式）。

1 32

圖2 幀內預測模式

3 預測模式空間的構造與候選預測模式集生成

設預測模式列表為PML=｛P1, P2,…,Pm｝，從列表中取出N（ N≤m）個預測模式構成一個N元組：τ=（x1， x2，…，xN），其中，xi（ i≤N）表示從PML取出的某個預測模式。

以τ為坐標集，xi為第i維坐標，可以構造出一個N維立體空間，稱為預測模式空間，用Γ表示。顯然，對于任意給定的N元組τ，它對應Γ中的一個點，該點的值用函數f（ x1, x2,…,xN）表示。所有Γ空間中的點構成一個N維空間點陣。

圖3 預測模式空間構造結果部分示例（N=3）

下面給出對Γ中每個點進行賦值的方法。

Step 1 對Γ空間中第一維數軸上的點進行賦值：f（ x1）=x1mod2N。

Step 2 將第一維數軸上點的值擴散到二維平面f（ x1， x2）=（f（ x1）+x2）mod2N。

Step 3 將二維平面上點的值擴散到三維空間f（ x1， x2， x3）=（f（ x1， x2）+x3）mod2N。

……

Step N 將N-1維空間上點的值擴散到N維空間f（ x1, x2,…,xN）=（f（ x1, x2,…,xN-1）+xN）mod2N。

圖3給出了當N=3時按上述方法所構造的預測模式空間部分示例。

根據上述方法得到的空間點陣如圖3所示，稱該賦值方法為預測模式空間點陣循環編碼。下面證明Γ具有如下重要性質。

定理1 采用預測模式空間點陣循環編碼得到的N維空間點陣中每個點的值可簡化表示為

證明 根據上文空間點陣中點的循環賦值方法，可得

下面證明（x1mod2N+x2）mod2N=（x1+x）2mod2N。

令（x1mod 2N+ x2）mo d 2N=J 可得x1mod 2N+ x2=J+M 2N，M為非負整數，即x1mod 2N=J+ M2N-x2，得x1=J +M 2N-x2+K 2N，K為非負整數，將x1代入到（x1+ x2）mo d 2N得

即得

以此類推式，式（1）可進行如下變換

即得

定理2 任意給定一個正整數D∈｛0，1，2,…, 2N-1｝以及τ=（x1， x2，…，xN），對任意選定的空間點陣的第i個維度，當該維度的坐標xi可調時，可至少找到一個點，使f（ x1， x2，…，xN）=D。

證明 由定理1可得

下面首先證明對于第一個維度上述定理成立。

因此有x1′=D+2NK-（x2+x3+…+xN），K為非負整數，下面證明這樣的x1′存在。

用同樣的方法可證明，其他維度上述定理仍然成立，對第i個維度可計算得到候選模式集Si。所有維度的候選模式集構成嵌入正整數D時的可選預測模式集，用Ω表示。

4 信息的嵌入與提取過程

本文所提信息隱藏算法利用預測模式N元組τ在點陣空間中的映射值與二值化后待嵌入秘密信息比特塊之間的預測關系，將信息嵌入到I幀（關鍵幀）中亮度分量的某些預測單元中。本文所提信息隱藏算法如圖4所示。本文以CTU為基本單位進行信息嵌入，嵌入前首先對視頻序列進行預編碼，確定最優的編碼樹結構及每個PU的最優預測模式；然后根據密鑰選取符合給定規則的PU形成PML，作為信息隱藏載體；將要嵌入的秘密信息進行加密并二值化；根據上文定義的方法，每次從PML中取N個預測模式形成N元組τ，從二值化秘密信息中取出N個比特并將其轉化為正整數D，使用上文介紹的候選模式集生成規則確定嵌入D時的可選預測模式集Ω；根據已經確定的編碼樹結構和Ω，基于率失真優化技術，在Ω中選擇一個與最低率失真值夾角最小的預測模式作為最終預測模式并輸出到碼流中，這樣就得到了隱藏信息后的HEVC視頻流。下面對算法進行詳細介紹。

圖4 本文信息隱藏算法流程

4.1 嵌入條件與預測單元選取

本文的預測單元選取與預測單元所在圖像區域的紋理有關。在視頻幀的平坦區域進行信息嵌入對視頻的影響較大，這是因為平坦區域最優預測方向對應的率失真往往遠低于其他預測方向，修改該預測模式引入附加失真也將較大；相反，在紋理復雜區域，各個預測模式的率失真值相差較小，進行修改影響不大。本文引入一個簡單的規則來判定某個PU是否屬于紋理復雜區域，圖像平坦區域一般CTU包含的PU較少，因此，本文將CTU包含的PU數量作為判斷該CTU是否進行信息隱藏的一個條件，只有PU數量超過預先設定的閾值時，該CTU才可進行信息隱藏。

根據信息安全的一般法則，假設本文的信息隱藏算法是公開的，算法的安全性主要依靠用戶的密鑰來保障。因此，本文假設進行信息隱藏的用戶擁有一個密鑰E，它由多位數字組成。為了使用戶可以靈活地控制信息嵌入的規模，本文還引入了嵌入強度，用e表示，它是一個小數，值域為［0，1］，表示當前CTU進行信息隱藏的概率。在每個CTU進行信息隱藏之前，由隨機小數生成器G生成一個小數r，其中0≤r≤1；若r≤e，則當前CTU將進行信息隱藏；反之，當前CTU不進行信息隱藏。因此，本文對預測單元的選取包含2個層次：確定CTU層和PU層。具體過程可參看下文嵌入過程。

基于上述方法得到的視頻測試序列可嵌入PU，示例如圖5所示（黑色加粗矩形框表示一個CTU，白色塊表示載體PU），其中每個CTU最多嵌入4 bit信息，且在CTU的4個子塊的左上頂角PU上。由于修改預測模式后，CTU結構會發生變化，如果結構變化很大，會導致秘密信息提取很復雜或不能正確提取，因此本文選擇在子塊的左上頂角PU作為載體，如果4個子塊的PU經過調制后的預測模式相同，認為此次嵌入失敗，該CTU不進行信息嵌入。

圖5 選中的PU示例

4.2 信息的嵌入

信息嵌入算法如下。

Step 1 以密鑰E作為種子，初始化隨機數小數生成器G，設定初始化嵌入失敗標志W為0。

Step 2 編碼端取一個CTU，由G生成一個隨機小數r，如果r≤e，則轉入下一步，否則，跳到Step9。

Step 3 若W為0，計算當前CTU的空間維度數N=［int100r ］mod3+2，否則，N值繼續使用上一個CTU的值。

Step 4 若W為0，從私密信息比特流中取N個比特，計算出它們對應的十進制數D，否則，D繼續使用上一個CTU的值。

Step 6 若F≠D，則固定p1， p2，…，pN中的N-1個，對剩下的一個在其候選預測模式中選擇進行修改，使新的F′=D，從所有修改中找出修改角度最小的一個作為最終修改方案。若F=D，則執行Step 8。

Step 7 進行二次編碼，二次編碼中根據新的頂角預測模式修正幀內預測結果。

Step 8 判斷整個CTU的預測模式是否都等于第一個幀內預測模式的值，若等于，則設置失敗標志W為1，否則，設置為0。

Step 9 判斷是否所有CTU都已執行完畢，若沒有則返回Step 2，否則，結束。

4.3 信息的提取

在本文算法中，對隱藏信息的提取操作簡單、快速，僅解碼碼流中的幀內預測模式信息即可實現信息提取，而不必完整的視頻解碼，也不必提供原始媒體信息。具體過程如下。

Step 1 以密鑰E作為種子，初始化隨機數小數生成器G，設定初始化嵌入失敗標志W為0。

Step 2 解碼端取一個CTU，由G生成一個隨機小數r，如果r≤e，則轉入下一步，否則，跳到Step 6。

Step 3 若W為0，計算當前CTU的空間維度數N=［int100r ］mod3+2，否則，N值繼續使用上一個CTU的值。

Step 5 將F轉換為二進制比特，寫進私密信息文件。

Step 6 判斷是否所有CTU都已執行完畢，若沒有則返回Step 2，否則結束。

5 實驗

為了充分評論本文方法的性能，本文從隱寫算法對視頻質量的影響、碼率增量、嵌入效率以及抗隱寫分析4個方面進行實驗。在評估的過程中，引入方法Hamming+1中的嵌入規則作為在本文選取的預測模式上進行秘密信息的嵌入對比。

5.1 實驗說明

本文方法在HEVC的參考軟件HM14.0上進行了實現，選取了6個常用的測試序列：BasketballDrive、 BQTerrace、Cactus、 Kimono1、ParkScene、Tennis，采用全I幀編碼方式。為了更全面地評價本文算法，本文測試了本文算法嵌入強度為0.2、0.5和1.0時對各指標的影響。為了便于敘述，本文以CLEAN、ME0.2、ME0.5、ME1.0分別表示未嵌入和3種不同嵌入強度的本文算法。

5.2 視頻質量分析

圖6是Cactus_1920x1080_5序列在不同嵌入率下依據本文算法嵌入前后部分圖像截取，其中，純黑色塊是選取的PU塊，白色塊是修改了幀內預測模式的PU塊。由圖6可知，隨著嵌入率的提升，圖像塊中被選取作為載體的PU預測模式增多，而載體實際修改量很小，因此本文算法對視頻質量影響極小，下面從視頻質量主觀評價和客觀評價2個方面進行說明。

圖6 不同嵌入率隱寫前后，部分圖像預測模式的變化情況

圖7 視頻圖像隱寫前后對照

首先從視頻質量主觀評價進行分析，圖7為各個序列嵌入秘密信息前后的對比圖像。從圖7可以發現本文算法在嵌入強度為1.0時對視頻的主觀視覺感官并沒有產生明顯影響，與隱寫算法Hamming+1相比，主觀感受沒有明顯差別。下面從嵌入前后PSNR變化來分析本文算法對視頻的客觀影響，其結果如圖8所示。

從圖8（a）和圖8（b）可以看出，隨著嵌入強度的增加，PSNR略有下降。在實驗的過程中，本文在嵌入相同數量的秘密信息時，對比ME1.0和Hamming+1這2種方法，其PSNR變化如圖8（c）和圖8（d）所示，PSNR下降都很小，并且ME1.0和Hamming+1對PSNR的影響很接近。此外，由圖8可知，PU數量閾值對PSNR的影響也很小，因此可以通過減小PU數量閾值來增大嵌入載體數量。總的來說，采用本文方法嵌入秘密信息后，視頻的客觀質量并沒有明顯下降。

5.3 碼率分析

信息隱藏的過程中調制了PU的幀內預測模式，這種情況通常會引起壓縮碼率的增加。圖9列出了6個HEVC序列在采用3種不同嵌入強度進行秘密信息嵌入和采用Hamming+1規則嵌入秘密信息后的視頻壓縮碼率情況，其中，在嵌入相同數量的秘密信息時對比了ME1.0和Hamming+1這2種方法的碼率變化情況。

由圖9可以得到與PSNR變化情況相似的結論，即隨著嵌入強度的增加，碼率增量逐漸變大，ME1.0和Hamming+1這2種方法的碼率增量相當且均較小。

5.4 嵌入效率分析

本節從隱寫嵌入率（HR）、修改率（CR）和嵌入效率（EE）對本文方法進行分析。設載體數量為N，嵌入秘密信息長度為M，對載體修改的個數為K，則HR、CR、EE為

圖8 不同隱寫方法及不同PU數量閾值下的PSNR變化

圖9 不同隱寫方法及不同PU數量閾值下的碼率變化

表1 本文算法在不同嵌入強度下的嵌入效率

表1列出了PU數量閾值為24的情況下，使用3種嵌入強度對6個HEVC視頻序列進行信息隱藏的分析。從表1可以看出，隨著嵌入強度的增加，嵌入比特數隨之增加，對HR、CR、EE影響很小。本文實驗了在PU數量閾值為16的情況，其結果相比PU數量閾值為24時，嵌入比特數有所增加，這是因為隨著PU數量閾值的下降，秘密信息載體數量會增加，嵌入比特數隨之增加。另外，本文實驗了Hamming+1方法，由于該方法是在4個載體中嵌入3 bit秘密信息，因此，對比實驗在CTU的4個子塊頂角PU均作為載體的情況下進行，6個視頻的平均結果如表2所示。

表2 不同方法的嵌入效率對比結果

由表2可知，本文方法具有更高的隱寫嵌入率和嵌入效率以及更低的修改率，從理論的角度也可以得到相應的結論。Hamming+1隱寫嵌入率為，即在4個載體中嵌入3個比特秘密信息，同時調制一個載體；本文方法隱寫嵌入率為，即在4個載體中可以嵌入4個比特秘密信息，同時最多調制一個載體。

表3 不同嵌入強度下信息隱藏檢測結果

5.5 抗隱寫分析

本節對本文嵌入方法的抗隱寫性能進行評估。一個優秀的信息隱藏算法被隱寫分析算法成功檢測的概率比較低。因此，抵抗隱寫檢測性能是信息隱藏算法評估的重要指標，本文采用文獻［12］的隱寫檢測算法對本文方法進行抗攻擊性能評估。

對每一個序列，首先編碼后再解碼得到原始載體的樣本數據；然后在編碼過程中運用本文嵌入算法，修改嵌入率、PU數閾值，接著解碼得到不同對照組隱寫后的樣本數據。完成以上步驟之后，使用文獻［12］的方法對樣本數據進行隱寫檢測，判斷樣本數據是否被嵌入秘密信息。實驗結果如表3所示。

從表3可以發現本文算法隱寫檢測成功概率均小于60%，說明本文信息隱藏算法具有很高的隱蔽性。這是因為本文放大對幀內預測模式的修改非常少，即便修改也是在保證預測方向最小的角度修改，因此運用本文信息隱藏方法進行秘密信息嵌入解碼后得到的圖像序列，與未隱寫直接解碼的圖像序列差別不是很大，所以本文信息隱藏算法是一個高隱蔽性的安全信息隱藏算法。

6 結束語

本文提出了一種HEVC幀內預測模式調制的信息隱藏方法，實現了在N個幀內預測模式中最多改變一個模式即可嵌入N bit秘密信息。本文具有靈活的嵌入方式，根據情況設置N的大小和PU數量閾值大小來控制嵌入容量和嵌入效率。實驗驗證該方法具有高嵌入效率、小碼率增加以及視頻質量幾乎沒有下降的特性，同時本文方法具有高隱蔽性。由于本文方法需要重編碼且只選擇了部分預測模式作為信息隱藏載體，時間開銷高且嵌入容易有限，在接下來的研究中，將重點從這2個方面進行更深入的研究。

［1］ SULLIVAN G J， OHM J R， HAN W J， et al. Overview of the high efficiency video coding （HEVC） standard［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2012， 22（12）：1649-1668.

［2］ WANG J J， WANG R D， LI W， et al. A large-capacity information hiding method for HEVC video［C］//The 3rd International Conference on Computer Science and Service System. 2014： 934-937.

［3］ WANG J J， WANG R D， LI W， et al. An information hiding algorithm for HEVC based on intra-prediction mode and block code［J］. Sensors & Transducers， 2014，117（8）： 230-237.

［4］ WANG J J， WANG R D， XU D W， et al. An information hiding algorithm for HEVC based on angle differences of intra prediction mode［J］. Journal of Software， 2015，10（2）：213-221.

［5］ XU J， WANG R D， HUANG ML. An information hiding algorithm for HEVC based on intra-prediction modes and Hamming+1［J］. Journal of Computational Information Systems， 2015，11（15）： 5587-5598.

［6］ VAN L P， PRAETER J D， WALLENDAEL G V， et al. Out-of-the-loop information hiding for HEVC video［C］//2015 IEEE International Conference on Image Processing （ICIP）. 2015：3610-3614.

［7］ TEW Y Q， WONG K. Information hiding in HEVC standard using adaptive coding block size decision［C］//2014 IEEE International Conference on Image Processing （ICIP）. 2014：5502-5506.

［8］ CHANG P C， CHUNG K L， CHEN J J， et al. A DCT/DST-based error propagation-free data hiding algorithm for HEVC intra-coded frames［J］. Journal of Visual Communication and Image Representation， 2014， 25（2）： 239-253.

［9］ ZHANG X Y， AU O C， PANG C， et al. Additional sign bit hiding of transform coefficients in HEVC［C］//2013 IEEE International Conference on Multimedia and Expo Workshops （ICMEW）. 2013： 1-4.

［10］ JIANG B， YANG G B， CHEN W B. A CABAC based HEVC video steganography algorithm without bitrate increase［J］Journal of Computational Information Systems， 2015， 11（6）：2121-2130.

［11］ KIM I K， MIN J， LEE T， et al. Block partitioning structure in the HEVC standard［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2012，22（12）：1697-1706.

［12］ PEVNY T， BAS P， FRIDRICH J. Steganalysis by subtractive pixel adjacency matrix［J］. IEEE Transactions on Information Forensics and Security， 2010，5（2）：215-224.

楊潔（1989-），男，重慶開縣人，中國科學院聲學研究所博士生，主要研究方向為多媒體信號處理和信息隱藏。

李松斌（1989-），男，福建漳州人，中國科學院聲學研究所副研究員、碩士生導師，主要研究方向為多媒體信號處理與取證。

鄧浩江（1971-），男，北京人，中國科學院聲學研究所研究員、博士生導師，主要研究方向為數字音視頻處理、寬帶多媒體通信、模式識別。

HEVC information hiding approach based on intra prediction modes modulation

YANG Jie， LI Song-bin， DENG Hao-jiang
（National Network New Media Engineering Research Center， Institute of Acoustics， Chinese Academy of Sciences， Beijing 100190， China）

For further improving the embedding efficiency in the processing of HEVC information hiding， a method for HEVC information hiding based on intra prediction models modulation was proposed. The space lattice dimension N （N = 2， 3， 4） of each CTU was generated according to the key. The selection rule of intra prediction mode was utilized to select N modes which were located at vertex angle. The N modes were mapped to the value F through the space lattice mapping algorithm. Then N bits secret information were read from the bit file and converted to a decimal number D. In this way， N secret information bits were embedded in N intra prediction modes by modifying at most one mode. The experimental results approve that the proposed method has high embedding efficiency， small rate increase and minimal influence on the video quality and the anti-steganalysis experiment confirms that the proposed method has high concealment.

HEVC， information hiding， intra prediction modes， space lattice

1 引言

隨著網絡技術和數字多媒體技術的日益成熟，特別是網絡流媒體的迅速發展，圖像、音頻、視頻等多媒體的傳輸和交換變得非常快捷方便。視頻信息因其直觀性、確定性和高效性等特點，逐漸取代音頻和圖像成為多媒體通信的主流。信息隱藏是把特定的信息隱藏在另一個稱為載體（cover）的信息中，以得到隱蔽載體（stego cover）的過程，信息隱藏以其獨特的安全特性、不可見性、頑健性等，已廣泛應用于版權保護和隱蔽通信。信息隱藏在各種不同的載體中，視頻是最為廣泛使用的載體。

s： The National Natural Science Foundation of China （No.61303249）， The Application Technology and Development Project of Hainan Province （No.ZDXM2015103）， The Scientific Research Foundation Project of Haikou Laboratory，Institute of Acoustics， Chinese Academy of Sciences （No.IOAHN201601）

TP309.2

A

10.11959/j.issn.2096-109x.2016.00098

2016-07-02；

2016-08-26。通信作者：李松斌，lisongbin_work@126.com

國家自然科學基金資助項目（No.61303249）；海南省應用技術開發基金資助項目（No.ZDXM2015103）；中科院聲學所南海站科研基金資助項目（No.IOAHN201601）