基于深度殘差網絡的語音隱寫分析方法

（寧波大學信息科學與工程學院，浙江寧波 315211）

0 引言

隨著互聯網的快速發展，信息隱藏技術得到越來越多的關注。其中，數字隱寫作為信息隱藏的重要分支，已成為信息安全領域的重要研究內容之一。隱寫技術以常見的數字媒體（圖像、音頻等）作為載體，將秘密信息嵌入到公開的載體中，并通過載體的公開傳輸來達到信息隱秘傳遞的目的。隱寫分析技術作為隱寫技術的對抗技術，可視作模式分類問題，將可疑載體分類為原始載體或含密載體。

音頻作為互聯網中常見的數字媒體，是隱寫的理想載體。目前提出的音頻隱寫分析方法大多基于機器學習［1］，可分為3個步驟：1）數據預處理；2）特征提取；3）分類。在特征提取中，設計一個表征載體是否含有秘密信息的特征是隱寫分析人員的重要研究工作。Kraetzer 等［2］提取語音的梅爾頻率倒譜系數（Mel-Frequency Cepstrum Coefficient，MFCC）作為隱寫分析的特征，利用支持向量機（Support Vector Machine，SVM）進行分類。Liu 等［3］通過實驗發現對音頻信號進行二階求導可放大高頻區域的隱寫差異，并在此基礎上提取的MFCC 特征（2D-MFCC）檢測效果更佳；而在之后的工作［4］中，進一步提取了馬爾可夫概率特征，并且分析了信號復雜度對隱寫分析性能的影響。這項工作表明，相較原始音頻信號，進行二階求導所提取的特征（2D-Markov）更具表征能力。Luo 等［5］將馬爾可夫概率特征與二階導下的MFCC 結合作為融合特征，分別在不同的信號復雜度下利用集成分類器［6］進行分類訓練。但是傳統特征方法仍存在不足之處，其隱寫分析性能依賴于特征工程，即結合隱寫相關領域知識設計并提取具有有效表征能力的隱寫分析特征。這要求研究人員本身具有一定的知識經驗，并且設計新的特征費時費力。

近年來隨著深度學習方法的快速發展，研究人員將其自主特征學習應用到隱寫分析領域。在音頻隱寫分析領域上，Paulin 等［7］最早將深度置信網絡（Deep Belief Network，DBN）應用到隱寫分析任務中；但他們僅僅將DBN 用作分類器，并沒有發揮出神經網絡自主特征學習的能力。Chen等［8］首先提出基于卷積神經網絡（Convolutional Neural Network，CNN）的端到端音頻隱寫分析模型（ChenNet）應用于檢測LSBmatching（Least Significant Bit Matching）隱寫方法，相較傳統特征方法，該模型取得了比較理想的檢測效果。在此基礎上，Lin 等［9］的改進型隱寫分析模型（LinNet）設置了四組高通濾波器作為固定卷積層對輸入數據進行預處理，并且使用截斷線性激活單元（Truncated Linear Unit，TLU）來對數據做截斷操作，將處理后的數據輸入到六組卷積模塊堆疊而成的網絡中進行分類訓練。針對IP 語音（Voice over Internet Protocol，VoIP）語音流，文獻［10-11］提出了基于長短期記憶（Long Short-Term Memory，LSTM）網絡的隱寫分析方法用于對抗量化指標調制方法（Quantization Index Modulation，QIM）隱寫方法。在壓縮域音頻上，文獻［12］提出了一個基于CNN 的MP3（Moving Picture experts group audio layer Ⅲ）音頻隱寫分析方法，并使用MP3 的量化改進離散余弦變換系數作為網絡的輸入。文獻［13］提出了基于深度殘差網絡（Deep Residual Network，ResNet）的MP3 和AAC（Advanced Audio Coding）音頻的隱寫分析方法，并使用音頻的頻譜圖數據作為網絡的輸入。

目前在WAV 格式語音上進行嵌密的隱寫方法主要為最低有效位（Least Significant Bit，LSB）類型，通過隱寫算法把語音信號中的最低比特位替換成密信。近些年語音隱寫分析工作相對較少，且以CNN 為主要結構。針對WAV 語音隱寫分析的檢測性能較低的問題，為提升隱寫分析檢測正確率，本文通過引入殘差結構和加深網絡層次來提升隱寫分析性能，提出了基于深度殘差網絡的隱寫分析模型。該模型通過卷積層和殘差塊的堆疊來構建深度網絡，以提取深層次且更有效的特征。通過實驗證明，在不同密信嵌入量下，本文提出的隱寫分析方法相較之前的傳統提取特征方法以及深度學習方法在檢測效果上均有比較明顯的提升。

1 相關工作

1.1 數據預處理

隱寫分析任務與計算機視覺、圖像分類等任務有所不同。隱寫分析需要提取的特征并非來源于圖像或音頻樣本本身的內容，而是來源于由密信嵌入載體所引起的隱寫噪聲。但隱寫噪聲極其微弱，若直接將樣本原始數據作為網絡的輸入，隱寫分析檢測效果可能會受到原始內容所帶來的負面影響。為解決這個問題，研究人員先對樣本的原始數據進行預處理。例如在圖像隱寫分析工作［14-15］中，通常先對原始圖像信號進行高通濾波處理，再對得到的殘差信號進行特征提取或輸入到神經網絡中。其中，最令人熟知的是空間富模型（Spatial Rich Model，SRM）方法［14］設計了78 組高通濾波器，目的是從更多的殘差信號中提取更加豐富的隱寫特征。

音頻隱寫分析工作同樣是先利用高通濾波器計算原始音頻的殘差信號，再進行特征提取。傳統特征方法［3-4］中通過實驗發現音頻信號的二階導數能夠放大其音頻區域的隱寫差異。文獻［8］同樣為其隱寫分析模型設計了一個二階差分的濾波器，其參數固定為（-1，2，-1）。而文獻［9］通過實驗分析，差分階數越高，隱寫信號與原始載體之間的差異越明顯。因此結合富模型思想，設計了一組基于混合階數差分的預處理高通濾波層。該高通濾波層由4個1×5的卷積核組成，參數如下D1至D4所示：

D1=［1，-1，0，0，0］

D2=［1，-2，1，0，0］

D3=［1，-3，3，-1，0］

D4=［1，-4，6，-4，1］

這些工作都通過實驗證明，先對原始音頻信號進行數據預處理能明顯提升最終的檢測效果。本文沿用文獻［9］提出的基于混合階數差分高通濾波層用于對輸入的音頻原始信號作預處理，以提取更豐富的隱寫噪聲相關的信息。

1.2 殘差網絡

卷積神經網絡隨著網絡深度提升存在梯度消失/爆炸或網絡退化等問題。深度殘差網絡［16］引入快捷鏈接（shortcut connection）來解決退化問題。

如圖1 所示，H（x）為CNN 中若干非線性網絡層的目標映射，其中x為網絡的輸入。殘差網絡則需要去擬合殘差映射F（x）：

當殘差模塊輸入與輸出的維度相同時，通過捷徑連接后的網絡輸出為：

從表達式來看，網絡滿足殘差映射H（x）比直接映射更容易。因此，殘差網絡使模型參數進行參數優化更容易實現，并且網絡檢測效果可以隨著網絡層數的增加而提升。

圖1 卷積模塊與殘差模塊的結構Fig.1 Structures of convolutional unit and residual unit

隱寫分析任務為了檢測秘密信息的存在，需要正確區分目標音頻x［17］：

其中：c為載體音頻信號，0 為沒有秘密信息；m表示嵌入密信引起的弱信號，且m屬于（-1，0，1）；cover 表示原始語音，stego表示嵌密語音。當音頻信號輸入到殘差網絡中，網絡的殘差映射F（x）滿足小信號的0 或m，因此可以被殘差模塊有效建模。當通過多個堆疊的殘差模塊，隱寫引起的弱信號可以被很好地保留和強化，這使殘差網絡非常適用隱寫分析工作中。

圖像隱寫分析工作［18-19］提出基于殘差網絡的圖像隱寫分析模型，并且利用實驗結果證明殘差網絡檢測效果比卷積神經網絡更優異。目前針對非壓縮域音頻的工作［8-9］中的隱寫分析模型是基于卷積神經網絡提出的。結合殘差模塊思想，該工作在隱寫分析檢測性能上仍具有進一步提升的空間。與卷積神經網絡相比，利用殘差模塊構建更深的網絡可以幫助提取相對更加豐富復雜的含隱寫噪聲的特征屬性，從而提升隱寫分析正確率，因此，基于深度殘差網絡的隱寫分析方法其檢測性能會更優異。

2 隱寫分析模型

為了將殘差網絡應用到音頻隱寫分析工作中，本文根據音頻隱寫分析的相關過程設計了對應的網絡結構。本章將詳細介紹隱寫分析模型的結構以及其他結構設計的相關細節。

2.1 總體結構

本文提出的隱寫分析模型具體如圖2所示，實現了端到端的音頻隱寫分析檢測。其中，卷積層中的參數分別代表該層輸出的通道數、卷積核的尺寸以及該層所使用的激活函數。而在ResBlock中的參數代表該殘差模塊內的卷積層F的數量（F見圖3）。輸入音頻信號長度為16 000×1，“size：m×n”代表該層輸出的維度。該模型首先利用高通濾波層對輸入音頻進行卷積操作得到殘差信號，該高通濾波層由一至四階差分組成且參數已固定。緊接著，利用TLU激活函數對得到的殘差信號進行截斷處理，再輸送到中間網絡層進行特征提取。然后，通過全局平均池化層將輸入的特征數據轉換成特征向量。最后，送入二值分類器中并輸出概率，該分類器由一個全連接層與Softmax層組成。

圖2 基于深度殘差網絡的隱寫分析模型Fig.2 Steganalysis model based on deep residual network

其中，中間網絡層分為三個部分：第一部分由三層純卷積層組成，不設置激活函數與池化層，因為過早使用激活函數會屏蔽殘差信號中的部分隱寫噪聲；第二部分由帶有激活函數的殘差塊ResBlock1 組成，仍不設置池化層；第三部分則由帶有激活函數與池化層的殘差塊ResBlock2 組成。池化操作屬于低通濾波，隱寫分析任務與圖像識別等不同，池化可以增強數據本身內容同時也會抑制隱寫噪聲，過早使用池化層對隱寫分析是有危害的。為了避免隱寫噪聲損失，只有ResBlock2設置了池化層。

2.2 卷積層設置

本文模型包含兩種卷積層，卷積核的大小分別為1×3 和1×1。所有卷積層的卷積核的大小與數量在圖1 有所標識。除圖2 的ResBlock2 中已標明的步長，其余卷積層步長均設置為1。為避免卷積使矩陣的尺寸發生變化，在矩陣邊緣進行全0填充。

為了卷積和池化操作能保留更多的特征信息，引入金字塔模型來設置卷積層的核數量。當神經網絡設計過深，如本文設計的殘差網絡所需要的參數過于龐大，利用1×1 卷積核代替1×3 來擴增數據通道數，可以有效降低網絡參數并且避免參數過多引起的訓練過擬合。

2.3 殘差模塊

本文模型中包含兩種殘差模塊，其區別在于模塊輸入和輸出的維度是否相同，因此存在兩種捷徑連接方式——恒等捷徑映射（Identity Shortcut）和目標捷徑映射（Projection Shortcut）——分別對應圖3 的ResBlock1 與ResBlock2。在ResBlock1 中，經過兩層卷積操作后，輸入與輸出維度仍然相同，直接利用恒等捷徑連接將輸入的映射與輸出結果相加。數據維度m×n的特征數據經過ResBlock2 卷積以及池化操作后變成m/2 × 2n，則需要通過目標捷徑映射將輸入的維度映射成與輸出維度相同。

ResBlock1包含兩個卷積層，卷積核大小皆為1×3，并利用捷徑連接直接構成殘差模塊；而ResBlock2利用1×1卷積層與平均池化層使數據維度發生改變。因此在捷徑連接中加入一個卷積層，使通過捷徑連接的數據維度與殘差映射的數據維度相同。該卷積核大小設為1×1，步長為2。實驗中同樣在表1展示了目標捷徑連接1×3卷積核的比較效果。

圖3 ResBlock1與ResBlock2的結構Fig.3 Structures of ResBlock1 and ResBlock2

2.4 激活函數

激活函數是向神經網絡中引入非線性因素的。神經網絡通過加入激活函數，可以擬合出各種曲線，來提升復雜特征的表征能力。常用激活函數有Sigmoid、Tanh、ReLU（Rectified Linear Unit）等。此模型所有激活函數設置為ReLU，同樣在表1 中比較了ReLU 與Tanh 激活函數的檢測效果。設輸入為x，則激活函數Tanh如式（4）所示，ReLU如式（5）所示：

但是音頻信號與圖像存在一定差別。音頻信號中存在一定的負值數據，秘密信息通過隱寫算法同樣會嵌入在此負值信號內。而根據ReLU 激活函數的公式可知，該激活函數恰恰抑制了音頻信號中的負值數據。這導致存在于負值數據中的隱寫噪聲丟失，影響檢測性能，因此網絡第一部分并不設置激活函數。為此代替性地引入了截斷線性激活函數［16］，定義如式（6）所示，并將其設置在高通濾波層后的第1 個卷積層中，目的是更好地保留隱寫噪聲相關信息，并且能抑制殘差信號中影響隱寫分析性能的數據。

其中：T表示設定的閾值，且T＞0。此實驗中T設為3。

2.5 其余部分結構設置

為減少計算資源和神經網絡所需要的參數，通常在卷積層后加入池化層來減小先前特征映射的空間，這可以保留特征數據的主要屬性并且降低網絡訓練的參數。池化層通常有最大池化層與平均池化層。本文模型在ResBlock2 中設置平均池化層，用于特征數據的降維并提取足夠的統計特性。在最后的卷積層設置全局平均池化層（Global Average Pooling），可以將輸入大小為1 000×512的特征數據采樣至1×512。

全連接層功能與殘差模塊的捷徑連接相似，有助于模型收斂，并減少模型需要學習的參數，并且全連接層起到將學到的特征映射到樣本標記空間的作用；但設置多層全連接層會因為所需參數過多，訓練時導致模型過擬合。因此本文模型只單獨設立一層全連接層，并與Softmax 函數組合成模型最后的分類器。

3 實驗及結果分析

3.1 實驗設置

本文實驗所使用的音頻數據均來源于TIMIT 語音庫［20］，該語音庫由630 個不同說話人的6 300 段語音組成。語音格式為WAV，采樣頻率為16 kHz，量化精度為16 bit。考慮計算能力的限制，實驗中將音頻分割成時長為1 s的音頻片段數共計15 000。然后采用兩種隱寫方法Hide4PGP（Hide 4 Pretty Good Privacy）隱寫工具［21］與LSBmatching［22］隱寫算法將隨機生成的密信嵌入到原始樣本中，嵌入率為1、0.5、0.2、0.1 bps（bit per sample）。

實驗過程中所有網絡使用基于TensorFlow 后端的Keras深度學習框架，并配置了NVIDIA GTX1080Ti。訓練之前，將樣本隨機劃分成三部分，其中，12 000個載體/載密對數據作為訓練集，1 500 對作為驗證集，剩余1 500 對作為測試集。實驗中網絡所有參數權重為Xaiver 初始化，使用Adam 優化器，學習率初始化設為1E-4，批處理大小設為64，并使用二元交叉熵作為損失函數。為評估模型的檢測性能，本文采用測試集數據上多次相關實驗的平均正確率（Accuracy）作為評價標準。

訓練過程中，每經過一個訓練循環（epoch），即每完整訓練完一次訓練集，就會將訓練集數據的次序打亂一次；并且使用早停策略，監測驗證集損失，若迭代2 個周期損失沒有減少，則當前學習率減半；若迭代5 個周期仍未減少，則停止網絡，并保存最優訓練模型。

3.2 不同網絡變體的性能比較

為了使設計的模型獲得最優的效果，在實驗過程中對網絡結構做了大量的實驗與調整。在Hide4PGP 嵌入率為1 bps的情況下，表1 展示了不同網絡結構的隱寫分析正確率。其中，#1 是本文提出的網絡結構，#2 至#7 分別是不同的結構調整。從表1 結果可知，本文提出的網絡結構能達到最優的隱寫分析性能，檢測正確率達到91.75%。

#2、#3、#4 屬于基礎的網絡調整，本文提出的網絡結構與之相比都能有4～6 個百分點的檢測正確率提升。另外，#5 結果證實目標捷徑連接中使用1×1 卷積核的效果比1×5 卷積核的檢測效果要好，并且還能降低捷徑連接的參數。#6 證實引入截斷線性激活函數是一個正確的選擇。批標準化層（Batch Normalization，BN）在圖像相關的網絡結構中被廣泛使用，因此在實驗中同樣在每個卷積層后添加了BN層進行對比實驗。經實驗發現，BN層能加速網絡訓練，使模型迅速收斂，但是#7的網絡結構中引入BN 層在檢測效果上并沒有很大的提升。綜上所述，本文最終選用的是圖2所示的網絡結構。

表1 不同網絡結構的檢測正確率Tab.1 Detection accuracies of different network structures

3.3 不同隱寫分析方法比較

在此實驗中，共有4 種隱寫分析方法作比較，包括傳統特征方法2D-MFCC［3］、2D-Markov［4］，以及最近的基于卷積神經網絡的方法ChenNet［8］、LinNet［9］。這些隱寫分析方法在不同嵌入率下的檢測結果如表2所示。

表2 不同隱寫分析方法的檢測結果比較Tab.2 Comparison of detection results of different steganalysis methods

在兩種隱寫方法的不同嵌入率下，本文模型檢測性能均有最佳的表現，檢測正確率比LinNet 提升了近3 個百分點，相比其他方法提升效果尤為明顯。在Hide4PGP 0.1 bps嵌入率下，雖然檢測正確率由于密信嵌入引起的改動太小只有67.21%，但比LinNet 提高了7 個百分點。從實驗結果可以看出，利用殘差模塊構建更深層次的網絡結構相較基于CNN 的隱寫分析模型具有更好的檢測性能。

為了更直觀地評價本文提出的隱寫分析模型的檢測效果，圖4 給出了Hide4PGP 和LSBmatching 隱寫方法在0.5 bps嵌入量下的受試者工作特征曲線（Receiver Operating Characteristic curve，ROC），并計算了ROC 曲線下面積（Area Under Curve，AUC）。ROC 有助于比較不同分類器的相對性能，曲線越靠近左上角，AUC 值越接近于1，說明分類模型的性能越好。從圖4 中可以看出，本文提出模型的ROC 曲線最接近左上角，其AUC 值大于LinNet與ChenNet的，進一步證明了本文模型隱寫分析性能的優異。圖4中random 表示模型隨機猜測，沒有預測價值。

圖4 三種隱寫分析方法的ROC曲線Fig.4 ROC curves of three steganalysis methods

為了進一步評估本文提出的模型與LinNet 的性能，圖5給出了二者在0.5 bps LSBmatching 訓練過程中的訓練集以及驗證集的正確率曲線。從圖5 中可以看出，本文提出模型網絡結構層次更深且包含更多參數，訓練前期也能夠快速收斂，與LinNet保持一致；并且，隨著epoch的增加，兩個網絡的訓練正確率都在穩步提升；當epoch 達到60 時，LinNet 的訓練曲線趨于平穩，而本文模型仍有上升趨勢，最終的檢測效果要優于LinNet。

圖5 本文模型與LinNet的訓練與驗證正確率曲線Fig.5 Training and validation accuracy curves of the proposed method and LinNet

4 結語

目前語音隱寫分析工作的檢測準確率較低，本文結合深度殘差網絡提出了一個端到端的語音隱寫分析模型。實驗結果表明，在檢測不同嵌入率的Hide4PGP 與LSBmatching 隱寫方法時，同傳統方法2D-MFCC、2D-Markov 和基于卷積神經網絡的音頻隱寫分析方法ChenNet、LinNet 相比，本文所提出的隱寫分析方法在檢測正確率都有明顯提升。以此證明通過殘差模塊構建更深的網絡層次可以提升隱寫分析性能。但本文模型仍有不足，TLU 函數也抑制了語音信號中幅值超過閾值的部分隱寫痕跡，損失部分檢測精度；且針對存在于語音高幅值區域的隱寫痕跡，CNN 又難以有效處理數據并提取特征。希望在未來的工作中進一步改善模型，提升語音在低嵌入率下的檢測正確率。