基于注意力機制的淺層圖像隱寫分析模型

段明月,李爽,鐘小宇,李麗紅

(1. 華北理工大學 理學院,河北 唐山 063210;2. 河北省數據科學與應用重點實驗室,河北 唐山 063210;3. 唐山市工程計算重點實驗室,河北 唐山 063210)

引言

隱寫術與隱寫分析是信息安全領域中一個重要分支,二者一直在對抗中發(fā)展,其中基于圖像的隱寫術與隱寫分析是目前研究的重點之一。圖像隱寫主要分為自適應隱寫算法和非自適應隱寫算法:非自適應隱寫算法對背景知識要求較高,通過人工選擇隱寫位置,是對圖像無差別的修改,該思想可能會導致圖像肉眼可見的失真;自適應隱寫算法通過尋找最小失真代價函數來實現(xiàn)隱寫位置的選擇,使用這種隱寫算法的圖像不能被肉眼識別,對背景知識要求不高,是目前廣泛使用的隱寫算法,經典代表算法有S-UNIWARD[1]、WOW[2]、HUGO[3]。

針對自適應圖像隱寫算法,學者們提出了基于深度神經網絡的隱寫分析模型,通過訓練一個深度神經網絡模型提取圖像特征,學習隱寫算法嵌入位置,最終判別圖像是否被隱寫,該算法能有效識別多種隱寫算法,對未知算法也能起到有效的檢測效果,是目前圖像隱寫分析的研究重點。2016年,Xu等人[4]提出的Xu-Net模型采用固定權重的KV核對圖像做預處理,通過搭建5個卷積層和1個全連接層的神經網絡對圖像進行訓練,該模型是第一個識別效果超過SRM模型的深度神經網絡。2017年,Ye等人[5]提出Ye-Net,預處理層使用SRM中的30個高通濾波器,使用了新的激活函數TLU。同年,劉明明等[6]提出了一個基于淺層神經網絡的圖像隱寫分析模型,該模型僅使用3個卷積層,1個全連接層,就可以與前文五層以上的模型達到相近的準確率。2018年,GAO等人[7]提出了SCNN,使用2個3*3的卷積核代替一個5*5的卷積核,在感受野不變的同時減小計算量,提高了識別準確率。同年,高培賢等人[8]將密集連接模塊引入,實現(xiàn)了原始特征的保留和多次利用。Zhu等人[9]提出了Zhu-Net,將殘差模塊與SPP引入模型中,進一步提高了準確率,減小了損失函數。2019年,魏立線等人[10]提出S-CNN模型,該模型只有2個卷積層和2個全連接層,減少訓練層數的同時提升檢測準確率。2021年,黃思遠等人[11]提出了一種基于顯著性檢測的圖像隱寫分析方法,對圖像的復雜區(qū)域做重點監(jiān)測,用BASNet將圖像的顯著性區(qū)域提取出來并進行特征學習,該方法的優(yōu)點是空域與JPEG通用,將圖像分割融合到了隱寫分析領域,但在低嵌入率情況下檢測效果不好。2021年,賀麗莎等人[12]提出了一種基于殘差網絡與注意力機制結合的圖像隱寫分析模型,將注意力機制和深度殘差網絡相結合,加速模型收斂,提升模型檢測準確率。2021年,沈軍等人[13]提出了一種針對低嵌入率情況的輕量級圖像隱寫分析模型,通過訓練該模型并使用逐步遷移的遷移學習方法,提高了檢測的準確率。LIN等人[14]提出了一種多頻殘差深度卷積神經網絡,能夠同時學習隱寫噪聲的不同頻率成分,結合殘差模塊同時計算不同尺度的噪聲殘差,有效控制模型深度的同時也取得了良好的檢測性能。2022年,羅維薇等人[15]提出了一種利用融合特征的方法,更加全面地學習隱寫算法引起的統(tǒng)計特征變化,結合PCA特征映射,有效提高了檢測準確率。

但是隨著模型越發(fā)復雜,模型的準確率雖然得到了提升,但參數量過大和訓練時間過長造成了訓練瓶頸,所以研究者們開始思考使用淺層神經網絡來實現(xiàn)圖像隱寫分析。

針對輕量級圖像隱寫分析模型較少,檢測效果還有提高空間的情況,為了進一步提高淺層模型檢測準確率,依據劉明明等人[6]提出的SCNN,提出一個基于注意力機制的淺層圖像隱寫分析模型。

1 基礎知識

隨著神經網絡的提出,以深度學習為基礎的端到端的圖像隱寫分析模型開始成為研究重點,與空域富模型(SpatialRichModel, SRM)最大的不同是,圖像隱寫分析模型對研究者的背景知識要求降低了,只要設置好相應的深度神經網絡結構就可以使模型自主學習圖像特征,通過不斷地更新迭代提高特征提取的有效性。

卷積神經網絡結構主要包括卷積層、批量標準化層、激活函數層、池化層、全連接層和輸出層。

卷積層(Conv)是用于特征提取的主要部分,預先設置卷積核大小和數量,通過卷積核與圖像進行卷積操作可以提取到多樣化的圖像特征,通過改變卷積核的大小可以改變卷積感受野,卷積核越小,感受野越小,計算量越小,得到的特征更加具體;卷積核越大,感受野越大,計算量越大,得到的特征更加抽象。卷積操作示例如圖1所示,圖1中卷積核為3*3,步長為1。

圖1 卷積操作示例圖

批量標準化層(BN)用于標準化數據,模型的訓練過程中利用小批量的均值和方差調整神經網絡中間的輸出,使得各層之間的輸出都符合均值、方差相同的高斯分布,使得數據更加穩(wěn)定,無論隱藏層的參數如何變化,可以確定的是前一層網絡輸出數據的均值和方差都是已知的,以此解決了數據分布不斷改變帶來的訓練緩慢、學習率較小等問題。

激活函數層主要作用是非線性化數據,增強模型表達力。根據卷積操作示例圖可以發(fā)現(xiàn)卷積層的操作是一種線性運算,如果不使用激活函數將2個卷積層隔離開,那么這2個卷積層實際和一個卷積操作的作用是一樣,多層卷積就會失去意義,引入激活函數后將數據進行非線性化,就可以完美規(guī)避上述問題。

池化層(Pooling)首要作用是下采樣,能夠降低特征圖維度、去除冗余信息、壓縮特征圖的大小、減小計算量,但是也存在一些弊端,下采樣會導致細節(jié)特征丟失,具體使用情況可以根據任務目標調整。池化操作示例如圖2所示,圖2中為大小為2,步長為2的最大池化操作。

圖2 池化操作示例圖

全連接層(FC)將得到的特征圖展平成一個通道數為1的向量,由此實現(xiàn)端到端的學習過程。

輸出層一般使用softmax函數計算屬于各類別的概率,該函數主要用于分類問題。

2 注意力機制

注意力機制[16]是基于人類視覺研究基礎上產生的,人類在觀察圖像時,會選擇性的關注一部分信息,而忽略其他信息,這是由于信息處理瓶頸導致的,根據以上現(xiàn)象提出了注意力機制,本文使用了2種注意力機制,分別為通道注意力機制和空間注意力機制,將2種機制相結合形成一個大的注意力模塊(Convoltional Block Attention Model, CBAM)。

通道注意力機制是通過對輸入的特征圖的多通道特性給予權重的方式實現(xiàn)的注意力機制,通過網絡對參數訓練,對與預測結果相關性高的通道給與高權重,對與預測結果相關性低的通道給與低權重,以此實現(xiàn)模型的加速收斂。對于彩色圖像來說,輸入的圖像分為紅、綠、藍3個通道,通過訓練神經網絡進行學習可以實現(xiàn)對特定通道的重點關注;對于灰度圖像來說,通過神經網絡對多層提取特征,得到一組高維特征,通過使用通道注意力給予重點特征高的權重,以達到更好的結果,通道注意力模塊結構如圖3所示。

圖3 通道注意力模塊

空間注意力機制通過一個7*7卷積核參數訓練實現(xiàn)對重點區(qū)域的權重調整。在圖像處理的大多數任務中,并不是所有的區(qū)域對結果的影響都是同等重要的,只有相關的任務區(qū)域需要重點關注,空間注意力通過學習圖像特征,對重點區(qū)域給予大權重的方式實現(xiàn)模型對重點的關注,加速模型收斂。空間注意力模塊結構如圖4所示。

圖4 空間注意力模塊

將通道注意力與空間注意力相結合形成CBAM,結構如圖5所示。

圖5 CBAM結構圖

3 基于注意力機制的淺層卷積神經網絡

目前圖像分析模型大多是使用深度神經網絡進行深度疊加,通過多層級和大量參數實現(xiàn)模型效率提升,這樣的方式使得模型在訓練階段時間長、參數多、模型大,不利于訓練和使用,該研究構建了一種基于注意力機制的淺層圖像隱寫分析模型。模型結構如圖6所示。

圖6 基于注意力機制的淺層圖像隱寫分析模型

該模型包含1個預處理層、3個卷積層、1個注意力模塊、1個全連接層和1個輸出層。開始模型訓練之前先經過高通濾波器層(HPF)對圖像進行預處理,其作用在于忽略圖像背景信息的同時放大圖像中的噪聲,該研究使用的是SRM的30個線性高通濾波器,由于其大小不一,為了統(tǒng)一處理,全部補全為5*5大小。經過處理后的特征圖通道為30,大小為256,將預處理后的30維特征圖輸入到卷積層中,每個卷積層都包含三部分,分別為卷積層、批量標準化層和激活函數層,只有第一個卷積層包含絕對值層(ABS),其它卷積層中沒有,絕對值層主要用于控制數據的波動范圍,使各層的中間輸出數值更加穩(wěn)定,整個模型使用的激活函數均為線性整流函數(Rectified Linear Unit, ReLU),相比Sigmoid和Tanh計算速度更快,模型收斂速度更快。整個網絡中沒有使用池化層,由于池化層在使用中會產生過度采樣問題,導致信息丟失,對于圖像隱寫分析任務的實現(xiàn)起到相反作用,使用步長為2代替池化層降低特征圖尺寸。

4 數據集與實驗環(huán)境

BOSSbase v1.01數據庫包含10000張512*512張灰度圖像,分別通過S-UNIWARD、WOW、HUGO 3種隱寫算法,以0.2 bpp和0.4 bpp進行嵌入,共得到60000張隱寫圖像,按照7:3的比例將所有圖像分為訓練集和驗證集,且訓練集和驗證集無交集。

實驗的軟硬件環(huán)境如下:操作系統(tǒng):Ubuntu18.04,內存:16G,GPU:RTX3060,顯存:12G,深度學習框架:pytorch1.8。根據服務器的GPU顯存,模型在訓練過程中的批處理大小設為32,即原始圖像與隱寫圖像各16張,使用Adam優(yōu)化器和交叉熵損失函數,初始學習率設置為0.01,50個epochs后學習率衰減為原來的10%,實驗共設置200個epochs。

5 實驗結果與分析

將BOSSbase v1.01數據集經過0.4 bpp的S-UNIWARD嵌入后作為下述實驗的含密數據集,在同樣的軟硬件環(huán)境下,迭代次數均為200,在相同條件下將本文新模型與實驗模型的準確率進行對比。Xu-Net、Ye-Net、Zhu-Net、SCNN與該研究新模型的準確率對比結果如圖7所示。

圖7 檢測準確率對比圖

觀察圖7可以發(fā)現(xiàn),與未使用注意力模塊的SCNN模型相比,使用注意力模塊的淺層隱寫分析模型收斂速度更快,其收斂平穩(wěn)度在前期較低,后期逐漸提高,且SCNN在后期平穩(wěn)度不如新模型,研究提出的新模型在識別率上比SCNN平均高出1.5%。Ye-Net與Zhu-Net均使用了更深層的神經網絡,在200輪的迭代次數下不能穩(wěn)定收斂,通過對比可以發(fā)現(xiàn)研究提出的淺層隱寫模型在200輪訓練下收斂效果較好,檢測準確率有明顯提升。Xu-Net是一個五層神經網絡,通過與該神經網絡對比可以發(fā)現(xiàn)缺少注意力機制幫助的神經網絡收斂較慢,并且收斂穩(wěn)定性較低,圖7中可見100輪過后其波動效果比新模型更加劇烈。

實驗過程中由于低嵌入率對于圖像的修改較少,不利于模型訓練和收斂,在0.2 bpp的實驗中直接使用遷移學習將該隱寫算法的0.4bpp的模型遷移并進行初始化,經過遷移學習的模型再經過少量訓練后快速收斂。

使用WOW隱寫算法,隱寫量為0.4bpp和0.2bpp的準確率和變化量對比數據如表1所示。隱寫量設置為0.2 bpp時,Xu-Net、Ye-Net、Zhu-Net、SCNN與該研究新模型的準確率分別為70.04%、68.97%、72.45%、73.75%、79.32%。當隱寫量設置為0.4 bpp時,Xu-Net、Ye-Net、Zhu-Net、SCNN與該研究新模型的準確率分別為83.64%、81.23%、87.13%、90.78%、92.09%。由各模型準確率變化量可以看出同等迭代次數下,較深層的模型訓練效果不佳,這是由于深層網絡需要更高的迭代次數,在低迭代次數下收斂沒有達到最佳狀態(tài),模型由高嵌入率遷移至低嵌入率后檢測準確率均產生大于10%的下降,其中由于新模型使用了注意力機制在遷移后下降量相對較小,可見注意力機制在遷移學習后仍然能對模型保持正向作用,并且與對比模型相比,檢測準確率仍保持優(yōu)勢。

表1 各模型在0.2 bpp與0.4 bpp準確率和變化量對比/%

在WOW隱寫算法相同嵌入率下各模型的準確率表現(xiàn)如圖8所示。

圖8 各模型在0.2 bpp與0.4 bpp準確率對比圖

觀察圖8可以發(fā)現(xiàn),新模型在2種嵌入率下均優(yōu)于其他模型,在0.4 bpp下新模型的識別準確率分別比Xu-Net、Ye-Net、Zhu-Net、SCNN提高8.45%、10.86%、4.96%、1.31%,在0.2 bpp下本章新模型識別率分別比Xu-Net、Ye-Net、Zhu-Net、SCNN高9.28%、10.35%、6.87%、5.57%,在2種嵌入率下與Ye-Net的差距均達到最大,均大于10%,由圖中數據可以發(fā)現(xiàn)本文新模型在0.2 bpp嵌入下優(yōu)勢更大,這是由于淺層神經網絡對特征沒有高度抽象,更容易提取到圖像噪聲的細節(jié)信息,而其他較深層模型的特征高度抽象,不利于學習到微弱噪聲,在0.4 bpp嵌入下噪聲量增大一倍,高度抽象的特征中也能包含更多的噪聲信息,所以在相對較大的嵌入率下,淺層模型的優(yōu)勢被縮小。

在S-UNIWARD和HUGO隱寫算法下的0.4bpp與0.2 bpp嵌入率下檢測準確率如表2所示。

表2 各模型在0.2 bpp與0.4 bpp準確率變化對比表/%

對于性能方面的考量主要是隱寫模型涉及到的訓練時間和參數量,統(tǒng)計結果均是在0.4 bpp的WOW圖像數據上進行模型訓練時間和參數量統(tǒng)計的,在這部分實驗中,所有模型的訓練輪數都設置成200以體現(xiàn)各個模型的收斂效果。其中SCNN以其輕量級結構在訓練時間和參數量上取得最大優(yōu)勢,而本文提出的新模型由于加入了注意力機制,在參數量上略高于前者,但是收斂速度更快,準確率表現(xiàn)更好,Xu-Net因其其預處理層僅使用一個濾波核且網絡結構較為簡單,訓練參數量為1.4萬,而Ye-Net、Zhu-Net均使用了較深層的神經網絡,訓練參數量均高于十萬,且未能穩(wěn)定收斂,可見深層網絡需要的訓練時間更長。

6 結論

(1)提出一種基于注意力機制的淺層圖像隱寫分析模型,通過實驗數據的對比,該模型通過使用注意力機制加速網絡收斂,提高檢測準確率。

(2)針對3種常用的自適應隱寫算法檢測效果上均有提高,與SCNN對比最高可提升5.5%,與Xu-Net對比最高提升10%,未來可以將此模塊與更加深層的神經網絡相結合,以便進一步提高檢測準確率。