基于深度學(xué)習(xí)的計(jì)算機(jī)顯示器電磁信息泄漏識(shí)別①

裴林聰,張游杰,馬通邊,石 森

1(太原科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,太原 030024)

2(中國(guó)電子科技集團(tuán)公司第三十三研究所,太原 030032)

1 引言

信息安全是每個(gè)國(guó)家都需要去重視的安全問題,在全世界范圍內(nèi),對(duì)于國(guó)家安全、社會(huì)穩(wěn)定和經(jīng)濟(jì)發(fā)展的影響十分巨大.電磁波是最常見的信息載體,電磁發(fā)射與信息安全有著必然的聯(lián)系[1].而隨著網(wǎng)絡(luò)信息安全技術(shù)飛速發(fā)展的同時(shí),物理空間信息安全技術(shù)也逐漸得到重視,關(guān)鍵信息技術(shù)設(shè)施安全首當(dāng)其沖,成為物理空間信息安全于防護(hù)的首要關(guān)注目標(biāo),其中電磁信息泄漏所帶來的負(fù)面影響范圍更廣[2],對(duì)于電磁防護(hù),電磁泄漏信號(hào)精準(zhǔn)定位,評(píng)估電磁泄漏風(fēng)險(xiǎn)以及威脅程度,需要結(jié)合計(jì)算機(jī)領(lǐng)域深度學(xué)習(xí)與圖像識(shí)別等技術(shù)來提供良好支持.

隨著科技進(jìn)步,計(jì)算機(jī)技術(shù)快速發(fā)展的同時(shí),神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)一項(xiàng)重要技術(shù)和基礎(chǔ)成為研究關(guān)注的熱點(diǎn),學(xué)術(shù)界進(jìn)行了多種研究方向的探索,眾多領(lǐng)域取得了很大的成就,深度學(xué)習(xí)在更加廣泛的領(lǐng)域上,產(chǎn)生了深遠(yuǎn)的影響,引起了社會(huì)各界的熱切關(guān)注.深度學(xué)習(xí)等技術(shù)應(yīng)用于電磁信號(hào)[3]、雷達(dá)信號(hào)等信號(hào)處理[4]識(shí)別方法中成為一種趨勢(shì),深度學(xué)習(xí)在電磁信號(hào)識(shí)別任務(wù)中具有獨(dú)特優(yōu)勢(shì),相較于傳統(tǒng)的信號(hào)特征識(shí)別分類,卷積神經(jīng)網(wǎng)絡(luò)以簡(jiǎn)潔的優(yōu)勢(shì)、良好的效果、成為理想選擇.傳統(tǒng)方法依賴于人工特征提取,這些特征雖然有一定的普適性,但針對(duì)復(fù)雜環(huán)境以及特定場(chǎng)景時(shí),通過人工經(jīng)驗(yàn)方法去提取特征會(huì)有很大的挑戰(zhàn),能提取出準(zhǔn)確完成目標(biāo)的人工特征也絕非易事.而通過神經(jīng)網(wǎng)絡(luò)自主學(xué)習(xí)模擬大腦的視覺處理機(jī)制,從訓(xùn)練中提取目標(biāo)特征,層次化的抽象、自動(dòng)篩選特征,實(shí)現(xiàn)了高度自動(dòng)化的特征提取,使得在應(yīng)對(duì)信號(hào)處理,特征提取識(shí)別等領(lǐng)域有了極大的用武之地,也是未來發(fā)展的方向和趨勢(shì),本文利用深度學(xué)習(xí)技術(shù)[5]代替?zhèn)鹘y(tǒng)人工的復(fù)雜操作,提取電磁泄漏信號(hào)的模式特征,提高電磁泄漏信號(hào)的識(shí)別能力[6].深度學(xué)習(xí)作為信號(hào)處理的一種新型應(yīng)用技術(shù),已經(jīng)展現(xiàn)出其獨(dú)特的優(yōu)勢(shì),為解決信號(hào)處理的一些技術(shù)難題提供了新的思路[7],本文的主要研究了基于時(shí)頻分析和卷積神經(jīng)網(wǎng)絡(luò)的電磁泄漏信號(hào)識(shí)別方法,首先將一維電磁信號(hào)通過短時(shí)傅里葉變換轉(zhuǎn)化為含有時(shí)頻譜信息的二維時(shí)頻圖像作為卷積神經(jīng)網(wǎng)絡(luò)的輸入,實(shí)現(xiàn)對(duì)于電磁泄漏信號(hào)的分類識(shí)別輸出,省去了特征提取相關(guān)的繁瑣工作,配合自主開發(fā)的實(shí)時(shí)監(jiān)測(cè)識(shí)別系統(tǒng)驗(yàn)證算法的可行性和有效性.

2 相關(guān)研究工作

2.1 研究概述

本文通過設(shè)計(jì)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型CNN[8]去實(shí)現(xiàn)監(jiān)測(cè)識(shí)別計(jì)算機(jī)視頻電磁信息泄漏信號(hào),具體的工作流程為:首先,對(duì)計(jì)算機(jī)顯示器的分辨率以及傳輸線VGA 時(shí)序分析了解相關(guān)機(jī)理,為數(shù)據(jù)采集以及預(yù)處理提供理論支持,使用高性能設(shè)備完成數(shù)據(jù)采集工作,再通過時(shí)頻分析短時(shí)傅里葉變換將一維信號(hào)轉(zhuǎn)化為二維時(shí)頻圖像,輸入到卷積神經(jīng)網(wǎng)絡(luò)模型 CNN 訓(xùn)練出滿意的識(shí)別效果模型;然后,利用該模型識(shí)別出計(jì)算機(jī)視頻不同分辨率電磁信號(hào),將整個(gè)模型嵌入實(shí)時(shí)監(jiān)測(cè)識(shí)別系統(tǒng)來驗(yàn)證算法的有效性和可行性,整體流程如圖1所示.

圖1 電磁泄漏信號(hào)識(shí)別示意圖

2.2 視頻分辨率及傳輸線VGA 時(shí)序分析

基于常用顯示器LCD 分辨率1024×768,屏幕刷新率為60 Hz,屏幕刷新一幀所用的時(shí)間為16.6 ms,顯示器屏幕分辨率設(shè)置為1024×768 時(shí)根據(jù)視頻電子標(biāo)準(zhǔn)協(xié)會(huì)(Video Electronics Standards Association,VESA)定義行時(shí)序和場(chǎng)時(shí)序都需要同步脈沖a、顯示后沿b、顯示時(shí)序段c和顯示前沿d 組成一個(gè)完整的時(shí)序如圖2、圖3所示.

圖2 視頻傳輸線VGA 行時(shí)序

圖3 視頻傳輸線VGA 場(chǎng)時(shí)

以1024×768@60 Hz 時(shí)序參數(shù)為例,其行時(shí)序參數(shù)與場(chǎng)時(shí)序參數(shù)如表1所示,

表1 1024×768@60 Hz 時(shí)序參數(shù)

則一幀的RGB 信號(hào)中包含消隱區(qū)的像素行數(shù)為806,一行的像素個(gè)數(shù)為1344,包含消隱區(qū)的屏幕分辨率為1344×768,總計(jì)1032 192 個(gè)像素點(diǎn).

根據(jù)VESA 發(fā)布的計(jì)算機(jī)顯示器時(shí)序指南[9]如表2所示.

表2 計(jì)算機(jī)視頻顯示時(shí)序標(biāo)準(zhǔn)參數(shù)

計(jì)算機(jī)的RGB 信號(hào)是一個(gè)復(fù)合信號(hào),其中會(huì)包含行、場(chǎng)同步信號(hào),以及像素時(shí)鐘信號(hào),在1024×768、60 Hz刷新率的情況下,行同步信號(hào)頻率為60.004 Hz,場(chǎng)同步信號(hào)頻率為48.363 kHz,像素時(shí)鐘頻率為65 MHz.

在此條件下,數(shù)據(jù)采集參數(shù)設(shè)置為,采樣時(shí)間為20 ms,采樣深度5 M,采樣頻率250 MHz.可以達(dá)到復(fù)現(xiàn)級(jí)別的采樣精度,以及滿足采樣信號(hào)內(nèi)容不丟失.

2.3 時(shí)頻分析短時(shí)傅里葉變換

短時(shí)傅里葉變換是較為常用的一種方法,一種易于理解的方法,即在頻域中的每一個(gè)特征信息都對(duì)應(yīng)于一個(gè)時(shí)間段.當(dāng)我們使用窗的特性來分割信號(hào)表征某一個(gè)時(shí)刻的信號(hào)特征[10].窗口函數(shù)是整個(gè)短時(shí)傅里葉變換的核心,窗口寬度對(duì)于短時(shí)傅里葉變換有著直接影響.以窗口的寬度來截取電磁泄漏信號(hào),所以窗口的寬度與信號(hào)長(zhǎng)度成正比例關(guān)系,經(jīng)過一個(gè)窗口的傅里葉變換之后,寬口寬度大時(shí),頻率分辨率也同時(shí)變高,可以觀測(cè)頻譜的快變化.當(dāng)窗口的寬度小時(shí),相應(yīng)的信號(hào)截取也較短,頻率分辨率也隨著變低,不可以觀測(cè)到頻譜的快變化.時(shí)間分辨率與窗口寬度成反比例關(guān)系,窗口寬度大、時(shí)間分辨率小,窗口寬度小,時(shí)間分辨率大.隨著窗口的滑動(dòng)整個(gè)信號(hào)的瞬時(shí)特征相應(yīng)被得到,一系列的傅里葉變換最終被排列成二維的時(shí)頻圖像[11].

影響短時(shí)傅里葉變換效果的因素有兩個(gè):窗函數(shù)的類型以及窗的寬度,不同的窗函數(shù)會(huì)有不同的頻譜泄漏和譜間干擾,而時(shí)域和頻域的相對(duì)分辨率則是受到窗的寬度影響,窗體較寬則頻域分辨率較高,窗體較窄則時(shí)域分辨率較高.根據(jù)上述短時(shí)傅里葉變換的公式可以表示為:

其中,z(t)為時(shí)域信號(hào),g(t)是以t時(shí)刻為中心的時(shí)間窗口函數(shù).

3 數(shù)據(jù)采集與處理

3.1 數(shù)據(jù)采集設(shè)計(jì)

通過LabView 自主編寫的采集系統(tǒng)利用NI-Scope控件,連接到高精度高速數(shù)據(jù)采集卡NI PXI-5152 采集視頻泄漏信號(hào)的時(shí)域波形信號(hào),使用環(huán)形鉗,探測(cè)傳輸線纜上的電磁泄漏傳導(dǎo)信號(hào),實(shí)時(shí)加載到LabView 搭建的實(shí)時(shí)監(jiān)測(cè)系統(tǒng)處理平臺(tái)中進(jìn)行后續(xù)數(shù)據(jù)操作與保存,其整體流程如圖4所示.

圖4 數(shù)據(jù)采集系統(tǒng)示意圖

通過實(shí)時(shí)監(jiān)測(cè)系統(tǒng),完成數(shù)據(jù)采集以及泄漏信號(hào)監(jiān)測(cè),其時(shí)域、頻域如圖5、圖6所示.

圖5 時(shí)域信號(hào)

圖6 頻域信號(hào)

3.2 數(shù)據(jù)預(yù)處理

按照采樣時(shí)間為20 ms,采樣深度5 M,采樣頻率250 MHz的采樣規(guī)格,連續(xù)采集三組數(shù)據(jù),同時(shí)將3 組數(shù)據(jù)通過圖像預(yù)處理平臺(tái),進(jìn)行時(shí)頻分析,采用短時(shí)傅里葉變換(STFT),將數(shù)據(jù)信號(hào)以時(shí)頻圖的方式展現(xiàn)出來如圖7所示,X 軸代表時(shí)間,Y 軸代表頻率,圖像顏色深度代表能量,通過3 個(gè)不同的維度,更加直觀精細(xì)的分析信號(hào)的變化情況,以求提取深層次特征.

圖7 STFT 一維信號(hào)轉(zhuǎn)化為二維時(shí)頻圖

通過LabView與Python 聯(lián)合編程實(shí)現(xiàn)的系統(tǒng)中預(yù)處理功能,批量處理,產(chǎn)生數(shù)據(jù),并保存到本地.將信號(hào)數(shù)據(jù)輸入預(yù)處理系統(tǒng),分批處理,制作45 000 張時(shí)頻圖作為卷積神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)樣本,同時(shí)以4:1的比例抽取36 000 張,作為訓(xùn)練集,抽取9000 個(gè)數(shù)據(jù)作為驗(yàn)證集,輸入神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型.利用短時(shí)傅里葉變換STFT 進(jìn)行時(shí)頻分析,獲得時(shí)頻圖像,并對(duì)時(shí)頻圖像進(jìn)行圖像歸一化預(yù)處理,生成224×224 大小的RGB圖像集,通過編寫的Python 腳本將預(yù)處理好的相應(yīng)網(wǎng)絡(luò)圖片批量導(dǎo)入帶有分類的標(biāo)簽文件夾,來建立輸入網(wǎng)絡(luò)的圖片標(biāo)簽,并為每張圖片修改名稱及序號(hào)來達(dá)到標(biāo)注效果.

4 構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型

4.1 卷積神經(jīng)網(wǎng)絡(luò)概況

近年來深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)應(yīng)用于信號(hào)處理等領(lǐng)域應(yīng)用廣泛[12],本文通過將深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于電磁泄漏信號(hào)識(shí)別,利用神經(jīng)網(wǎng)絡(luò)自動(dòng)提取電磁信號(hào)的特征[13],避免基于經(jīng)驗(yàn)的人工特征提取的復(fù)雜條件,通過二維圖像對(duì)電磁信號(hào)進(jìn)行表征,利用卷積神經(jīng)網(wǎng)絡(luò)層次化地理解和識(shí)別電磁信號(hào).

神經(jīng)網(wǎng)絡(luò)的研究與人類視覺的研究密切相關(guān),為了進(jìn)一步提高神經(jīng)網(wǎng)絡(luò)的性能,通過借鑒人腦視覺系統(tǒng)的最新研究成果為卷積神經(jīng)網(wǎng)絡(luò)的研究尋找下一個(gè)突破口,已成為越來越受到學(xué)術(shù)界關(guān)注的研究方向[14].卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)是一種特殊的深層前饋網(wǎng)絡(luò),在前饋神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上進(jìn)行升級(jí)改造的深層神經(jīng)網(wǎng)絡(luò),每個(gè)神經(jīng)元都只與鄰近的局部神經(jīng)元相互作用[15].

4.2 算法實(shí)現(xiàn)步驟

CNN 模型主要包含輸入層(input layer)、卷積層(CONV layer)、池化層(pooling layer)以及全連接層(FC layer)等.

通過測(cè)試,本文設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖如圖8所示,其中,卷積神經(jīng)網(wǎng)絡(luò)由8 層組成,分別為4 個(gè)卷積層、2 個(gè)池化層和1 個(gè)全連接層,最后一層選擇采用Softmax 分類器,在建立卷積神經(jīng)網(wǎng)絡(luò)模型中選擇4 個(gè)卷積層都使用3×3的卷積核是為了通過卷積核去壓縮卷積神經(jīng)網(wǎng)絡(luò)模型中參數(shù)個(gè)數(shù),而且在每次下采樣的操作之后可以將特征通道的數(shù)量成倍增加,這樣可以盡量保持特征的完整性,整個(gè)網(wǎng)絡(luò)都使用了同樣大小的卷積核尺寸3×3和最大池化尺寸2×2,較小的卷積核和池化采樣域,使得卷積神經(jīng)網(wǎng)絡(luò)模型在卷積和下采樣操作過程中能夠在獲得更多圖像特征信息還可以節(jié)制參數(shù)的個(gè)數(shù),避免因?yàn)榇罅康挠?jì)算和過于復(fù)雜的模型結(jié)構(gòu)導(dǎo)致模型冗余,只使用一個(gè)全連接層來減少模型參數(shù),達(dá)到更好效果.因此建立的8 層卷積神經(jīng)網(wǎng)絡(luò)模型具有簡(jiǎn)潔的結(jié)構(gòu)和較少參數(shù)等優(yōu)點(diǎn),并在此基礎(chǔ)上達(dá)到不錯(cuò)的效果.

圖8 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

每層使用ReLU 作為激活函數(shù).與傳統(tǒng)的Sigmoid函數(shù)和tanh 函數(shù)相比,ReLU 作為優(yōu)化的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)在深層的卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中表現(xiàn)出明顯的優(yōu)勢(shì)[16],其定義為:

ReLU 函數(shù)和導(dǎo)數(shù)都不包含復(fù)雜數(shù)學(xué)運(yùn)算,使得網(wǎng)絡(luò)的收斂速度更加快速,解決了梯度消失問題,顯著提升了深度神經(jīng)網(wǎng)絡(luò)的性能[17].模型損失函數(shù)使用categoricalcrossentropy,優(yōu)化器使用的是SGD.為了防止梯度彌散,型中在卷積層加入50%的dropout 處理.

將224×224 大小的時(shí)頻圖像輸入到卷積神經(jīng)網(wǎng)絡(luò)模型中,卷積層Conv1、Conv2的卷積核大小為3×3,深度為32,使用ReLU (Rectified Linear Unit 修正線性單元)作為激活函數(shù),Padding 選擇不填充(Valid),步長(zhǎng)Stride為1.最大池化層MaxPool1 大小為2×2,步長(zhǎng)Stride為2,使用25%的dropout 防止梯度彌散.

卷積層Conv3、Conv4的卷積核大小為3×3,深度為64,使用ReLU 作為激活函數(shù),Padding 選擇不填充(Valid),步長(zhǎng)Stride為1.最大池化層MaxPool2 大小為2×2,步長(zhǎng)Stride為2,使用25%的dropout 防止梯度彌散.全連接層FC為256,使用50%的dropout 避免過度擬合,最后使用Softmax[18]分類器輸出800×600@60 Hz、1024×768@60 Hz、1440×900@60 Hz 分類識(shí)別結(jié)果.其網(wǎng)絡(luò)模型參數(shù)見表3.

表3 卷積神經(jīng)網(wǎng)絡(luò)模型參數(shù)

5 實(shí)驗(yàn)結(jié)果分析

在訓(xùn)練過程中,每次迭代后數(shù)據(jù)被打亂再重新開始下一輪迭代.加入早停法(EarlyStopping)組件,使得模型在每次迭代結(jié)束后會(huì)檢查驗(yàn)證損失值(Validation loss),如果驗(yàn)證損失值連續(xù)多次不再發(fā)生變化,則表明模型參數(shù)訓(xùn)練充分,則終止訓(xùn)練過程,并輸出訓(xùn)練結(jié)果.如圖9、圖10所示,訓(xùn)練效果通過識(shí)別準(zhǔn)確率和損失率來衡量.

圖9 損失函數(shù)曲線

圖10 準(zhǔn)確率曲線

從圖9中可以看出,隨著訓(xùn)練迭代數(shù)的不斷增加,訓(xùn)練集損失值(training loss)和驗(yàn)證集損失值(validation loss)均逐漸減小,在第50 代以后,曲線趨于平緩,當(dāng)驗(yàn)證集損失值下降到0.05～0.2 時(shí),驗(yàn)證集損失值幾乎不再發(fā)生變化,最終觸發(fā)早停法停止訓(xùn)練,網(wǎng)絡(luò)模型參數(shù)訓(xùn)練充分,訓(xùn)練結(jié)束,整個(gè)訓(xùn)練花費(fèi)時(shí)間約為4 個(gè)小時(shí),訓(xùn)練過程中每一輪耗時(shí)約為225 s.

分析實(shí)驗(yàn)結(jié)果可知,隨著訓(xùn)練次數(shù)不斷提升,訓(xùn)練準(zhǔn)確率和驗(yàn)證準(zhǔn)確率也不斷提升并趨于穩(wěn)定,經(jīng)過測(cè)試,對(duì)于800×600@60Hz、1024×768@60Hz、1440×900@60Hz 分辨率下信號(hào)分類識(shí)別率達(dá)到98.7%.混淆矩陣(confusion matrix)是評(píng)價(jià)多分類問題的主要手段,是一種通過特制矩陣來展現(xiàn)算法性能的手段,其數(shù)據(jù)可視化的效果讓觀測(cè)者能夠更加直觀的了解算法優(yōu)劣,包含實(shí)際分類和預(yù)測(cè)分類的信息,混淆矩陣的對(duì)角線上所展示的值越高,代表預(yù)測(cè)的效果越好,準(zhǔn)確度越高[19],實(shí)驗(yàn)使用混淆矩陣來進(jìn)一步評(píng)估算法的性能,如圖11所示,混淆矩陣橫軸為電磁信號(hào)模式的預(yù)測(cè)值,縱軸為電磁信號(hào)模式的真實(shí)值,右側(cè)色彩條的顏色深淺來表示從0 至1的準(zhǔn)確程度.

圖11 歸一化混淆矩陣

在常規(guī)的識(shí)別方法中由專業(yè)人員通過對(duì)信號(hào)樣本進(jìn)行監(jiān)測(cè)分析,在時(shí)域,頻域,空間以及能量等條件下挑選信號(hào)關(guān)鍵特征,如相位脈沖個(gè)數(shù),包絡(luò)峭度等,最后計(jì)算特征參數(shù)值來基于固定方法分類,此方法對(duì)工作人員專業(yè)技術(shù)經(jīng)驗(yàn)要求極高,而在數(shù)據(jù)較多時(shí),人工先驗(yàn)的傳統(tǒng)模式分析效率和準(zhǔn)確率也會(huì)大打折扣.而本文的方法基于深度學(xué)習(xí)實(shí)現(xiàn)端到端的識(shí)別模型,自動(dòng)從樣本圖像中學(xué)習(xí)圖像特征通過深層次的網(wǎng)絡(luò)結(jié)構(gòu)提取到更加準(zhǔn)確,更加高維,更加抽象的特征,這些特征最后輸入網(wǎng)絡(luò)模型的分類器中從而達(dá)到不錯(cuò)的分類識(shí)別效果以及更高的準(zhǔn)確度,提高了計(jì)算機(jī)電磁泄漏信號(hào)的識(shí)別能力.

6 結(jié)論與展望

文章提出了一種基于深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的視頻電磁信息泄漏信號(hào)在不同分辨率下的識(shí)別新方法,通過時(shí)頻分析等預(yù)處理方式將一維信號(hào)轉(zhuǎn)變?yōu)槎S時(shí)頻圖像來對(duì)電磁信號(hào)表示,使得能夠利用圖像識(shí)別等領(lǐng)域的手段來處理問題,為視頻電磁信息泄漏信號(hào)的識(shí)別提供了新的思路,相較于傳統(tǒng)特征提取過程深度學(xué)習(xí)技術(shù)實(shí)現(xiàn)自動(dòng)化的去學(xué)習(xí)目標(biāo)的抽象特征,避免了傳統(tǒng)人工帶來的繁瑣與利用率低等問題,實(shí)驗(yàn)表明利用卷積神經(jīng)網(wǎng)絡(luò)能夠?qū)崿F(xiàn)端到端的視頻電磁泄漏信號(hào)識(shí)別的可行性.為了驗(yàn)證本文算法的實(shí)用性能,基于LabView和Python 開發(fā)了一套實(shí)時(shí)采集監(jiān)測(cè)識(shí)別系統(tǒng),實(shí)驗(yàn)結(jié)果表明算法能有效識(shí)別電磁信號(hào).

所提出的方法應(yīng)用于視頻電磁泄漏信號(hào)識(shí)別還是初步嘗試,對(duì)于時(shí)頻分析方法的選擇,以及相關(guān)電磁泄漏信號(hào)類別的提升,網(wǎng)絡(luò)模型優(yōu)化還值得進(jìn)一步研究.