999精品在线视频,手机成人午夜在线视频,久久不卡国产精品无码,中日无码在线观看,成人av手机在线观看,日韩精品亚洲一区中文字幕,亚洲av无码人妻,四虎国产在线观看 ?

基于非對(duì)稱卷積自編碼器和支持向量機(jī)的入侵檢測(cè)模型

2018-12-25 03:55:50王佳林劉吉強(qiáng)趙迪王盈地相迎宵陳彤童恩棟牛溫佳
關(guān)鍵詞:深度特征檢測(cè)

王佳林,劉吉強(qiáng),趙迪,王盈地,相迎宵,陳彤,童恩棟,牛溫佳

?

基于非對(duì)稱卷積自編碼器和支持向量機(jī)的入侵檢測(cè)模型

王佳林,劉吉強(qiáng),趙迪,王盈地,相迎宵,陳彤,童恩棟,牛溫佳

(北京交通大學(xué)智能交通數(shù)據(jù)安全與隱私保護(hù)北京市重點(diǎn)實(shí)驗(yàn)室,北京 100044)

網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)在防護(hù)網(wǎng)絡(luò)安全中占據(jù)重要地位,隨著科技不斷發(fā)展,目前的入侵技術(shù)沒(méi)有考慮到檢測(cè)技術(shù)的可擴(kuò)展性、可持續(xù)性以及訓(xùn)練時(shí)間長(zhǎng)短,無(wú)法應(yīng)對(duì)現(xiàn)代復(fù)雜多變的網(wǎng)絡(luò)異常流量。針對(duì)這些問(wèn)題,提出了一種新的深度學(xué)習(xí)方法,使用無(wú)監(jiān)督的非對(duì)稱卷積自編碼器,對(duì)數(shù)據(jù)進(jìn)行特征學(xué)習(xí)。另外,提出了一種新的基于非對(duì)稱卷積自編碼器和多類(lèi)支持向量機(jī)相結(jié)合的方法。在KDD99數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明,該方法取得了良好的結(jié)果,與其他方法相比顯著減少了訓(xùn)練時(shí)間,進(jìn)一步提高了網(wǎng)絡(luò)入侵檢測(cè)技術(shù)。

入侵檢測(cè)技術(shù);卷積自編碼器;支持向量機(jī);網(wǎng)絡(luò)安全

1 引言

隨著科技水平不斷發(fā)展,網(wǎng)絡(luò)空間安全的防護(hù)技術(shù)也在不斷提升,但仍然面臨著許多新的入侵威脅。根據(jù)賽門(mén)鐵克2018《互聯(lián)網(wǎng)安全威脅報(bào)告》[1]指出,2018年網(wǎng)絡(luò)中惡意入侵的發(fā)生率增長(zhǎng)了200%,針對(duì)物聯(lián)網(wǎng)攻擊的增長(zhǎng)率更是達(dá)到600%,嚴(yán)重威脅著人民的權(quán)益,因此防護(hù)網(wǎng)絡(luò)空間安全在網(wǎng)絡(luò)空間中占據(jù)重要位置。但網(wǎng)絡(luò)空間安全面對(duì)現(xiàn)代網(wǎng)絡(luò)的復(fù)雜變化存在許多新的挑戰(zhàn)。例如,第一,現(xiàn)代物聯(lián)網(wǎng)以及云服務(wù)的不斷普及,使網(wǎng)絡(luò)數(shù)據(jù)量急劇增長(zhǎng),并且這種情況將繼續(xù)持續(xù)下去;第二,對(duì)于大量的網(wǎng)絡(luò)入侵流量,在有限帶寬的影響下,人們對(duì)于入侵檢測(cè)的要求不僅僅停留在較高的準(zhǔn)確率方面,更是對(duì)檢測(cè)的效率提出了新的要求;第三,在現(xiàn)代網(wǎng)絡(luò)流量中增加了很多新的協(xié)議,這給網(wǎng)絡(luò)安全檢測(cè)系統(tǒng)增加了很多檢測(cè)難度和復(fù)雜性。因此,需要不斷調(diào)整網(wǎng)絡(luò)防護(hù)措施來(lái)適應(yīng)不斷變化的網(wǎng)絡(luò)狀況。

現(xiàn)存的防護(hù)網(wǎng)絡(luò)安全的措施主要有放置在網(wǎng)關(guān)處的防火墻,它可以靜態(tài)地監(jiān)視入侵活動(dòng)。為了動(dòng)態(tài)地防護(hù)網(wǎng)絡(luò)安全,入侵檢測(cè)系統(tǒng)(IDS)被用作第二道防線,它可以主動(dòng)地防護(hù)計(jì)算機(jī)中的日志以及系統(tǒng)文件等,并且通過(guò)分析日志信息、文件的變動(dòng)得出攻擊的跡象,檢測(cè)出計(jì)算機(jī)中的正常或者異常流量,甚至是一些未知的新的攻擊[2]。IDS又可以分為基于主機(jī)的入侵檢測(cè)系統(tǒng)和基于網(wǎng)絡(luò)的入侵檢測(cè)系統(tǒng)。基于主機(jī)的入侵檢測(cè)系統(tǒng)使用由單個(gè)計(jì)算機(jī)系統(tǒng)收集的信息,而基于網(wǎng)絡(luò)的入侵檢測(cè)系統(tǒng)收集原始網(wǎng)絡(luò)數(shù)據(jù)分組作為網(wǎng)絡(luò)數(shù)據(jù)源并分析入侵標(biāo)志[3],IDS在防護(hù)網(wǎng)絡(luò)空間安全中占據(jù)重要地位。

近年來(lái),機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的方法引起了廣泛關(guān)注。許多研究人員使用它們對(duì)網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)進(jìn)行了研究,并且在準(zhǔn)確率方面取得了不錯(cuò)的成績(jī)。目前,基于網(wǎng)絡(luò)的入侵檢測(cè)系統(tǒng)最大的挑戰(zhàn)是提高它的泛化性能和效率。但是,由于很難獲得可靠的訓(xùn)練數(shù)據(jù)、訓(xùn)練數(shù)據(jù)的壽命以及高錯(cuò)誤率等,大多數(shù)已有的入侵檢測(cè)系統(tǒng)仍然停留在基于已有標(biāo)簽的檢測(cè)[4],無(wú)法追趕現(xiàn)在層出不窮的異常流量,這種方式高度依賴于數(shù)據(jù)的可用性,需要人類(lèi)專家對(duì)數(shù)據(jù)進(jìn)行過(guò)濾,依靠人類(lèi)專家的指導(dǎo),這是一個(gè)十分耗費(fèi)時(shí)間和成本的過(guò)程,還可能限制計(jì)算機(jī)的能力。并且這種方式的檢測(cè)系統(tǒng)基本達(dá)到了飽和的狀態(tài),如果一直依賴這種方式應(yīng)對(duì)現(xiàn)在日新月異的網(wǎng)絡(luò)異常流量,將會(huì)出現(xiàn)高錯(cuò)誤率以及無(wú)效檢測(cè)的狀況[7]。因此,應(yīng)該及時(shí)調(diào)整檢測(cè)方式,提出一種能夠被廣泛接受的方式,來(lái)打破現(xiàn)代網(wǎng)絡(luò)流量變化的約束。

近年來(lái),一些淺層的近鄰(KNN,-nearest neighbor)算法[8]、SVM算法等被應(yīng)用在入侵檢測(cè)領(lǐng)域[9],并且展現(xiàn)出了良好的性能。但這樣的淺層學(xué)習(xí)算法也有一定的局限性,對(duì)數(shù)據(jù)樣本的限制以及復(fù)雜函數(shù)的表示能力有一定的限制,針對(duì)復(fù)雜問(wèn)題,它們的泛化能力受到一定約束。為了克服淺層學(xué)習(xí)的問(wèn)題,一些研究者已經(jīng)證明,分層的深度學(xué)習(xí)算法和淺層分類(lèi)器相比較,能夠更好地對(duì)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行學(xué)習(xí)以及分類(lèi)[10]。

為了解決上述問(wèn)題,本文提出了一種新的無(wú)監(jiān)督的基于非對(duì)稱卷積自編碼器(NCAE)和支持向量機(jī)(SVM)的入侵檢測(cè)方法,結(jié)合了深層學(xué)習(xí)和淺層分類(lèi)器對(duì)數(shù)據(jù)進(jìn)行分析和識(shí)別,適應(yīng)現(xiàn)代網(wǎng)絡(luò)流量的變化,使用KDD99數(shù)據(jù)集進(jìn)行實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明,該方法有效提高了入侵檢測(cè)技術(shù)的效率和檢測(cè)能力。

本文的主要貢獻(xiàn)總結(jié)如下。

1) 使用無(wú)監(jiān)督特征學(xué)習(xí)的新的非對(duì)稱卷積自編碼器(NCAE)技術(shù),NCAE方法與典型的自動(dòng)編碼器方法不同,它提供了非對(duì)稱數(shù)據(jù)降維,解決了卷積神經(jīng)網(wǎng)絡(luò)和自編碼器的缺陷。因此,與深度信念網(wǎng)絡(luò)(DBN)以及棧式自編碼器(SAE)等領(lǐng)先方法相比,本文所提技術(shù)能夠改進(jìn)分類(lèi)結(jié)果。

2) 利用深度的NCAE和SVM相結(jié)合的分類(lèi)算法。通過(guò)結(jié)合兩者的深度和淺層學(xué)習(xí)技術(shù),開(kāi)發(fā)各自的優(yōu)勢(shì),減少分析開(kāi)銷(xiāo),能夠更好或至少匹配類(lèi)似研究的結(jié)果,同時(shí)顯著減少訓(xùn)練時(shí)間。

2 相關(guān)工作

目前深度學(xué)習(xí)被應(yīng)用在很多領(lǐng)域,如醫(yī)療[11]、自動(dòng)駕駛[12]、圖像識(shí)別[13]以及自然語(yǔ)言處理[14]等,并且都展現(xiàn)出了良好的效果。在入侵檢測(cè)領(lǐng)域,也有很多研究人員使用深度學(xué)習(xí)算法對(duì)入侵檢測(cè)進(jìn)行了研究。

Zhao等在文獻(xiàn)[15]中提出了一項(xiàng)深度學(xué)習(xí)應(yīng)用的最新研究。他們將傳統(tǒng)的機(jī)器學(xué)習(xí)方法與4種常見(jiàn)的深度學(xué)習(xí)方法(自動(dòng)編碼器、受限玻爾茲曼機(jī)、卷積神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò))進(jìn)行了實(shí)驗(yàn)比較。他們的研究得出結(jié)論,深度學(xué)習(xí)方法比傳統(tǒng)方法更準(zhǔn)確。Dong等[16]對(duì)傳統(tǒng)的NIDS技術(shù)和深度學(xué)習(xí)方法的NIDS進(jìn)行了比較并得出結(jié)論,基于深度學(xué)習(xí)的方法可以提高在各種樣本數(shù)量和異常流量類(lèi)型下的入侵檢測(cè)準(zhǔn)確率。同時(shí),他們使用了合成少數(shù)過(guò)采樣技術(shù)(SMOTE),證明了用過(guò)采樣的方法可以克服與不平衡數(shù)據(jù)集相關(guān)的問(wèn)題。

本文還對(duì)入侵檢測(cè)算法中一些先進(jìn)的深度學(xué)習(xí)算法進(jìn)行了調(diào)研。Kim等[4]提出了一種利用深度神經(jīng)網(wǎng)絡(luò)(DNN)提高入侵檢測(cè)技術(shù)的方法,使用了100個(gè)隱藏單元,對(duì)數(shù)據(jù)進(jìn)行歸一化預(yù)處理,采用ADAM優(yōu)化器對(duì)模型進(jìn)行優(yōu)化。該方法在KDD CUP 99數(shù)據(jù)集上進(jìn)行測(cè)試,準(zhǔn)確率達(dá)到了99%。同時(shí),作者表示循環(huán)神經(jīng)網(wǎng)絡(luò)以及長(zhǎng)短期記憶模型都是未來(lái)網(wǎng)絡(luò)防御的需要。

Wang等[5]提出了一個(gè)基于層次時(shí)空特征的入侵檢測(cè)系統(tǒng)(HAST-IDS),首先利用深層卷積神經(jīng)網(wǎng)絡(luò)(CNN)學(xué)習(xí)淺層特征,使用長(zhǎng)短期記憶網(wǎng)絡(luò)學(xué)習(xí)深層特征,整個(gè)過(guò)程是一個(gè)高效的自動(dòng)化過(guò)程,減少了入侵檢測(cè)系統(tǒng)的誤報(bào)率。該方法應(yīng)用在標(biāo)準(zhǔn)數(shù)據(jù)集DARPA1998和ISCX2012進(jìn)行評(píng)估,證明該方法在特征學(xué)習(xí)方面效果顯著。

Jia等[6]使用卷積神經(jīng)網(wǎng)絡(luò)構(gòu)造入侵檢測(cè)系統(tǒng),將輸入數(shù)據(jù)映射為二維灰度圖像進(jìn)行處理。在測(cè)試階段,使用10個(gè)測(cè)試數(shù)據(jù)集對(duì)模型進(jìn)行性能測(cè)試,實(shí)驗(yàn)結(jié)果與其他入侵檢測(cè)系統(tǒng)進(jìn)行比較,基于卷積神經(jīng)網(wǎng)絡(luò)的模型具有較高的檢測(cè)率和精度,作者證明了卷積神經(jīng)網(wǎng)絡(luò)在入侵檢測(cè)中的可行性。

深度學(xué)習(xí)方法在入侵檢測(cè)領(lǐng)域取得了良好的效果,一些研究者已經(jīng)證明分層的深度學(xué)習(xí)算法和淺層分類(lèi)器相結(jié)合能夠更好地對(duì)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行學(xué)習(xí)以及分類(lèi)。Shone等[7]提出了一種深度學(xué)習(xí)方法用于入侵檢測(cè),使用一種非對(duì)稱的棧式自編碼器對(duì)數(shù)據(jù)進(jìn)行特征學(xué)習(xí),隨機(jī)森林對(duì)數(shù)據(jù)進(jìn)行分類(lèi)。他們使用KDD99和NSL-KDD數(shù)據(jù)集進(jìn)行實(shí)驗(yàn),準(zhǔn)確率分別達(dá)到了97.75%和85.42%,還分別對(duì)模型五分類(lèi)和十三分類(lèi)進(jìn)行了實(shí)驗(yàn)。作者表明深度神經(jīng)網(wǎng)絡(luò)和淺層分類(lèi)器結(jié)合表現(xiàn)出的效果更好,更能適應(yīng)現(xiàn)代網(wǎng)絡(luò)的變化。

綜上所述,盡管一些IDS已經(jīng)取得了不錯(cuò)的成績(jī),但針對(duì)不同方向仍有很多改進(jìn)的地方,包括監(jiān)督學(xué)習(xí)對(duì)于數(shù)據(jù)的需求、需要消耗大量人力和成本、大量數(shù)據(jù)訓(xùn)練時(shí)間的優(yōu)化,以及對(duì)不平衡數(shù)據(jù)中小樣本的檢測(cè)準(zhǔn)確率低、檢測(cè)模型的頑健性和可解釋性等。大多數(shù)的研究人員仍然從已有標(biāo)簽數(shù)據(jù)出發(fā)研究問(wèn)題,本文希望利用無(wú)監(jiān)督的卷積自編碼器的方式對(duì)數(shù)據(jù)進(jìn)行處理,從提高入侵檢測(cè)系統(tǒng)對(duì)現(xiàn)代網(wǎng)絡(luò)流量的適應(yīng)性以及檢測(cè)效率的角度出發(fā),進(jìn)一步提高入侵檢測(cè)的性能。

3 方法介紹

3.1 自編碼器

自編碼器是深度學(xué)習(xí)流行的算法之一,它是一種無(wú)監(jiān)督的學(xué)習(xí)方式,和主成分分析的方法比較相近,但能夠提供比主成分分析更強(qiáng)大的性能,已經(jīng)被廣泛應(yīng)用在各個(gè)領(lǐng)域進(jìn)行降維或者特征學(xué)習(xí),如醫(yī)療[17]、汽車(chē)駕駛[18]等。數(shù)據(jù)經(jīng)過(guò)訓(xùn)練之后自編碼器能?chē)L試將輸入盡可能地復(fù)制到輸出。自編碼器中有輸入層、隱藏層、輸出層、組成深層的神經(jīng)網(wǎng)絡(luò)模型,其中,每個(gè)層級(jí)之間有連接,但每個(gè)層中的單元之間沒(méi)有連接。隱藏層的維度通常比輸入層維度小,輸出層的維度通常和輸入層的維度相同,構(gòu)建出輸入與輸出之間復(fù)雜的非線性關(guān)系。自編碼器主要由2部分組成:一個(gè)由函數(shù)()表示的編碼器和一個(gè)由()表示生成重構(gòu)的解碼器。自編碼器不是簡(jiǎn)單地對(duì)數(shù)據(jù)進(jìn)行復(fù)制(()),這樣的輸出是毫無(wú)意義的,需要對(duì)自編碼器加一些約束,使它只能對(duì)數(shù)據(jù)進(jìn)行近似的復(fù)制,它會(huì)自動(dòng)優(yōu)先選取重要的特征進(jìn)行學(xué)習(xí),因此適用于數(shù)據(jù)中的特征學(xué)習(xí)。將輸出數(shù)據(jù)與輸入數(shù)據(jù)進(jìn)行對(duì)比,得到的誤差進(jìn)行反向傳播計(jì)算,調(diào)整參數(shù),優(yōu)化模型。一個(gè)典型的自編碼器如圖1所示。

圖1 自編碼器

隱藏層的作用是將高維數(shù)據(jù)轉(zhuǎn)換為低維版本,這個(gè)階段就是編碼階段,得到的數(shù)據(jù)是自動(dòng)編碼器獲得的最顯著特征,而不是原始數(shù)據(jù)本身。

自動(dòng)編碼器的目標(biāo)函數(shù)是

其中,是一個(gè)非線性的假設(shè),和參數(shù)分別表示權(quán)重和偏差。在整個(gè)過(guò)程中,它試圖將學(xué)到的輸入數(shù)據(jù)盡可能地與輸入數(shù)據(jù)保持相似,它們之間的誤差進(jìn)行反向傳遞,其中,重構(gòu)誤差的函數(shù)為

其中,為重構(gòu)誤差函數(shù),表示(())與之間的誤差,是一個(gè)編碼函數(shù),是一個(gè)解碼函數(shù)。

3.2 卷積自編碼器

卷積自編碼器是在自編碼器的基礎(chǔ)上建立起來(lái)的,它在自編碼器的基礎(chǔ)上添加了卷積操作。結(jié)合了卷積神經(jīng)網(wǎng)絡(luò)和自編碼器的優(yōu)點(diǎn),解決了卷積神經(jīng)網(wǎng)絡(luò)對(duì)權(quán)重的敏感程度以及對(duì)大規(guī)模標(biāo)記數(shù)據(jù)的依賴。同時(shí)也解決了深度信念網(wǎng)絡(luò)和自編碼器這種完全連接網(wǎng)絡(luò)的一些缺陷,如相鄰層之間的完全連接單元具有大量的訓(xùn)練參數(shù)。通過(guò)卷積核能夠有效地將數(shù)據(jù)中的最優(yōu)特征提取出來(lái),使用深度訓(xùn)練的方式構(gòu)造出深度的模型結(jié)構(gòu),輸出高維數(shù)據(jù)的低維版本。使用多個(gè)隱藏層實(shí)現(xiàn)深度,每增加一個(gè)隱藏層表示更加復(fù)雜的特征,可以降低計(jì)算的成本、所需的訓(xùn)練數(shù)據(jù)量以及提供更大程度的精度。每一個(gè)隱藏層的輸出作為更高階層的輸入,所以通常第一層用來(lái)學(xué)習(xí)輸入數(shù)據(jù),輸出第一階特征;第二層用來(lái)學(xué)習(xí)和第一階特征相關(guān)的第二階特征,以此類(lèi)推,它的訓(xùn)練過(guò)程和自編碼器相似。假設(shè)的模型有個(gè)卷積核,每個(gè)卷積核都由參數(shù)ωb組成,使用h表示卷積層,則卷積層表示為

其中,符號(hào)*為卷積操作,為激活函數(shù)。將得到的h進(jìn)行重構(gòu)特征,可以得到如下表達(dá)式

4 提出的方法

4.1 非對(duì)稱的卷積自編碼器

提高入侵檢測(cè)效率是現(xiàn)代入侵檢測(cè)技術(shù)的關(guān)鍵。因此筆者的目標(biāo)是建立一個(gè)快速高效的入侵檢測(cè)系統(tǒng)。本文介紹一種新的網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng),它是非對(duì)稱的卷積自編碼器。從根本上說(shuō),它是由編碼器?譯碼器(對(duì)稱)到只有編碼器的過(guò)程(非對(duì)稱),主要是因?yàn)樵谔卣鬟M(jìn)行學(xué)習(xí)的過(guò)程中,特征輸出映射數(shù)目減小,神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)會(huì)篩選出最優(yōu)特征優(yōu)先輸出,從而模型結(jié)構(gòu)學(xué)習(xí)到每一層的最優(yōu)特征。并且,如果有正確的學(xué)習(xí)結(jié)構(gòu),可以減少計(jì)算和時(shí)間開(kāi)銷(xiāo),提高模型的準(zhǔn)確率和效率。非對(duì)稱的卷積自編碼器可以作為分層的特征提取器,它可以很好地縮放來(lái)適應(yīng)高維數(shù)據(jù)的輸入,不用擔(dān)心高維數(shù)據(jù)的輸入。它的主要訓(xùn)練過(guò)程和傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程相似。圖2展示了均衡卷積網(wǎng)絡(luò)和非均衡卷積網(wǎng)絡(luò)的區(qū)別。其中,代表維度縮減的隱藏層,代表編碼階段,代表解碼階段。

NCAE的輸入向量假設(shè)為∈Rl,第一層隱藏層學(xué)習(xí)輸入層的數(shù)據(jù)映射為i∈Rl,其中,l表示向量的維度。它的編碼函數(shù)可以確定為

其中,當(dāng)=0時(shí),0,表示激活函數(shù),這里使用sigmoid激活函數(shù),代表隱藏層的個(gè)數(shù)。Sigmoid激活函數(shù)可以表示為

輸出數(shù)據(jù)可以表示為

模型在訓(xùn)練時(shí)進(jìn)行反向傳播,調(diào)整誤差,非對(duì)稱的自編碼器的重構(gòu)誤差可以表示為

其中,代表訓(xùn)練樣本,模型通過(guò)最小化重構(gòu)誤差來(lái)調(diào)節(jié)參數(shù),從而達(dá)到最佳水平。

4.2 基于NCAE-NSVM的入侵檢測(cè)模型

4.1節(jié)詳細(xì)介紹了非對(duì)稱的卷積自編碼器,但使用單純的非對(duì)稱卷積自編碼器相比淺層的分類(lèi)器(如KNN[8]以及SVM[9]算法),它的準(zhǔn)確率并沒(méi)有很大提升。因此將深度學(xué)習(xí)和淺層學(xué)習(xí)算法相結(jié)合,能夠提升分類(lèi)檢測(cè)的準(zhǔn)確率。SVM算法是目前最流行的機(jī)器學(xué)習(xí)算法之一,是基于統(tǒng)計(jì)學(xué)習(xí)方法中比傳統(tǒng)方法更高效的一種方法。相比傳統(tǒng)的其他分類(lèi)方法,SVM對(duì)小樣本數(shù)據(jù)、高維數(shù)據(jù)展現(xiàn)出了良好的效果。然而,隨著大數(shù)據(jù)時(shí)代的到來(lái),數(shù)據(jù)維度越來(lái)越大,數(shù)據(jù)量越來(lái)越多,使用SVM分類(lèi)需要的時(shí)間較長(zhǎng),并且存在較高的錯(cuò)誤率和低真正率。鑒于上述原因,本文開(kāi)發(fā)了一種新的基于NCAE-NSVM的算法來(lái)提高分類(lèi)檢測(cè)的準(zhǔn)確率。圖3中展示了模型的主要架構(gòu),它是一個(gè)多層的無(wú)監(jiān)督的深度神經(jīng)網(wǎng)絡(luò),主要分為3個(gè)步驟。第一步,預(yù)處理階段,將數(shù)據(jù)的稀疏特征進(jìn)行合并,數(shù)值化,歸一化數(shù)據(jù)。第二步,特征提取階段,使用4.1節(jié)中提出的非對(duì)稱卷積自編碼器對(duì)數(shù)據(jù)進(jìn)行特征提取。第三步,分類(lèi)階段,將提取的最優(yōu)特征輸入基于二叉樹(shù)構(gòu)建的多類(lèi)SVM中進(jìn)行逐層分類(lèi)。

由于現(xiàn)存的數(shù)據(jù)以及模型中存在一些無(wú)法避免的問(wèn)題:1) 對(duì)于帶標(biāo)簽的數(shù)據(jù)資源十分稀缺;2) 在很多深度學(xué)習(xí)網(wǎng)絡(luò)中,誤差函數(shù)是一個(gè)高度非凸的函數(shù),具有很多局部極值;3) 在深度神經(jīng)網(wǎng)絡(luò)中易出現(xiàn)梯度彌散問(wèn)題。因此,使用無(wú)監(jiān)督的非對(duì)稱卷積自編碼器進(jìn)行特征提取可以有效解決以上問(wèn)題。

支持向量機(jī)是一種高效的二分類(lèi)機(jī)器學(xué)習(xí)算法,相比傳統(tǒng)的其他分類(lèi)方法,SVM對(duì)小樣本數(shù)據(jù)、高維數(shù)據(jù)展現(xiàn)出了良好的效果。但大多數(shù)分類(lèi)案例都是多分類(lèi)的。如果使用SVM直接對(duì)數(shù)據(jù)進(jìn)行多分類(lèi),則訓(xùn)練時(shí)間通常很長(zhǎng)。在本文中,提取的特征被輸入基于二叉樹(shù)構(gòu)造的多類(lèi)SVM分類(lèi)器中。用它來(lái)檢測(cè)分類(lèi)數(shù)據(jù),需要用到–1個(gè)SVM分類(lèi)器,因此,本文實(shí)現(xiàn)了4個(gè)SVM檢測(cè)5種類(lèi)型。其中的核函數(shù)是高斯核函數(shù),用來(lái)解決非線性樣本的分類(lèi)問(wèn)題。在這個(gè)過(guò)程中,SVM只輸出+1和1。多類(lèi)SVM的分類(lèi)步驟如下所示。

1) 將得到的特征輸入SVM1中,SVM1首先判斷數(shù)據(jù)是正常類(lèi)型還是攻擊類(lèi)型,如果是攻擊類(lèi)型,SVM輸出為1,并且將攻擊類(lèi)型的數(shù)據(jù)輸入SVM2中,否則SVM的輸出為+1。

2) SVM2接收到SVM1的輸出數(shù)據(jù)之后,判斷得到的數(shù)據(jù)是DoS還是Probe、U2R、R2L中的某個(gè)類(lèi)型,如果是Probe、U2R、R2L中的某個(gè)類(lèi)型,SVM輸出為?1,并將這類(lèi)數(shù)據(jù)輸入SVM3中,否則SVM輸出為+1。

3) SVM3接收到SVM2的輸出數(shù)據(jù)之后,判斷得到的數(shù)據(jù)是Probe還是U2R、R2L中的某個(gè)攻擊類(lèi)型,如果是U2R、R2L中的攻擊類(lèi)型,SVM輸出為1,并將該類(lèi)數(shù)據(jù)輸入SVM4中進(jìn)行分類(lèi),否則SVM輸出為+1。

4) SVM4接收到SVM3的輸出數(shù)據(jù)之后,判斷得到的數(shù)據(jù)是否是U2R還是R2L,如果是U2R,則SVM輸出為+1,否則SVM輸出為1。

模型中隱藏層的個(gè)數(shù)、每一層的輸出特征映射維數(shù)以及SVM中的參數(shù)(核函數(shù)以及懲罰因子)都是由十折交叉驗(yàn)證得到的最優(yōu)參數(shù),模型的準(zhǔn)確度主要取決于模型的結(jié)構(gòu)以及參數(shù),因此,對(duì)模型進(jìn)行參數(shù)的調(diào)節(jié)必不可少。

4.3 模型復(fù)雜度以及時(shí)效性

圖3 NCAE-NSVM模型架構(gòu)

5 實(shí)驗(yàn)

5.1 實(shí)驗(yàn)設(shè)計(jì)

本文的實(shí)驗(yàn)流程如圖4所示,首先將KDD 99數(shù)據(jù)集數(shù)值化特征其中的字符型數(shù)據(jù),對(duì)數(shù)據(jù)進(jìn)行歸一化操作。將獲得的標(biāo)準(zhǔn)數(shù)據(jù)集輸入卷積自編碼器中進(jìn)行特征提取,使用多類(lèi)SVM分類(lèi)器進(jìn)行訓(xùn)練和測(cè)試。根據(jù)初步實(shí)驗(yàn)結(jié)果分析模型的不足,得到優(yōu)化后的模型。在結(jié)果評(píng)價(jià)方面使用Accuracy、漏報(bào)率、誤報(bào)率等作為評(píng)價(jià)標(biāo)準(zhǔn),最后將本文的結(jié)果和其他模型的結(jié)果進(jìn)行對(duì)比,展示不同機(jī)器學(xué)習(xí)算法的效果。

圖4 實(shí)驗(yàn)流程

5.2 實(shí)驗(yàn)數(shù)據(jù)

本文中使用的KDD99數(shù)據(jù)集是美國(guó)空軍9周收集的網(wǎng)絡(luò)連接和系統(tǒng)審計(jì)數(shù)據(jù),通過(guò)模擬各種用戶類(lèi)型、各種網(wǎng)絡(luò)流量和攻擊方法,以模擬真實(shí)的網(wǎng)絡(luò)環(huán)境[19]。它的訓(xùn)練數(shù)據(jù)包括490萬(wàn)單個(gè)連接數(shù)據(jù),測(cè)試數(shù)據(jù)包含200萬(wàn)個(gè)網(wǎng)絡(luò)連接數(shù)據(jù)。本文僅使用數(shù)據(jù)集的10%進(jìn)行訓(xùn)練,訓(xùn)練數(shù)據(jù)共有494 021條記錄。這個(gè)數(shù)據(jù)集有5種類(lèi)型:Normal、DoS、R2L、U2R、Probe。攻擊類(lèi)型共39種,其中,22種類(lèi)型的攻擊出現(xiàn)在訓(xùn)練集中,另外17種未知類(lèi)型出現(xiàn)在測(cè)試集中。表1展示了數(shù)據(jù)的詳細(xì)信息。其中,在訓(xùn)練集中Normal類(lèi)型有97 278條記錄,Probe類(lèi)型有4 107條記錄,DoS有391 458條記錄,U2R有52條記錄,R2L有1126條記錄。在測(cè)試集中Normal類(lèi)型有60 593條記錄,Probe有4 166條記錄,DoS有229 853條記錄,U2R有228條記錄,R2L有16 189條記錄。

5.3 數(shù)據(jù)預(yù)處理

KDD99數(shù)據(jù)集中每一條連接由41個(gè)特征組成,特征中含有很多非數(shù)值型的數(shù)據(jù)以及無(wú)用的特征,本文先對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理,將它們有效地轉(zhuǎn)換成可以被模型接受的特征。預(yù)處理部分主要可以分為兩步:數(shù)值化特征以及歸一化。

表1 KDD99數(shù)據(jù)集數(shù)量

1) 數(shù)值化特征。基于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練需要使用數(shù)值型的特征。因此在預(yù)處理階段需要把非數(shù)值型的特征轉(zhuǎn)換為數(shù)值型的特征。在KDD 99數(shù)據(jù)集中有3種協(xié)議類(lèi)型,70種服務(wù)符號(hào)取值和11種標(biāo)簽符號(hào)取值都是非數(shù)值型的,本文采用One-hot編碼方式為它們建立相應(yīng)的數(shù)值映射(如TCP=[0,0,1],UDP=[0,1,0],ICMP=[1,0,0])轉(zhuǎn)換為數(shù)值特征。

2) 歸一化。因?yàn)?KDD99數(shù)據(jù)中存在一些離散或連續(xù)的數(shù)值,它們的范圍不同,使數(shù)據(jù)在各維度之間不存在可比性,規(guī)范化方法使用以下方法映射[0, 1]之間的數(shù)字屬性。

其中,是數(shù)據(jù)中某一維度的值,min是該維度的最小值,max是該維度的最大值,X是最后得到的歸一化之后的數(shù)據(jù)。

5.4 實(shí)驗(yàn)環(huán)境及參數(shù)

該模型的實(shí)驗(yàn)是在硬件環(huán)境Intel(R) Core i77700HQ CPU @2.80 GHz,8 GB RAM,1 TB硬盤(pán)上以及Windows10操作系統(tǒng)上進(jìn)行的,使用編程語(yǔ)言Python 3.5實(shí)現(xiàn)了所提出的入侵檢測(cè)模型。仿真環(huán)境配置如表2所示。

在模型中主要的參數(shù)變量包含卷積自編碼器中每層輸出的特征映射、學(xué)習(xí)率、步長(zhǎng)以及支持向量機(jī)的核函數(shù)的參數(shù)和懲罰因子。參數(shù)的具體數(shù)值如表2所示。

表2 實(shí)驗(yàn)變量參數(shù)

5.5 評(píng)估指標(biāo)

本文使用幾個(gè)評(píng)估指標(biāo)來(lái)評(píng)估模型的性能:準(zhǔn)確率()、精確率()、召回率()、誤報(bào)率(A)和漏報(bào)率(R)。準(zhǔn)確率、誤報(bào)率和漏報(bào)率用來(lái)評(píng)估整體的性能,精確率和召回率用來(lái)評(píng)估模型之間的比較。混淆矩陣如表3所示,它們的定義如下所示。

表3 混淆矩陣

TP: 1類(lèi)被正確預(yù)測(cè)為1類(lèi)。

TN: 0類(lèi)被正確預(yù)測(cè)為0類(lèi)。

FP: 0類(lèi)被錯(cuò)誤預(yù)測(cè)為1類(lèi)。

FN: 1類(lèi)被錯(cuò)誤預(yù)測(cè)為0類(lèi)。

準(zhǔn)確率是指分類(lèi)器分類(lèi)正確的樣本個(gè)數(shù)與樣本總數(shù)之比,計(jì)算公式如下。

漏報(bào)率是分類(lèi)器錯(cuò)誤預(yù)測(cè)的樣本與實(shí)際類(lèi)別為0的所有樣本的比率,公式如下。

誤報(bào)率的定義為

召回率是指預(yù)測(cè)類(lèi)別為1的類(lèi)型被分類(lèi)為1,其計(jì)算公式如下。

精確率是指預(yù)測(cè)為1的樣本中被預(yù)測(cè)正確的概率,其計(jì)算公式如下。

5.6 仿真實(shí)驗(yàn)及結(jié)果分析

實(shí)驗(yàn)1 模型層數(shù)對(duì)檢測(cè)結(jié)果的影響

深度神經(jīng)網(wǎng)絡(luò)中模型的層數(shù)對(duì)模型的檢測(cè)程度都有重要影響。本文分析了非對(duì)稱卷積自編碼器的層數(shù)對(duì)結(jié)果的影響。它們的檢測(cè)指標(biāo)是準(zhǔn)確率、誤報(bào)率和漏報(bào)率。如表4所示,本文設(shè)計(jì)了6種不同的非對(duì)稱卷積自編碼器隱藏層層數(shù),分別為5、6、7、8、9、10層,從上到下網(wǎng)絡(luò)的層數(shù)逐漸增多,數(shù)據(jù)的檢測(cè)結(jié)果一定程度上受到隱藏層個(gè)數(shù)的影響,隨著隱藏層個(gè)數(shù)的提升,準(zhǔn)確率也在提升,誤報(bào)率、漏報(bào)率在減少,主要是因?yàn)殡[藏層的個(gè)數(shù)越多,模型對(duì)數(shù)據(jù)的非線性擬合能力越強(qiáng),越有利于高維數(shù)據(jù)向低維數(shù)據(jù)轉(zhuǎn)換,可以提高模型檢測(cè)的準(zhǔn)確率以及分類(lèi)速度。但是隱藏層的個(gè)數(shù)有最優(yōu)值,在9層結(jié)構(gòu)中神經(jīng)網(wǎng)絡(luò)的檢測(cè)結(jié)果達(dá)到最優(yōu),準(zhǔn)確率達(dá)到了97.71%,高于其他模型結(jié)構(gòu),誤報(bào)率為3.11%,漏報(bào)率7.22%,均優(yōu)于其他模型。因此,本文選擇9層模型結(jié)構(gòu)作為入侵檢測(cè)系統(tǒng)中卷積自編碼器的結(jié)構(gòu)。這也說(shuō)明神經(jīng)網(wǎng)絡(luò)的深度并不是越深越好,如果層數(shù)過(guò)多,反而會(huì)降低準(zhǔn)確率,提高誤報(bào)率以及漏報(bào)率,使參數(shù)調(diào)節(jié)復(fù)雜度變高。

表4 非對(duì)稱自編碼器結(jié)構(gòu)對(duì)檢測(cè)結(jié)果的影響

實(shí)驗(yàn)2 迭代次數(shù)對(duì)性能的影響

模型的迭代次數(shù)決定了模型是否完全將數(shù)據(jù)中的特征進(jìn)行學(xué)習(xí),這是一個(gè)黑盒的過(guò)程,因此需要通過(guò)實(shí)驗(yàn)不斷調(diào)整合適的參數(shù)。從圖5可以看出模型迭代次數(shù)對(duì)檢測(cè)損失值的影響。當(dāng)?shù)螖?shù)在10以內(nèi)時(shí),漏報(bào)率和誤報(bào)率較高,主要是因?yàn)樯窠?jīng)網(wǎng)絡(luò)還沒(méi)有學(xué)到所有的數(shù)據(jù)特征;當(dāng)?shù)螖?shù)在10~20之間時(shí),模型基本能夠?qū)W習(xí)到數(shù)據(jù)的所有特征,并且準(zhǔn)確率保持在一個(gè)較高水平,誤報(bào)率和漏報(bào)率保持較低水平;當(dāng)?shù)螖?shù)達(dá)到20以上時(shí),準(zhǔn)確率有所下降,誤報(bào)率上升,出現(xiàn)了過(guò)擬合現(xiàn)象。因此,對(duì)于數(shù)據(jù)集的訓(xùn)練迭代次數(shù)應(yīng)該保持在10~20之間,在這樣的迭代次數(shù)下,模型能夠?qū)W習(xí)到數(shù)據(jù)中的全部特征,并且保證模型不過(guò)擬合。

圖5 迭代次數(shù)與損失值的關(guān)系

實(shí)驗(yàn)3 與其他模型的性能比較

圖6 不同算法之間的測(cè)試時(shí)間比較

綜上所述,本文所提出的NCAE-NSVM算法結(jié)合了卷積神經(jīng)網(wǎng)絡(luò)和自編碼器的優(yōu)點(diǎn),并且解決了卷積神經(jīng)網(wǎng)絡(luò)對(duì)權(quán)重的敏感程度以及對(duì)大規(guī)模標(biāo)記數(shù)據(jù)的依賴。同時(shí)也解決了深度信念網(wǎng)絡(luò)和自編碼器這種完全連接網(wǎng)絡(luò)的一些缺陷,如相鄰層之間的完全連接單元具有大量的訓(xùn)練參數(shù)。通過(guò)實(shí)驗(yàn)證明,該方法擺脫了對(duì)已標(biāo)記數(shù)據(jù)的依賴,不僅在準(zhǔn)確率方面取得了不錯(cuò)的成績(jī),在訓(xùn)練時(shí)間上也有明顯提升,在現(xiàn)代網(wǎng)絡(luò)空間安全中的入侵檢測(cè)系統(tǒng)中具有一定的優(yōu)勢(shì)以及時(shí)效性,且在數(shù)據(jù)集中的小樣本檢測(cè)率方面還有一定程度的提升。

表5 非對(duì)稱自編碼器結(jié)構(gòu)對(duì)檢測(cè)結(jié)果的影響

6 結(jié)束語(yǔ)

本文對(duì)入侵檢測(cè)領(lǐng)域中的深度學(xué)習(xí)算法進(jìn)行了廣泛調(diào)查,現(xiàn)代網(wǎng)絡(luò)流量數(shù)量增多,并且出現(xiàn)了很多新的協(xié)議,現(xiàn)有的入侵檢測(cè)系統(tǒng)大多基于已有標(biāo)記的數(shù)據(jù)進(jìn)行檢測(cè),無(wú)法識(shí)別出網(wǎng)絡(luò)流量中新的攻擊類(lèi)型,對(duì)于未來(lái)的可擴(kuò)展性顯現(xiàn)出一定的局限性,并且檢測(cè)效率相對(duì)較低,需要專家操作對(duì)數(shù)據(jù)進(jìn)行標(biāo)記和預(yù)處理,嚴(yán)重威脅了網(wǎng)絡(luò)空間安全。基于以上原因,提出了一種新的網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)NCAE-NSVM,該模型同時(shí)彌補(bǔ)了卷積神經(jīng)網(wǎng)絡(luò)和自編碼器的缺點(diǎn):卷積神經(jīng)網(wǎng)絡(luò)對(duì)權(quán)重過(guò)于敏感以及極度依賴大規(guī)模標(biāo)記數(shù)據(jù)進(jìn)行訓(xùn)練;自編碼相鄰層之間參數(shù)過(guò)多;使用非對(duì)稱的卷積自編碼器的數(shù)據(jù)進(jìn)行特征提取,多類(lèi)SVM對(duì)數(shù)據(jù)進(jìn)行分類(lèi)。經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證,模型的整體準(zhǔn)確率達(dá)到97.91%,同時(shí)顯著減少了訓(xùn)練的時(shí)間。本文的主要貢獻(xiàn)在于提出了模型的完整思路以及實(shí)驗(yàn)設(shè)計(jì),實(shí)現(xiàn)了大規(guī)模入侵檢測(cè)樣本的特征提取與分類(lèi)檢測(cè)的模型,最終經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證取得了良好的效果。未來(lái)筆者將繼續(xù)在這一方面進(jìn)行深入研究,后續(xù)的工作需要提高樣本的數(shù)量并且嘗試使用本文的模型測(cè)試其他數(shù)據(jù)集,在短訓(xùn)練時(shí)間內(nèi),進(jìn)一步提升數(shù)據(jù)中小樣本的分類(lèi)情況,使入侵檢測(cè)技術(shù)得到進(jìn)一步提升。

[1] 賽門(mén)鐵克. 互聯(lián)網(wǎng)安全威脅報(bào)告[R]. 2018.

Symantec. Internet security threat report[R]. 2018.

[2] LIAO H J, LIN C H R., LIN Y C, et al. Intrusion detection system: a comprehensive review[J]. J Netw Comput Appl, 2013, 36(1): 16-24.

[3] CHOWDHURY M M U, XIN C, LI J, et al. A few-shot deep learning approach for improved intru-sion detection[C]//IEEE Uemcon. 2017.

[4] KIM J, SHIN N, JO S Y, et al. Method of intrusion detection using deep neural network[C]//2017 IEEE International Conference on Big Data and Smart Computing (BigComp). 2017: 313–316.

[5] WANG W, SHENG Y, WANG J, et al. HAST-IDS: learning hierarchical spatial-temporal features using deep neural networks to improve Intrusion detection[J]. IEEE Access, 2018, 6(99):1792-1806.

[6] JIA F, KONG L Z. Intrusion detection algorithm based on convolutional neural network[J]. Beijing Transaction of Beijing Institute of Technology, 2017, 37(12):1271-1275.

[7] SHONE N, NGOC T N, PHAI V D, et al. A deep learning approach to network intrusion detection[J]. IEEE Transactions on Emerging Topics in Computational Intelligence, 2018, 2(1):41-50.

[8] DAVE D, VASHISHTHA S. Efficient intrusion detection with KNN classification and DS theory[C]//All India Seminar on Biomedical Engineering 2012 (AISOBE 2012). Springer, 2013:173-188.

[9] ABUROMMAN A A, REAZ M B I. A novel SVM-kNN-PSO ensemble method for intrusion detection system[J]. Applied Soft Computing, 2016, 38: 360-372.

[10] HOU S, SAAS A, CHEN L, et al. Deep4MalDroid: a deep learning framework for android malware detection based on Linux kernel system call graphs[C]//2016 IEEE/WIC/ACM International Conference on Web Intelligence Workshops (WIW). 2016: 104-111.

[11] SHEN D, WU G, SUK H I. Deep learning in medical image analysis[J]. Annual Review of Biomedical Engineering, 2017, 19(1): 221-248.

[12] LIU H, TANIGUCHI T, TANAKA Y, et al. Essential feature extraction of driving behavior using a deep learning method[C]//Intelligent Vehicles Symposium. 2015:1054-1060.

[13] GRM K, ?TRUC V, ARTIGES A, et al. Strengths and weaknesses of deep learning models for face recognition against image degradations[J]. Iet Biometrics, 2018, 7(1):81-89.

[14] GARDNER M, GRUS J, NEUMANN M, et al. AllenNLP: a deep semantic natural language processing platform[J]. Computer Science Bibliography, 2018.

[15] ZHAO R, YAN R, CHEN Z, Deep learning and its applications to machine health monitoring: a survey[J]. IEEE Transactions on Neural Networks and Learning Systems, 2016, 14(8):1-14.

[16] DONG B, WANG X, Comparison deep learning method to traditional methods using for network intrusion detection[C]//2016 8th IEEE International Conference on Communication Software and Networks (ICCSN). 2016: 581-585.

[17] XU J, XIANG L, LIU Q, et al. Stacked sparse autoencoder (SSAE) for nuclei detection on breast cancer histopathology images[C]//IEEE International Symposium on Biomedical Imaging. 2014:119-130.

[18] DONG W, YUAN T, YANG K, et al. Autoencoder regularized network for driving style representation learning[J]. arXiv: 1701.01272, 2017.

[19] TAVALLAEE M, BAGHERI E, LU W, et al. A detailed analysis of the KDD CUP 99 data set[C]//IEEE International Conference on Computational Intelligence for Security & Defense Applications. 2009:1-6.

[20] THASEEN I S, KUMAR C A. Intrusion detection model using fusion of chi-square feature selection and multi class SVM[J]. Journal of King Saud University - Computer and Information Sciences, 2016, 29(4).

[21] ALRAWASHDEH K, PURDY C. Toward an online anomaly intrusion detection system basedon deep learning[C]//15th IEEE International Conference on Machine Learning and Applications (ICMLA). 2016: 195-200.

Intrusion detection model based on non-symmetric convolution auto-encode and support vector machine

WANG Jialin, LIU Jiqiang, ZHAO Di, WANG Yingdi, XIANG Yingxiao, CHEN Tong, TONG Endong, NIU Wenjia

Beijing Key Laboratory of Security and Privacy in Intelligent Transportation, Beijing Jiaotong University, Beijing 100044, China

Network intrusion detection system plays an important role in protecting network security. With the continuous development of science and technology, the current intrusion technology cannot cope with the modern complex and volatile network abnormal traffic, without taking into account the scalability, sustainability and training time of the detection technology. Aiming at these problems, a new deep learning method was proposed, which used unsupervised non-symmetric convolutional auto-encoder to learn the characteristics of the data. In addition, a new method based on the combination of non-symmetric convolutional auto-encoder and multi-class support vector machine was proposed. Experiments on the data set of KDD99 show that the method achieves good results, significantly reduces training time compared with other methods, and further improves the network intrusion detection technology.

intrusion detection technology, convolutional auto-encoder, support vector machine, network security

TP18

A

10.11959/j.issn.2096-109x.2018086

王佳林(1994-),女,山西太原人,北京交通大學(xué)碩士生,主要研究方向?yàn)樾畔踩腿斯ぶ悄馨踩?/p>

劉吉強(qiáng)(1973-),男,山東海陽(yáng)人,博士,北京交通大學(xué)教授、博士生導(dǎo)師,主要研究方向?yàn)殡[私保護(hù)、可信計(jì)算、安全協(xié)議設(shè)計(jì)與分析。

趙迪(1995-),女,河北承德人,北京交通大學(xué)碩士生,主要研究方向?yàn)樾畔踩腿斯ぶ悄馨踩?/p>

王盈地(1995-),女,河北石家莊人,北京交通大學(xué)碩士生,主要研究方向?yàn)樾畔踩?/p>

相迎宵(1994-),女,山西運(yùn)城人,北京交通大學(xué)碩士生,主要研究方向?yàn)樾畔踩腿斯ぶ悄馨踩?/p>

陳彤(1993-),女,天津人,北京交通大學(xué)博士生,主要研究方向?yàn)樾畔踩腿斯ぶ悄馨踩?/p>

童恩棟(1986-),男,山東聊城人,博士,北京交通大學(xué)講師,主要研究方向?yàn)橹悄苄畔⑻幚怼⒕W(wǎng)絡(luò)空間安全。

牛溫佳(1982-),男,寧夏銀川人,博士,北京交通大學(xué)教授、博士生導(dǎo)師,主要研究方向?yàn)槿斯ぶ悄馨踩?/p>

2018-09-07;

2018-10-24

牛溫佳,niuwj@bjtu.edu.cn

中央高校基礎(chǔ)研究基金資助項(xiàng)目(No.2017RC016, No.2018JBZ103);國(guó)家自然科學(xué)基金資助項(xiàng)目(No.61672092);信息保障科技實(shí)驗(yàn)室基金資助項(xiàng)目(No.614200103011711);北京優(yōu)秀人才培養(yǎng)基金資助項(xiàng)目(No.BMK2017B02-2);國(guó)家留學(xué)基金委資助項(xiàng)目(No.201807095014)

The Fundamental Research Funds for the Central Universities (No.2017RC016, No.2018JBZ103), The National Natural Science Foundation of China (No.61672092), Science and Technology on Information Assurance Laboratory (No.614200103011711), Beijing Excellent Talent Training Project(No.BMK2017B02-2), China Scholarship Council (No.201807095014)

猜你喜歡
深度特征檢測(cè)
“不等式”檢測(cè)題
“一元一次不等式”檢測(cè)題
“一元一次不等式組”檢測(cè)題
深度理解一元一次方程
如何表達(dá)“特征”
不忠誠(chéng)的四個(gè)特征
深度觀察
深度觀察
深度觀察
抓住特征巧觀察
主站蜘蛛池模板: 色综合中文字幕| 欧美在线精品怡红院| 日本高清免费不卡视频| 美女被操黄色视频网站| 国产乱人伦AV在线A| 日韩在线影院| 26uuu国产精品视频| 亚洲色成人www在线观看| 欧美另类第一页| 国产原创第一页在线观看| 最新日本中文字幕| 97国产在线视频| 国产剧情无码视频在线观看| 成人午夜视频在线| 久久成人免费| 久久动漫精品| 一级片一区| 在线国产毛片| 国产福利一区二区在线观看| 久久精品亚洲专区| 色噜噜综合网| 萌白酱国产一区二区| 九九久久精品免费观看| 亚洲视频四区| 国产在线视频欧美亚综合| 97成人在线观看| 2019年国产精品自拍不卡| 欧美亚洲香蕉| 亚洲第一视频网| 亚洲浓毛av| 亚洲国产成人自拍| 在线日韩一区二区| 国产亚洲视频中文字幕视频| 香蕉色综合| 91九色视频网| 中文字幕资源站| 四虎成人在线视频| 国产午夜不卡| 国产高清在线观看| 超薄丝袜足j国产在线视频| 高清欧美性猛交XXXX黑人猛交| 亚州AV秘 一区二区三区| 多人乱p欧美在线观看| 亚洲一区二区无码视频| 精品视频福利| 色综合国产| 色爽网免费视频| 久久国产热| 无码在线激情片| 欧美日韩国产在线观看一区二区三区| 欧美激情第一区| 伊人福利视频| 毛片国产精品完整版| 日韩av高清无码一区二区三区| 亚洲一欧洲中文字幕在线| 亚洲人成网站日本片| 亚洲国产AV无码综合原创| 亚洲人妖在线| 欧美午夜在线观看| 高潮毛片免费观看| 五月婷婷亚洲综合| 91美女视频在线| 午夜少妇精品视频小电影| 国产欧美视频一区二区三区| 国产一级视频在线观看网站| 国产丝袜丝视频在线观看| 欧美色图久久| 欧洲av毛片| 精品视频福利| 国产打屁股免费区网站| 麻豆国产精品一二三在线观看| 精品综合久久久久久97超人该| 久一在线视频| 日韩最新中文字幕| 亚洲 欧美 偷自乱 图片| 欧美国产精品不卡在线观看| 香蕉网久久| 国产欧美日本在线观看| 午夜小视频在线| 天天操精品| 欧美日本在线观看| 欧美激情视频一区|