基于超球支持向量機的鍵盤異常檢測①

趙 峰, 鐵治欣, 謝 磊

(浙江理工大學(xué) 信息學(xué)院,杭州 310018)

隨著科學(xué)技術(shù)的迅猛發(fā)展,計算機在人類日常的學(xué)習(xí)、生活、工作中扮演著越來越重要的角色. 而鍵盤作為計算機的主要輸入工具,其重要性不言而喻. 此外,諸如機房、網(wǎng)吧等公共場所使用計算機人群眾多且復(fù)雜,實時地對計算機鍵盤實施異常檢測可以減輕不必要的經(jīng)濟損失,同時亦可提高用戶的滿意度,因此對鍵盤的異常檢測十分具有現(xiàn)實意義.

異常檢測是基于行為的檢測,即根據(jù)使用者的行為或者資源的使用狀況來判斷異常情況是否發(fā)生,因為我們每個人都有不同的生物特征,即每個人對鍵盤的敲擊習(xí)慣都是不同的,如擊鍵的輕重,快慢等,所以我們可以選用它作為識別用戶的信息源[1]. 常用的生物技術(shù)有語音識別技術(shù),指紋識別,人臉識別,擊鍵認證.本文采用的就是擊鍵認證,由每個人的擊鍵行為,在鍵盤上產(chǎn)生的按鍵時間序列,通過一些特征變換衍生,構(gòu)建出識別模型,用來對鍵盤的異常情況進行識別. 擊鍵特征是一種能夠反映用戶行為的動態(tài)特征,通常情況下無需借助其他設(shè)備我們便可以捕獲個人的擊鍵特征.我們通過訓(xùn)練出的模型和定義異常指數(shù),檢測出鍵盤是否發(fā)生異常.

支持向量機方法在檢測方面已經(jīng)應(yīng)用于多個領(lǐng)域,如：馮慧玲等[2]提出的基于拉普拉斯分值和超球支持向量機的軸承故障診斷方法設(shè)計; 郝英等[3]提出的基于支持向量機的民航發(fā)動機故障檢測研究; 以及張餛等[4]提出的基于支持向量機的異常入侵檢測系統(tǒng)和郭月玲[5]對支持向量機在語音識別中的應(yīng)用研究. 目前,對于鍵盤的異常檢測方法并不多,考慮到超球支持向量機適合處理非線性,多維模式的小樣本數(shù)據(jù)識別問題,且在處理不均衡樣本中有獨特的優(yōu)勢[6],而人們的擊鍵時間序列正是非線性,不均衡,小樣本數(shù)據(jù),所以本文提出了一種基于超球支持向量機的鍵盤異常檢測方法.

1 超球支持向量機模型及粒子群算法優(yōu)化模型參數(shù)

1.1 超球支持向量機模型[7-10]

支持向量機是以統(tǒng)計學(xué)習(xí)理論為基礎(chǔ)的一種新的機器學(xué)習(xí)算法,它具有簡潔的數(shù)學(xué)形式、標準快捷的訓(xùn)練方法,基本思想是通過一個非線性變換將輸入空間變換到一個高維特征空間,然后構(gòu)造平面對樣本進行劃分. 支持向量機具有更堅實的理論基礎(chǔ)、更強的泛化能力,性能也更加優(yōu)異,且適合處理小樣本多特征的數(shù)據(jù),因此成為主流的機器學(xué)習(xí)算法之一. 目前,常用的異常檢測的支持向量機模型有兩種,其中一種是就是本文應(yīng)用的超球模型,它是Tax提出來的,它比另一種超平面模型具有更大的優(yōu)勢. 超平面模型的不足在于特征空間內(nèi)的原點被先驗地認為是異常樣本區(qū)域的中心,然后尋找超平面使得正常樣本區(qū)域盡量遠離該中心. 且超平面只是將兩類樣本分開,由于超平面把空間一分為二,兩邊的地位都是相等的,對于第三類樣本無法做出相應(yīng)的處理. 而超球模型不僅可以處理第三類樣本,還具有訓(xùn)練速度快,檢測效率高的優(yōu)點. 通過控制超球的大小和范圍,使超球的含義不僅僅是分開兩類,而且還有把球里面的樣本盡量包“牢”和包“純”,拒絕其它類樣本的進入.

Tax提出的超球模型思路如下：在樣本特征空間內(nèi)尋找一個中心為a,半徑為R的超球,正常樣本點位于超球內(nèi),異常點位于超球之外,所謂異常點就是比如我們要將10 000個樣本進行分類,我們可以找到一個分類面將9999個樣本正確分類,但只有一個樣本錯誤分類,那我們就不需要不斷調(diào)整分類面直到將10 000個樣本完全正確分類了. 優(yōu)化目標是超球體積盡量小,同時位于超球外的樣本點也要盡量少. 該模型目標函數(shù)如下：

其中,為松弛變量(把奇異點排除在超球體外面),C為權(quán)系數(shù)(C=1/(n.v)),n為樣本數(shù),v為訓(xùn)練樣本中允許的異常點的百分數(shù)即拒絕率,xi為第i個樣本點.定義Lagrange函數(shù)L(R,a,αi,ξi)為：ξiξi

其中,αi≥ 0,γi≥ 0R,a,ξi為Lagrange乘子. Lagrange函數(shù)對分別求偏導(dǎo)并令等于0,可得：

將式(3)帶入Lagrange函數(shù),可得到：

其中,(xi,xj)表示歐式空間的內(nèi)積,用核函數(shù)進行替換后得：

其中,k(xi,xj)(α)為核函數(shù),這樣原問題的對偶問題就轉(zhuǎn)化為maxW

對式(5)進行優(yōu)化求出α,其中αi>0對應(yīng)樣本點為支持向量,0＜ αi＜c對應(yīng)的點位于超球面上. 利用超球面上的點,結(jié)合式(3)可求出超球中心a和半徑R,若被測試樣本z滿足：

則判斷z為異常點.

本文選用徑向基核函數(shù)作為HSSVM核函數(shù),公式如下：

其中xi,xj分別為第i,j個樣本,σ為核參數(shù).

1.2 改進的粒子群算法

粒子群算法(PSO)是一種迭代尋優(yōu)方法[11]. 該算法來源于對鳥群捕食行為的研究,具有智能搜索的性質(zhì),同時,它利用速度與位置的更新策略,致使算法簡單易操作. 算法可以描述為：設(shè)在n維空間中分布一個粒子種群,該種群由m個粒子組成,每個粒子的位置對應(yīng)求解問題中一個潛在解,每個粒子同時還具備向其它粒子飛行的速度,該速度決定它們飛行的方向和距離. 首先隨機產(chǎn)生一組粒子的初始位置和速度,根據(jù)預(yù)定的適應(yīng)度函數(shù)計算每個粒子當前位置的適應(yīng)度值,此時,各個粒子本身的最優(yōu)解稱為個體極值,整個種群的最優(yōu)解稱為全局極值. 然后,粒子按公式(9)、(10)通過更新自身速度和位置,完成多次迭代后,最終

實現(xiàn)個體在自由空間的尋優(yōu).

其中,ωmin,ωmax分別為ω 最小值和最大值,f為當前個體的適應(yīng)度,fmin,favg分別為最小適應(yīng)度和平均適應(yīng)度. 標準的粒子群算法學(xué)習(xí)因子一般都取2,為了加快種群的搜索速度,提高找到全局最優(yōu)解的效率,本文采用動態(tài)變化的學(xué)習(xí)因子,公式如下：

1.3 利用IPSO對HSSVM的懲罰因子和核參數(shù)進行尋優(yōu)

由于超球支持向量機中模型參數(shù)對分類結(jié)果有較大影響[13],本文利用粒子群優(yōu)化算法對超球體支持向量機中的參數(shù)進行優(yōu)化,其整個建模流程如下;

1) 讀入訓(xùn)練樣本集;

3) 定義PSO的適應(yīng)度函數(shù)來進行粒子的適應(yīng)度值計算和評估,選取最為常用的均方誤差(MSE)作為為適應(yīng)度函數(shù). 公式如(13)所示：

式中xi為估計值,yi為實際值;

4) 根據(jù)粒子的適應(yīng)值來更新粒子本身和群體所對應(yīng)的最佳適應(yīng)值,根據(jù)公式對粒子的速度,位置,學(xué)習(xí)因子以及慣性權(quán)重進行調(diào)整,得到新的粒子群;

5) 如未滿足結(jié)束條件或達到最大迭代次數(shù),返回步驟3)否則輸出最優(yōu)參數(shù)值;

6) 把最優(yōu)參數(shù)值代入超球支持向量機得到鍵盤異常模型,并用測試樣本集對模型檢測準確率進行驗證.

2 基于IPSO-HSSVM鍵盤異常檢測模型構(gòu)建

2.1 模型樣本數(shù)據(jù)采集及樣本參數(shù)指標構(gòu)建

在用戶整個敲擊鍵盤的過程中,用戶實際上完成了一套連續(xù)按下彈起行為,每個這樣的按鍵行為都是按鍵被輸入進了電腦[14]. 一個按鍵被電腦識別,一共會產(chǎn)生兩次的時間記錄,一次是按鍵按下(DOWN)的時間,另一次則是按鍵彈開(UP)的時間. Windows系統(tǒng)是建立在事件驅(qū)動的機制上的,說穿了就是整個系統(tǒng)都是通過消息的傳遞來實現(xiàn)的. 而鉤子是Windows系統(tǒng)中非常重要的系統(tǒng)接口,它的種類是有很多種,每一種鉤子都可以截獲并處理相應(yīng)的消息,得到此消息的控制權(quán),此時在鉤子函數(shù)中就可以對截獲的消息進行加工處理,甚至可以強制結(jié)束消息的傳遞,用它可以截獲并處理送給其他應(yīng)用程序的消息,來完成普通應(yīng)用程序難以實現(xiàn)的功能. 所以,本文在Windows操作系統(tǒng)中,通過開發(fā)的鉤子(hook)程序捕獲鍵盤的擊鍵消息,并記錄下每個鍵按下(DOWN)和彈開(UP)的時間間隔以及任意兩個鍵之間的時間間隔(即前一個鍵彈開(UP)和下一個鍵按下(DOWN)的時間間隔).

鍵盤的異常特征是可以通過按鍵之間的時間序列來較好判斷的. 因為模型算法是來檢測現(xiàn)實情況下的鍵盤異常情況的,所以訓(xùn)練樣本的質(zhì)量尤為關(guān)鍵,必須真實有效,能夠反映用戶習(xí)慣的數(shù)據(jù). 實驗數(shù)據(jù)來源一部分是讓用戶在正常情況下連續(xù)打印了課外閱讀中一篇完整的文章,另一部分是讓一位不太熟悉計算機的中年人打印同樣一篇文章并加入一些人為模擬出的異常數(shù)據(jù)組合起來作為異常樣本,因為各個按鍵之間的頻率是不一樣的,本文從采集的數(shù)據(jù)樣本中找出按鍵頻率較高的幾種數(shù)據(jù)作為樣本,通過觀察采集的數(shù)據(jù)和參考國內(nèi)外相關(guān)文獻[15,16],我們發(fā)現(xiàn)其中a鍵按下和彈開,a鍵彈開之后再按下n鍵,a鍵彈開之后再按下i鍵,i鍵彈開之后再按下a鍵,h鍵彈開之后再按下a鍵出現(xiàn)的頻率較高,所以采集的數(shù)據(jù)樣本較多,本文中把其時間間隔分別記為Taa,Tan,Tai,Tia,Tha,單位為秒. 從而組成一組樣本點數(shù)據(jù)x(Taa,Tan,Tai,Tia,Tha),包含用戶敲擊a鍵的5個擊鍵特征作為指標. 通過收集和整理,最終選取了230組數(shù)據(jù),其中100組數(shù)據(jù)作為訓(xùn)練集,其余130組數(shù)據(jù)作為訓(xùn)練集(包含100組正常數(shù)據(jù)和30組異常數(shù)據(jù)). 鉤子程序是在Visual Stdio 2010環(huán)境中開發(fā)的,表1是采集數(shù)據(jù)時的部分整理數(shù)據(jù).

表1 采集數(shù)據(jù)時的部分整理數(shù)據(jù)

訓(xùn)練樣本集即是對 maxw(α)進行優(yōu)化,該優(yōu)化過程本文是在MATLAB環(huán)境中來實現(xiàn)的,得到它的全局最優(yōu)解. 因為MATLAB最優(yōu)化函數(shù)功能強大,我們利用其中的fmincon函數(shù)名(求解非線性帶約束函數(shù)的最小值點),而這里我們是要求最大值,所以我們可以求最優(yōu)化出 -w(α)的最小值,其中fmincon函數(shù)是默認從給定的x0為中心開始搜索,直到找到最小值,并返回距離x0最近的函數(shù)最小值對應(yīng)的x值,從而可以得到最優(yōu)化值點a的各個值. 從實際實驗計算結(jié)果可以看出,多數(shù)ai將為0,只有少量的對應(yīng)的這些樣本稱為支持向量機,只有這些少量的支持向量才能決定a和R的值,其他非支持向量因其對應(yīng)的在計算時被忽略.

2.2 基于IPSO-HSSVM鍵盤異常檢測模型流程

HSSVM鍵盤異常檢測模型主要由3部分構(gòu)成：

1） 數(shù)據(jù)采集整理部分,由每個人的擊鍵行為,利用鉤子（hook）程序采集在鍵盤上產(chǎn)生的按鍵時間序列,從中選出能反映人們擊鍵行為的按鍵時間間隔作為擊鍵特征,組成訓(xùn)練集和測試集,以適用于實驗分析需要.

2） IPSO算法部分,通過粒子動態(tài)更新速度,位置,學(xué)習(xí)因子和慣性權(quán)重,并根據(jù)訓(xùn)練集計算適應(yīng)度值,找到最佳的一組搜索參數(shù)以提升HSSVM算法的整體性能.

3） HSSVM算法部分,通過訓(xùn)練集的監(jiān)督學(xué)習(xí),建立對應(yīng)HSSVM鍵盤異常檢測的分類器,再使用測試集驗證模型檢測準確率.

算法流程圖如圖1所示.

圖1 HSSVM模型流程

3 結(jié)果分析

實驗相關(guān)參數(shù)設(shè)置：粒子種群規(guī)模sizepop為20,加速度系數(shù)最大迭代數(shù)maxgen為50,ωmin=0.3,ωmax=0.9,懲罰因子C取值范圍均為[0.01,100],核函數(shù)參數(shù) σ 取值范圍為[0.01,20]. 根據(jù)實驗得到的一組最優(yōu)參數(shù)帶入超球支持向量機,IPSO算法優(yōu)化參數(shù)的迭代效果如圖2所示,并和標準的PSO算法迭代相比較. 從圖2中可以看出IPSO算法收斂速度要比PSO算法快,且精度更高.

為進一步對鍵盤異常狀態(tài)程度進行衡量,且方便對模型輸出效果的直觀表示,根據(jù)公式（7）改寫定義一個異常指數(shù)NI形式如下：

其中z為被測樣本,a為超球中心,R為超球半徑,若NI<1,則判z為正常樣本; 若NI>1,則判z為故障樣本,且NI越大,表明故障越嚴重或者發(fā)生異常的可能性越大. 選用測試集中100組正常樣本和30組異常樣本作為測試樣本來檢測模型的輸出情況,并和沒有經(jīng)過改進的粒子群算法優(yōu)化過參數(shù)的HSSVM相比較,檢測結(jié)果統(tǒng)計如表2所示.

圖2 兩種粒子群算法的迭代過程對比

表2 參數(shù)優(yōu)化前后模型檢測準確率對比

圖3 正常樣本集異常指數(shù)

從圖3中可以看出,選取的100個正常樣本,采用IPSO-HSSVM模型時異常指數(shù)大于1的有7個,所以誤判個數(shù)為7個,準確率為93%,而未優(yōu)化參數(shù)前采用HSSVM模型時異常指數(shù)大于1的有15個,準確率為85%,從圖4中我們可以看出,30個異常樣本中,采用IPSO-HSSVM模型時異常指數(shù)小于1的有1個,所以誤判個數(shù)為1個,準確率為96.7%,而未優(yōu)化參數(shù)前采用HSSVM模型時異常指數(shù)大于1的有4個,準確率為87%,整體測試樣本采用IPSO-HSSVM模型時誤判 8個,準確率為 93%,而未優(yōu)化參數(shù)前采用HSSVM模型時誤判樣本19個,準確率只為85%,對比可知,IPSO-HSSVM的測試樣本準確率均高于HSSVM,驗證了IPSO-HSSVM用于鍵盤異常檢測是有效可行的,且較為理想的.

圖4 異常樣本集的異常指數(shù)

4 總結(jié)

異常檢測是基于行為的檢測,本文根據(jù)人們的擊鍵行為提取到擊鍵特征,在采集按鍵的時間序列時,采用的是鍵盤鉤子程序,它可以在windows平臺捕獲鍵盤動作,將其掛入系統(tǒng),通過對采集的大量數(shù)據(jù)進行觀察比較整理,組成能夠反映擊鍵行為特征的數(shù)據(jù)作為訓(xùn)練集和測試集,以滿足實驗要求. 由于模型參數(shù)的選擇對實驗結(jié)果的影響是非常大,所以模型參數(shù)的選取就顯得尤為重要,本文采用IPSO進行尋優(yōu),根據(jù)實驗得到一組最好的模型參數(shù),帶入此模型進行訓(xùn)練. 實驗結(jié)果表明：IPSO-HSSVM模型用于鍵盤異常檢測模型有效可行,檢測準確率達到93.8%,在理想范圍之內(nèi),并和參數(shù)優(yōu)化前相比較,測試樣本判斷準確率均有所提高.齊晉. 基于支持向量機的擊鍵輔助認證系統(tǒng)[碩士學(xué)位論

1 文]. 成都：西南財經(jīng)大學(xué),2014.

2 馮慧玲,常國權(quán),孔娟. 基于拉普拉斯分值和超球支持向量機的軸承故障診斷方法設(shè)計. 計算機測量與控制,2015,23(4)：1102-1105.

3 郝英,孫健國,楊國慶,等. 基于支持向量機的民航發(fā)動機故障檢測研究. 航空學(xué)報,2005,26(4)：434-438.

4 張琨,許滿武,劉鳳玉,等. 基于支持向量機的異常入侵檢測系統(tǒng). 計算機工程,2004,30(18)：43-45. [doi：10.3969/j.issn.1000-3428.2004.18.017]

5 郭月玲. 支持向量機在語音識別中的應(yīng)用研究[碩士學(xué)位論文]. 太原：太原理工大學(xué),2009.

6 吳小豪,張躍文,孫培廷,等. 基于超球支持向量機的船舶高溫淡水系統(tǒng)狀態(tài)評估. 船舶工程,2017,39(2)：49-52,93.

7 Tax DMJ,Duin RPW. Support vector data description.Machine Learning,2004,54(1)：45-66. [doi：10.1023/B：MACH.0000008084.60811.49]

8 Tax DMJ,Duin RPW. Support vector domain description.Pattern Recognition Letters,1999,20(11-13)：1191-1199. [doi：10.1016/S0167-8655(99)00087-2]

9 龍熙華,張兵,高凱. 超球體支持向量機在測井巖性識別中的應(yīng)用. 數(shù)學(xué)的實踐與認識,2013,43(18)：110-115. [doi：10.3969/j.issn.1000-0984.2013.18.015]

10 劉其琛,穆煒煒. 最小二乘支持向量機的核函數(shù)及參數(shù)選擇算法研究. 電腦知識與技術(shù),2015,11(19)：160-162.

11 黃太安,生佳根,徐紅洋,等. 一種改進的簡化粒子群算法.計算機仿真,2013,30(2)：327-330,335.

12 吳華偉,陳特放,胡春凱,等. 一種改進的約束優(yōu)化粒子群算法. 計算機應(yīng)用研究,2012,29(3)：859-861.

13 王啟明,鄭均輝. 基于支持向量機的網(wǎng)絡(luò)參數(shù)模型研究. 現(xiàn)代電子技術(shù),2015,38(12)：23-24.

14 高艷,管曉宏,孫國基,等. 基于實時擊鍵序列的主機入侵檢測. 計算機學(xué)報,2004,27(3)：396-401.

15 Fu MY,Tian Y,Wu F. Step-wise support vector machines for classification of overlapping samples. Neurocomputing,2015,155：159-166. [doi：10.1016/j.neucom.2014.12.035]

16 李晨,張功萱,岳寶玲,等. 一種基于條件隨機場的擊鍵特征身份鑒別方法. 計算機應(yīng)用研究,2014,31(7)：2112-2115.