基于相似度分析的電力信息內網用戶行為異常預警方法①

金倩倩,陳春霖,于曉文,廖 鵬

1(南瑞集團公司(國網電力科學研究院),南京 210003)

2(國家電網公司,北京 100031)

基于相似度分析的電力信息內網用戶行為異常預警方法①

金倩倩1,陳春霖2,于曉文1,廖 鵬1

1(南瑞集團公司(國網電力科學研究院),南京 210003)

2(國家電網公司,北京 100031)

用戶作為網絡的重要主體,對其進行行為分析是掌握網絡安全狀態的重要手段,且在異常檢測中對于潛在威脅挖掘和預警具有重要的意義. 本文從電力信息內網同類型用戶間行為存在相似性的角度考慮,基于時間行為序列建模對單個用戶的行為進行描述,并通過用戶行為相似情況的自學習建立用戶間的關聯,以行為相似偏差實現異常分析,同時考慮用戶基礎屬性的變化實現異常預警判定. 通過模擬實驗,該方法能夠有效地利用行為序列間的相似度發現潛在的異常行為并進行預警.

用戶行為分析; 行為相似度; 時間序列; 安全預警

大量針對高級威脅的外部攻擊的分析研究表明,外部的攻擊要真正達到目的必須經過“內網行走”才能接觸到敏感數據等; 大量的安全事件是內部的惡意或無意員工造成,或長期的潛伏或離職意向前的突發行為,或內外結合造成. 可見,某種程度內部攻擊更難防范,所以在加強外部防御的同時應更加重視對內網的異常監測和安全防護. 異常行為發現是進行內網安全監測的重要觸發點,用戶作為內網行為主體,對其行為分析是內網中異常行為發現的重要手段. 用戶行為分析是指從網站或者網絡端口獲得相關的網絡流數據,采用統計分析等方法對數據進行處理,研究網絡用戶的特點、構成及其行為活動上所表現出來的規律,借以預測并控制可能的違規行為[1]. 掌握用戶的行為習慣,對于預測用戶上網行為及異常行為發現具有重要的意義.

國家電網公司為了滿足特大型電力企業信息化建設的安全保障需求,結合智能電網業務系統的建設需要,基于國家等級保護各項基本要求,在傳統電力二次系統安全防護實現生產控制大區和管理信息大區單向隔離的基礎上,通過技術改造與創新將國家電網公司管理信息網劃分為信息內網和信息外網并實施有效的隔離[2,3]. 信息內網針對電力業務、辦公、運維等提供網絡服務,并具備明確的業務功能分工. 基于此網絡環境,內網用戶的網絡訪問行為存在如下特征: 1)不同部門、不同崗位員工的網絡訪問行為會因為角色分工體現明顯的差異性和相似性. 例如,電網運行維護人員會頻繁訪問運維監控系統,但不會訪問人財物系統. 2)由于工作流程的標準化,使員工對于不同系統或設備的訪問順序存在一定的規律. 例如,電網運行維護人員每日會查看郵件領取待辦任務,通過監測系統關注運行狀態,對問題進行工作票下發,且通過堡壘機等對設備進行狀態確認或檢修. 所以,若出現超出角色職責、違背日常行為習慣或訪問規律的行為,同時不存在該員工崗位變動的,即可認為用戶行為異常,網絡中的系統存在被攻擊的風險.

目前,針對內部網絡中行為的異常檢測方法多針對基于網絡流行為分析的方法[4-9]和基于網絡協議異常的分析方法[10,11],通過統計、向量機等手段對流量和協議行為進行建模從而檢測異常. 基于用戶行為的分析多針對主機行為進行研究,如通過主機審計命令進行網絡行為建模[12-14]、通過正常行為聚類方法判定異常[15,16]、通過網絡訪問流量分析進行用戶行為建模從而檢測異常[17,18]等. 但是,以上分析方法只考慮了用戶單次行為模式,忽略了用戶多次訪問或操作間的時序關聯關系,且未考慮多個用戶間的關系以及用戶崗位等屬性變更帶來的影響,在電力信息內網環境下不能完整地對用戶行為模式進行描述.

針對上述問題,本文提出一種基于相似度分析的用戶行為異常預警方法,基于網絡流量數據按照時間提取用戶訪問行為序列,并引入不同用戶間的行為序列相似度和相關系數的概念,通過用戶行為序列相似度描述用戶間的關聯,同時考慮用戶屬性的變化,對異常行為進行發現和安全預警.

1 用戶行為序列模式描述

1.1 基于時間的行為序列

假設有兩個用戶分別訪問目標主機A、B、C、D,在一定時間段內,用戶1先后訪問目標主機A、B、D、C,用戶2先后訪問目標主機B、A、D,兩個用戶的訪問序列示意如圖1所示.

圖1 用戶訪問行為序列示意圖

圖1中,t11表示用戶1發生第1次訪問行為的時間,即用戶1訪問主機A的時間,t12表示用戶1發生第2次訪問行為的時間,t21表示用戶2第1次訪問行為的時間,以此類推,形成該分析場景下完整的用戶訪問行為的時間序列. 基于用戶訪問行為時間序列,將用戶 i行為序列表示為 STi=(Tti1,Tti2,Tti3,…,Ttin),其中,n表示用戶根據時間先后發生訪問行為的次序,Ttin表示用戶在tin時間發生的具體的訪問行為. 本文采用基于時間的用戶行為訪問序列描述單個用戶的用戶行為,作為異常檢測和預警的輸入.

1.2 最大公共行為子序列

(1) 子序列

若給定序列 X=(x1,x2,x3,…,xn),則序列 Z=(z1,z2,z3,…,zn)為 X 的子序列的規則為: 存在一個嚴格遞增的下標序列 (i1,i2,i3,…,ik),使對于所有的 j=1,2,…,k有zj=xi,設起始下標為1.

(2) 最大公共子序列

給定兩個序列X和Y,當序列Z既是X的子序列又是Y的子序列,則Z是序列X和Y的公共子序列.其中Z最長的序列稱為X和Y的最大公共子序列(Longest common subsequence,LCS).

最大公共子序列的最優子結構特性: 設X=(x1,x2,x3,…,xm)和 Y=(y1,y2,y3,…,yn)為兩個序列,Z=(z1,z2,z3,…,zk)是它們最大公共子序列,則應滿足如下特性.

1) 若 xm=yn,則 zk=xm=yn,且 zk-1是 xm-1和 yn-1的最大公共子序列;

2) 若 xm≠yn且 zk≠xm,則 Z 是 Xm-1和 Y 的最大公共子序列;

3) 若 xm≠yn且 zk≠yn,則 Z 是 X 和 Yn-1的最大公共子序列. 由最優子結構的特性,結合用戶行為序列定義,可以得到求解用戶行為序列最大公共子序列的過程,如圖2 所示.

圖2 用戶行為序列最大公共子序列計算流程

用c[i][j]表示用戶x和用戶y的最大行為公共子序列,STx=(Ttx1,Ttx2,Ttx3,…,Ttxn)和 STy=(Tty1,Tty2,Tty3,…,Ttym),則有下列公式:

由此求得兩個用戶之間的最大公共行為子序列.

1.3 行為序列相似度矩陣

根據用戶行為最大公共子序列,可計算出不同用戶之間的行為序列相似度,表示不同用戶間的行為相似性.

設用戶 x 行為序列 STx=(Ttx1,Ttx2,Ttx3,…,Ttxn),序列的長度為 n,用戶 y 行為序列 STy=(Tty1,Tty2,Tty3,…,Ttym),序列長度為 m,求出兩者最大公共子序列C=(c1,c2,c3,…,ch),序列長度為 h,則用戶 x 與用戶y行為序列相似度的計算公式為:

對于n個用戶,通過兩兩相似度計算,可得n×n的上三角矩陣,稱為用戶行為序列相似度矩陣M(ST)n×n=(mxy)n×n,計算公式為:

根據用戶行為序列相似度矩陣,可很清晰地看出每兩個用戶之間在一定時間段內的訪問行為相似程度.

本文采用基于Jaccard算法[19]改進的相似度計算方法Common_Jaccard算法進行用戶行為相似度計算,能夠更準確地描述用戶行為相似性. 假定用戶序列A及用戶序列B,len()為求序列的長度,最大公用子序列為C,則使用Common_Jaccard算法計算用戶A和用戶B的相似度αcj的公式為:

1.4 用戶行為相關系數

通過分析一段時間內(前n個時間窗)行為序列相似度的變化,可以得到該時間段內,訪問行為最相近的用戶組合或用戶類. 平均相似度αavg越大,相似度變化越小,則這兩個用戶關系越相近. 假設相似度方差為αdx,則兩個用戶的行為相關系數為:

可見,兩個用戶之間相關系數RC越大,則這兩個用戶的行為關系越相近. 有了相似度α和相關系數RC,就能夠更精確的描述用戶之間行為相似程度,反應用戶之間的關系,從而實現異常行為分析.

例如,在完成前n個時間窗行為序列相似度訓練后,可得兩個用戶間的相關系數平均值RCavg和相關系數方差RCdx,以RCavg±RCdx作為后續檢測的正常結果參考上下限,若用戶間相關系數超出參考上下限,則判定出現異常的用戶行為.

1.5 用戶基本屬性

本文采用六元組描述電力內網用戶基本屬性,User={name,ip,department,post,role,latestupdatetime},其中,name表示姓名,ip表示用戶的綁定終端的ip地址,department表示用戶當前所在部門,post表示用戶當前職位,role表示用戶的角色分工,latestupdatetime表示基本屬性最近更新時間.

用戶基本屬性是對通過行為相似度分析發現的異常進行關聯判斷最終生成預警的關鍵要素.

2 基于行為序列的異常分析

2.1 系統架構

基于行為序列模式構建,本文提出了一種基于相似度分析的電力信息內網用戶的行為異常預警方法.通過數據預處理、行為序列模式挖掘、行為異常分析實現異常行為發現,并通過關聯用戶屬性判斷預警的生成. 系統架構如圖3所示.

圖3 基于相似度分析的行為異常預警系統結構

下面分別從這三個階段對本文提出的內網用戶異常行為檢測方法進行詳細描述.

2.2 數據預處理

原始數據來源于所監測網絡中的網絡流報文,數據預處理的目的是為了減少所捕獲網絡流數據中的無效數據,包括剔除原始數據中的冗余信息、錯誤信息及與分析不相關的用戶行為數據,如由于機器故障、人工疏忽等導致記錄缺失和輸入錯誤等. 同時,針對網絡拓撲信息未知的前提,在預處理中需對網絡流中出現的ip所關聯的用戶進行識別和定位.

具體步驟如下:

步驟一. 對原始網絡數據進行協議解析,轉化成可識別的鍵值對格式數據.

步驟二. 將網絡數據出現的冗余、錯誤信息,及屬性缺失的數據刪除; 刪除規則包括:

(1) 網絡層報文協議不為TCP,作為冗余數據刪除;

(2) TCP報文網絡層數據中源、目的IP和源、目的端口,開始時間,應用層數據中業務類型缺失的,作為屬性缺失數據刪除.

步驟三. 將網絡數據中多余的屬性進行刪減. 保留ID(序號)、STARTTIME(開始時間)、ENDTIME(結束時間)、SRCIP(源 IP)、DSTIP(目的 IP),實現數據降維,減少計算復雜度,提高計算效率,形成分析數據集.

步驟四. 對網絡數據中出現的所有的IP地址進行統計,按照連接數生成IP連接分布圖,標記主機用戶類型與服務器類型.

步驟五. 在主機用戶類型中篩選出連接數很少的主機,由于連接數未達到一定數量,無法清晰獲得其和其他主機的相似關系,所以刪除此部分的主機,最后得到主機用戶類型的主機集合U.

2.3 行為序列模式建立

基于數據預處理后獲得數據,基于時間序列,提取每個用戶的行為序列.

序列模式挖掘步驟如下:

步驟一. 根據用戶行為序列的定義,采用字典的方式對用戶主機ip集合進行編號,通過遍歷主機ip集合獎勵用戶主機ip字典.

步驟二. 針對預處理后的分析數據集,通過每條記錄中的srcip對數據發送的路徑進行序列化處理,基于用戶主機ip字典生成每個ip用戶的訪問行為序列;

步驟三. 根據1.2節中的最大公共行為子序列計算公式,得到用戶之間的最大公共子序列.

2.4 行為異常分析及預警

由序列模式挖掘得到的結果可以得到用戶之間的行為相似度,并用可視化的方式展現出來,從而挖掘用戶的網絡訪問行為習慣,尋找同類的用戶之間的共同的訪問習慣,通過比對差異獲得異常行為分析結果,對異常行為進行預警.

行為分析的步驟如下:

步驟一. 取分析數據集前n個時間窗數據作為訓練集,第n+1個時間窗作為測試集.

步驟二. 分別求出訓練集的所有用戶之間的每個時間窗的相似度平均值和方差,獲得每個時間窗的行為相關系數,從而得到相關系數平均值RCavg及相關系數方差RCdx,作為檢測結果參考. 若測試集的用戶之間的相關系數RC在RCavg±RCdx范圍內,則可視為正常用戶集合,反之視為疑似異常用戶集合.

步驟三. 對于疑似異常用戶集合,分別比較與其余用戶之間的相關系數變化,若集合中某一用戶與多個用戶之間都存在相關系數超出參考上下限,則可判定為異常用戶,加入到異常用戶集.

步驟四. 分別將第1個時間窗到第n個時間窗作為測試集,其余的作為訓練集,重復步驟 2 和 3. 由此可求出n+1個時間窗內每一個時間窗所發生的異常用戶和行為.

步驟五. 針對步驟四獲得的異常行為,根據ip獲取該用戶的用戶基礎屬性,以行為發生的時間作為節點計算用戶屬性變更系數,若變更系數為0則判定該異常行為產生預警.

3 模擬實驗

3.1 實驗數據說明

本文采用ChinaVis數據集[20]中的流量數據,采用python進行模擬實驗. 該數據集包括應用層、網絡層和鏈路層抓取的數據包,時間跨度為兩個月,共包括約2000萬條記錄. 應用層數據、網絡層數據、鏈路層數據的維度如表1所示.

表1 實驗數據格式說明

3.2 實驗結果分析

(1) 分析用戶集選取

首先,在實驗數據集中選取時間跨度為一周的數據集合,基于行為相似度計算選取異常分析的用戶集合. 通過識別數據集中的用戶形成每個用戶的基于時間的行為序列,序列部分結果如圖4所示.

圖4 基于時間的行為序列模式結果

通過用戶行為相似度算法生成用戶間的行為相似度矩陣. 矩陣中的數值代表兩個用戶間的行為相似情況,值越大,表示行為越相近. 圖5(a)表示數據集中所有1000個用戶的1000×1000上三角用戶行為相似度矩陣,為驗證實驗結果,本文根據數據集中每個ip的訪問行為發生頻度,并通過對矩陣中相似度值進行統計,選取其中相似度較高的6個用戶進行進一步的異常行為分析,圖5(b)表示該6個用戶的6×6上三角用戶行為相似度矩陣.

由上圖所示,在一周的時間窗內,該6個用戶間除了用戶2和用戶5,均存在較相似的訪問行為.

(2) 行為異常分析

在用戶行為序列生成及用戶集選取結果基礎上,擴大分析數據的時間跨度,在實驗數據集中選取連續兩個月內上述6個用戶的數據集,以前7周數據作為訓練集,第 8 周作為測試集. 在測試數據集中,通過系統隨機修改一個用戶的訪問行為序列,模擬異常行為的發生,且假設在測試集時間段內分析用戶集中用戶的基本屬性未發生變化,從而來驗證本文的分析方法.以周為單位計算用戶間的相似度,獲得6個用戶間的兩個月內行為相似度曲線分布,如圖6(a)所示. 本實驗中通過計算兩個用戶間的行為相關系數平均值和方差判定相似度異常點. 結果如圖6(b)所示.

圖5 模擬實驗用戶行為相似度矩陣

圖6 模擬實驗用戶行為相似度比較

圖6(b)為分析用戶集中用戶1和用戶2、用戶1和用戶6的相關系數分析結果,根據相關系數計算公式獲得用戶1與用戶2、用戶1與用戶6的行為相關系數變化曲線,并根據訓練集數據分別計算其RCavg±RCdx. 其中,淺色線是代表用戶 1 與用戶 2 的行為相關系數變化,深色線代表用戶1與用戶6的行為相關系數變化,虛線分別表示兩組用戶行為相關系數可容忍的偏離上下限. 可見,淺色線整體比較平緩,但在第八周突然大幅度下降,相關系數超出了下限,表示兩個用戶的行為差異增大; 同理,深色線在第八周出現向上突變點,表示兩個用戶的行為差異突然減小. 由此推測這4個用戶中存在異常行為,由于兩組用戶中都涉及用戶1,則可判斷該用戶行為存在異常. 下一步關聯用戶的基本屬性,計算屬性變更系數. 基于本實驗的假設,用戶1屬性變更系數為0,從而判定生成安全預警.

4 結語

就電力企業而言,內網中同類角色用戶的訪問網絡服務的行為相似度高且變化穩定,且由于存在較多的協同需求,在提取單個用戶的行為序列后還需要考慮用戶間的關聯. 本文提出的基于行為相似度的用戶行為異常預警方法,基于行為發生時間建立用戶行為序列,通過用戶間行為相似度分析和比對檢測異常,并考慮用戶基礎屬性變更影響,判定安全預警的生成. 實驗數據表明,在充分訓練建立用戶行為相似關系后,能夠通過持續監測后續用戶行為相似度變化來捕獲異常行為. 在后續研究中,將該方法運用于電力生產環境的網絡監測預警系統,通過實際的網絡通信數據集對此模型進行進一步的驗證,并通過逐步增大訓練時間窗口,對方法的誤報率等進行進一步的評價. 同時,在用戶行為描述時添加用戶訪問URL、訪問頻度等要素,使行為特征描述粒度更細,異常檢測結果更準確.

1劉帥. 面向網絡數據流的多層面異常行為分析檢測技術[碩士學位論文]. 鄭州: 解放軍信息工程大學,2015.

2余勇. 電力系統中的信息安全策略. 信息網絡安全,2003,(9): 31–32.

3李文武,游文霞,王先培. 電力系統信息安全研究綜述. 電力系統保護與控制,2011,39(10): 140–147. [doi: 10.7667/j.issn.1674-3415.2011.10.026]

4Thottan M,Ji CY. Anomaly detection in IP networks. IEEE Trans. on Signal Processing,2003,51(8): 2191–2204. [doi:10.1109/TSP.2003.814797]

5Li L,Lee G. DDoS attack detection and wavelets. Telecommunication Systems,2005,28(3-4): 435–451. [doi: 10.1007/s11235-004-5581-0]

6Kim SS,Reddy ALN,Vannucci M. Detecting traffic anomalies at the source through aggregate analysis of packet header data. Networking 2004. Berlin,Germany. 2003.1047–1059.

7梁昇,肖宗水,許艷美. 基于統計的網絡流量異常檢測模型. 計算機工程,2006,31(24): 123–125.

8周穎杰. 基于行為分析的通信網絡流量異常檢測與關聯分析[博士學位論文]. 成都: 電子科技大學,2013.

9趙靜,黃厚寬,田盛豐. 基于隱 Markov 模型的協議異常檢測. 計算機研究與發展,2010,47(4): 621–627.

10Das K. Protocol anomaly detection for network-based intrusion detection. GSEC Practical Assignment Version.2001.

11秦拯,李娜,張大方. Chi-square Distance 在協議異常檢測中的應用. 湖南大學學報 (自然科學版),2005,32(4):99–103.

12連一峰,戴英俠. 基于模式挖掘的用戶行為異常檢測. 計算機學報,2002,25(3): 325–330.

13肖喜,翟起濱,田新廣,等. 基于 Shell命令和多階 Markov鏈模型的用戶偽裝攻擊檢測. 電子學報,2011,39(5):1199–1204.

14田新廣,孫春來,段洣毅,等. 基于機器學習的用戶行為異常檢測模型. 計算機工程與應用,2006,42(19): 101–103.[doi: 10.3321/j.issn:1002-8331.2006.19.033]

15陳寧軍,倪桂強,羅雋,等. 基于正常行為聚類的衛星通信網異常檢測方法. 解放軍理工大學學報(自然科學版),2008,9(5): 497–501.

16鄭紅艷,吳照林. 用戶行為異常檢測模型. 計算機系統應用,2009,18(8): 190–192.

17張炘,李昆侖. 基于關聯規則挖掘的網絡行為分析系統設計. 電腦知識與技術,2011,7(10): 2333–2334,2338. [doi:10.3969/j.issn.1009-3044.2011.10.044]

18楊錚. 基于流量識別的網絡用戶行為分析[碩士學位論文].重慶: 重慶大學,2009.

19Niwattanakul S,Singthongchai J,Naenudorn E,et al. Using of jaccard coefficient for keywords similarity. Proc. of the International Multi Conference of Engineers and Computer Scientists. Hong Kong,China. 2013.

20ChinaVis 2016. http://chinavis.org/2016/challenge.html.[2016].

Early Warning Method of Anomaly User Behavior Based on Similarity Analysis in Power Intranet

JIN Qian-Qian1,CHEN Chun-Lin2,YU Xiao-Wen1,LIAO Peng1

1(NARI Group Corporation State (Grid Electric Power Research Institute),Nanjing 210003,China)
2(State Grid Corporation of China,Beijing 100031,China)

As an important subject of the network,the behavior analysis of users is an important means to grasp the network security state and has a significant meaning on potential threat mining and early warning. Considering that users of similar roles in the power intranet have similar behaviors,this paper describes the behavior of individual users based on time sequence and builds behavior relevance among the users by self-learning of the similarity of users’ behaviors to achieve abnormality analysis by means of behavior similarity deviation. Meanwhile,changes of users’ basic attributes are considered to achieve abnormality early warning judgment. Simulation experiments show that the method can discover abnormal behavior and perform early warning by effectively using the similarity analysis of the behavioral sequences.

user behavior analyze; behavior similarity; time sequence; security early warning

金倩倩,陳春霖,于曉文,廖鵬.基于相似度分析的電力信息內網用戶行為異常預警方法.計算機系統應用,2017,26(12):220–226.http://www.c-s-a.org.cn/1003-3254/6064.html

國家電網公司科技項目(SGFJXT00YJJS1600064)

2017-02-27; 修改時間: 2017-03-16; 采用時間: 2017-03-23