基于大數據的鐵路時間同步網異常流量檢測系統的研究

張友鵬，李響，蘭麗, 2, 3，周凈毓，劉思雨，張妍

基于大數據的鐵路時間同步網異常流量檢測系統的研究

張友鵬1，李響1，蘭麗1, 2, 3，周凈毓1，劉思雨4，張妍5

(1. 蘭州交通大學 自動化與電氣工程學院，甘肅 蘭州 730070；2. 蘭州交通大學 電子信息工程學院，甘肅 蘭州 730070；3. 蘭州交通大學 光電技術與智能控制教育部重點實驗室，甘肅 蘭州 730070；4. 西安市軌道交通集團有限公司，陜西 西安 710016；5. 中國鐵路太原局集團有限公司黨干校 科研開發中心，山西 太原 030013)

為快速準確地識別鐵路時間同步網所受到的惡意攻擊，設計一種基于大數據的鐵路時間同步網異常流量檢測系統。該系統首先采用無監督學習算法K-Means對部分數據進行訓練，形成最優聚類模型，并通過該模型實現對異常流量的檢測。將已標記的時間同步網數據輸入系統，測試系統對異常流量的檢測準確率及速度是否滿足鐵路時間同步網的要求。對系統識別出的異常流量特征進行分析，找出相關性較高的典型特征類型，并結合鐵路時間同步網結構，針對該類型特征提出初步的攻擊防御建議。研究結果表明：基于大數據的異常流量檢測系統聚類時間70.434 682 s及準確率98.36%均滿足大數據網絡環境下鐵路時間同步網的要求；基于時間和主機的網絡流量統計特征可以為提升鐵路時間同步網的安全性提供參考。

網絡流量；異常流量檢測系統；K-Means；Spark；鐵路時間同步網

標準統一的時間信息是高速列車安全高效跨線跨區行駛的重要保障，因此有必要建立完善的鐵路時間同步網系統。鐵路時間同步網是鐵路通信網的重要支撐子網之一，包括地面時間同步網和列車時間同步網[1?2]。鐵路時間同步網能準確記錄各部門的運行時間，并向各部門提供標準統一的時間信息，從而提升鐵路運輸效率，避免因時間不同步造成的安全事故。鐵路時間同步網是鐵路通信網的獨立支撐子網，這意味著由于二者之間的重疊部分很少，可以將鐵路時間同步網作為一個獨立的網絡來進行研究。鐵路時間同步網的本質是具有三級樹型拓撲結構的時間同步網，而該結構正是鐵路時間同步網和其他通信系統時間同步網之間的主要區 別[3]。因此，在研究鐵路時間同步網時，可先對普通通信網絡的時間同步網進行研究，之后結合鐵路時間同步網的拓撲結構，分析該網絡的具體特點及存在的問題。時間同步網使用網絡時間協議(Network Time Protocol, NTP)，該協議基于用戶數據報協議(User Datagram Protocol, UDP)傳輸標準時間信息。NTP是一種提供精確時間校正服務的協議，其可以實現互聯網上所有計算機、服務器和其他設備的時間同步。然而，由于NTP的傳輸層協議UDP提供了無連接通信服務，即其在傳輸信息時無法對源地址和目標地址進行確認，導致黑客更容易偽裝源地址，從而攻擊NTP并破壞時間同步網。針對上述缺陷，在鐵路時間同步網的安全性研究方面，眾多專家學者將研究重點置于鐵路時間同步網所采用的NTP協議的脆弱性上。他們的研究過程一般首先對協議流程進行分析，然后建立狀態變遷模型，最后分析協議的不安全狀態與協議相關安全性指標之間的關系，進而驗證協議中是否存在隱藏的弱點[4?6]。然而上述研究均從NTP協議自身出發，著重強調提升網絡內部的安全等級，忽略了檢測和防御外部攻擊的重要性。網絡攻擊是不斷進化發展的，僅對網絡的內部安全進行研究和優化顯然無法滿足當前鐵路時間同步網對安全性的要求，故本文將研究重點放于外部攻擊及其檢測方案上，以一個嶄新的角度對鐵路時間同步網的安全性進行研究。針對NTP網絡的惡意攻擊可實現對網絡資源的大量占用，從而導致整個網絡的阻塞甚至崩潰。該類攻擊最顯著的特點之一是流量變化。因此，國內外的異常流量檢測系統多以流量為基礎來進行系統的設計。目前的異常流量檢測系統設計多采用機器學習算法，然而由于流量數據量過大，報文字段過多，給機器學習算法的數據處理帶來一定困難[7?9]。基于云計算的數據處理平臺可通過由多臺計算機組成的計算機集群來對海量數據進行處理。由于該類平臺具有計算可擴展和廣播計算的優點，故其可高效準確地對海量數據進行處理、統計及分析，十分適用于當今數據量龐大的網絡環境[10?12]。因此，利用云計算數據處理平臺對異常網絡流量數據進行識別是實現惡意攻擊檢測的一種很好的方法。為了滿足鐵路時間同步網對檢測速度和準確率的要求，本文提出了一種基于云計算平臺Spark的異常流量檢測系統，該系統可對惡意攻擊進行檢測。本文首先分析了云計算平臺Spark的組成及工作流程，介紹了現有的基于無監督學習的異常流量檢測系統。然后結合兩者的優點，設計了一個Spark平臺下的基于無監督學習K-Means算法的NTP異常流量檢測系統，該系統能夠對異常流量進行識別，進而實現對惡意攻擊的檢測。最后，針對檢測到的異常網絡流量的典型特征類型，同時考慮鐵路時間同步網的樹型拓撲結構，本文初步提出了防御建議，以提高鐵路時間同步網的安全性。

1 相關研究

1.1 Spark云計算平臺

現有的云計算平臺主要包括Hadoop平臺和Spark平臺。與Spark平臺相比，Hadoop的工作原理相對簡單，但由于Hadoop每次迭代生成的臨時數據都會被讀寫到硬盤中，故其存在數據處理效率低下的缺點，運算速度較慢。而Spark平臺在內部存儲器中對臨時數據進行讀寫，故其在運算復雜算法時可以高效快速地處理數據[13]。因此本文在Spark平臺下，利用Python語言進行編程，設計了一個基于無監督學習算法K-Means的異常流量檢測系統。

Spark的工作流程如圖1所示。

圖1 Spark工作流程

從圖1可以看出，Spark的工作核心是Spark Context和Executor部分。其中，Executor部分負責執行任務，其由Worker Node運行。SparkContext部分由Drive Program啟動，通過Cluster Manager與Executor進行通信。SparkContext和Executor在各種操作模式下內核代碼可以共用，其上層部分則根據不同的部署模式，包裝相應的調度模塊和相關代碼[14]。

SparkContext是程序運行的總入口。在啟動過程中，Spark會創建兩級調度模塊模塊，包括DAGScheduler(作業調度)和TASKScheduler(任務調度)。DAGScheduler是基于任務的高層調度模塊。它首先給出每個Spark任務的多個調度階段，根據shuffle對這些階段進行劃分，之后根據數據本地性為每個調度階段構建一組待辦任務。最后由Spark的任務調度模塊來執行所提交的TaskSets。任務調度模塊還可實現任務的啟動及任務的運行情況的監視和匯報。

1.2 K-Means聚類算法

在實際網絡環境中，由于系統所采集到的網絡流量信息未經標記，故若欲識別該網絡流量是否異常，檢測系統需要采用無監督算法對其進行聚類，從而劃分其是否屬于異常流量。國內外專家提出許多無監督學習聚類算法，其中K-Means算法作為聚類中常用的經典算法，具有簡單、計算高效快速等特點，且當數據量龐大時，該算法準確率較高，故其廣泛應用于各種檢測系統的研究中。K-Means算法流程圖如圖2所示。

圖2 K-Means工作流程

從圖2可以看出，該算法的最終目標是在無特征指導的情況下將數據集劃分為個簇。該算法的具體步驟如下：首先設置個聚類中心并計算所設置聚類中心和數據集每個點之間距離的平均值；之后重置值并重復上一步，得到不同值下的平均值；最后比較各平均值，取平均值最小的值為最優值。

2 基于大數據的異常流量檢測系統

傳統的異常流量檢測系統很難實現對新型隱蔽網絡攻擊的全方位檢測，攻擊者甚至可以花10 a時間分析和滲透目標網絡。故一旦攻擊開始，運營和維護人員幾乎沒有時間對攻擊進行防御。正是這種時間上的不對稱性使攻擊者可以有更多的時間對網絡進行攻擊。應對上述問題的一種有效方法是利用高性能的數據分析平臺對網絡中的海量數據進行檢測和分析，而本文實現的基于Spark的異常流量檢測系統顯然可以通過高效數據處理平臺Spark實現對海量數據的及時甄別。

2.1 系統框架

本文提出的異常流量檢測系統的目標是識別異常流量，判斷其是否由惡意攻擊產生，并最終實現對異常流量的檢測。系統框架如圖3所示。

圖3 系統框架

本文所提出的基于K-Means算法的異常流量檢測系統包括6個模塊。

1) 數據載入模塊

通過SparkContext將流量數據文件載入到SPARK RDD中。

2) 數據預處理模塊

將流量數據文件中的非數值型數據進行預處理，從而轉換為數值型數據，統一的數據類型有助于提高系統的效率和準確性。

3) 數據規整化模塊

經過第2步的預處理后，數據矩陣存在嚴重的稀疏性，因此需要將其轉換為密集矩陣，以便提高數據處理效率。

4) 算法訓練模塊

通過K-Means算法可以得到不同值下的聚類模型。在所有模型中，選擇聚類中心與各點之間距離均值最小的模型作為最優模型。

5) 預測模塊

利用最優模型對網絡流量進行預測和分類。

6) 比對模塊

預測該網絡流量所屬的類群，并與標記樣本進行比較，計算出檢測準確率。

2.2 核心模塊

由于本文設計的異常流量檢測系統的其他模塊都可以通過調用API函數來實現，故本文的研究重點在于核心模塊的實現，包括數據預處理模塊、算法訓練模塊和比對模塊。

2.2.1 數據預處理模塊

通過Python實現數據預處理模塊，該模塊工作流程如圖4所示。

數據預處理模塊包含6個步驟：

1) 使用Python open()函數以只讀的形式打開數據文件并將其載入到內存中。

2) 使用Python readlines()函數將文件描述符轉換為迭代器。

3) 對于迭代器返回的每一行文件，使用split()函數對其用逗號進行分割。

4) 使用計數函數找出非數值型數據的位置，并返回該位置。

5) 計算非數值型數據的替換值，并將該替換值替換原有數據。

6) 將經過預處理的數據文件另存為新文件。

圖4 數據預處理流程

2.2.2 算法訓練模塊

本文提出的異常流量檢測系統采用無監督算法K-Means實現對數據的訓練。Spark的MLlib函數庫中K-Means算法的實現需要配置部分參數。參數是期望聚類的類簇數量。參數maxInternations是算法在單次運行時所能達到的最大迭代次數。由于K-Means算法不能一次找出最優聚類模型，故需設定不同的值，并在設定的值下對數據文件運行該算法，從而得到對應的模型，經過對比后最終獲得最優聚類模型。runs是運行次數。Initialization Mode是初始聚類中心的選擇方法，其包括2種方法，即默認方法K-Means++及隨機選擇中心位置的方法。initializationSteps是K-Means++的步數。epsilon是K-Means迭代收斂的閾值。seed是集群初始化的隨機種子。

2.2.3 比對模塊

比對模塊的工作流程如圖5所示。

比對模塊包括4步：

1) 使用Python open()函數將2個文件(數據文件和最優模型文件)加載到內存中；

2) 通過讀取2個文件內部數據，并對其相同行數進行鏈接，從而實現2個文件的合并；

3) 將屬于同一簇的數據放入一個文件中；

4) 統計同一簇中的數據數量。

圖5 比對模塊流程

3 系統性能測試及結果分析

3.1 基于Spark的異常流量檢測系統

本文所采用的實驗數據為時間同步網流量數據，通過該數據可以對本文提出的異常流量檢測系統進行測試。實驗所用時間同步網流量數據為協議傳輸的數據報文，其不同的報文段代表不同的特征，每項數據包括41個特征，數據包含特征如表1所示。所有數據都已被提前標注是否為正常網絡流量，若非正常流量，則該流量將被標記為屬于哪個攻擊類型。

值的選擇是設計異常流量檢測系統的一個關鍵步驟，應對測試步數進行設置以尋找最優聚類模型。本文設置值的測試步數為10，即每增加一次，值增加10。經過對不同值所生成的聚類模型進行對比，可進一步確定最佳值，即在該值下可生成均值最小的最佳模型。之后，異常流量檢測系統通過最優模型對網絡流量進行分類，實現對網絡流量所屬簇的預測。

每個簇的聚類準確率的計算公式如下：

其中：是該簇中數量最多的類型的網絡流量數據的數量；是該簇中所有數據的數量。

表1 流量數據特征

數據集的總聚類準確率的計算公式如下：

其中：是所有類簇中所有數量最多的類型的數據量之和；是所有數據的數量。

將采集的網絡流量數據集輸入系統得到聚類結果，并對該結果進行分析，結論如表2所示。

表2 異常流量檢測系統聚類結果及統計

如表2所示，數據被聚類為19簇。聚類總準確率為98.36%，聚類時間為70.434 682 s，其檢測準確率和檢測速度均優于基于機器學習的異常流量檢測系統[15]。由上述結果可得，本文的異常流量檢測系統可以滿足大數據網絡環境下時間同步網異常檢測效率和準確性的要求。

3.2 異常流量特征分析

3.2.1 異常流量特征分析

本文對檢測系統所得異常流量數據和正常流量數據的特征進行了進一步對比分析，從而得到部分變化顯著的報文段，可稱為典型特征。為進一步在這些典型特征中找到共性，本文計算了各典型特征之間的皮爾遜相關系數。皮爾遜相關系數可以表現特征和響應變量之間的關系，其取值范圍為[?1,1]，其中當該系數取值為?1時表示特征與響應變量之間完全負相關，該系數取值為1時表示完全正相關，0表示非線性相關。當兩特征間的皮爾遜相關系數絕對值較大時，其相關性越強。本文計算了典型流量特征間的皮爾遜系數，并繪制其熱力圖，如圖6所示。

圖6中兩特征間方塊顏色越趨于紅色，二者正相關性越強；顏色越趨于綠色，兩特征的負相關性越強。而相關性絕對值強的特征越具有代表性。由圖6可以看出，尼爾遜相關系數絕對值高的特征具有高度集中性，其中大部分特征包含關鍵字_srv_及關鍵字_host_。

圖6 典型特征尼爾遜系數熱力圖

其中，包含關鍵字_srv_的特征為基于時間的網絡流量統計特征。可以看出該類特征諸如srv_ serror_rate(過去2 s內與當前連接具有相同服務的連接出現錯誤REJ比例)或是same_srv_rate(過去2 s內與當前連接具有相同服務的連接的比例)，均為在過去2 s內與當前連接具有相同服務的連接的某些表現。由于網絡攻擊多與時間有關，故當當前連接與過去某時刻連接具有相同服務時，探查二連接間隔這段時間內產生的連接及這些連接間的內在聯系或可找到部分報文段的異常變化。

然而對于包含慢速攻擊模式的網絡攻擊來說，當主機或端口的入侵掃描頻率大于2 s時，時間特征就很難表現出攻擊給網絡流量數據帶來的變化。由于惡意攻擊的信息傳輸依賴主機作為載體，故部分包含目標主機相關信息的特征也可一定程度上表現出流量的異常變化。由圖6可看出，另一部分具有高集中性的特征均包含關鍵字_host_，即為基于主機的網絡流量統計特征。該類特征諸如dst_host_srv_count(在前一百個連接中與當前連接的服務相同且目標主機相同的連接數)或dst_host_ same_srv_rate(在前一百個連接中與當前連接的目標主機相同的連接的比例)，均為前一定數目的連接中與當前連接具有相同的目標主機的連接的表現。

由圖6及分析可知，當網絡攻擊產生時，基于時間的網絡流量統計特征和基于主機的網絡流量統計特征會產生較其他特征而言相對顯著且迅速的變化。針對這2項特征進行攻擊防御和異常流量的檢測將會大大提高鐵路時間同步網防御系統的攻擊識別速度、識別準確率及整個網絡的安全性。

3.2.2 初步防御建議

由上述分析可以看出，與異常網絡流量具有高度相關性的2種典型特征是基于時間的特征和基于主機的特征。根據鐵路時間同步網的三級樹拓撲結構，并結合時間信息從上到下的傳輸順序，或可在二三級節點主機處設置一種內置于鐵路通信網絡、對時間和主機敏感的攻擊觸發機制。而觸發條件可以設定如下，當連接到同一一級或二級主機的連接數超過某個值時，或某下位機在過去一段時間內連接超過設定次數的情況下，將觸發報警功能。

本文提出的攻擊觸發機制只是一個初步設想，若要實現其功能，還需要進一步研究及實驗來確定合適的觸發條件諸如連接時長和主機數量。此外，由于鐵路時間同步網的真實環境與實驗室的理想環境存在差異，因此必須對實際的網絡環境進行考察，并在此基礎上對研究成果進行優化才能將其實際應用到鐵路時間同步網的環境中。

4 結論

1) 為提升大數據網絡環境下鐵路時間同步網的安全性，本文提出一種基于Spark平臺的鐵路時間同步網異常流量檢測系統。該系統聚類準確率高，達到98.36%，聚類速度快，達到70.434 682 s，上述指標均可滿足大數據網絡環境下鐵路時間同步網對檢測速度和檢測準確率的要求。

2) 本文分析討論了異常網絡流量的典型特征，發現基于時間的網絡流量統計特征及基于主機的網絡流量統計特征與異常流量的相關性極高。在此基礎上，初步提出了鐵路時間同步網的惡意攻擊防御建議——一種攻擊觸發機制，為后續鐵路時間同步網的研究提供了全新角度。

[1] 曲博. 鐵路時間同步網概述[J]. 鐵路通信信號工程技術, 2010, 7(4): 43?45. QU Bo. Introduction of railway time synchronization network[J]. Railway Signalling & Communication Engineering, 2010, 7(4): 43?45.

[2] 北京全路通信信號研究設計院.鐵路時間同步網技術條件[R]. 北京: 中國鐵道年鑒, 2012. China Railway Signal & Communication Research & Design Institute Group Co., Ltd. Technical conditions for railway time synchronization network[R]. Beijing: China Railway Press, 2012.

[3] 詹秀峰. 鐵路局時間同步系統的設計[J]. 鐵路通信信號工程技術, 2017, 14(3): 29?31. ZHAN Xiufeng. Design of time synchronization system for railway administration[J]. Railway Signalling & Communication Engineering, 2017, 14(3): 29?31.

[4] 張友鵬, 張昊磊, 王虹. 基于有色Petri網的鐵路時間同步網協議安全性分析[J]. 鐵道學報, 2017, 39(10): 82?88. ZHANG Youpeng, ZHANG Haolei, WANG Hong. Security analysis on railway network time protocol based on colored Petri nets[J]. Journal of the China Railway Society, 2017, 39(10): 82?88.

[5] 蘭麗, 張友鵬. 基于隨機Petri網的鐵路時間同步網協議脆弱性分析[J]. 鐵道學報, 2017, 39(8): 85?92. LAN Li, ZHANG Youpeng. Vulnerability analysis of railway time synchronization network protocol based on stochastic Petri net[J]. Journal of the China Railway Society, 2017, 39(8): 85?92.

[6] 張友鵬, 王鋒, 張珊, 等. 基于模糊貝葉斯網絡的鐵路時間同步網可靠性分析[J]. 鐵道學報, 2015, 37(5): 57? 63. ZHANG Youpeng, WANG Feng, ZHANG Shan, et al. Dependability assessment of railway time synchronization network based on fuzzy Bayesian network[J]. Journal of the China Railway Society, 2015, 37(5): 57?63.

[7] 孟浩, 王勁松, 黃靜耘, 等. 基于TcpFlow的網絡可視分析系統研究與實現[J]. 信息網絡安全, 2016(2): 40?46. MENG Hao, WANG Jinsong, HUANG Jingyun, et al. Research and implement on network visual analytic system based on TcpFlow[J]. Netinfo Security, 2016(2): 40?46.

[8] Renuka Devi S. A hybrid approach to counter application layer DDOS attacks[J]. International Journal on Cryptography and Information Security, 2012, 2(2): 45? 52.

[9] Bolzoni D, Crispo B, Etalle S. Atlantides: An architecture for alert verification in network intrusion detection system[C]// Dallas, Texas. Berkeley: USENIX, 2007: 141?152.

[10] 李凱, 薛一波, 王春露, 等. 千兆網絡入侵防御系統高速數據包處理的研究與實現[J]. 小型微型計算機系統, 2006, 27(9): 1677?1681. LI Kai, XUE Yibo, WANG Chunlu, et al. Research and implementation of high-speed packet processing in gigabit network IPS[J]. Journal of Chinese Computer Systems, 2006, 27(9): 1677?1681.

[11] 何鵬程, 方勇. 一種基于Web日志和網站參數的入侵檢測和風險評估模型的研究[J]. 信息網絡安全, 2015(1): 61?65. HE Pengcheng, FANG Yong. A risk assessment model of intrusion detection for web applications based on Web server logs and website parameters[J]. Netinfo Security, 2015(1): 61?65.

[12] GB/T 20984—2007, Risk Assessment Specification for Information Security[S].

[13] Ryza S, Laserson U, Owen S, et al. Advanced Analytics with Spark[EB/OL]. http://www.bokus.com/bok/978149 1912713/advanced-analytics-with-spark/,2016?01?22/2019?04?28.

[14] Harrinton P. Machine learning in action[M]. Greenwich: Manning Publications Co., 2012: 42?45.

[15] 陳勝, 朱國勝, 祁小云, 等. 基于機器學習的網絡異常流量檢測研究[J]. 信息通信, 2017, 30(12): 39?42. CHEN Sheng, ZHU Guosheng, QI Xiaoyun, et al. Research on abnormal network traffic detection based on machine learning[J]. Information & Communications, 2017, 30(12): 39?42.

Research on big-data-based anomaly detection system of railway time synchronization network

ZHANG Youpeng1, LI Xiang1, LAN Li1, 2, 3, ZHOU Jingyu1, LIU Siyu4, ZHANG Yan5

(1. School of Automatic & Electrical Engineering, Lanzhou Jiaotong University, Lanzhou 730070, China; 2. School of Electronic & Information Engineering, Lanzhou Jiaotong University, Lanzhou 730070, China; 3. Key Laboratory of Opto-technology and Intelligent Control, Ministry of Education, Lanzhou Jiaotong University, Lanzhou 730070, China;4. Xi’an Rail Transit Group Company Limited, Xi’an 71006, China;5. Party Cadre School of China Railway Taiyuan Group Co., Ltd, Taiyuan 030013, China)

In order to detect the hostile attack on railway time synchronization network (RTSN) quickly and accurately, a big-data-based anomaly detection system of RTSN was designed in this paper. First, K-Means, an unsupervised learning algorithm, was used to train partial data and find out the optimal clustering model, through which the system could identify the abnormal traffic flows. Then the system was tested by inputting some labeled data of time synchronization network (TSN) to see if it could satisfy the requirement of RTSN in both accuracy and speed. After the analysis of characteristics of identified abnormal traffic flows, the characteristics with strong correlation were obtained. By aiming at these characteristics and considering the structure of RTSN, a defense proposal was initially given to prevent hostile attack. The following conclusions are made: the clustering time of 70.434 682 s and accuracy of 98.36% of the system were able to meet the requirement of RTSN under a big data network environment. The representative characteristics of identified traffic flows, including time-based statistic characteristics and host-based statistic characteristics, can also offer technical references to improve the safety of RTSN.

traffic flow; anomaly detection system; K-Means; Spark; RTSN

U285.5

A

1672 ? 7029(2020)02 ? 0306 ? 08

10.19713/j.cnki.43?1423/u.T20190478

2019?05?30

中國鐵路總公司科技研究開發計劃課題資助項目(2015X007-H)；光電技術與智能控制教育部重點實驗室(蘭州交通大學)開放課題資助項目(KFKT2018-12)

張友鵬(1965?)，男，甘肅慶陽人，教授，從事軌道交通自動化方向研究；E?mail：zhangyoupengypz@126.com

(編輯 蔣學東)