基于大數據的電力信息網絡流量異常檢測機制

姜紅紅，張濤，趙新建，錢欣，趙天成，高莉莎

（1.國網江蘇省電力公司南京供電公司，江蘇 南京 210019；2.北京郵電大學網絡與交換技術國家重點實驗室，北京100876）

電力信息化專欄

基于大數據的電力信息網絡流量異常檢測機制

姜紅紅1，張濤2，趙新建1，錢欣1，趙天成1，高莉莎1

（1.國網江蘇省電力公司南京供電公司，江蘇 南京 210019；2.北京郵電大學網絡與交換技術國家重點實驗室，北京100876）

隨著智能電網建設的加強，電力信息網絡及其承載的業務系統得到迅猛發展，網絡業務流量的檢測和預警具有重要的安全意義。針對目前電力信息網絡缺乏處理流量異常問題的有效技術手段，提出了一種基于大數據的電力信息網絡流量異常檢測機制，并通過對改進的局部異常因子（M-LOF）和支持向量域數據描述（SVDD）兩種常用異常檢測算法的對比分析，總結出適合電力信息網絡的流量異常檢測方法。

電力信息網絡；流量異常檢測；局部異常因子；支持向量域數據描述

1 引言

隨著電力信息網絡規模不斷擴大、復雜性不斷增加，基于信息網絡的各類應用業務也越來越廣泛，產生的數據量龐大，這就導致網絡出現異常的可能性大大增加[1-3]。而且在信息網絡中，很難找到發生問題的根源，未被診斷的網絡異常會進一步傳播并影響網絡的正常信息傳輸。因此，如何對網絡流量進行實時的監測和評估，并及時發現網絡的異常，對提高網絡的穩定性和安全性具有重要意義[4]。

目前，網絡異常診斷比較常規的做法是根據網絡運行質量監測和評估的指標來觀察網絡的規律，并進一步發現和排除異常。但是目前國內針對電力信息網絡的流量分析手段處理能力弱、顆粒度大，這些問題造成了電力信息網絡的數據盲視和流量數據信息黑洞，同時在流量飽和或網絡擁塞等情況發生時，無法進一步對異常源進行深層次排查分析[5]。另外，網絡管理中心需要處理網絡中各種各樣的故障信息，這些大多需要歷史經驗來指導，然而龐大的數據量不可能都由人工完成。因此，目前電力信息網急需一種流量問題的預警機制，能夠在第一時間發現異常，并讓管理中心快速地通過流量管理手段解決問題[6-8]。在智能電網運行過程中，為了及時、全面、準確地了解網絡的實時狀況，智能電網系統中安裝了很多流量探針、傳感器等采集設備。系統會實時監聽和采集到海量的數據信息并上傳，電力大數據信息集合由此產生。截至2015年，國家電網已完成招標智能電表4.3億臺，實現用電信息采集用戶4.5億戶，其采集系統將產生以PB級計的數據。電力系統運行過程中產生的數據具備大數據典型的“4V”特征，即規模性（volume）、多樣性（variety）、高速性（velocity）和價值性（value）。智能電網中的這些大數據蘊藏著很多有價值的信息，但這些數據價值密度不高，并不能直接運用于網絡的快速判穩，需要從實際的系統特性出發，研究數據內部的規律，使用在線的數據挖掘手段來檢測網絡的異常。

現有基于大數據的網絡流量異常檢測方法通常使用基于知識的檢測方法，如基于事例的推理、模糊邏輯、粗糙集方法、人工神經網絡、支持向量機以及信息融合故障檢測方法等[9]來構建?；跈C器學習的方法[10,11]是現在異常檢測技術的主流，常用的異常檢測方法中主要是處理分類問題，一類（目標）樣本充分采樣，另一類（異常）進行欠采樣，一般都從已知的正常類數據中進行學習，建立正常的學習模型用以進行數據分類。而在電力數據網中，首先在網絡中采集一些樣本并進行異常標注，然后利用這些樣本來訓練模型并將模型運用于實際網絡的異常檢測中，這是一種有監督的學習方法。但是，實際網絡的情況十分復雜，數據量也遠遠超過人工所能標注的范圍，因此很難精確指出哪些流量為異常流量。

相對于上述有監督的學習方法，無監督的學習方法可以省去數據標注的過程，從海量數據集中學習正常的模式，成為目前網絡流量異常檢測的重要方法。提出一種基于大數據的電力信息網絡流量異常檢測機制，從實際應用出發，重點進行海量在線數據的特征量選擇、樣本預處理并引入兩種不同的數據挖掘方法來處理電力網流量異常問題：基于密度的局部異常因子（local outlier factor，LOF）學習方法和基于距離的支持向量域數據描述（support vector domain description，SVDD）學習方法，這兩種方法都是無監督學習方法。

2 流量異常檢測機制

基于數據挖掘方法的網絡流量異常檢測機制如圖 1所示。首先從網絡中進行樣本數據的采集，并保存到數據庫中。然后對數據進行預處理，包括數據篩選、數據降維和數據標準化，之后輸入數據挖掘算法模型中，通過使用合適的機器學習算法給出異常檢測結果。

圖1 基于數據挖掘方法的網絡流量異常檢測機制

2.1 樣本數據采集

在電力信息網中，數據主要來自智能電表、相量測量單元（power managementunit,PMU）以及各種傳感器設備的采集信息，這些數據的數據分組很小，但數據規模大、結構復雜、傳輸速度快。為了準確實時地獲取這些信息，通過部署在網絡節點（交換機或者路由器）上的流量采集設備采集樣本數據，采集到的數據分組包括分組頭各個字段的信息，具體字段信息見表1。

2.2 數據預處理

數據預處理是進行數據挖掘前很重要的一步，不僅需要將數據轉換成模型要求的向量格式，還需要清除數據源中的臟數據、重復數據等[12]。通過特征選取、數據篩選、降維和標準化完成數據的預處理工作。

表1 原始流量數據分組字段

2.2.1 特征選取

電力信息網絡流量數據的維數較大，為了直觀顯示數據的分布，使用平行坐標的方法來觀察數據，可以剔除無關維度。平行坐標是一種通用的可視化方法，用于對高維幾何和多元數據的可視化，圖2中每一個縱軸都是數據的一個維度。

從圖2中可以直觀地看到數據的整體分布情況。由于電力信息網中的流量分布特點與業務種類和時間有關，所以對每時刻每端口發送的數據分組進行統計，特征選取維度見表2。

表2 特征選取維度

實驗過程中，特征提取的單位時間粒度取值為10 min，這樣能包含足夠的信息判斷流量異常。如果時間粒度過小，則會造成檢測算法的誤報率上升，產生虛警。

2.2.2 數據篩選與降維

多維尺度分析（multi-dimensional scaling，MDS）是一種常用的數據分析方法，MDS可以利用成對樣本間的相似性來構建合適的低維度空間，并且能保證樣本在低維度空間的距離相似性和高維度的一致性[13]。具體描述如下。

首先，對于要降維的t維數據，構建一個 t×t的相異度矩陣ΔX，MDS期望尋找m維的t個向量ψ1,…,ψ1∈RN組成的矩陣Δψ，使得向量間的距離與ΔX中向量距離相似。在經典的多維尺度分析中，該距離指的是歐氏距離。歐式距離可以被任意旋轉和變換，且這些變換不會改變樣本間的距離。

圖2 網絡流量數據平行坐標

所以多維尺度分析相當于一個優化問題：

實際數據采集中，由于操作人員的記錄錯誤或者采集設備的誤差等原因，會出現個別樣本點與其他點偏差很大的情況，這類點被稱為離群點或者野值。從圖2中很容易找到這些點，并予以剔除。

2.2.3 數據標準化

由于向量空間上各個維度的單位不一致，如輸入分組數、輸出分組數與輸入字節數、輸出字節數的單位不一致，需要對數據進行標準化處理，本文使用離差標準化的方法：

通過式（3），讓各個維度的數據都轉換為[0，1]區間上的值。

2.3 基于大數據的異常檢測算法

基于機器學習的分類方法被廣泛應用于異常檢測領域，引入兩種不同類型的機器學習方法。

2.3.1 改進的局部異常因子檢測算法

在無監督異常檢測方法中，由于僅有一類樣本可供學習，因此最簡單也最直接的方式就是通過參數化方法或非參數化方法來估計訓練樣本的密度模型并設置密度閾值，小于該閾值的即被認為異常。

參數化方法的原理是假定樣本數據符合某項分布，如多元高斯模型，以測試樣本與均值的距離來判定其是否為異常。該方法比較簡單，但是存在維度災難問題，即時間成本與樣本數成指數關系，當樣本數過高時，時間成本將十分巨大。而由于電力信息網的高可靠性要求，對業務流量異常檢測的時效性要求較高，因此參數化方法不適于電力信息網的流量異常檢測。

選用的局部異常檢測算法是一種非參數化的無監督異常檢測算法，其設計原理是根據樣本點與其局部鄰域樣本點分隔程度的局部異常度來進行異常檢測。

由于網絡節點的故障異常是具有局部性的，提出了一種改進的LOF算法——M-LOF（mean localoutlier factor），該方法在LOF算法的k距離和k近鄰的基礎上，提出了m距離和m近鄰的概念，并基于m距離和m近鄰對異常點進行檢測，具體算法描述如下。

定義1對象p的k距離dk(p)，表示對象p與距離它第k近的鄰居的距離，表示如下。

至少有k個對象，滿足：

最多有k-1個對象，滿足：

定義2對象p的k近鄰Ndk(p)(p)，表示由所有與p之間距離小于dk(p)的對象組成的集合。

定義3對象p的m距離，為了降低傳統的LOF算法的k取值敏感性，M-LOF算法提出m距離的概念，即將對象p到k近鄰的距離求平均，得到p的m距離：

其中，ε是用來提高準確度的常量。

定義4對象p的m近鄰，針對m距離，可以得到對象 p的m近鄰：Nm_dk(p)(p)，表示所有與 p之間距離小于 m距離的對象組成的集合。

定義6對象p的局部密度，計算式如下：

定義7對象p的局部異常因子，計算式如下：

M-LOF算法流程如下。

輸入數據流p={pj}j=1,2,…,N

For j=1,2…N:do

Find dk(pj)and m_dk(pj)

Find Ndk(p)(p)and Nm_dk(p)(p)

Calculate reack_distm(pj,pi)

Calculate lrdm(pj)

Calculate LOFm(pj)

End For

2.3.2支持向量域描述算法

支持向量機（support vector machine，SVM）是一種主流的兩類分類方法，其通過尋求一個超平面將兩類樣本以最大間隔分開。但在流量異常檢測領域，由于一般僅有一類樣本，故原有SVM不再適用。

SVDD被用來處理線性分類的問題，核函數可以將高維空間的內積運算轉化為低維輸入空間的核函數計算，從而巧妙地解決了在高維特征空間中計算的 “維數災難”等問題。常用的核函數有：線性核函數、多項式核函數、徑向基核函數、sigmoid核函數和復合核函數等[14]。本文選用線性核函數 （linear）、徑向基核函數 （radial basis function，RBF）和sigmoid核函數（sigmoid）3種進行比較，分析不同核函數處理流量異常問題的優劣。

是以六天邪魔乘勢來侵，八部瘟曹恣橫流毒，唯修善之人形，同劫界命不墮於兇虋亡矣。（《太上說玄天大聖真武本傳神呪妙經註》卷五，《中華道藏》30/568）

3 實驗結果與對比分析

3.1 實驗結果

通過流量探測工具獲取某電力公司信息網2016年3月內的連續流量數據分組，并在實驗平臺中進行處理和分析。實驗平臺基于MATLAB開發，在實驗平臺中實現了M-LOF算法，并使用LibSVM工具包進行二次開發完成SVDD。經過預處理后的數據作為實驗平臺的輸入，通過不同算法的處理來對算法表現進行評估。

3.1.1 M-LOF算法結果

傳統的LOF算法對算法中鄰居k的取值比較敏感，當數據量很大時，如果k取值過小，會將很多比較集中的異常點判斷為正常點，如果k取值過大，又會使正常點受影響被判斷為異常點。而提出的M-LOF算法雖然也會受k值影響，但對k值的敏感性比LOF降低很多，因為如第2.3.1節的描述，M-LOF算法計算的m距離是對k近鄰的k距離的平均，所以M-LOF算法更加關注于局部性。k=10和k=100時10 000連續流量分組檢測結果如圖3和圖4所示。

圖3 10 000個連續流量分組檢測結果

M-LOF算法的異常判決方法是根據M-LOF值是否大于某個異常門限值來進行判決的。觀察k=10和k=30兩種不同情況下，M-LOF的計算結果。在k=10的實驗中，由于異常因子值的均值在2.5左右，95%的數據都小于2.5，可以將異常的閾值設置為2.5，即所有大于 2.5的點都判為異常。實際使用中，閾值的設置是通過經驗數據來調整的，為了提高算法召回率可以將門限提高。同樣方法，在k=30的實驗中，將異常的閾值設置為5。通過比較發現，在k=30的實驗中，90%的數據都在門限值以下，精度要比k=10的實驗低5%。這表明當k值較大時，會使小部分正常點被誤判為異常點。所以，在本實驗中，選用k=10的M-LOF算法作為實驗模型。

作為比較分析，為了測試本算法在不同數據集時的準確度，通過設置數據集的大小，從1 000，2 000,…,9 000，10 000條數據量，對M-LOF算法和LOF算法的運行情況進行了分析比較，結果如圖4所示。

圖4 兩種算法準確率對比

從圖4可以看出，數據集較小時，兩種方法的準確率都比較低，這是因為數據量不夠，各個數據間的距離仍然比較稀疏，基于密度的算法不能從稀疏的數據集中很好地區分異常點和正常點。當數據集大于2 000時，雖然隨著數據集個數的增加，兩種算法的效率都會下降，但是M-LOF算法的檢測精度明顯高于傳統的LOF算法，更適合在數據量大的網絡流量數據集中作為異常檢測的算法模型。

3.1.2 SVDD算法結果

3種方法處理10 000條數據集的表現見表4。準確率（accuracy）反映了分類系統對整個樣本的判定能力，能將正樣本判定為正，負樣本判定為負；召回率（recall）反映了被正確判定的正例占總正例的比重。

對于異常問題的檢測，LibSVM對非監督分類器的結果評價主要考慮兩個方面，一個是采用半徑盡可能小的超球面覆蓋盡可能多的正常數據點（準確率），另一個是對異常的區分能力。

圖5 3種核函數得到的SVC結果

表4 3種方法結果比較

對比以上3種核函數的結果，可以發現RBF核函數的分類效果明顯高于其他兩個核函數，準確率達到了90%，另外從圖5（b）可以看出，RBF給出了一個近似圓形的分界線，因為本次試驗所處理的流量異常問題是非線性的，RBF核函數可以通過非線性變換將非線性的輸入數據轉化為線性的輸出數據，從而給出正確的分類。因此，利用RBF作為核函數在處理網絡流量數據異常時具有很好的分類效果。

3.2 對比分析

對比M-LOF和SVDD兩種無監督異常檢測方法，對于處理5 000條和10 000條數據的結果見表5和表6。

表5 處理5 000條數據兩種不同方法精度對比

表6 處理10 000條數據兩種不同方法精度對比

從表5可以看出，在數據量為5 000條時，提出的M-LOF算法具有較高的準確率，遠高于SVDD算法的準確率。這是因為M-LOF是針對局域距離來計算異常點的，在數據量不大時，可以很好地利用數據局部相似性的特點。但當數據量達到10 000條時，由于數據流時間跨度增加，數據的局部相似性減少，因此M-LOF算法的精度會有所下降，而SVDD會有一定上升，這是因為SVDD算法可以持續學習，不斷更新調整分類器參數來滿足數據的分布狀態，但缺陷是這種重復的學習過程在一定程度上會增加算法的復雜度。

綜上分析，M-LOF算法在對短時間跨度內的較小數據量進行異常檢測時，檢測準確率較高且復雜度低，適于對時間跨度小的較小數據量進行檢測。同時針對時間跨度大的大數據量進行檢測時，也可以利用M-LOF算法的局部特性，采用多時間窗口來處理數據，充分利用異常的時間相關性，以提高檢測準確率。

相比較M-LOF算法，SVDD算法具有一種持續學習的能力，但數據量越大，時間復雜度越高，適用于對實時性要求較低的時間跨度大的大數據量進行異常檢測。

4 結束語

隨著智能電網的不斷革新發展，電力信息網絡規模不斷擴大，網絡中出現故障的可能性也不斷增加。針對電力信息網流量異常檢測領域處理手段較少等問題，提出了一種基于大數據方法的異常檢測機制，分別采用兩種不同的無監督機器學習方法對現網中的流量數據做了挖掘分析，一種是經過改進后的M-LOF算法，另一種是以RBF為核函數的SVDD算法，經比較分析，兩種算法各自適于不同的數據量和不同的應用環境。

綜上所述，給出了基于大數據方法的流量異常檢測機制，詳細給出了兩類算法流程。通過大量的真實電力信息網流量數據驗證了上述方法具有較高的準確率和較低的誤報率，能快速地對網絡中的流量異常發出提前預警，從而進一步提高網絡質量，增加電力信息網絡的穩定性。

[1]孟小峰,慈祥.大數據管理概念、技術與挑戰[J].計算機研究與發展,2013,50(1):146-169. MENG X F,CI X.Big data management:concepts,techniques, challenges[J].Journal of Computer Research and Development, 2013,50(1):146-169．

[2]張東霞,苗新,劉麗平,等.智能電網大數據技術發展研究[J].中國電機工程學報,2015,35(1):2-12. ZHANG D X,MIAO X,LIU L P,et al．Research on development strategy for smart grid big data[J]．Proceedings of the CSEE，2015，35(1)：2-12．

[3]宋亞奇,周國亮,朱永利.智能電網大數據處理技術現狀與挑戰[J].電網技術,2013,37(4):927-935. SONG Y Q,ZHOU G L,ZHU Y L.Present status and challenges of big data processing in smart grid[J].PowerSystem Technology,2013,37(4):927-935.

[4]孫宏斌,胡江溢,劉映尚,等.調度控制中心功能的發展——電網實時安全預警系統[J].電力系統自動化,2004,28(15):1-6. SUN H B,HU J Y,LIU Y S,et al．Development of the power dispatching control center-real time power security early warning system[J].Automation of Electric Power Systems,2004,28(15): 1-6.

[5]嚴劍峰，于之虹，田芳，等．電力系統在線動態安全評估和預警系統[J]．中國電機工程學報，2008，28(34)：87-93．YAN J F,YU Z H,TIAN F,et al．Dynamic security assessment and early warning system of power system[J]．Proceedings of the CSEE,2008,28(34):87-93.

[6]湯涌,王英濤,田芳,等.大電網安全分析,預警及控制系統的研發[J].電網技術,2012,36(7):1-11. TANG Y,WANG Y T,TIAN F,et al．Research and development of stability analysis,early-warning andcontrol system for huge power grids[J]．Power System Technology，2012，36(7)：1-11．

[7] 蔡斌,吳素農,王詩明,等.電網在線安全穩定分析和預警系統[J].電網技術,2007,31(2):36-41. CAI B,WU S N,WANG S M,et al．Power grid on-line security and stability analysis and forewarning system[J].Power System Technology,2007,31(2):36-41.

[8] 荊銘,邱夕兆,延峰,等.電力調度數據網安全技術及其應用[J].電網技術,2008,32(26):173-176. JIN M,QIU X Z,YAN F,et al．Security technology of electric power dispatching data network and its application[J].Power System Technology,2008,32(26):173-176.

[9] 許濤,賀仁睦,王鵬,等.基于統計學習理論的電力系統暫態穩定評估[J].中國電機工程學報,2003,23(11):51-55. XU T,HE R M,WANG P,et al．Power system transient stability assessment based on statistical learning theory[J]. Proceedings of the CSEE,2003,23(11):51-55.

[10]黃天恩,孫宏斌,郭慶來,等.基于電網運行大數據的在線分布式安全特征選擇[J].電力系統自動化,2016,40(4):32-40. HUANG T E,SUN H B,GUO Q L,et al．Online distributed security feature selection based on big data in power system operation[J].Automation of Electric Power Systems,2016,40(4): 32-40.

[11]穆瑞輝,付歡.淺析數據挖掘概念與技術 [M].北京:機械工業出版社,2008. MU R H,FU H.Analyze the concept of data mining and technology[M].Beijing:China Machine Press,2008.

[12]鄭黎明,鄒鵬,賈焰.網絡流量異常檢測中分類器的提取與訓練方法研究[J].計算機學報,2012,35(4):719-729. ZHENG L M,ZOU P,JIA Y.How to extract and train the classifier in traffic anomaly detection system[J].Chinese Journal of Computers,2012,35(4):719-729.

[13]曲朝陽,陳帥,楊帆,等.基于云計算技術的電力大數據預處理屬性約簡方法[J].電力系統自動化,2014,38(8):67-71．QU Z Y,CHEN S,YANG F,et al．An attribute reducing method for electric power big data preprocessing based on cloud computing technology[J].Automation of Electric Power Systems, 2014,38(8):67-71.

[14]奉國和．SVM分類核函數及參數選擇比較[J].計算機工程與應用,2011,47(3):123-124. FENG G H. Parameter optimizing for support vector machinesclassification[J]．Computer Engineering and Applications, 2011,47(3):123-124.

A big data based flow anom aly detection mechanism of electric power inform ation network

JIANG Honghong1,ZHANG Tao2,ZHAO Xinjian1,QIAN Xin1,ZHAO Tiancheng1,GAO Lisha1
1.Jiangsu Nanjing Power Supply Company,Nanjing 210019,China
2.National Key Lab of Networking and Switching Technology, Beijing University of Posts and Telecommunications,Beijing 100876,China

With the construction of smart grid,the electric power information network and its business system get rapid development.The early flow anomaly detection and warning are significant to the safety of network.Due to the lack of efficient measuring means to handle the flow abnormal problems,a flow anomaly detection mechanism based on big data for the electric power information network was proposed.Through the comparative analysis of two common anomaly detection algorithms,the improved local outlier factor algorithm (M-LOF)and the support vector data description (SVDD)algorithm,the suitable flow anomaly detection method for electric power information network was summarized.

electric power information network,flow anomaly detection,local outlier factor,support vector data description

TM744

：A

10.11959/j.issn.1000-0801.2017031

姜紅紅（1984-），女，博士，國網江蘇省電力公司南京供電公司信息工程師，主要研究方向為智能電網、網絡服務質量管理、電力信息化。

張濤（1992-），男，北京郵電大學網絡與交換技術國家重點實驗室網絡管理研究中心碩士生，主要研究方向為智能電網、自組織網絡和無線網絡管理技術。

趙新建（1988-），男，國網江蘇省電力公司南京供電公司信息工程師，主要研究方向為智能電網、電力信息化。

錢欣（1989-），女，國網江蘇省電力公司南京供電公司信息工程師，主要研究方向為智能電網、電力信息化。

趙天成（1990-），男，國網江蘇省電力公司南京供電公司信息工程師，主要研究方向為智能電網、電力信息化。

高麗莎（1982-），女，國網江蘇省電力公司南京供電公司信息工程師，主要研究方向為智能電網、電力信息化。

2016-09-20；

2017-01-18