面向海量告警數據的并行處理系統設計與實現

張海闊，陸忠華，劉 芳，李井泉，孫辰軍，王 玨

(1.中國科學院 計算機網絡信息中心，北京 100190；2.中國科學院大學，北京 100049；3.中國互聯網絡信息中心，北京 100190；4.國家電網 河北省電力公司，河北 石家莊 050022)

0 引 言

為了監控網絡設備的運行狀況，需要實時采集網絡中各個設備的運行參數，并發送到主控計算機，由主控計算機對網絡設備的運行參數進行分析，從而確定設備是否發生故障，并在故障發生時及時采取相應的措施以維護網絡的穩定。

現有技術中，通常由主控計算機來分配采集任務，采集機實時采集網絡設備的各項運行參數，其中每個任務需要處理多個采集對象(待采集設備)，每個采集對象包括多個采集指標(不同的參數)。然而隨著網絡規模的快速增長，網絡管理中通常需要采集成千上萬個設備，每個設備包括多個采集指標，因而需要采集的數據是海量的。如果多個采集任務在同一時間執行，將造成瞬時占用的帶寬過大，同時如果并行執行的采集子任務數過少，雖然可以減少帶寬的占用，但又會浪費采集機的計算資源。由于在現有網絡設備監控技術中，網絡帶寬資源以及采集機的計算資源都是較為珍貴的有限資源，因此如何既避免占用過多的帶寬資源又充分利用采集機的計算資源，就成為網絡管理中海量告警數據采集和處理系統中急需解決的首要技術問題。

1 國內外研究現狀

故障管理是網管系統中的核心之一，是網絡運行健壯的有效保障。分析采集到的運行狀態信息，分類挖掘，預判、及時發現和快速排斥故障是保障網絡可靠性和可用性的重要措施[1-3]。

當前，基于網管協議(例如：SNMP協議、netconf協議和CWMP協議等)的網管系統能夠獲取設備運行信息，例如對路由器、交換機等設備的性能及狀態參數、服務器的運行狀態數據等信息進行定期收集。目前網絡管理中幾種常見的數據采集方式主要有：SNMP協議的采集(主動和被動trap機制采集)[4,5]、Telnet的采集(遠程控制命令采集)[6]、FTP的采集、串口的采集。最常用的方式為SNMP協議采集方式和基于Telnet的采集方式。

告警數據分析主要是指對告警進行合并和轉化，縮小故障原因的范圍，便于管理人員更快速地確定故障原因[7-9]。告警相關性分析方法主要有基于范例的推理方法、基于模糊邏輯的方法、基于規則的相關性方法、基于神經網絡的方法、基于貝葉斯網絡的方法，以及基于關聯規則的數據挖掘方法等[10,11]。告警數據處理系統在電信網絡管理、電力網絡管理、物流運輸管理等領域的應用也非常廣泛，對于提高系統安全性至關重要[12]。

隨著網絡規模的日益擴大，告警數據分析處理所需消耗的網絡資源和計算資源也隨之大幅增加，極大限制了告警數據的處理速度。針對上述問題，本文設計了一種網絡管理中面向海量數據的并行處理方法，通過對采集任務進行合理調度以有效利用網絡帶寬，并充分利用計算資源進行數據采集；同時設計了一種可以大幅提高帶寬和資源利用率的任務調度方法。

2 系統運行環境

海量告警數據并行處理系統的硬運行環境主要由以下5個部分組成：①主控機：包括多個物理處理單元，用于取出任務采集隊列中的任務描述，對采集任務進行采集子任務劃分，根據采集機的帶寬資源目標和/或計算資源目標計算并行執行的采集子任務數，并將采集子任務映射到采集機的物理處理單元。主控機實現了分配采集任務、匯總采集結果并提供給用戶等功能，是整個系統的核心部分；②采集機：包括多個物理處理單元，通過告警采集代理服務器向待采集設備發出采集指令，以完成數據采集任務；③存儲設備：包含較大的可擴展存儲磁盤空間，用于將內存數據庫中的數據定期同步到物理數據庫中，以實現采集數據和計算結果的長期安全存儲；④告警采集代理服務器：從待采集設備采集到數據后將數據上傳到采集機的物理處理單元，以便進行進一步的數據處理；⑤待采集設備，通常包括SNMP設備、串口服務器和串口設備等，其中串口設備可以是RS232、RS485、RS422等設備。

系統硬件架構中各組件的連接關系如圖1所示。其中，主控機通過網線與各采集機相連；各采集機通過衛星網絡或網線與告警采集代理服務器相連；各告警采集代理服務器具有獨立的IP地址，其子結點上的串口設備連接在告警采集代理服務器的串口上，SNMP設備和串口服務器則通過網線連接在告警采集代理服務器上。告警采集代理服務器、SNMP設備和串口服務器可以直接和采集機連接。系統中的一臺告警采集代理服務器可以連接多臺待采集設備，各待采集設備可以采用不同的協議。

實際運行中，該并行處理系統中的所有功能模塊都運行在主控機中，只有采集任務運行在采集機上。采集機接收主控機發送的采集指令并執行采集子任務，具體執行過程中可以按照采集子任務的優先級進行數據采集或者按照先進先出原則執行數據采集任務。

3 海量告警數據并行處理方法

針對上述系統結構，本文設計了一種相應的海量告警數據并行處理方法，該系統主要包括以下4個功能模塊：①采集任務更新模塊，用于定時從數據庫中取出待采集任務，并將待采集任務插入任務采集隊列，等待采集任務的執行；②采集任務調度模塊，用于從任務采集隊列中取出任務描述，并采用寬資源目標和/或計算資源目標計算的雙目標任務調度模式來實現任務的劃分和調度，上述功能對應于4個順序執行的系統子模塊：采集任務獲取模塊、采集子任務劃分模塊、采集子任務確定模塊以及采集子任務映射模塊；③采集任務處理模塊，執行各個子任務以完成數據采集任務，對數據進行并行分析處理并存儲結果，同時對檢測出的設備故障將發出告警通知；④系統管理模塊，系統通過物理/內存數據庫管理模塊存儲和分析數據，同時通過監控模塊、系統命令監聽模塊來管理系統，并提供告警信息給用戶。用戶根據這些信息可以通過人工干預接口模塊來管理系統中的任務。與上述4個功能模塊相對應的海量告警數據并行處理方法包括如下4個主要步驟(如圖2所示)。

圖1 海量告警數據并行處理系統運行環境

圖2 海量告警數據并行處理系統功能模塊

3.1 采集任務更新

該步驟定時從物理數據庫中取出待采集任務，判斷是否需要停止正在運行的采集任務，若是，則根據任務編號停止正在執行的任務或移除在任務采集隊列中的任務；否則查詢正在執行的任務是否需要更新，若是，則更新任務，并重新加載該任務；否則將待采集任務插入任務采集隊列，等待采集任務的執行。上述采集任務更新步驟的執行流程如圖3所示。

圖3 采集任務更新步驟執行流程

3.2 采集任務調度

該步驟從任務采集隊列中取出任務描述，根據帶寬資源利用情況和/或計算資源使用情況將任務進行子任務劃分，將子任務映射到采集任務處理單元等待子任務的執行。與系統結構中的采集任務調度模塊相對應，采集任務調度過程主要包括如下4個子步驟：

(1)采集任務獲取步驟：取出任務采集隊列中的任務描述；

(2)采集子任務劃分步驟：將每個采集對象的每個采集指標指派成一個采集子任務，每個采集子任務包含如下信息：優先級、采集周期和采集量，且每個采集子任務在一個周期內的執行時間遠遠小于周期時間，每個采集子任務對應一個待采集設備，且每個采集子任務的信息都包括待采集設備的標識。

(3)采集子任務確定步驟：根據采集機的帶寬資源目標和計算資源目標確定一個采集任務觸發周期內并行執行的采集子任務數。同樣該步驟對應包括如下3個子步驟：

1)帶寬資源目標實現步驟：該模塊首先通過帶寬參數獲取子模塊獲取當前一個采集任務觸發周期PGCD，其為當前正在執行的所有采集子任務采集周期的最大公約數，并計算一個采集任務觸發周期內剩余網絡帶寬Br，其計算公式如下

Br=c*B*PGCD-Nd

其中，c為系數，范圍為(0,1]的常數，B為系統總帶寬，Nd為即將執行的一個采集任務觸發周期內采集機執行其它任務所包含的數據量。

然后，通過采集子任務數獲取子模塊計算一個采集任務觸發周期內并行執行的采集子任務數m：假設按照優先級順序排列當前待執行的n個采集子任務，其待采集量分別為：NC0、NC1、NC2、…、NCm-1、NCm、…NCn。在觸發周期開始，將當前待執行的采集子任務進行排列，獲得當前待執行采集子任務中每個采集子任務的采集量，計算前n個采集子任務采集量之和，將其與網絡剩余帶寬確定步驟中計算得到的一個觸發周期內剩余網絡帶寬Br進行比較，如果Br大于前m個當前待執行的采集子任務采集量之和，且小于前m+1個當前待執行的采集子任務采集量之和，即滿足如下公式

則前m個采集子任務被獲得，m即為根據剩余帶寬計算出的一個采集任務觸發周期內可以并行執行的采集子任務數，其中m

2)計算資源目標實現步驟：該模塊首先通過計算資源參數獲取子模塊獲取采集機當前可用的計算資源參數，即采集機的物理處理單元數Nc及采集子任務平均執行時間Ta；

然后通過可并行采集子任務數獲取模塊，根據當前可用的計算資源，確定在一個采集任務觸發周期內可以并行執行的采集子任務數NL，計算公式為

NL=PGCD*Nc/Ta

3)采集子任務數N確定步驟：該步驟根據由帶寬資源目標實現模塊計算的采集子任務數m和計算資源目標實現模塊計算的采集子任務數NL，按如下公式計算實際并行執行的采集子任務數N

N=min(m,NL)

4)采集子任務映射步驟：將最終確定并行執行的采集子任務映射到采集機的物理處理單元，等待采集子任務的執行。

3.3 采集任務處理

該步驟首先判斷被采集的數據是否在設定范圍之內，若是，則將采集數據加入數據緩存隊列，并通過告警數據處理系統進行并行數據處理，將處理好的數據加入內存數據庫，并定期同步到物理數據庫中;否則將生成告警信息并將告警信息加入告警緩存隊列，發出告警通知。上述步驟的流程如圖4所示。

圖4 采集任務處理步驟執行流程

3.4 告警數據分析

上述過程中產生的告警通知由系統管理模塊進行實時監控和管理，并反饋給用戶。用戶根據獲取的告警信息，以及當前系統的網絡狀態，包括任務執行情況、帶寬和底層資源利用率等信息來管理系統中的任務。例如用戶可以通過人工干預接口控制采集任務更新模塊，實現有選擇地暫停、取消和繼續任務等操作。

綜上，上述方法的4個步驟中，各模塊之間以及用戶與各模塊之間的互操作關系如圖5所示。

圖5 模塊間以及用戶與各模塊間的互操作

4 系統軟件實現

海量告警數據并行處理系統軟件主要采用MPI多線程方式來實現，根據服務功能可以劃分為兩大模塊：告警服務模塊和性能服務模塊。

4.1 告警服務模塊

告警數服務模塊包含主線程以及多個功能子線程，通過獨立的線程分工實現不同的系統功能。各線程之間的數據交互通過數據庫或內存數據隊列來實現。其中主線程作為告警服務的程序入口，負責對整個告警服務子系統的運行環境參數的初始化以及按如下順序啟動各個功能子線程：

(1)告警規則實時更新線程：定時從數據庫中讀取系統對告警規則的配置情況，保證告警服務中進行告警生成時使用的告警規則的實時性；

(2)Trap告警事件處理線程：從Trap事件隊列中獲取Trap事件信息進行處理，構造告警事件的數據庫插入語句并將語句保存到內存數據庫中；

(3)性能告警處理線程：從性能告警隊列中獲取性能告警信息進行處理，構造告警事件的數據庫插入語句并將語句保存到內存數據庫中；

(4)Trap監聽線程：監聽固定的端口，獲取設備發出的Trap信息，并將接收到的Trap信息插入到Trap事件隊列中；

(5)UDP監聽線程：監聽固定的端口，獲取來自性能模塊的性能告警信息，并分別將這些告警信息插入到性能告警隊列中；

(6)告警數據入庫線程：將內存數據庫中的告警數據庫插入語句取出并放到物理數據庫中執行，實現告警事件從內存到物理數據庫的同步；

(7)活動告警生成線程：從物理數據庫的告警事件表中讀取數據，構造系統的活動告警供系統表示層進行呈現；

(8)歷史事件清除線程：將超過設定期限的事件從物理數據庫中進行清除；

(9)告警通知線程：根據告警通知條件，將符合條件的告警通過郵件通知管理人員；

(10)系統命令監聽線程：監聽系統的退出命令，收到命令后退出系統；

(11)報活線程：實時向數據庫中更新告警服務的運行狀態信息，系統表示層可以根據這些運行狀態信息判斷告警服務模塊是否正常運行；

上述告警服務模塊的各個線程之間的關系如圖6所示。

圖6 告警服務進程結構

4.2 性能服務模塊

性能服務模塊包含同樣主線程以及多個功能子線程。其主線程同樣負責對整個性能服務子系統的運行環境參數的初始化，并按如下順序啟動各個功能子線程：

(1)性能數據處理線程：以多線程的方式處理隊列中的數據；

(2)性能告警發送線程：將超過性能門限的告警信息插入到隊列中，并發送給告警模塊；

(3)更新采集對象隊列線程：定時的去查詢性能采集隊列是否有有變化或者更新；

(4)服務報活線程：定時將自己的當前時間寫入數據庫，通知系統自己的運行情況；

(5)數據同步線程：定時的將內存數據庫中的數據同步到物理數據庫中；

(6)系統命令監聽線程：監聽前臺發來的命令，接收到前臺發送的關閉命令后，關閉所有的定時器。

上述性能服務模塊的各個線程之間的關系如圖7所示。

圖7 性能服務進程結構

5 結束語

本文設計了一種網絡管理中面向海量告警數據的并行處理系統，主要用于網絡中底層大規模資源管理中海量告警和性能數據的信息處理。該系統由采集任務更新模塊、采集任務調度模塊、采集任務處理模塊和系統管理模塊構成。對應的處理流程分為采集任務更新、調度、處理以及數據分析4個步驟。系統的核心為調度模塊，該模塊通過采用帶寬資源目標和/或計算資源目標計算的雙目標任務調度模式，充分利用了采集機的帶寬資源和計算資源，提高了海量告警數據的采集效率。該系統和方法未來可以推廣應用于它數據采集領域，提高數據采集處理的效率。

[1]YANGJinbao,ZHANGChanghong,CHENPing.NetworkfaultdiagnosisbasedonimprovedBPneuralnetwork[J].Computer&DigitalEngineering,2012,40(2):65-67(inChinese).[楊金寶,張昌宏,陳平.基于改進BP神經網絡的網絡故障診斷研究[J].計算機與數字工程,2012,40(2):65-67.]

[2]SlabickiM,GrochlaK.PerformanceevaluationofCoAP,SNMPandNETCONFprotocolsinfogcomputingarchitecture[C]//NetworkOperationsandManagementSymposium,2016.

[3]ShahramJamali,MohammadSadeqGarshasbi.Faultlocalizationalgorithmincomputernetworksbyemployingageneticalgorithm[J].JournalofExperimental&TheoreticalArtificialIntelligence,2017,29(1):157-174.

[4]SHAOLei,NIMing.DesignandimplementationofhighspeeddataacquisitionsystembasedonFPGA[J].ComputerEngineering,2011,37(19):221-223(inChinese).[邵磊,倪明.基于FPGA的高速數據采集系統設計與實現[J].計算機工程,2011,37(19):221-223.]

[5]YSPeng,YCChen,SNMP-basedmonitoringofheterogeneousvirtualinfrastructureinclouds[C]//NetworkOperationsandManagementSymposium,2011:1-6.

[6]HUYi,TANGLiping.ImplementationofTelnetserverforNon-OSembeddedsystem[J].ComputerSysterm&Applications,2014,23(10):79-84(inChinese).[胡奕,唐莉萍.嵌入式系統上無操作系統Telnet服務器的實現[J].計算機系統應用,2014,23(10):79-84.]

[7]YINWeihong,GENGXinmin.TheimplementofnetworkmanagementbasedontheSNMPprotocol[J].MicrocomputerInformation,2006,22(9-3):208-210(inChinese).[殷衛紅,耿新民.基于SNMP協議的網絡管理實現技術[J].微計算機信息,2006,22(9-3):208-210.]

[8]XIAOJingjing.DesignofnetworkmanagesystembasedonITIL[J].SoftwareGuide,2015,14(10):124-125(inChinese).[肖靜靜.基于ITIL的網絡運維服務管理系統設計[J].軟件導刊,2015,14(10):124-125.]

[9]YANGMing,HUANGHua,XIAJiangang,etal.Currentstatusandanalysisonnetworkfault-locatingtechnology[J].TechnologyandMarket,2009,16(3):20-22(inChinese).[楊明,黃華,夏建剛,等.網絡故障定位技術的研究現狀與分析[J].技術與市場,2009,16(3):20-22.]

[10]WANGPing,LILi,ZHAOHong.Studyoneventscorrelationdetectingmechanisminnetworkmanagement[J].JournalofChinaInstitueofCommunications,2004,3:100-105(inChinese).[王平,李莉,趙宏.網絡管理中事件關聯檢測機制的研究[J].通信學報,2004,3:100-105.]

[11]JINGYa,LIQun,CHENTing,etal.Large-scaleheteroidnetworkmanagementsystem[J].ComputerEngineeringandDesign,2015,36(12):3390-3401(inChinese).[井雅,李群,陳亭,等.大規模異構通信網絡管理信息系統[J].計算機工程與設計,2015,36(12):3390-3401.]

[12]JINGYa,CHENTing.ElectricmaterialsuppliesmanagementinformationsystembasedonPDA[J].ComputerEngineeringandDesign,2016,37(4):1113-1121(inChinese).[井雅,陳亭.基于PDA的電力物資到貨管理信息系統[J].計算機工程與設計,2016,37(4):1113-1121.]