IDC安防巡檢機器人網絡監控告警系統設計

摘要：IDC安防巡檢機器人的網絡監控系統拓撲結構復雜且存在盲區，以整體思路設計的告警系統可能導致機器人無法準確監測到所有的安全事件或異常情況。提出基于分布式Hadoop的IDC安防巡檢機器人網絡監控告警系統設計。引入HDFS體系結構及MapReduce任務處理技術，設計Hadoop高性能監控數據處理平臺，降低運維成本；在該平臺上設計IDC安防巡檢機器人網絡監控系統，對數據中心實施全面巡檢；構建基于能量特征變換的無閾值告警算法，提取監控項數據中的能量、波動以及時間3種特征，在此基礎上將隨機森林算法融合到模型中，自動形成巡檢軟件設計并觸發告警。實驗結果表明：所提方法具有較高的告警準確率和效率，且能夠有效降低IDC運維成本。

關鍵詞：Hadoop平臺；IDC；安防巡檢機器人；監控告警；能量特征變換提取；隨機森林

中圖分類號：TP242.3；TP277文獻標志碼：B文章編號：1671-5276（2024）06-0262-06

Abstract：As the network monitoring system topology of IDC security patrol robot is complex in structure with blind spots， its alarm system may cause the failure in accurately monitoring all security events or abnormalities. The design of IDC security patrol robot Network monitoring alarm system based on distributed Hadoop is proposed. The HDFS architecture and MapReduce task processing technology are introduced to design a Hadoop high-performance monitoring data processing platform for operation and maintenance cost reduction. The IDC security patrol robot Network monitoring system is designed on the platform to implement comprehensive patrol inspection on the data center. A threshold free alarm algorithm based on energy feature transformation is constructed to extract the three characteristics of energy， fluctuation and time in the monitoring item data. On this basis， the random forest algorithm is integrated into the model， automatically forming the patrol software design and trigger the alarm. The experimental results show that the proposed method has high alarm accuracy and efficiency and can effectively reduce IDC operation and maintenance costs.

Keywords：hadoop platform; IDC; security inspection robot; monitoring alarm; energy feature transformation extraction; random forest

0引言

互聯網數據中心（IDC）的運行維護是一項重要且艱難的工作。IDC可使企業從繁雜、重復性以及低價值的維護工作中解脫出來，投入到價值更高的處理工作中去，雖然極大地提高了生產能力和效益，但隨之而來的安全問題也越來越多。數據運營公司在人工智能不斷發展的背景下，迫切需要考慮如何引入IDC安防巡檢機器人并采用完備的有效網絡監控系統來應對突發的災難性事件，對異常情況及時告警并處理，保障網絡安全。因此IDC安防巡檢機器人網絡監控系統告警技術已成為該領域的研究重點。

趙慶兵等［1］利用參數自回歸算法實現IDC巡檢機器人網絡監控系統的早期預警。利用多維度時序數據進行參數自回歸，實現了對系統正常工作狀態的估計，并從實測值中提取殘差的特征，在此基礎上設定一個動態閾值，根據該閾值完成系統的狀態監測和告警機制。但方法容易產生誤告警問題，加重運維成本。林凌云等［2］利用知識圖譜技術建立IDC安防巡檢網絡監控系統的故障告警策略。該方法首先以系統歷史事故和變位信號作為IDC監控系統事故行為圖譜；其次利用異常行為建立系統異常行為圖譜；最后從圖譜中挖掘出告警信號之間的行為邏輯并顯示出來。該方法告警效率較低，同時也降低了系統的運行效率。

為了解決上述系統設計方法中存在的問題，本文提出一種IDC安防巡檢機器人網絡監控告警系統設計方法。

1系統基礎Hadoop平臺設計

IDC的海量運維監控數據是動態實時的，頻繁的數據采集，降低了監控效率，不能及時得到作業系統狀態問題的反饋，且增加了服務器運行成本。Hadoop平臺具有低成本、大規模、高效安全的優勢［3］，因此將整個IDC安防巡檢機器人網絡監控系統建立在Hadoop之上是實現低成本、高性能處理平臺的必要方式，其體系結構如圖1所示。

Hadoop主要由提供數據存儲功能的HDFS和在集群環境中提供數據分析計算功能的MapReduce組成。

1）HDFS

HDFS［4］是一個獨立的分布式文件系統，其容錯性較高，能夠根據IDC安防巡檢機器人網絡監控系統所需要和查詢的條件，存儲任意形式的數據并自動優化數據流量，保障較高的帶寬，降低數據的丟失并提高工作效率。其體系結構如圖2所示。

2）MapReduce

在IDC網絡監控數據采集時已經將采集到的數據實時保存在HDFS中，基于此可以利用MapReduce完成數據的讀取和處理。通過Map階段和Reduce階段實現網絡監控數據的分析和處理，也同樣適用于離線大數據的計算分析，其工作原理如圖3所示。

由此即可搭建一個數據規模易擴展、處理速度快的分布式海量數據處理監控平臺，在該平臺上完成后續IDC安防巡檢機器人網絡監控系統告警處理，能夠有效降低運行成本和提高安全性。

2系統的硬件與軟件設計

2.1Hadoop平臺上監控告警系統硬件設計

傳統的人工周期性安防巡檢存在巡檢內容單一、數據重復率較高等缺陷，IDC運維環境的復雜度以及巡檢人員工作能力等因素均會影響安防巡檢工作的質量。為此，本文基于Hadoop平臺，引入IDC安防巡檢機器人［5］輔助替代人工巡檢。IDC安防巡檢機器人的網絡監控系統主要由巡檢端和上機位監控系統兩部分組成，總體設計框架如圖4所示。

巡檢端主要負責底層控制端實施數據采集（包含溫濕度信息、燃氣濃度信息和甲醛濃度信息等）以及自主導航巡檢，其結構如圖5所示。

在機器人巡檢端中，ARM微處理器［6］的主要任務是處理采集到的各種數據，若數據超過預警值則執行語音報警和補救，以此減少經濟損失，在此基礎上利用串口將信息傳輸給樹莓派，再通過樹莓派將信息從網絡上傳到監控系統中。

當IDC安防巡檢機器人完成巡檢任務后，會將采集到的巡檢數據信息自動傳送到其網絡監控系統中，再利用網絡監控系統將信息傳送給上述設計的Hadoop平臺中，以此高效率、低成本地完成監控信息存儲和分析處理，為后續監控系統告警策略提供有利條件。

2.2軟件算法設計

本文所提方法通過上述方法獲取到監控項數據后，建立一種基于能量特征變換提取的無閾值告警算法，該算法能夠在滿足實時業務告警需求的前提下，有效提高告警準確性，其流程如圖6所示。

通過能量特征變換方法對監控項數據進行特征提取。能量特征變換是一種基于能量的特征提取方法，它能夠捕獲到信號中的能量分布特征并提取出能量相關的特征。

1）數據預處理

在監控過程中，由于受到某些主要儀器故障以及巡檢環境干擾，會導致在監控數據采集過程中出現部分數據缺失的現象。為了確保監控項數據的質量，利用數據填充法［7］，通過調整前后數據點的平均值填補中間的缺失數據，并采用滑窗建立數據集中的樣本，示意圖如圖7所示。

在Hadoop平臺上，滑窗窗口大小預設為5，監控項每隔5min讀取一次監控項數據，經數據預處理后得到N個監控值，相應獲取（N－5）+1個數據樣本。

2）基于能量特征變換的特征提取

通過數據預處理獲取監控數據完整樣本后，根據IDC監控項數據特點，采用基于能量特征變換的特征提取算法，提取以下3個方面的特征值。

a）能量

能量用于反映監控值的大小，提取計算公式如下：

式中：g1、g2、g3分別代表當前值、平均值以及能量值；u代表監控值；t代表第t個時間點。

b）波動

波動用于反映監控項數據的變化，計算公式如下：

式中：g4、g5、g6、g7分別表示斜率、標準差、高于均值個數以及相鄰絕對波動；η表示全部監控數據的平均值；I表示當前窗口內大于η的數量。

c）時間特性

時間特性表征當前監控值與時間的關聯，計算公式如下：

式中g8、g9分別表示以周為周期以及以分鐘為周期的關聯挖掘時間。將當前窗口t和前兩個窗口t－1、t－2中的特征組合作為最終特征值，表達式如下：

式中：At為每個窗口所提取的特征；Gi為組合特征集；t為窗口大小。

3）引入隨機森林劃分高維監控項數據

利用隨機森林來進行高維監控項數據的劃分，輸出告警結果。隨機森林［8］是一種包含一系列樹結構分類器，用j（x，Θk，k=1，2，…）描述，其中的Θk表示具有獨立均勻分布特性的隨機向量，分類過程分為3個步驟。

步驟1：子訓練集生成

通過Bootstrap方法從大小為N的原始監控數據集中采樣N次，建立M個子訓練集。

步驟2：特征選擇

從森林中所有樹節點中隨機選取部分特征，通過基尼指數法選取最優特征劃分節點建立決策樹［9］。基尼指數越高說明該監控項數據純度越高，其一致性也越好，計算公式如下：

式中：Gini（·）為基尼指數；F為給定的數據樣本；K表示其類別；Fk代表第k個類別的數量。若引入特征A，則需將F分為V1和V2兩部分，由此得到基于特征A的數據樣本F的基尼指數計算公式：

步驟3：由所建立的全部決策樹生成M顆樹組成的森林，每棵樹的權重相同，利用森林投票機制選擇到最多的類別則是監控項數據樣本的最終分類結果［10］，流程如圖8所示。

隨機森林具有較快的訓練速度、較高的分類精度以及較強的抗噪能力，能夠有效劃分高維監控項數據。為此將其引入到無閾值告警模型中完成訓練，訓練后的結果傳輸到Hadoop平臺上的IDC安防巡檢機器人網絡監控系統中，即可根據實際情況實時觸發告警并執行相應的措施。

3實驗與分析

3.1實驗設置

為了驗證基于Hadoop的IDC安防巡檢機器人網絡監控系統告警方法的整體有效性，需要對其展開測試。實驗對象為IDC數據機房巡檢機器人RW400，在主測計算機上安裝Hadoop分布式文件系統和Hadoop計算框架，搭建以IDC安防巡檢機器人為核心的機器人網絡監控系統告警實驗平臺，實現相關軟件的運行。

IDC安防巡檢機器人的巡檢環境設置如下。

1）攝像頭布置：實驗選擇500 m2的中型IDC機房，在IDC機房內合理地布置攝像頭以覆蓋關鍵區域和設備。攝像頭可以固定在天花板上或掛在墻壁上，確保能夠完整記錄需要巡檢的區域。

2）傳感器安裝：在機房內部安裝合適的LM35溫度傳感器、DHT22濕度傳感器、MQ-2煙霧傳感器，以便監測環境狀態并及時發現異常情況。

實驗參數如下。

1）Hadoop集群的節點數量：共設置3個節點，其中一個用作主節點，其余節點用作工作節點，以提供基本的容錯能力和高可用性。

2）使用YARN（yet another resource negotiator）來管理和分配計算資源，根據每個任務的需求動態分配資源。

3）數據分片大小：128MB或64MB。

3.2結果分析

采用本文所提方法和文獻［1］方法、文獻［2］方法開展誤警率和告警準確率、穩定度以及運行時間3個方面的測試。

1）誤警率和告警準確率

在IDC運維環境巡檢監控告警過程中，IDC安防巡檢機器人極易出現誤警情況，導致告警精度較低，為此將誤警率作為衡量IDC安防巡檢機器人網絡監控系統告警有效性的重要指標之一。誤警率指的是本來正常的數據被誤認為異常數據并觸發警告，利用所提方法和文獻［1］方法、文獻［2］方法并展開12次測試，得到圖9的對比結果。

由圖9可以看出，在實驗次數不斷增加的前提下，文獻［1］方法和文獻［2］方法的誤警率波動較大，文獻［1］方法的誤警率呈較大的增長趨勢，而文獻［2］方法曲線波動較大，穩定性較差；相比之下，所提方法的誤警率最小，最多不超過15%，說明所提方法具有更好的運行性能。

告警準確率指的是異常監控數據被成功判斷為異常數據的概率以及正常監控數據被判斷為正常數據的概率，將其作為評估指標，測試3種方法的告警準確率，結果如圖10所示。

由圖10可知，隨著實驗次數的增加，所提方法的告警準確率始終保持在88%以上且過程較穩定；文獻［1］方法的告警準確率在前3次測試中雖然能夠保持在65%左右，但隨著實驗次數的增加，該方法的告警準確率出現變化，告警準確率最低已經降到32%，會直接導致誤告警的發生；文獻［2］方法的告警準確率在全部測試中保持在50%～80%的范圍內。對比可知，所提方法的告警準確率相對較高，能夠有效增強網絡的安全性。

2）穩定度

告警方法的穩定度是保障IDC安防巡檢機器人監控性能的第二個重要指標，穩定度越高，系統運行的性能和可靠性越強，隨著監控數據的不斷增加，3種方法的穩定度變化情況如圖11所示。

從圖11中可以看出，其他兩種傳統方法在監控數據較少的情況下，穩定性較好，但隨著監控數據的增加，文獻［1］方法的運算穩定度出現大幅度下降的趨勢，文獻［2］方法的運算穩定度曲線不平穩。由此可以說明所提方法具有更高的運算穩定度，在提高系統運維穩定性的同時，也能相應地降低運行時間。

3）運行時間

在監控數據異常情況下的及時告警是保障IDC運維環境安全的關鍵。告警方法的運行時間越少，表明其告警實時性越高，對運維環境安全的可靠性越強。在與上述測試條件相同的基礎上，采用3種方法對監控數據分別展開異常告警測試，結果統計如表1所示。

分析表1可得，所提方法在監控數據增加到最多的800個時，運行時間為11.42ms，整體平均耗時為9.58ms；而文獻［1］方法耗時最長，平均為23.44ms，高于所提方法13.86ms；文獻［2］方法雖然低于文獻［1］方法，但高于所提方法2.58ms。相比之下，所提方法具有更高的計算效率，同時也代表所提方法具有更高的告警效率，提高了系統的工作效率。

在此基礎上，對上述實驗結果進行實際驗證。通過監控系統對機器人進行實時監測，收集機器人傳感器數據和執行狀態信息。利用Hadoop平臺進行數據處理和分析，檢測異常情況并觸發相應的告警。在上述設定的IDC安防巡檢機器人的巡檢環境下，基于Hadoop平臺構建異常檢測模型，通過監控系統實時采集機器人的傳感器數據和執行狀態信息，記錄機器人的位置坐標。當機器人位置偏離預定區域，系統及時發送告警信息給相關人員。檢測異常情況結果統計如表2所示。

由表2可知，當檢測到機器人位置偏離預定區域，IDC安防巡檢機器人網絡監控系統告警信息發送時延最長為3.34ms，表明所設計系統能夠及時觸發相應的告警機制。運維人員接收到告警信息后進行驗證和處理，還可以前往現場檢查機器人位置或傳感器狀態，或與機器人操作人員聯系確認狀況。通過上述實際驗證，可以確保IDC安防巡檢機器人的網絡監控系統的可靠性、及時性和準確性，提高IDC安全和機房設備維護的效率和可靠性。

4結語

為了降低IDC運維成本，保障運維環境的安全性，提出基于Hadoop的IDC安防巡檢機器人網絡監控系統告警方法。首先設計低成本、高效率的Hadoop數據處理平臺，在該平臺上引入IDC安防巡檢機器人網絡監控系統，用于數據中心運維環境的全面巡檢，最后以獲取到的巡檢監控數據為基礎，將隨機森林融入到建立的基于能量特征變換的無閾值告警模型中，實現IDC安防巡檢機器人網絡監控系統告警。本方法能夠有效提升IDC安防巡檢機器人網絡監控系統告警的準確率及穩定度，且方法耗時較短，具有重要的實際應用意義。

參考文獻：

［1］ 趙慶兵，魏士源，翟小飛，等. 基于參數自回歸算法的核電廠關鍵設備早期預警方法研究［J］. 核動力工程，2021，42（6）：209-214.

［2］ 林凌云，陳青，金磊，等. 基于知識圖譜的變電站告警信息故障知識表示研究與應用［J］. 電力系統保護與控制，2022，50（12）：90-99.

［3］ 朱嘉斌. 基于Hadoop+MPP架構的城市軌道交通大數據中心建設方案［J］. 城市軌道交通研究，2022，25（5）：54-57.

［4］ 喬嘉林，黃向東，楊義繁，等. 基于著色Petri網的HDFS數據一致性建模與分析［J］. 軟件學報，2021，32（10）：2993-3013.

［5］ 賀曉峰，廖志偉，肖華明，等. 智能巡檢機器人傳感與控制系統研究與設計［J］. 中國煤炭，2022，48（增刊1）：1-5.

［6］ 王春露，田瑞冬，趙旭，等. ARM處理器分支預測漏洞分析測評及新漏洞發現［J］. 西安交通大學學報，2021，55（7）：71-78.

［7］ 熊中敏，郭懷宇，吳月欣. 缺失數據處理方法研究綜述［J］. 計算機工程與應用，2021，57（14）：27-38.

［8］ 吳忠強，曹碧蓮，侯林成，等. 基于小波包變換和隨機森林算法的光伏系統故障分類［J］. 計量學報，2021，42（12）：1650-1657.

［9］ 吳澤楓，李成剛，宋勇，等. 基于NB-IoT模塊的機器人監控系統移動應用開發［J］. 機械制造與自動化，2021，50（1）：161-163，197.

［10］ 鄭伶俊. 變電站巡檢機器人系統設計與實現［J］. 機械制造與自動化，2023，52（2）：162-165，188.

收稿日期：20230808

第一作者簡介：張晨（1981—），男，四川成都人，工程師，本科，研究方向為電子信息工程，zdz5412145@yeah.net。

DOI：10.19344/j.cnki.issn1671-5276.2024.06.052