基于大數據技術的智能安全運維管理平臺建設

摘要：交銀租賃信息系統擁有多個不同版本和類型的組件。運行維護人員和管理人員在運行事件發生后往往忙于系統搶險和應急處理，難以對每一項資產進行高頻率的人工檢查。究其原因，主要是這些資源的軟硬件結構復雜，維護過程煩瑣。目前，故障處理主要依靠人工排除故障。基于此，文章介紹了基于大數據技術的智能安全運維管理平臺，旨在實現對企業IT資產的快速有效管理。

關鍵詞：資產監控;智能運維;日志采集;實時告警;大數據分析中圖法分類號：TP311

文獻標識碼：A

Construction of intelligent security operation and maintenance managementplatform based on big data technology

MENG Wei

（Bocom Financial Leasing Co.，Ltd.，Shanghai 200000，China）

Abstract：At present， the bocomleasing IT system includes many components of different versions and types. Operation and maintenance personnel and management personnel are often busy with system rescue and emergency treatment after operation events， so it is difficult to conduct high- frequency manual inspection on each asset. The main reason is that the software and hardware structure of these resources is complex and the maintenance method is cumbersome.Troubleshooting mainly depends on manual troubleshooting. To sum up， this paper proposes and implements an intelligent security operation and maintenance management platform based on big data technology. The platform can realize the rapid and effective management of enterprise IT assets.

Key words： asset monitoring， intelligent operation and maintenance， log collection， real time alarm， big data analysis

1? 引言

依靠傳統人工檢查的工作方式，工作被動且效率低下，故障檢測效率低，容易遺漏，不能快速有效地進行檢測。為了解決上述問題，本文提出了基于大數據技術的智能安全運維監控管理，其能夠將監控和運維過程中產生的數據進行整合、收斂、規則處理、自動化分析，并利用大數據等新技術更快、更全面、更準確地對系統數據進行分析和挖掘，以生成知識庫，這不僅可以對處理問題的過程進行指導，還可以逐步對故障進行預判，從而“變救火為防火”。

2? 交銀租賃安全運維監控現狀分析

近年來，交銀租賃旗下的業務場景逐步變多，與之對應的機房內的網絡環境也變得越來越復雜。如何高效、可靠、穩定地維護機房內的設備，成為越來越迫切的任務。目前，大部分監控運維系統都停留在“發現問題”上，但是如何解決或者如何能夠更好地預防故障還都需要技術人員憑借自己積累的經驗來解決。該方式費時費力，而且容易出錯。交銀租賃信息系統主要存在的問題包括網絡環境越來越復雜、故障排除需人工參與、各個維度數據不能有效整合。

3? 交銀租賃大數據技術應用

3.1? 面臨的挑戰

在大數據技術集中化趨勢日益明顯的背景下，大數據在企業運維管理中的新探索和實踐方向是構建具有實時采集和海量分析能力的智能大數據運維系統。借助大數據技術，可以提升運維能力，實現事前及時預警、事后快速追溯等。

結合交銀租賃生產運維的實際情況，交銀租賃發起智能運維大數據平臺項目，針對設備監控，實施日志智能檢索分析、異常檢測和輔助預警等功能的建模與開發。開發完成后，將交銀租賃的所有運維數據完成數據集中（包括數據治理）處理，并且完成基于大數據技術的分析模型，幫助相關人員提高運維效率，并有效降低故障發生率。

3.2? 交銀租賃大數據運維體系

與傳統信息系統相比，大數據智能運維管理平臺的工作重點有較大的區別。通過運用多樣化的方法和手段、技術和系統、流程和文檔，對系統、人員、軟件運行環境等多種資源進行管理，確保大數據信息系統高效穩定運行。因此，大數據智能運維管理平臺的運維體系建設主要包含以下幾個方面。

（1）平臺架構

大數據智能運維管理平臺的構建主要包括設備層、采集協議、消息管道、數據處理、模型建立、業務展現等模塊（圖 1）。其中，設備層是所有數據的源頭;采集協議將采集到的數據傳給數據處理層，最后將用戶想要的數據展示給用戶。

（2）平臺運維任務

傳統信息平臺的運維任務完成效率與大數據智能運維管理平臺的運維任務完成效率存在較大差距。傳統信息平臺由一臺或多臺服務器組成，而大數據智能運維管理平臺由多臺服務器集群組成。如果硬件設備出現故障，將對傳統信息平臺產生很大影響，如影響其正常運行。對大數據智能運維管理平臺而言，如果由于底層故障導致數據備份不足，其服務會自動復制，進一步提升信息的使用價值[1]。

（3）平臺搭建

由于交銀租賃網絡環境的特殊性，生產環境中各個網段之間通過防火墻等網絡安全設備進行了邏輯隔離，因此大數據智能運維管理平臺采用雙機分布式的方式來部署服務器。該方式首先會部署兩臺服務器作為雙機熱備，以提供頁面訪問功能，然后會在各個網段部署相應的監控及運維節點，這些節點可對各自網段的所有設備進行數據采集及故障解決，并將最后的數據反饋給主服務器，由主服務器進行數據處理，以供用戶訪問。

通過大數據智能運維管理平臺的實時監控預警聯動，有助于提高企業的運營安全和效率，為企業的日常發展和業務運營提供保障，并提供安全可靠的基礎設施監控。

4? 交銀租賃智能安全運維管理平臺

交銀租賃基于大數據技術安裝智能安全運維管理系統。該系統擁有數據采集層、大數據處理層以及 Web 應用層。其中，數據采集層擁有用于采集主機、存儲器、網絡資源的采集工具以及用于采集 Web 應用層數據的專項采集程序;大數據處理層用于對采集層采集的各項數據進行分析，以生成運維指標，智能分析運維指標后，將有效的運維指標寫入數據庫中;Web應用層從數據庫中讀取數據，并在前端進行展示或者管理。

4.1? 平臺架構

智能安全運維管理平臺由身份認證管理、資產管理、資產監控和日志數據采集、合規安全處理、大數據分析、實時監控告警、智能運維策略推薦、統計分析報表等模塊組成（圖 2）。該平臺將設備監控和采集獲取的數據進行合規處理并存入數據庫中，方便采用大數據方法進行離線分析，對分析所得的異常數據進行告警及調用自動化腳本處理故障。最終將該故障現象及處理過程存入知識庫中。

4.2? 平臺的關鍵功能

（1）身份認證及訪問管理

智能安全運維管理平臺為客戶構建統一身份認證管理系統，其中包括構建統一的組織賬戶信息系統，支持多級、區域等多樣用戶組織管理以及用戶身份全生命周期管理，采用靈活的賬戶安全配置策略，從而達到賬號集中管理、角色有效劃分、資源權限細分的目的，并細粒度授權、認證方式靈活[2]。

（2）資產配置管理

智能安全運維管理平臺可提供自動發現 IT、配置核查、基線管理等功能，實現對企業整個 IT 資產的主動管理，包括服務器、路由交換機、防火墻、應用、虛擬化等設備庫;實現資產全生命周期的全流程管理。幫助企業全面掌握信息資產的分布，從而降低運營成本、提高運營效率。

（3）資產監控及日志收集

該部分包括資產的定時主動監控、設備故障日志收集、日志收集、中間件等應用軟件日志搜集。該平臺使用高性能采集器，分布式地收集不同采集對象的數據。對支持snmp協議的操作系統、網絡設備等，采集頻率可達60次/分鐘;單采集器的日志處理能力可達 5000EPS ，且可以集群的方式橫向擴展。

智能安全運維管理平臺能夠對傳統 IT、私有云、公有云、混合云等基礎設施進行全方位、多維度、可視化的統一管理，結合實時性能監控、高性能事件處理以及多方式故障預警，幫助用戶全面掌控網絡狀態和異常情況，深入檢查性能瓶頸和風險，快速定位技術故障及可能影響范圍。

（4）網絡拓撲實時監控告警

智能安全運維管理平臺可將資產自動生成網絡拓撲，并且通過設置的規則，能夠將實時監控與閾值告警的結果在網絡拓撲上進行展示，使核心資源及核心業務服務運行狀況一目了然。

（5）數據合規及安全處理

該部分主要是對上一部分采集到的數據進行自定義規則過濾。

（6）實時告警

該部分主要是對采集到的數據按照預先設置的閾值規則進行匹配，如果匹配成功就產生事件，并發送對應的告警給管理員;反之，如果設備恢復正常則要產生恢復事件給管理員。

針對異常告警是本平臺最重要的工作之一，其提供了郵件、短信等多種告警方式，并且可以分別采取不同的告警策略。

（7）安全運維及綜合審計

根據知識庫中構建的策略選擇系統內置的自動化運維腳本進行故障修復，并記錄運維日志，以完善知識庫。

智能安全運維管理平臺在簡化科技人員日常運維的同時，全面解決各種復雜環境下的運維安全問題，提升企業整體 IT 運維管理水平?？蓪崿F對運維人員的訪問過程進行授權和記錄，對日常操作的全過程進行管控，運行審計和過程回放，實現運維過程“事前預防、事中控制、事后審計”，筑牢信息運維的安全防線。

（8）自動化運維

智能安全運維管理平臺系統自動化運維主要是針對 Windows ，Linux ，AIX 等系統的自動化安全檢查及修復建議，以及 CMDB 配置項的發現和屬性采集，由六大部分組成。

5? 效果評估

通過部署雙機分布式安全運維管理平臺，服務器資源得到了有效利用，并節省了服務器的計算資源，而且單臺服務器的存儲資源也節省了15%。此前，單核處理器每秒能夠傳輸3000條數據。部署安全運維管理平臺后，每秒能夠傳輸6000～ 8000條數據。而且，在服務器單獨空跑，即不加任何計算時，單核處理器每秒能傳輸近1 萬條數據。同時，很少觸發 ES 保護機制，原因在于數據進行了分流。

6? 結論

本文提出了一種基于大數據技術的智能安全運維管理解決方案。該方案在實際運行中著重解決了以下三個問題：（1）“實時告警+故障處理”，可以快速高效地解決設備運行時產生的問題;（2）將日志收集、資產監控、運維三大板塊有效結合，實現設備故障的閉環處理;（3）基于大數據技術構建知識庫，有助于提前預防故障，杜絕安全隱患。不過，目前該方案只支持對部分常見設備進行有效運維管理。后續隨著算法的優化及設備相關信息的全方位分析，會逐步實現全網設備的智能安全運維管理。

參考文獻：

[1] 劉志勇，何忠江，阮宜龍，等.大數據安全特征與運營實踐[J].電信科學，2021，37（5）：160?169.

[2] 王俊，李咸寧.基于人工智能的計算機大數據安全技術平臺構建[J].科學技術創新，2020（34）：73?74.

作者簡介：

孟?。?984—） ，碩士，工程師，研究方向：信息安全。