基于R語言實現的網絡運維數據分析及數據可視化

胡丹

摘 要：本文針對IT網絡運維中的幾種常見問題，結合自身網絡環境、運維策略并參考ITIL中的基本管理要求，綜合分析出問題關鍵。利用IT運維服務平臺的API數據接口采集實時運維數據，運用R語言編程對運維數據清洗后分析，并將數據可視化結果嵌入基于Rshiny技術構建的網站進行發布。分析結果也可作為優化IT運維服務平臺功能、建設適于自身業務場景的ITIL運維標準的重要參考依據。使用該分析方法，解決了日常IT運維中難以合理評估及量化運維工作量、運維團隊缺乏數據支撐的調度策略優化以及運維技術人員難以直觀獲取大規模WIFI無線網部署環境下設備狀態的總體情況等常見運維問題。

關鍵詞：數據分析;數據可視化;ITIL標準;網絡故障;R語言

中圖分類號：TP307 ? ? ?文獻標識碼：A ? ? ? 文章編號：1003-5168（2021）30-0009-03

Abstract： In order to solve several common problems in IT service works， the key points of the problems are comprehensively analyzed in combination with its own network environment， operation strategies and with reference to the basic management requirements in ITIL. The real-time maintenance data are collected by using the API data interface of IT service system platform， then R language programming is used to clean and analyze the maintenance data and the results of data visual analysis on Rshiny website are published. The analysis results can also be used as an important reference for optimizing the function of IT service platform and building ITIL standards suitable for their own network scenarios. Using this analysis method， three common maintenance problems in IT services are solved： 1. It is difficult to reasonably evaluate and quantify the maintenance workload in daily IT services; 2. The operation and maintenance team lacks data supported scheduling strategy optimization; 3. It is difficult for technicians to directly obtain the overall equipment status of a large-scale WiFi wireless network.

Keywords： data analysis; data visualization; ITIL standard; network failure; R language

在業務日趨細分化、復雜化的今天，各類機構的日常辦公與業務管理高度依賴于IT環境，運行稍有不慎就可能造成巨大損失。因此，IT運維工作的有效性與及時性顯得極為重要。大中型企事業單位的IT設備和業務系統數量眾多且架構復雜，IT運維難度極大。

ITIL、ITSM、ITSS等IT運維標準，雖然內容有差異，但其核心思想均是通過運用IT管理流程化、數據記錄標準化等方法，提高工作效率和服務質量，從而更好地為業務系統穩定運行保駕護航。建立IT運維標準和搭建IT運維工具的目的也在于此，通過對IT業務進行有序化、透明化的管理，各類IT運維標準的底層是對IT基礎設施的設備管理，最上層是對業務系統的流程化管理。

1 研究說明

1.1 數據來源

本文研究數據來源于武漢大學IT運維平臺中網絡故障報修數據和其公共無線WIFI網絡的設備監控數據，時間為2020年8月至2021年7月。其中，網絡故障報修事件2368起，無線網設備約1.5萬臺。

1.2 研究內容

本次對以下IT運維/網絡運維中常見的痛點問題進行研究并分析解決方案。

（1）日常運維工作量難以合理評估和量化;

（2）運維團隊調整和優化運維策略缺乏充足并有效的運維數據做支撐;

（3）技術人員難以直接獲得大規模WIFI無線網絡的整體設備狀態。

上述問題對應到ITIL運維模型時，問題（1）（2）主要對應到運維流程管理中的事件管理模塊。問題（3）主要涉及IT基礎架構監控中的故障管理，所監控的設備子類為無線AC設備與無線AP設備。

1.3 研究工具

R語言是統計、預測分析和數據可視化的全球通用語言。它提供各種用于分析和理解數據的方法，從最基礎的到最前沿的，無所不包[1]。同時，R是一個開源項目，其是在很多操作系統上都可以免費得到的優秀工具。

文中部分R工具包：數據可視化包ggplot2;繪制地圖或2D/3D可視化的rayshader工具包;用于發布交互式web網站Shiny工具包。

2 研究結果可視化與分析

由于IT運維體系中數據字段眾多，此處只介紹與分析過程和結果相關的字段。

涉及字段名稱及含義如下：（1）ID：工單編碼;（2）進行狀態：實時維修狀態;（3）創建時間：工單創建時間;（4）故障區域：辦公區/宿舍區;（5）校區：1/2/3/4校區;（6）樓棟：故障發生樓棟名;（7）故障類型：有線故障/無線故障。

2.1 各校區報修數量分析

針對本文1.2章節中問題（1），分析總體故障報修情況可用直方圖[2]、時間序列分析等方法，實現效果如圖1所示。

由圖1可知，運維量和故障類型存在明顯的時間和地區分布差異。故障分布情況經分析有如下特點：無線網絡故障遠多于有線網絡故障，因此無線網絡故障突發時對該時間段的運維總量影響顯著;全年中每日運維量與每日無線故障數的峰值分布基本一致，但有線網故障也有其自身的小高峰分布特點;四個校區分別有不同的故障發生小高峰，一般這些峰值由局部設備升級、熱門網絡應用造成網絡擁堵等原因造成。

進一步分析可得，暑期開學和寒假開學時報修總量急劇增多，九月新生入校時報修量為全年最高，此時大部分報修故障為無線網絡故障。由各校區報修情況匯總來看，三校區故障所占比例最高，且該校區的故障峰值主要發生在暑期和寒假剛開學時，推斷可能是由于理工科在校學生對校園網體驗預期偏高，建議對網絡延遲較敏感或娛樂需求偏多的學生切換至電信運營商賬號進行資費與體驗升級。

選取圖1部分實現代碼為例，如下：

data_read<- read_excel（“list_whu.xlsx”）

#將讀取自API接口的數據寫入excel

#讀取excel數據并導入數據框

data_it<-sqldf（"select * from data_read

where 進行狀態 like ‘%closed%

and 創建時間 like ‘%%

and 樓棟 not like ‘%未填寫%

and 故障區域 like ‘%學生宿舍區%

and 校區 like ‘%%"）

#使用sql語法查詢實現清洗掉異常數據

#通過修改sql查詢條件，調整數據樣本

ggplot（data_it ，aes（創建日期，fill=故障類型）

windowsize =c（4000，2000））+geom_histogram（bins=300）+facet_grid（校區～.～故障類型，scales=‘free_x）

#使用ggplot2可視化分析包，繪制直方圖

#設置繪圖區的分辨率、樣本密度、子圖等

2.2 各樓棟報修數量分析（各校區分別排序）

為進一步分析本文1.2章節中的問題（2），分析運維總量中的故障類型和分布構成等，對數據進行熱圖分析[3]，并將結果3D化。如圖2所示，不同樓棟在不同時間的報修量差異較大，通過細致研讀數據并繪圖，也分析部分深層運維問題的成因和解決方案，以便及時調整運維策略。

例如，針對出現運維量陡增的樓棟，綜合分析背景和故障分布得知：2020年寒假前，二校區故障報修量陡增，經分析，主要原因是宿舍網絡工程改造時后勤溝通不足;而2021年5月，當年新的三學期制帶來的暑期網絡改造提前和校外學生搬遷回校，部分宿舍僅有一周時間安裝調試無線網絡，雖已緊急組織團隊趕工完成，但因部分建筑弱電結構不合理造成部分網絡匯聚的結構并不是最優方案，需在學生入住后進一步調整結構解決問題，給運維帶來較大難度。

代碼節選示例如下：

3d_it<-ggplot（data_it ，aes（創建日期，樓棟，fill=故障類型，color=故障類型））+geom_bin2d（bins=300）

#針對時間維度和樓棟地點進行分類顯示

plot_gg（3d_it，windowsize = c（1920， 1080））

#2D熱圖結果保存并轉換為3D熱圖

runApp（“d：/data”， port = 2727，launch.browser =T，host = “127.0.0.1”）

#shiny工具包實現基于R語言的WEB發布

2.3 各類網絡設備狀態數據分析

由于當前無線AP設備數量龐大、種類繁多，加之AC的單機性能有限等，本校擁有近十臺不同品牌、不同型號的AC控制器設備。一旦遇到設備小范圍故障，運維人員需進一步判斷是否可能發展成大范圍故障，同時需考慮到AP數量龐大帶來的設備巡檢困難。為解決本文1.2章節中的問題（3），即分析數據并繪制得到全校近1.5萬臺AP設備的可用性和分布情況、校區分布、不同AC控制器分布、不同AP型號分布等。

主要實現代碼如下：

ggplot（data_device ，aes（AP型號，所屬AC，fill=運行狀態））+geom_jitter（bins=300）

3 結語

本文通過采集運維事件數據和設備狀態數據，對校內IT運維工作中的一些數據進行可視化分析，并針對文中提出的幾個運維常見問題進行分析，并以分析結果為依據調整運維策略。

在完成R語言編程的過程中，也發現R語言在類似分析研究工作中的優缺點均較為明顯，希望嘗試本方法的分析人員需自行權衡。優點有：代碼結構清晰語法簡單，R語言對中文支持良好，結果直觀可讀性強等。缺點有：分析人員需同時具有一定的計算機和數學技能，R語言學習曲線略為陡峭，繪制部分高級圖表時對電腦性能有一定要求。

總體來說，本文對IT運維數據的分析效果良好，該分析方法適于在該領域廣泛應用。

參考文獻：

[1] 卡巴科弗.R語言實戰[M].北京：人民郵電出版社，2013：1.

[2] 張杰.R語言數據可視化之美[M].北京：電子工業出版社，2019：157-158.

[3] 哈德利·威克姆.ggplot2：數據分析與圖形藝術[M].西安：西安交通大學出版社，2013：58-59.