高校網絡日志大數據分析平臺研究

單康康+王佶+常曉潔+牟星亮+張華+朱生

摘 要： 許多高校面臨著用戶快速增長、網絡數據龐大、信息安全隱患等多方面的問題，校園網每天生成NAT、DNS、Web、VPN等海量網絡日志，對網絡IT運維管理和大數據處理提出挑戰。通過介紹一種基于大數據的海量網絡日志分析平臺，研究大數據分析平臺的技術架構與總線模塊，實現了對校園網海量日志進行統一收集與大數據分析。

關鍵詞： 校園網； 信息化建設； 網絡日志； 運維管理； 大數據分析

中圖分類號：TP393 文獻標志碼：A 文章編號：1006-8228（2017）04- -03

Abstract： Many colleges and universities are faced with the problems of rapid growth of users， massive network data and information security risks etc.， the campus network generates massive network logs of NAT， DNS， Web， VPN and so on， it challenges the network IT Operations Management （ITOM） and big data processing. This paper introduces a massive network logs analysis platform based on the big data technology， studies the technology architecture and bus module of big data analysis platform， and realizes the collection and big data analysis of the campus massive network logs.

Key words： campus network； information construction； network logs； ITOM； big data analysis

0 引言

隨著信息技術日新月異，各類應用層出不窮，部分高校已經建成一個集普適服務網、科研學術專網、物聯感知專網于一體，融數據、語音、視頻等各類信息通訊能力于一身，高速通暢、安全可靠的下一代校園綜合支撐網絡環境[1]。高校網絡用戶逐年遞增，網站流量、DNS域名解析、VPN數據、郵箱等應用每天產生海量數據。對校園網每天產生的海量日志進行存儲、計算、分析，研究如何充分利用大數據技術對校園網數據進行有效整合，更好地為廣大師生提供服務，為學校管理者提供更好的決策依據十分必要，這也是校園網運維未來發展和打造智慧校園的一部分。

1 需求與目標

高校的信息化建設普遍面臨著運維問題，即：校園網絡用戶規模逐年遞增，運維難度增大、比較被動、效率低。用戶基本通過電話報修，運維人員難以遠程定位故障，而上門維護時又難以再現故障，現有的網絡運維管理系統對運維的支持力度有限。如何充分利用現有的運維管理軟件，以及各類有線網/無線網運維過程產生的大量的結構化和非結構化的數據，是亟待解決的一個主要問題。

我們需要具備更強大的數據存儲、處理、分析的大數據平臺，以提高校園有線與無線網絡的運維效率、大數據分析和利用能力，需建設一套涵蓋有線與無線網大數據運維支持平臺系統，實現校園網運行數據的獲取、存儲、分析[2]。通過大數據處理，實現運維分析和查詢，提高運維主動性和效率、解決運維難題，能夠解決目前運維過程中發生的問題。例如，將現有VPN有線上網日志、無線上網用戶日志、DNS域名日志、網站訪問日志等相關的數據庫、信息系統日志文本數據等進行相關的處理分析，以提高運維方面的效率。該平臺軟件系統需要能夠平滑擴展，為未來的海量數據分析提供更多的數據利用的應用接口。

2 校園網大數據分析平臺總體框架

2.1 平臺拓撲

校園網大數據分析平臺，對有線網和無線網運行數據進行獲取、存儲、分析，通過大數據處理，實現運維分析和查詢，提高校園網運維主動性和效率，能夠解決目前運維過程中發生的問題。圖1為校園網大數據平臺拓撲結構。

2.2 平臺角色定義

校園網大數據分析平臺有如下系統功能角色定義和要求，如表1。

2.3 功能模塊

校園網大數據分析平臺需實現以下基本功能模塊。

⑴ 數據感知與獲取

運維數據不僅是實時數據，更要歷史數據，定期采集的多業務系統的歷史數據，對運維分析十分有用。整合認證系統、用戶管理系統、網管系統等多業務系統的數據[3]，實時或離線收集有線網絡/無線網絡的設備運行于用戶狀態數據，實現統一的數據管理分析平臺，解決多平臺之間手動切換的低效率運行模式。

⑵ 數據存儲與管理

大數據運維支撐平臺可以按需將歷史數據進行展示，可以是以用戶為中心的歷史展示，也可以是以設備為中心的歷史數據展示。例如，用戶報修宿舍有線/無線網絡不穩定或者信號差等問題并提供賬號和房間號等簡單信息，運維人員可以根據該用戶的歷史數據進行分析，例如歷史關聯AP信息，歷史信號強度信息等分析故障原因，實現數據支持的運維模式，提高運維效率。

⑶ 數據挖掘與計算

提供一個全面、準確、快速的跨系統檢索、比對、碰撞，同時又能進行海量數據運算，為全校網絡運維和無線AP故障排查提供智能化服務的應用平臺是當前的迫切需求[4]。例如：無線網運行數據匯聚與處理功能模塊，提供AP事件聚合，Top 10 AP使用統計等功能；無線網運維人員查詢定位功能模塊，通過配置管理和調用地圖，確定AP位置，同時能夠通過搜索快速定位；無線全網運行情況統計功能模塊，支持基于上網地點、所在小區、客戶端類型、使用的上網設備型號等方面的統計；無線網智能化分析判斷功能模塊，要求能夠支持報警信息分析，支持圖表方式實時監控上下載速度、AP連接終端數、AP狀態，快速定位故障AP位置等功能，為實現快速運維優化提供技術保障。

⑷ 數據安全與共享

校園網絡數據日志能夠較好地體現全校師生的日常活動范圍、日常生活情況、日常心理狀態等，這些對于提高全校師生的管理是非常有效的。利用相關數據日志，通過有效的數據挖掘、數據研判，獲取相關有用的信息，已成為校園管理信息化的基本要求。數據共享要求實現用戶隱私的保護，確保數據安全。通過處理分析數據，推送給第三方業務分析廠商使用，深度挖掘數據的價值[5]。在提供給第三方廠商開發或其他使用時，需要對提供的數據進行合理處理。如確保關鍵個人隱私信息如（身份證、電話號碼）部分位置隱藏等。

3 結束語

大數據技術的發展為數字化校園建設帶來了新的技術手段和依據。本文研究校園網絡日志大數據分析平臺架構和功能模塊，對有線網和無線網運行數據進行獲取、存儲、分析，通過大數據處理，實現運維分析和查詢，提高校園網運維主動性和效率，能夠解決目前運維過程中發生的問題，針對高校大數據的實際情況，有針對性地利用大數據思想和技術，充分發掘和分析高校大數據的價值，可以有效的加強運維保障水平，提高數據管理質量，提升部門工作效率，為高校管理決策提供支撐，并對教學、學習、校園安全的開展十分有益。

參考文獻（Reference）：

[1] 任凱，鄧武，俞琰.基于大數據技術的網絡日志分析系統研究[J].現代電子技術，2016.39（2）：39-41

[2] 姜開達，章思宇，孫強.基于Hadoop的校園網站日志系統的設計與實現[J].華東師范大學學報：自然科學版，2015.B03：126-131

[3] 章思宇，孫強，姜開達.自動化運維中的大數據分析[J].中國教育網絡，2015.7：27-28

[4] 張春生，郭長杰，尹兆濤.基于大數據技術的IT基礎設施日志分析系統設計與實現[J].微型電腦應用，2016.32（6）：49-52

[5] 單留舉，王曉東，馬英運.基于大數據的用戶學習偏好建模及應用[J].計算機應用與軟件，2016.33（1）：77-80