Hadoop下的在線網絡日志分析系統設計

劉芬

在線網絡日志分析系統，可以有效的保證網絡安全管理。但是當前使用的網絡日志分析系統存在無法有效的處理大量的日志數據、處理過程用時較長等諸多問題。因此本文提出基于Hadoop下的在線網絡日志分析系統，能有效的實現日志大數據的分級歸檔，更是實現了大數據的分級化存儲，有著較快的響應速度，具有較強的可行性和實用性。

【關鍵詞】Hadoop 在線網絡日志 系統設計

在計算機系統的網絡運行管理中，網絡安全問題尤為突出。那么加強網絡日志的管理，是實現和強化網絡安全管理的途徑。因此通過分析網絡日志，能有效的了解相關設備故障信息、運行背景及出現的多處異常信息數據，從而及時的發現并解決故障，繼而很大程度的提高維修效率，節省了維護成本。Hadoop作為一種大數據的資源開發處理平臺，在近些年的飛速發展中，被廣泛的應用于多處領域。Hadoop在網絡日志的分析系統中也被得以廣泛的應用。Hadoop能夠較為有效的將傳統的網絡日志中無法解決問題得以處理，但是當前的Hadoop日志分析系統主要還是離線模式。因此本文通過提出在線網絡日志分析系統，從而對構建大數據的在線分析系統有著重大的意義。

1 Hadoop在線日志分析系統設計

要想構建可以處理海量大數據的日志在線分析系統，就需要設計該系統具備如下功能：

（1）其一就是可以不受時空限制的，實時接收儲存日志的數據信息，只有基于該種功能才能保證后續的分析功能實現；

（2）其二要保證海量的信息數據得以有效管理，并且具備較高的信息功能拓寬性。日志數據的總量是持續不斷的增長的，那么該系統要想更好的實現存儲系統的維護，必然要保證日志數據的相關信息存儲是不會對系統功能造成較大的影響；

（3）其三就是需要及時的對用戶的需求進行響應，只有及時的完成響應，才能有效的達到所要完成的信息系統分析；

（4）其四就是整體的系統要保證一定的高效性。對于日志的功能分析主要是通過針對數據的整體操作從而完成的，對于具體的分析操作有相對穩定的模式，無需過多改動；

（5）其五就是可以實現數據的分割定位，來更加高效的滿足用戶對于數據的查詢需求。

2 文件分級歸檔管理機制

在海量的數據日志中，系統想要完成大數據信息的儲存，無疑會極其耗時。那么在實際的大型網絡運用中，通過排除部分特殊的情況，對于絕大多數的業務，使得大部分的網絡日志信息得以處理。用戶通常對于某一時段某一日志信息的來源有所興趣，因此需要對大數據完成有效的分級歸檔化管理。

在日志的諸多數據組織中，日志的時間以及信息的大小是尤為重要必然考慮的因素。日志的時間與具體的使用價值存在較為密切的聯系，只有保證日志的時間越接近，那么日志就越新就會被更多人訪問，從而具備較大的價值，反之價值則較小。文件的大小與數據信息的可定制性有所關聯，文件越大那么文件的數據就會越小，數據的可定性就會越差，反之則亦然。如果文件的大小過小，就會很大程度的影響數據的組織性，同時還會導致系統的信息處理效率有所下降。因此對于日志文件需要完成分級歸檔化管理，從而解決如上問題。此處通過以文件大小為例進行示范說明。

在進行歸檔管理之前，需要設置不同的日志文件大小參數指標。比如設置第一級參數指標為64MB、第2、3級參數指標大小為1和16GB，依次類推。那么相應的日志文件在歸檔中，就要滿足下級的文件數據量，要達到上級的文件大小標準時完成歸檔的過程。具體的歸檔過程（如圖1所示），當1級的日志文件合并成第2級文件，之后將該文件在1級文件系統中完成刪除，當第2級日志文件的大小達到16GB時，再次啟動程序合并成第3級文件，進而類推完成逐層的歸檔合并。

3 系統部署框架

通過依照在線網絡日志分析系統的功能性進行劃分，從而形成了一個較為簡單的系統部署框架（如圖2所示）。該系統構架的主要組成部分包括了：日志轉換器1臺、日志文件收集服務器3臺、以及日志分析服務器1臺還有Hadoop集群1套，以及若干個日志源設備。其中期指分析服務器是該系統框架的中心部位。主要的系統交互類型包括了三種：日志流以及控制流還有業務流。

4 結語

在實現網絡安全管理中，網絡日志分析是極其重要的組成部分。傳統的日志分析已經無法實現多種功能需求，因此本次通過提出Hadoop下的在線網絡日志分析系統，從而有效的實現了日志大數據的分級歸檔機制，更是實現了大量的數據分級化存儲，有著較快的響應速度，但是該系統的內在組成構架尤為復雜，因此亟待開展部分針對性的開發工作。本次研究雖然表明此種系統的有效可行性，但是部分細化問題還有待深入探究。

參考文獻

[1]胡光民，周亮，柯立新.基于Hadoop的網絡日志分析系統研究[J].電腦知識與技術：學術交流，2010，06（08）：6163-6164.

[2]楊鋒英，劉會超.基于Hadoop的在線網絡日志分析系統研究[J].計算機應用與軟件，2014，31（08）：311-316.

[3]劉永增，張曉景，李先毅.基于Hadoop/Hive的web日志分析系統的設計[J].廣西大學學報（自然科學版），2011，36（s1）：314-317.

[4]劉永增，張曉景，李先毅.基于Hadoop/Hive的web日志分析系統的設計[C].中國教育和科研計算機網cernet學術年會，2011.

作者單位

國網湖北省電力公司信息通信公司 湖北省武漢市 430000endprint