基于Petri網的Hadoop性能仿真系統的設計與實現

楊　生　北京郵電大學數據科學中心碩士研究生劉　軍　北京郵電大學數據科學中心副教授劉　芳　北京郵電大學數據科學中心副教授

?

基于Petri網的Hadoop性能仿真系統的設計與實現

楊生北京郵電大學數據科學中心碩士研究生
劉軍北京郵電大學數據科學中心副教授
劉芳北京郵電大學數據科學中心副教授

摘要：隨著Hadoop在學術界和工業界的廣泛應用，極大推動了大數據技術的發展，如何更為高效地使用Hadoop成為了業界關注的焦點。本文介紹了對Hadoop性能進行仿真的方法，及其實現機制。

關鍵詞：Hadoop；性能仿真；Petri網；性能優化；集群搭建

1　引言

伴隨著Hadoop的出現，其展現出的高效、易用、穩定、擴展性好等諸多優點，成為了學術界和工業界進行海量數據處理的首選方案，更是名符其實開啟大數據時代大門的金鑰匙。

數據驅動業務作為大數據時代的核心命題，如何完成海量數據的及時處理以滿足業務需求，一直是當今業界最主流的研究方向。面對大型互聯網公司動輒過千臺的Hadoop集群規模，有效地提升計算效能尤為重要。其他各領域的公司也緊隨時代腳步發展了自身的數據分析部門，滿足業務需要并控制成本，則是這些公司更為注重的。因此，對Hadoop的數據處理能力進行預估，并提供集群優化指導建議是非常有必要的。

但是通過傳統的測試對比分析的方法來評估Hadoop處理能力具有較大的局限性。首先，由于Hadoop作業往往完成耗時較長，測試實際運行情況效率低下；……