基于蟻群算法的Storm集群資源感知任務調度

劉夢青，王少輝

(1.南京郵電大學 計算機學院，江蘇 南京 210003；2.江蘇省無線傳感網高技術研究重點實驗室，江蘇 南京 210003)

基于蟻群算法的Storm集群資源感知任務調度

劉夢青1,2，王少輝1,2

(1.南京郵電大學 計算機學院，江蘇 南京 210003；2.江蘇省無線傳感網高技術研究重點實驗室，江蘇 南京 210003)

實時計算系統Storm是當前十分流行的開源流式系統，在處理流式數據時具有明顯的優勢，但也存在默認調度器在任務調度時難以將節點資源與任務需求相結合、節點資源利用率不高、節點內存不足以及網絡堵塞等問題。為了解決這些問題，提出了一種基于蟻群算法的Storm集群資源感知任務調度算法及其實現方案。該算法將節點的資源動態變化表示為螞蟻運動所需的信息素，將任務調度過程模擬為螞蟻覓食過程，以此對任務調度進行優化，保證了Storm任務調度的有效性。實驗結果表明，該算法能夠找到與當前任務所需資源最匹配的節點，從而實現資源的合理分配；與默認調度相比，具有更優的任務調度效率、更少的平均處理時間和更高的集群吞吐量，有利于集群負載均衡，優化集群的性能。

Storm；資源感知；蟻群算法；負載均衡

1 概 述

隨著互聯網的快速發展和云計算等技術的興起，數據正以前所未有的速度暴增，數據處理問題成為了當前不可忽視的問題。其中以多源并發、數據匯聚、在線處理為特征的流式數據(Data Stream)，已經成為當前的研究熱點。Storm是當前十分流行的分布式流式數據處理系統[1]，其強大的分布式集群管理、便捷的針對流式數據的編程模型、高容錯非功能保障，是它成為業界主流的首要原因。……