大數據流式計算關鍵技術研究

孟云飛

(哈爾濱職業技術學院，哈爾濱 150076)

流式計算是大數據的一種重要計算模式，與傳統的基于確定數據規模的批量計算不同，流計算具有數據規模無限，數據到達連續、快速、無序，數據不穩定，數據處理多樣化等特點[1]。大數據流式計算作為大數據的一種重要技術手段在商業智能、營銷、公共服務等諸多領域有著廣闊的應用前景，在金融、互聯網、物聯網等場景應用中獲得了較多的成功案例。但數據的龐大與快速增長給大數據的分析處理帶來了巨大的技術難題，特別是在金融、互聯網等行業，傳統的MapReduce批處理模式已經難以滿足流數據處理的實時性要求，因此研究低延遲、高可靠性及可擴展的大數據流式計算系統具有重要的理論價值與現實意義[2]。

1 大數據流式計算及其特征

大數據流式計算是指按照時間順序增加無限的數據序列，其中包括歷史數據和不斷增加的新數據序列。流式計算對于數據處理的實時性要求比較嚴格，但是對于數據的精確度要求則較為寬松，主要原理是數據的價值隨著時間的推移而降低，因此處理數據的速度越快結果就越有價值[3]。大數據流式計算不需要對數據進行存儲，而是在數據獲取后對數據進行計算并反饋，響應時間非常快，一般在百毫秒到數秒不等。

隨著物聯網、人工智能、云計算等互聯網產業的迅速發展，大數據也日益呈現出流式的鮮明特征。流式計算與傳統的批量計算有所不同，其主要特點如表1。

由表1可以看出，大數據與傳統的批處理方法相比在時效性、有序性、數據量、數據處理速率、是否重現、移動對象、計算方式、常駐空間等方面都具有一定的優勢，不足之處是精確度上可能較低，但是與海量的數據信息處理相比并不十分重要，這也和其原理有關。

表1 大數據流式計算與MapReduce批量計算的比較Tab.1 Comparison of big data streaming computing and MapReduce batch computing

大數據批量處理數據的流程可以用圖1有向無環圖(directed acyclic graph，DAG)來表示其一般工作原理，其中圓環表示數據計算節點，箭頭表示數據處理的方向。

圖1 有向無環圖(DAG)Fig.1 Directed acyclic graph(DAG)

大數據流式計算與批量處理技術有所不同，主要體現在以下幾個方面：

一是突發性。流數據的生成完全由數據源決定，因為不同的數據源在不同的時間和空間范圍內具有不同的狀態，其動態也是在不斷變化，導致數據流入系統的速率存在很大的不確定性，數據流中經常混合錯誤元素[3]。

二是易失性。在大數據流計算環境中，數據流通常在到達后立即計算和使用，只有少數數據將被持久化，而大多數數據將被直接丟棄。數據的使用通常是一次性且不穩定的，即便是重放，產生的數據流也往往不同于先前的數據流，這要求系統具有一定的容錯能力，充分利用唯一的數據計算機會，并盡可能全面、準確和有效地從數據流中獲取有價值的信息[4]。

三是無序性。數據流中的數據元素隨機到達，系統無法控制要處理新到達的數據元素的順序，由于時間和環境的動態變化，無法保證重放數據流與前一數據流中數據元素序列的一致，這就需要系統具有較強的數據分析與邏輯處理能力。

四是無限性。流式數據可以抽象為一個無限的數據序列，只要數據源處于活動狀態，數據就能夠生成并繼續增加時，另外潛在的數據量是無限的。

五是實時性。流式大數據是實時生成和計算的，結果反饋較為及時，其價值的有效時間往往較短，大部分數據到達后直接計算并丟棄在內存中，只有少量數據長時間保存在硬盤中，這就要求系統具有足夠的低延遲計算能力，能夠快速計算數據，并在數據價值有效的時間內反映數據的可用性，對于時效短、潛在價值大的數據可優先計算[4]。

2 大數據流式計算的關鍵技術及實例分析

針對以上對大數據流式計算特點的分析，理想的大數據流式計算應該是一種高吞吐、低延時、穩定可靠和可擴展性的計算系統，想要實現這些特性離不開數據傳輸、系統架構及接口調用等關鍵技術的整合與設計。

2.1 數據傳輸

數據傳輸是在大數據流計算環境中為了實現高吞吐量、低延遲，將定向任務圖部署到物理計算節點后計算節點之間的數據傳輸方式，需要更系統地優化定向任務圖和其到物理計算節點的映射。在大數據流計算環境中，數據傳輸模式分為主動推送模式(基于Push模式)和被動拉取模式(基于拉取模式)[4]。

由表2可以清楚的看出主動推送模式與被動拉取模式的工作原理及優勢、劣勢。由于大數據流式計算對于時效性要求較高，因此一般選擇主動推送模式來傳輸數據，這樣會提高數據傳輸效率。但被動拉取模式與其并不相悖，將兩者結合使用可以在某種程度上達到更佳效果。

表2 數據傳輸模式比較Tab.2 Comparison of data transfer mode

2.2 接口調用

接口調用便于用戶根據流計算的任務特點，利用有向任務圖描述任務的內部邏輯和依賴關系來實現任務圖中各節點的處理功能。用戶策略的定制、業務流程的描述和具體應用的實現需要調用大數據流計算系統的接口。良好的應用接口可以方便用戶實現業務邏輯，減少用戶的編程工作量，降低用戶系統功能的實現門檻。

目前，大多數開源大數據流計算系統都提供類似于MapReduce的MR用戶接口。比如：Storm提供的Spout和Bolt接口，用戶只需要定制其功能并規定好其數據流向，就可以滿足流式大數據的高效計算[4]；也有利用SQL的編程接口來滿足流式大數據的計算；也有通過利用圖形化界面提供的組件來滿足大數據流式計算的需求。

2.3 系統架構

系統架構是系統中各子系統的組合，屬于大數據計算的共有關鍵技術。對于大數據流計算，目前需要選擇特定的系統架構來部署流計算任務。大數據流計算系統采用的系統架構可分為無中心節點的對稱系統架構(如S4系統)和有中心節點的主從式架構(如Storm系統)。

對稱式與主從式系統架構的優缺點如表3。

2.4 系統實例分析

對稱式典型系統為S4系統(simple scalable streaming system)，是由Yahoo推出的通用、分布式、可擴展和可插拔的流式計算系統。開發人員可以基于此引擎進行開發面向無界持久流數據處理的應用程序。S4將數據流抽象為(K，A)形式的鍵值對元素序列，其中K和A分別表示此類事件的鍵和屬性。S4系統由用戶空間、資源調度和處理節點空間組成[2]，采用去中心化的對稱架構并通過多個相互獨立的節點實現具體的邏輯業務，能夠有效保證系統在高并發請求時有條不紊的處理。

Strom主要采用主從系統架構，是由Twitter支持的分布式、開源、實時、主從式大數據流計算系統，最新版本是Storm 0.8.2，核心部分是利用一種高效流式計算的功能性語言，極大提高了系統性能，為了方便用戶使用，支持使用任何編程語言進行項目開發。另外，任務拓撲是其邏輯單元，實時應用程序的計算任務將打包成任務拓撲并發布。提交任務拓撲后，除非人工中止，否則它將一直運行。任務拓撲是由一系列Spout和Bolt組成的有向無環圖，通過數據流實現兩者的關聯。

3 大數據流式計算面臨的挑戰及發展前景

大數據流式計算在系統的容錯、狀態一致性、負載均衡等方面還面臨著一些挑戰。

系統容錯機制是為了進一步提高整個系統的性能，提高計算結果的滿意度，保證系統穩定運行的重要措施，同時也是當前流式計算系統所缺失的。數據流是實時連續的，在時間上表現出不可逆性，一旦數據流通過，再次重放數據流的成本非常大，甚至不現實，因為數據流的持久性和無限性，無法預測未來流量的變化趨勢。

大數據流計算環境對狀態一致性提出了新的挑戰。一是在實時性要求高、數據速率動態的環境中，維護哪些數據的狀態一致性及如何從高速海量數據流中識別這些數據是一個巨大的挑戰。二是在大規模分布式環境中，如何組織和管理相關數據、實現系統狀態的一致性、滿足系統對高效組織和準確管理數據的要求，也是一個巨大的挑戰。

目前，大多數系統不能有效支持系統負載平衡。例如，storm、S4和其他系統不支持負載平衡機制，Kafka系統部分支持負載均衡機制。在大數據流計算環境下，系統的數據速率具有明顯的可變性，持續時間往往無法有效預測，因此傳統環境下具有良好理論和實踐效果的負載均衡策略將不再適用于大數據流計算環境。

大數據流式計算是分布式并行計算的研究熱點，Strom、S4系統的大數據流式計算系統已經廣泛應用于金融、通信、互聯網等行業中。未來，網絡數據規模的擴大將給大數據流式計算帶來空前的挑戰。還需進一步對其關鍵技術進行深入研究，使大數據流式計算更好地服務于社會經濟的發展。