可裝配的大數據流式計算引擎

李爽 張飛 王穎卓

摘 ?要：本方案涉及大數據技術領域一種流式數據計算引擎的實現方法和裝置，包括：接收用戶編輯請求，所述編輯請求中包括算子及其配置信息;根據所述算子及其配置信息提交給編譯引擎，編譯引擎通過編譯識別所述算子及其配置信息，對所述的算子及其配置分配運行空間及監控設備，提交編譯后的算子及其配置信息到計算引擎進行數值計算，并通過推送引擎將計算結果通知到最終用戶。

關鍵詞：流式數據計算引擎;流式計算算子;算子運行空間

中圖分類號：TP274 ? ? 文獻標識碼：A 文章編號：2096-4706（2019）13-0100-03

Assemblable Big Data Flow Computing Engine

LI Shuang，ZHANG Fei，WANG Yingzhuo

（Technology Division of China UnionPay，Shanghai ?201201，China）

Abstract：This project involves the implementation method and device of a flow data computing engine in the field of big data technology，including：receiving user edit request，which includes operator and configuration information;described according to the operator and its configuration information to compile the engine，engine operator described by compiling recognition and its configuration，its configuration information to described by the operator operating space distribution and monitoring equipment，and its configuration information to submit the compiled operator calculation engine，numerical calculation，and the results to the end user via the push engine.

Keywords：flow data computing engine;flow calculation operator;operator operating space

0 ?引 ?言

大數據的實時計算一直都是大數據領域一個比較熱門的方向，現有的大數據實時計算框架豐富多樣，比較有影響的有Flink、SparkSream、Storm等，以及各個公司根據自己的產品特點自行研究的一些大數據實時計算框架。

實時計算框架的多源性雖然豐富了開發人員、終端使用人員的選擇，但是也給開發人員和終端人員的使用帶來困擾，而且在很大程度上影響了開發人員和終端人員之間在不同實時計算框架之間的協同工作。在多種技術并行的情況下極大地影響了開發人員和終端使用人員的入門門檻。

1 ?技術背景

現有業界的相關產品以阿里巴巴網絡技術有限公司的實時計算調度裝置為典型代表，其由數據源管理裝置、內部數據結構轉換裝置、算法表達翻譯及執行引擎等裝置外加一組相關的裝置管理裝置構成。

目前業界的相關產品在通用化、易用化方面的開發實施成本都非常高，試分析如下。

數據源管理：現有的數據源管理裝置要么要求數據源實現統一的數據源訪問接口（例如JDBC、ODBC、BDE等），要么由平臺進行自適配數據源工作。導致增加數據源非常困難，尤其是非結構化數據源的引入基本不存在一個統一的數據源訪問接口，而且數據提取規則形式多樣，同一份文件甚至有數十種不同的解讀方式，導致自行適配基本不可能完成。

內部數據結構轉換：現有的數據源轉換要求對具體的業務流程和抽象都有非常明確的認知和了解，否則抽象出來的內部數據結構會存在各種偏差。終端使用人員基本無法參與，需要額外引入相關建模人員。

算法表達翻譯及執行：現有的方式不可避免地會引入新的約定或者語法規則，會給開發、終端使用人員帶來額外的學習成本。

相關的管理系統：現有的相關管理裝置至少會包含用戶管理、數據源管理管理、內部數據結構轉換管理、算法表達翻譯及執行引擎管理等管理系統。管理關系復雜，部署維護成本高。

2 ?實現方式

2.1 ?流式計算引擎整體流程

一個典型的裝置結構如圖1所示，其中用戶交互部分涵蓋了推送引擎和編輯引擎兩個功能裝置。用戶通過編輯引擎輸入算子描述，編寫業務邏輯。編輯引擎會根據該算子的配置規則，進行編輯校驗，包括語法助手、文法檢查等。并對所編輯的任務進行調度顯示以及完整的任務管理。編輯引擎通過輪詢數據庫的方式對用戶編輯的任務進行觸發條件檢測，當滿足觸發條件時則通過RESTful接口推送業務算子及對應的描述信息到編譯引擎。

2.2 ?編譯引擎建立

編譯引擎識別并編譯用戶定義的業務邏輯，選擇對應的算子。編譯引擎至少要完成以下功能：

（1）通過用戶給定的配置參數編譯成一個獨立的具備輸入輸出的能完成獨立功能的特定程序代碼算子。

（2）根據創建出的算子發現對應的流數據處理平臺，并能夠創建一個使之運行、銷毀的運行空間，該空間可以但不僅限于使用計算機操作系統所提供的線程或者進程來實現。

（3）一個能監視提交算子的運行狀態的任務審計子功能，在必要的時候對算子的運行狀態進行告警處理。用來發現、創建、執行、銷毀具體算子的特定程序代碼。

整個裝置的數據流如圖2所示，其中接口調用方式以RESTful為優先考慮的接口暴露方式，在具體實現中可以使用其他方式進行替換。

編譯引擎：作為整個提案的核心，該編譯引擎定義并實現了對外的算子調用接口（優先的RESTful接口）、算子管理、算子空間管理、算子審計管理等。

算子空間：作為算子執行的核心，該裝置定義并實現了算子的實現發現、創建，及運行、銷毀等管理動作。

通用算子模型：約定、發布、管理、審核所有算子的實現是否符合算子開發規范及慣例接口。

算子審計：針對算子的運行狀態提供相應的審計報。

2.3 ?計算引擎建立

計算引擎實現具體的數值計算。包括窗口聚合、累計、TOP、ABTest、CEP等具體算子的任務分發。分發系統包括但不僅限于Flink、SparkStream、Storm，或者任何其他流數據計算平臺。計算引擎處于整個流式數據計算引擎的計算核心，還可通過圖3所示的方法流程對計算引擎進行補充。

如圖3所示，該方法流程可包括：

本方案采用算子通過選擇特定的實時計算框架對數據源直接進行操作，對數據源不進行任何管理，對應的傳統技術的數據源管理裝置，在本提案中沒有該裝置的存在，相應的也不需要引入傳統技術中該裝置的各種弊端。

本方案采用算子對源數據進行直接解析，對數據結構不做任何二次抽象化操作，對應的傳統技術的內部數據結構轉換裝置，在本提案中沒有該裝置的存在，相應地也不需要引入傳統技術中該裝置的各種弊端。

只發布具體執行算子，不引入任何約定或者語法規定（算子的配置參數約定例外），對應的傳統技術的算法表達翻譯及執行引擎裝置，但在本提案中對其進行了顛覆性定義。所以不具備可比性。

構建簡單，編輯引擎裝置、推送引擎裝置、編譯引擎裝置，計算引擎裝置四類及相應的管理裝置（其中編輯引擎裝置、推送引擎裝置均屬于用戶交互管理），不需要對數據源、數據進行二次抽象、算法表達及管理等系統管理。

2.4 ?實現包確定

基于上述的技術構思，本案提的實現結構如圖4所示。

本方案中的裝置管理系統采用前后端分離方式，其中GUI管理頁面采用成熟的商業化GUI構建軟件EXTJS實現，但僅限于內部使用，不作為對外提供的用戶界面，同時也提供了基于HTTP的RESTful接口和內部RPC調用接口進行直接管理，為減少部署資源的使用及部署復雜度，同樣地也可以使用對應的管理流程制度，作為一個輔助的可選裝置存在。在整個提案中可以通過各種表現形式進行替換。

本方案中的編輯引擎具有多樣化的實現方式，不限于GUI、CUI等輸入方式，但是核心必然是對發布算子進行選擇，對選擇確定的算子進行運行時的參數配置，以及任務的提交，提交方式也不限于HTTP RESTful，也可采用其他RPC提交方式。

本方案中的編譯引擎具有多樣化的實現方式，不限于具體的實現語言。但優選的具有反射功能的類似java語言或者其他語言實現。

本方案中計算引擎不限于提供對Flink、SparkStream、Storm等實時計算引擎的審計接口封裝，封裝形式優先以RESTful接口進行提供，但不僅限于此。

推送引擎將計算好的結果推送給用戶。并具有多樣化的通知方式，不限于RESTful、Kafaka、數據庫、短信或者其他數據推送通知方式。

該案例可采用的最簡化實施可能會非常簡易，但以算子為基本調度運行的典型特征不會發生改變，所以可選的開始流程可以從任務調度直接開始，同時顯示服務和通知服務作為可選的步驟也可以不出現在整個流程中。

3 ?結 ?論

該案例可采用的最簡化實施可能會非常簡易，但以算子為基本調度運行的典型特征不會發生改變，所以可選的開始流程可以從任務調度直接開始，同時顯示服務和通知服務作為可選的步驟也可以不出現在整個流程中。

參考文獻：

[1] 孫大為.大數據流式計算：應用特征和技術挑戰 [J].大數據，2015，1（3）：99-105.

[2] 靳永超，吳懷谷.基于Storm和Hadoop的大數據處理架構的研究 [J].現代計算機（專業版），2015（4）：9-12.

[3] 張華，王東輝，吳烜.流式計算的分布式框架的應用 [J].信息與電腦（理論版），2014（10）：142-143.

[4] 劉子英，唐宏建，肖嘉耀，等.基于流式計算的Web實時故障診斷分析與設計 [J].華東交通大學學報，2014，31（1）：119-123.

[5] 朱月琴，譚永杰，張建通，等.基于Hadoop的地質大數據融合與挖掘技術框架 [J].測繪學報，2015，44（S1）：152-159.

[6] 李國杰，程學旗.大數據研究：未來科技及經濟社會發展的重大戰略領域——大數據的研究現狀與科學思考 [J].中國科學院院刊，2012，27（6）：647-657.

作者簡介：李爽（1986.04-），男，漢族，遼寧鞍山人，中級

職稱，本科，研究方向：大數據開發;通訊作者：張飛（1981.05-），男，漢族，陜西西安人，中級工程師，本科，研究方向：大數據開發;王穎卓（1978.05-），男，漢族，江西贛州人，架構師，碩士，研究方向：大數據開發。