李金鑄
(中國航空油料有限責任公司 北京市 100000)
在航油管理系統的基礎上,采用Docker 鏡像容器云技術實施的微服務架構數據中臺,包括客戶服務、商務結算、數據應用、基礎管理,同時協同智慧加油系統和SAP 等信息系統,進一步統籌服務資源和協同航空公司、銀行、SAP 系統、智慧加油系統與撬裝設備的響應資源,通過航油智慧云數據中臺將航油在客戶服務、商業結算、航油銷售方面的大數據變成實際“可用”的管理檢查預測、決策依據,是航油大數據運用的平臺化、具體化、實踐化。依托航油智慧云數據中臺打通“數據孤島”和“數據煙囪”分立的IT(iformation technology,信息技術)架構,構建數據共享的統一的DT(tata technology,數據技術)架構。形成完整的流程鏈和數據鏈,打造全流程管理的電子化,提高統籌運營能力,實現了航油的數據賦能向管理賦能的轉變。
航油智慧云數據中臺,由前端應用、業務中臺、技術中臺組成,采用“大中臺、小前臺”的技術理念,在滿足整體業務需求的同時實現穩定的服務器架構、快速迭代的開發模式,構建以服務與數據為核心的中臺系統[1]。
航油智慧云數據中臺由數據應用、客戶服務、商務結算、基礎管理組成,與銀行前置機、SAP 系統共同部署于航油內部網絡,分別對接智慧加油系統、金稅系統以及包括銀行系統、支付機構系統、航空公司系統、航空公司用戶、代理公司用戶在內的各外部系統。
2.1.1 數據應用功能
采用能對海量數據進行分布式處理的大數據架構,基于真實業務數據進行日常業務統計分析。包括數據標簽化管理、預測分析等數據應用功能,同時為今后擴展更多的大數據應用,推動數據賦能奠定基礎。
2.1.2 客戶服務功能
包含客戶服務工作的全流程數據管理,增強流程與數據之間的卡控,為管理提供方便快捷的信息化手段,保證客戶服務工作的完整性。
2.1.3 商務結算功能
實現航油銷售與加注業務的統一結算和內部核算業務,滿足和方便客戶不同的結算需求,縮短結算賬期,降低結算成本,提升客戶滿意度。
2.1.4 基礎管理功能
航油智慧云數據中臺將統籌管理航油總部、分公司、通航公司、航空公司,以及客戶服務、數據應用、商務結算等不同用戶使用,對智慧云平臺的基礎信息進行統一管理,確保基礎信息的唯一性。
航油智慧云數據中臺基于微服務技術架構,采用Docker 容器技術的云平臺架構,將Kubernetes 視為容器編排工具,確定了分層鏡像格式,云服務架構分為IaaS、PaaS、SaaS 三層。
在基于云容器的微場景架構中,利用Kubernetes 創建多個容器,每個容器里面運行一個應用實例,然后通過內置的負載均衡策略,實現對這一組應用實例的管理、發現、訪問,而不用運維人員去進行復雜的手工配置和處理。
使用容器技術對各服務節點進行管理。Docker 是一個開源的應用容器引擎,讓開發者可以打包他們的應用以及依賴包到一個可移植的鏡像中,然后發布到任何流行的Linux 或Windows 機器上,也可以實現虛擬化。容器是完全使用沙箱機制,相互之間不會有任何接口。
航油智慧云數據中臺的客戶服務功能和商業結算功能,能夠實現航油外界交換信息的全覆蓋,依托集成架構及接口設計實現對大數據變化的敏感反應,結合預測功能設計,從而體現了極高的監測預警價值[2]。
航油智慧云數據中臺的監測預警價值是大數據應用的一個重要方向,即大數據預測,在傳統的預測算法、預測原理中,更多的強調或論證突發事件的因果聯系,通過預設結果觸發機制的設定,明確系統閾值,實現監測預警功能的實現。
但航油智慧云數據中臺的數據應用功能中,強調的是大數據分析算法,突顯大數據相關性原理的應用,分析相關性關系,強調事物之間的關聯性。這一點對于預警突發事件的應急管理至關重要,因為突發事件的應急管理的更突顯的是較高的不確定性、較強的處理時限性和響應的強敏捷性特征[3]。
3.2.1 數據交換平臺集成架構
航油智慧云數據中臺的監測預警價值是通過大數據關聯性提現的,那么對于相應的技術架構也體現出數據共享的特征。與客戶系統對、與金融系統、與航油集團SAP ERP 系統、與金稅系統、與智慧加油系統、氣象數據系統等相關系統采用系統集成架構得以實現,數據集成具有集成系統多,數據范圍廣泛,集成技術復雜等特點,以多種主流數據集成技術為基礎,建立獨立的數據交換平臺,滿足現有業務系統數據接入需要,兼顧數據接口擴展,將大數據關聯性集成落地實現,有效將數據中臺監測預警變為現實。
基于以上結構設計,在數據中臺內按照統一業務模型的思想把各系統數據集成起來。因此,根據系統集成的需要,將采用提供相關接口的方式進行實現。
3.2.2 集成架構數據交換平臺的接口功能
數據交換平臺主要包括數據抽取、數據數據處理及加載處理、策略管理和系統管理等模塊。
數據抽取模型主要包括實時數據交換、周期數據交換、數據復制、非結構數據交換等等,對應的技術包括數據復制、ETL、數據交互及應用服務。
3.3.1 航油智慧云數據中臺的數據采集預測功能
航油智慧云數據中臺通過對各項業務的數據標簽化管理、加油數據分析、結算數據、銷售數據、駕駛艙管理實現數據關聯性綜合應用。
根據中臺系統中積累的注冊用戶數據、客戶數據、合同數據、訂單數據、加油量數據、收款數據,利用航油提供的公式進行市場預測,包括銷售預測、資金預測、客戶增長率預測。
3.3.2 航油智慧云數據中臺的數據預測“哨兵模式”
在銷售預測數據中,主要參考歷史同期加油量、近期加油量,通航業務時還需要考慮訂單數據。銷售預測結果可以為油料儲備提供參考。對于主要指收款金額預測,主要參考歷史同期收款金額、近期收款金額并結合合同中的賬期設置。資金預測結果可以為資金使用計劃提供參考。客戶增長率預測主要參考注冊用戶數據、客戶數據。通過對預測數據的波動情況,反饋至數據綜合應用,形成監測預警的“哨兵模式”,對突發事件的概率發出預警,奠定應急管理響應的前提基礎工作,為后續協同作業提供數據參考[4]。
航油智慧云數據中臺能對海量數據進行分布式處理,基于“云平臺+微場景應用”的技術架構,應用分布式事務的數據一致性,打通“數據孤島”,實現異常數據的互聯互通,提醒各關聯方進行快速協同響應作業。
由于歷史和現實原因,各關聯方的“信息孤島”、“條塊分割管理”、“多頭管理”以及“重復建設”問題依舊存在,數據異構和兼容性是困擾實現航油突發事件應急管理的難題,在傳統的應急管理中,多采用聯動機制應對突發事件,即關聯方的領導層制定應急管理預案,約定突發事件的種類、聯動模式,觸發條件等問題的溝通和響應處置方式,這種協同響應模式,相對于已有的突發事件種類具有較強的響應,但在實際中,涉及層級傳達、反饋效率、啟動時限等較強的人工干預,往往不會收獲預期成效[5]。
在航油智慧云數據中臺的部署中,采用管控集群核心實現各服務器的數據共享機制,形成“物理集中、邏輯一致”應急數據管理體系,形成“云平臺+微場景應用”的數據管理架構,采用基于分布式事務的數據一致性部署方案,極大的縮短應急管理預案的啟動時限,通過管理權限有效的消除層級傳達的消耗,凸顯對突發事件快速響應并協調作業的智慧云數據中臺優勢價值。
4.2.1 基于“云平臺+微場景應用”的技術架構
在航油智慧云數據中臺內容采用Spring + SpringBoot + Spring Cloud 進行改造,系統的各項功能服務以各個獨立的子系統形式開發,各子系統分布式部署在獨立的容器或服務器中,由服務注冊中心統一管理。
微服務應用功能為基礎,傳輸Restful為核心的微服務后臺框架,實現前臺及后臺物理分離互不影響負載均衡及應用部署。
4.2.2 基于分布式事務的數據一致性
在航油智慧云數據中臺的云服務架構為了實現微服務間的業務邏輯解耦,提高系統的可用性及性能,通過將強一致性需求轉換成最終一致性的需求,來保證業務數據一致,推動CCF 消息可靠投遞。
CCF 利用消息隊列MQ 來實現業務數據的最終一致性,解決了消息的可靠生成與可靠投遞;消息的可靠消費;業務處理狀態追蹤;異常狀態檢測與報警,將預警數據實現數據共享,使具備相應數據查看權限的人員,直接獲取監測預警信息,進而推動快速響應的協同作業實現。
4.3.1 航油智慧云數據中臺的數據統一接口互聯互通
(1)支持文件導出的功能,同時支持按照不同的要求導出多種格式的文件,如txt、csv、xml 等。
(2)與關聯方系統進行數據的互聯互通,與航空公司需要對接航班信息、加油信息、賬單信息等,與金融機構需要對接結算支付信息。實現與外部合作伙伴航空公司、金融機構、機場運營部門的信息共享。與內部系統也需要對接金稅系統。與SAP 系統對接基礎業務數據。接口采用的數據字段項須參照國際航協航油結算數據標準格式。
4.3.2 航油智慧云數據中臺異常數據動態推薦功能
基于大數據綜合分析的精準算法,通過對航油作業行為的數據分析來進行數據匹配,實現對突發事件數據響應情況的個性化特征的組合“數據畫像”,以實現數據中臺服務域指向性特征,實現突發事件應急響應機制的啟動支撐。
本文以航油智慧云數據中臺系統為例,提出數據中臺在突發事件的應急管理中,中臺大數據的應用價值,工作原理、實現技術架構及實現方式,尤其是當前存在“數據孤島”和“數據煙囪”的情況下,數據中臺在利用大數據的管理賦能中,更能凸顯監測預警和快速協同響應作業的優勢價值。