基于微服務(wù)架構(gòu)的大數(shù)據(jù)應(yīng)用開發(fā)創(chuàng)新實踐

周建業(yè) 祝文飛 徐長君 史倩倩

摘要：解決企業(yè)面臨的海量數(shù)據(jù)組合查詢搜索問題，積極開展基于大數(shù)據(jù)技術(shù)和面向微服務(wù)架構(gòu)的應(yīng)用架構(gòu)研究。以開源軟件體系為依托，采用分層架構(gòu)設(shè)計的方法，將大數(shù)據(jù)技術(shù)平臺劃分為數(shù)據(jù)采集層、數(shù)據(jù)計算層、數(shù)據(jù)服務(wù)層、數(shù)據(jù)應(yīng)用層這幾個層次。在各個層次上，研究和探索使用主流的大數(shù)據(jù)技術(shù)產(chǎn)品滿足對應(yīng)層次的需要。在應(yīng)用架構(gòu)上，創(chuàng)新性使用微服務(wù)架構(gòu)來替代以往的單體應(yīng)用開發(fā)模式，基于業(yè)內(nèi)主流的SpringCloud技術(shù)體系，實現(xiàn)了應(yīng)用架構(gòu)的全面微服務(wù)化。通過新的應(yīng)用架構(gòu)，不僅通過用戶實時統(tǒng)計分析的應(yīng)用開發(fā)來驗證了微服務(wù)相關(guān)的服務(wù)注冊中心、服務(wù)配置中心、服務(wù)發(fā)現(xiàn)、網(wǎng)關(guān)路由、服務(wù)高可用、服務(wù)負(fù)載均衡、服務(wù)快速API化等相關(guān)技術(shù)方案，而且為基于大數(shù)據(jù)與微服務(wù)的技術(shù)融合提供了一條可工程化的路徑。

關(guān)鍵詞：大數(shù)據(jù);微服務(wù);架構(gòu)設(shè)計;應(yīng)用創(chuàng)新

引言

目前行業(yè)大數(shù)據(jù)已經(jīng)廣泛應(yīng)用于配電網(wǎng)和電力設(shè)備在線監(jiān)測中，如運行狀態(tài)診斷、用戶行為特征分析、狀態(tài)評估、基于復(fù)雜相關(guān)關(guān)系識別的設(shè)備故障診斷和預(yù)測技術(shù)、基于大數(shù)據(jù)和信息融合的輸變電設(shè)備關(guān)鍵性能動態(tài)評估及預(yù)測等。雖然已經(jīng)產(chǎn)生了海量數(shù)據(jù)，但大多數(shù)僅僅實現(xiàn)了數(shù)據(jù)存儲、查詢、統(tǒng)計等最基本層次的功能，尚未深入挖掘出隱藏在海量數(shù)據(jù)背后潛在的價值。若需要發(fā)現(xiàn)大數(shù)據(jù)中蘊含的更深層次的規(guī)律，保證系統(tǒng)運行的經(jīng)濟性、安全性和可靠性，需要通過數(shù)據(jù)挖掘技術(shù)來完成決策任務(wù)。

1 概述

雙模IT概念由Gartner提出，雙模IT是指兩種不同的IT工作模式。一種模式專注于可預(yù)測性，其目標(biāo)是可靠、可用和低成本，適用于需求明確的工作。比如ERP實施項目，在需求分析階段就必須將用戶的需求明確下來。另一種模式是探索性的工作，需求在開始階段并不明確。比如用大數(shù)據(jù)分析設(shè)備缺陷原因或者利用機器學(xué)習(xí)來預(yù)測設(shè)備劣化趨勢，在項目開始階段，用戶只知道項目的目標(biāo)，對于具體的需求并不明確，需要和IT部門一起來探索。對于核電企業(yè)這種以資產(chǎn)運營為核心的企業(yè)，必須通過將雙模IT實施，才能在數(shù)字化浪潮中打贏數(shù)字化轉(zhuǎn)型這場硬仗工具，在合理時間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更準(zhǔn)確的資訊。大數(shù)據(jù)有數(shù)據(jù)量大、數(shù)據(jù)種類多、要求實時性強、數(shù)據(jù)所蘊藏的價值大等特點，簡稱為4V，即Volume、Velocity、Variety、Veracity。大數(shù)據(jù)的數(shù)據(jù)來源可能是多種來源，這些來源包括搭載感測設(shè)備的移動設(shè)備、高空感測科技（遙感）、軟件記錄、相機、麥克風(fēng)、無線射頻辨識（RFID）和無線感測網(wǎng)絡(luò)。我們通常聲稱的大數(shù)據(jù)應(yīng)用是指利用先進的大數(shù)據(jù)管理和處理技術(shù)，針對實際業(yè)務(wù)所面臨的日益膨脹的海量數(shù)據(jù)存儲問題以及在此之上的海量數(shù)據(jù)處理問題而設(shè)計相應(yīng)的解決方案并應(yīng)用微服務(wù)架構(gòu)是相對于傳統(tǒng)的整體式架構(gòu)（MonolithicArchitecture）而言的。

2 平臺建設(shè)目標(biāo)及內(nèi)容

大數(shù)據(jù)綜合服務(wù)平臺致力于為政府管理人員、科技工作者和社會大眾提供數(shù)據(jù)信息科技服務(wù)，平臺通過建立統(tǒng)一的標(biāo)準(zhǔn)規(guī)范，集聚科技資源，整合現(xiàn)有多源異構(gòu)信息系統(tǒng)，提取處理并分析科技數(shù)據(jù)，形成集數(shù)據(jù)抽取、歸集、整合、存儲、處理、分析和服務(wù)為一體的全過程大數(shù)據(jù)綜合服務(wù)平臺。平臺基于先進的微服務(wù)技術(shù)架構(gòu)建設(shè)，通過提供自動化部署及智能服務(wù)能力，建設(shè)“一個總門戶、兩個處理中心、五個子平臺及多個信息系統(tǒng)”的統(tǒng)一科技大數(shù)據(jù)綜合服務(wù)平臺。平臺包含一個綜合服務(wù)總門戶、微服務(wù)調(diào)度處理中心和大數(shù)據(jù)分析處理中心兩個處理中心、科技信息系統(tǒng)子平臺、科技資源子平臺、輔助決策子平臺、共享服務(wù)子平臺和基礎(chǔ)支撐子平臺五個子平臺。綜合服務(wù)總門戶是平臺的統(tǒng)一入口?？傞T戶發(fā)布最新的通知和動態(tài)，提供業(yè)務(wù)系統(tǒng)申報受理指南文件等，統(tǒng)一各業(yè)務(wù)子系統(tǒng)的登錄認(rèn)證入口，分類展示科技資源數(shù)據(jù)，提供決策支持、數(shù)據(jù)統(tǒng)計的分析結(jié)果和報告，并對外提供統(tǒng)一共享服務(wù)。微服務(wù)調(diào)度中心是平臺的樞紐，為平臺提供基礎(chǔ)技術(shù)框架。平臺通過微服務(wù)技術(shù)架構(gòu)完成服務(wù)組件的提供與消費、統(tǒng)一的服務(wù)發(fā)現(xiàn)和注冊、系統(tǒng)級消息通信、系統(tǒng)數(shù)據(jù)緩存、高可用服務(wù)集群整合、統(tǒng)一安全和運維體系保障等，微服務(wù)調(diào)度中心還與大數(shù)據(jù)分析處理中心協(xié)調(diào)進行數(shù)據(jù)共享交換的調(diào)度處理。大數(shù)據(jù)分析處理中心通過建立數(shù)據(jù)共享交換系統(tǒng)完成各平臺系統(tǒng)的數(shù)據(jù)對接互訪與共享交換，并對歸集到的數(shù)據(jù)進行存儲，利用統(tǒng)一的基礎(chǔ)數(shù)據(jù)及第三方認(rèn)證系統(tǒng)對數(shù)據(jù)進行認(rèn)證清洗，建立大數(shù)據(jù)處理模型并采用相應(yīng)數(shù)據(jù)處理算法對數(shù)據(jù)進行處理分析，以此形成對數(shù)據(jù)的抽取、整理、清洗、存儲、分析和服務(wù)共享的全過程大數(shù)據(jù)綜合處理?？萍夹畔⑾到y(tǒng)子平臺是平臺信息化的重要支撐。現(xiàn)有已建成投入運行的信息系統(tǒng)，在建及將來要建的系統(tǒng)都?xì)w置到該子平臺。整合貫通這些多源異構(gòu)系統(tǒng)，要按實際情況區(qū)分對待，對已有異構(gòu)系統(tǒng)需進行規(guī)范化改造，通過對接統(tǒng)一用戶中心等通用模塊完成統(tǒng)一的登錄認(rèn)證，并逐步按照標(biāo)準(zhǔn)進一步規(guī)范貫通，對在建未建系統(tǒng)則要求在統(tǒng)一用戶中心及標(biāo)準(zhǔn)規(guī)范下才能繼續(xù)建設(shè)。另外子平臺利用總門戶和微服務(wù)調(diào)度中心對外提供統(tǒng)一的信息系統(tǒng)入口、登錄登出和統(tǒng)一認(rèn)證功能，通過集中化管理，達(dá)到系統(tǒng)間及平臺間共享數(shù)據(jù)資源的目的。科技資源子平臺重點在于整合現(xiàn)有科技資源數(shù)據(jù)，包含現(xiàn)有的和歷史的電子化數(shù)據(jù)，采用關(guān)系型數(shù)據(jù)庫、各類文檔、圖片、視頻等多種存儲媒介對多源數(shù)據(jù)資源進行存儲處理。科技資源子平臺集中整合科技計劃項目、科技獎勵推薦、高新技術(shù)企業(yè)、重點實驗室、基礎(chǔ)條件平臺、工程技術(shù)中心、創(chuàng)業(yè)孵化平臺等科技資源和數(shù)據(jù)，通過對管理過程中的過程數(shù)據(jù)和歷史數(shù)據(jù)電子化，歸集形成科技資源數(shù)據(jù)倉庫。子平臺中可以單獨建設(shè)科技數(shù)據(jù)管理系統(tǒng)，對科技業(yè)務(wù)進行分類化數(shù)據(jù)管理，初期采集結(jié)果數(shù)據(jù)，后續(xù)再采集過程數(shù)據(jù)。輔助決策子平臺是大數(shù)據(jù)分析處理中心的延伸，該子平臺利用大數(shù)據(jù)模型及分析算法對歸集的科技數(shù)據(jù)進行分析挖掘，為政府決策者和管理人員提供輔助決策支撐。視情況生成科技創(chuàng)新指數(shù)、地區(qū)科技競爭力等分析報告。按需生成科技數(shù)據(jù)統(tǒng)計及統(tǒng)計結(jié)果輸出等。共享服務(wù)子平臺與總門戶協(xié)同對外提供服務(wù)，是平臺與第三方平臺交換數(shù)據(jù)的中介，也是平臺為科技人員和社會公眾提供服務(wù)的橋梁。該子平臺包括：與“信用山西”等第三方政府部門的數(shù)據(jù)共享;與科技部的數(shù)據(jù)信息互聯(lián)互通;市縣一體的科技領(lǐng)域管理與服務(wù);對科研單位、專業(yè)機構(gòu)、科技人員和評審專家等進行的科研信用評估評價;與實體政務(wù)大廳結(jié)合的通過線上線下平臺對外統(tǒng)一服務(wù)。

結(jié)語

為解決實際遇到的海量數(shù)據(jù)組合查詢搜索問題，積極開展基于大數(shù)據(jù)技術(shù)和面向微服務(wù)架構(gòu)的應(yīng)用架構(gòu)研究。按照分層架構(gòu)對大數(shù)據(jù)技術(shù)平臺進行設(shè)計，將平臺劃分為數(shù)據(jù)采集層、數(shù)據(jù)計算層、數(shù)據(jù)服務(wù)層、數(shù)據(jù)應(yīng)用層。在各個層次，使用主流的大數(shù)據(jù)技術(shù)解決對應(yīng)層次的需要。在應(yīng)用架構(gòu)上，使用SpringCloud實現(xiàn)應(yīng)用的微服務(wù)化，實現(xiàn)了服務(wù)注冊、服務(wù)發(fā)現(xiàn)、網(wǎng)關(guān)路由、服務(wù)高可用、服務(wù)負(fù)載均衡等。通過對相關(guān)架構(gòu)的設(shè)計和新興技術(shù)的實踐，滿足了用戶實時統(tǒng)計分析的需求。

參考文獻：

[1] 袁捷.貴州電網(wǎng)大數(shù)據(jù)應(yīng)用探討[J].電力大數(shù)據(jù)，2017，20（12）：4-7.

[2] 張冰玉.基于數(shù)據(jù)挖掘技術(shù)的短期電力負(fù)荷預(yù)測[J].電力大數(shù)據(jù)，2017，20（10）：18-21.