數(shù)據(jù)中臺(tái)的數(shù)據(jù)資產(chǎn)管理體系研究

周永博,張文軒

(國網(wǎng)甘肅省電力公司互聯(lián)網(wǎng)事業(yè)部,甘肅 蘭州 730050)

0 引言

現(xiàn)代企業(yè)的快速發(fā)展,企業(yè)內(nèi)部的業(yè)務(wù)更加多元,伴隨產(chǎn)生了大量的業(yè)務(wù)數(shù)據(jù),企業(yè)業(yè)務(wù)數(shù)據(jù)化和數(shù)據(jù)業(yè)務(wù)化發(fā)展出現(xiàn)了更多的可能。如果企業(yè)仍然按照以往的理念搭建大數(shù)據(jù)平臺(tái),則是無法滿足現(xiàn)代企業(yè)的發(fā)展需要。如何實(shí)現(xiàn)數(shù)據(jù)信息的標(biāo)準(zhǔn)化管理成為企業(yè)需要思考和解決的問題。在這樣需求下,具備應(yīng)用數(shù)據(jù)技術(shù)能力和管理能力的數(shù)據(jù)中臺(tái)應(yīng)允而生。為了能夠更好地促進(jìn)現(xiàn)代企業(yè)管理發(fā)展,文章就數(shù)據(jù)中臺(tái)在數(shù)據(jù)信息處理中的應(yīng)用問題進(jìn)行探究。

1 數(shù)據(jù)中臺(tái)內(nèi)涵

數(shù)據(jù)中臺(tái)是指借助數(shù)據(jù)技術(shù)對(duì)海量數(shù)據(jù)進(jìn)行采集、計(jì)算、存儲(chǔ)、加工,同時(shí)統(tǒng)一標(biāo)準(zhǔn)和口徑。在數(shù)據(jù)中臺(tái)將數(shù)據(jù)信息統(tǒng)一在一起之后會(huì)形成標(biāo)準(zhǔn)化的數(shù)據(jù)信息,數(shù)據(jù)信息的存儲(chǔ)和應(yīng)用有了新的標(biāo)準(zhǔn)支持,在企業(yè)內(nèi)部形成了數(shù)據(jù)資產(chǎn)層,能夠根據(jù)客戶的需要來為其提供高效率的服務(wù)[1]。

廣義層面上的數(shù)據(jù)中臺(tái)是數(shù)據(jù)信息處理技術(shù),具體涉及對(duì)海量數(shù)據(jù)信息的收集、計(jì)算、存儲(chǔ)和加工處理。當(dāng)前,數(shù)據(jù)中臺(tái)的形成涉及數(shù)據(jù)模型、數(shù)據(jù)算法服務(wù)、數(shù)據(jù)產(chǎn)品加工、數(shù)據(jù)管理等。數(shù)據(jù)信息的使用和管理與企業(yè)的業(yè)務(wù)發(fā)展存在密切的關(guān)聯(lián),是企業(yè)業(yè)務(wù)和數(shù)據(jù)信息的沉淀使用,在數(shù)據(jù)管理的時(shí)候不僅能夠減少重復(fù)性建設(shè),而且還能夠充分彰顯自身差異化優(yōu)勢。

2 數(shù)據(jù)中臺(tái)打造的重要原因分析

2.1 實(shí)現(xiàn)對(duì)數(shù)據(jù)的重用

在數(shù)據(jù)中臺(tái)的支持下不管數(shù)據(jù)信息多么復(fù)雜,在使用的時(shí)候總是能夠追溯到最根源的數(shù)據(jù)基礎(chǔ),由此能夠幫助人們更好地認(rèn)識(shí)數(shù)據(jù)的應(yīng)用,在使用數(shù)據(jù)信息的時(shí)候能夠避免數(shù)據(jù)信息的重復(fù)性開發(fā),也能夠節(jié)省數(shù)據(jù)重復(fù)開發(fā)利用成本。

在數(shù)據(jù)中臺(tái)的作用下能夠?qū)崿F(xiàn)對(duì)數(shù)據(jù)信息的多元化備份處理,包含報(bào)表備份、數(shù)據(jù)倉庫備份等,所有數(shù)據(jù)信息的使用管理都有統(tǒng)一的要求,在這統(tǒng)一要求的作用下能夠?qū)崿F(xiàn)對(duì)數(shù)據(jù)信息的匯聚處理,由此來解決數(shù)據(jù)信息的互通訴求,更好地發(fā)揮數(shù)據(jù)信息應(yīng)有的作用[2]。

2.2 數(shù)據(jù)中臺(tái)的打造能夠滿足更多業(yè)務(wù)發(fā)展需要

數(shù)據(jù)中臺(tái)能夠更為快速地支持?jǐn)?shù)據(jù)信息的響應(yīng)和應(yīng)用,打造出能夠支持多個(gè)領(lǐng)域信息使用需求的信息模型。在數(shù)據(jù)信息不斷積累的過程中會(huì)打造出獨(dú)屬于企業(yè)的模型資產(chǎn)。

以報(bào)表為例,企業(yè)報(bào)表成千上萬的原因往往也是沒有沉淀造成的,針對(duì)一個(gè)業(yè)務(wù)報(bào)表,由于不同的業(yè)務(wù)人員提出的角度不同,會(huì)形成不同的報(bào)表。在數(shù)據(jù)中臺(tái)的支持下就能夠?yàn)閿?shù)據(jù)報(bào)表的綜合整理和管理應(yīng)用提供重要支持。對(duì)于一個(gè)業(yè)務(wù)、一張報(bào)表的制定來說,現(xiàn)有的業(yè)務(wù)報(bào)表在使用的時(shí)候是不能夠被隨意修改或者新增的,在數(shù)據(jù)中臺(tái)的支持下數(shù)據(jù)報(bào)表能夠不斷被完善,最終會(huì)發(fā)展成為且基礎(chǔ)報(bào)表目錄[3]。

3 基于數(shù)據(jù)中臺(tái)的數(shù)據(jù)資產(chǎn)管理體系打造

3.1 總體架構(gòu)

基于數(shù)據(jù)中臺(tái)的數(shù)據(jù)資產(chǎn)管理體系整體架構(gòu)自下而上分為3 層,分別是數(shù)據(jù)層、中臺(tái)層和應(yīng)用層。在數(shù)據(jù)層,基于公司起家的另類數(shù)據(jù),既提供了數(shù)據(jù)采集的工具集,也提供了包括宏觀數(shù)據(jù)、另類數(shù)據(jù)和資訊數(shù)據(jù)的數(shù)據(jù)集。平臺(tái)還可以為金融機(jī)構(gòu)客戶提供采集配置服務(wù)和結(jié)構(gòu)化定制等定制化數(shù)據(jù)服務(wù)。

在數(shù)據(jù)中臺(tái)層面設(shè)置了數(shù)據(jù)中臺(tái)、算法中臺(tái)、知識(shí)中臺(tái)3 個(gè)中臺(tái)方面的內(nèi)容,在這幾個(gè)中臺(tái)的作用下能夠?yàn)榭蛻籼峁┚酆纤阉骱洼浨楸O(jiān)督控制支持。在這幾個(gè)數(shù)據(jù)平臺(tái)的支持下能夠?yàn)榭蛻籼峁┚酆纤阉鲾?shù)據(jù)信息展示,并打造出對(duì)應(yīng)的輿情監(jiān)督控制系統(tǒng)、知識(shí)管理系統(tǒng)[4]。

3.2 多源異構(gòu)數(shù)據(jù)信息采集和接入管理平臺(tái)

3.2.1 大量數(shù)據(jù)信息的采集

競爭的本質(zhì)是數(shù)據(jù)信息的整合管理,數(shù)據(jù)信息的不對(duì)稱是一系列競爭開展的基點(diǎn),基于數(shù)據(jù)中臺(tái)資產(chǎn)管理體系在打造的過程中需要將所有信息整合到數(shù)據(jù)資產(chǎn)管理體系中,由此打造出完善的數(shù)據(jù)生產(chǎn)平臺(tái),在數(shù)據(jù)信息生產(chǎn)平臺(tái)的作用下能夠?qū)崿F(xiàn)對(duì)海量異構(gòu)數(shù)據(jù)信息的全面收集和細(xì)致化監(jiān)督控制,從而公開獲得數(shù)據(jù)信息的咨詢、管理和應(yīng)用[5]。

為了能夠更好地處理紛亂的數(shù)據(jù)信息,基于數(shù)據(jù)中臺(tái)的數(shù)據(jù)資產(chǎn)管理體系采用了云原生架構(gòu)來構(gòu)建大數(shù)據(jù)采集系統(tǒng),整個(gè)系統(tǒng)是以Kafka 作為消息中心,采用事件驅(qū)動(dòng)的模型構(gòu)建在k8s 集群上。整個(gè)系統(tǒng)分為4 個(gè)大模塊,分別是用戶控制臺(tái)、數(shù)據(jù)采集引擎、數(shù)據(jù)存儲(chǔ)服務(wù)和監(jiān)控與認(rèn)證服務(wù)。

3.2.2 數(shù)據(jù)源的快速擴(kuò)展

基于數(shù)據(jù)中臺(tái)的數(shù)據(jù)資產(chǎn)管理體系,科技信息采集隊(duì)伍會(huì)和算法采集隊(duì)伍合作交流,通過合作交流打造出完善的、智能化的網(wǎng)頁抽取系統(tǒng)。網(wǎng)頁抽取系統(tǒng)能夠從大量信息搜索引擎中抽取特定區(qū)域的文本資源信息,比如對(duì)于咨詢數(shù)據(jù)來說會(huì)分清楚數(shù)據(jù)的標(biāo)題和內(nèi)容,提供了網(wǎng)頁的url 后,能夠自動(dòng)識(shí)別出網(wǎng)頁中的文字、標(biāo)題和日期所在位置,在獲取這些信息的時(shí)候需要一個(gè)頁面一個(gè)頁面地去配置和管理[6]。

3.2.3 AirWorks 數(shù)據(jù)智能平臺(tái)

AirWorks 數(shù)據(jù)智能平臺(tái)是基于數(shù)據(jù)中臺(tái)的數(shù)據(jù)資產(chǎn)管理體系的核心組件平臺(tái),該平臺(tái)面向資源整合利用方面,本質(zhì)是讓前臺(tái)仁和園能夠以一種高效率、低成本、全面的方式來應(yīng)用到業(yè)務(wù)數(shù)據(jù),實(shí)現(xiàn)對(duì)數(shù)據(jù)信息的高效率整合利用。同時(shí),通過數(shù)據(jù)信息的分層處理還能夠確保業(yè)務(wù)人員的需求能夠及時(shí)被響應(yīng)。

4 結(jié)語

綜上所述,在時(shí)代的進(jìn)步和信息科技的發(fā)展下,數(shù)據(jù)治理成為數(shù)據(jù)中臺(tái)建設(shè)的重要組成。國家層面也對(duì)數(shù)據(jù)治理予以了高度的重視。但是從發(fā)展實(shí)際情況來看,對(duì)于很多企業(yè)的發(fā)展來說,數(shù)據(jù)治理是一項(xiàng)具備挑戰(zhàn)性、戰(zhàn)略性的發(fā)展任務(wù),其中會(huì)包含比較多的數(shù)據(jù)信息內(nèi)容,需要打造出完善的組織架構(gòu)來處理這些數(shù)據(jù)信息。