基于數據中臺架構的數據管理研究

關鍵詞：數據中臺架構;數據管理;工業互聯網

中圖法分類號：TP393 文獻標識碼：A

1引言

在工業互聯網時代，企業數字化轉型將成為一種趨勢。數字轉型本質上是通過運用信息技術推動產業進行轉型。企業的數字化轉型不是孤立環節，而是整個社會數字化轉型中非常重要的部分。如何最大化數據的價值，以指導業務決策并刺激業務增長是企業推動數字化轉型的關鍵挑戰。數據中心的重點是收集商業數據商品、數據開發和建模、數據服務功能的生產和企業的完全自主，是數字轉換技術的核心。

2建設數據中臺架構的意義

（1）大數據改變了企業的管理方式

由于大數據具有很強的包容性，因此各個單位與企業之間的界限是非常模糊的，這也解決了信息孤島問題，讓數據共享成為可能，以此讓協作工作和業務工作的效率和自主性得到提高。隨著大數據技術水平的提升，在公共服務管理的過程中，能夠有效減少投資、有效監管企業、有效提升決策能力，并提升公共服務能力，從而實現智慧化管理。

（2）大數據可以用來整合信息

對企業收集的信息進行共享和比較，能夠發現其中存在的監管漏洞，有效提升對問題的識別和預警能力，達到增加企業利潤、提高質量的目的。建設數據中臺架構，收集、整理和分析數據，運用云計算技術實現對資源的集成管理，可以對資源進行有效利用。而提高設備的使用效率和資源配置的服務效率，可以防止進行重復建設，從而有效地減少維護成本。隨著大數據技術的應用，能夠極大地提升決策效率，讓決策過程更加科學和準確，提升其可預測性、快速預警以及應急響應的能力，降低決策成本。

（3）數據中臺架構是構建和應用大型業務數據的基礎平臺

通過對數據中臺的建設，大型企業數據應用項目能夠在總體框架內進行統一;通過更高層次的集成和聯合建設，可以形成更加集中、有序以及共享的數據，從而能夠對現有的信息資源進行有效整合。打破信息孤島之后，可以讓行業和部門之間的信息進行有效共享，進而有效提升協作效率以及服務水平。

數據中臺架構需要包含數據技術能力。數據中心能夠進行收集、處理和應用相應的數據，對于多種技術進行集成。然而，數據中臺架構不只是進行數據收集，應該讓處理后的數據不再像網絡一樣耀眼。其主要內容是從各種業務線和業務領域的海量數據中進行提取，并將它們按照邏輯組合到特定的業務中。此外，應該恢復業務運營、生產、管理全連接下各對象的行為樹，使其能夠靈活、快速地擴展使用。同時，數據中臺架構需要讓企業的職能活動能夠對同一套的技術和數據產品進行共享。通過業務系統，可以為業務提供強大的算法、數據和技術支持。而數據則來自企業并為企業提供服務，形成周期循環。

3 數據中臺架構的建設

3.1數據規劃

數據中臺架構屬于綜合性的數據中心，其主要任務是讓企業對數據進行集成以及提取，并對相應的數據和技術進行共享，以更好地挖掘數據的附加值，進而結合產品的能力以及算法進行業務反饋。換句話說，數據來自業務并提供相應的服務，業務則周期性地包含更多的能量，據此形成數據生態并迸發無限的可能性。數據應用程序是使用數據中心中的數據創建自己的數據值。采用大數據處理技術，可以為整個平臺提供實時的信息服務，查明工作中存在的不足，并自動反饋給各部門，成為人工智能大腦，在業務系統的配合下進行自動控制。數據中臺建設主要包含以下情況。

第一，數據中心體系結構設計。其為數據共享服務設計了一個整體架構，重點關注“如何使分析場景成為現實”。系統分析和盤點各種數據源、數據生產、數據使用、數據質量、數據共享以及公司資產建設和管理的現狀，包括但不限于公司的其他方面。規劃公司數據共享服務的架構項目，可以設計主數據中心、全球數據中心、提取數據中心、綜合數據服務層和數據資產管理系統?；诠緮祿蚕矸盏捻椖考軜?，可以結合可用性、可預測性、可擴展性和合理投資的原則設計基礎架構，以支持產品選擇。

第二，對數據進行存儲規劃。需要結合企業現有的數據現狀、業務流程以及數據應用需求，制定相應的數據共享服務，如業務板塊的規劃、數據域以及業務空間等。

第三，定義數據規范。其代表公司相關數據的定義，如數據大小、業務流程、原子度量、業務限制等。

第四，R+D數據建模。數據存儲規劃、數據的標準化定義、基于現有業務流程和數據的模型物理設計、模型的邏輯設計和數據輸入策略（清理、結構化和更新）、準時性等。

第五，對數據進行導入。為了整合多個來源數據，可以根據不同渠道的特點和分析需求，制定不同的同步策略和數據分析的規則，并對項目數據集成策略及其內容進行邏輯更新，實現數據周期的自動同步。

第六，綜合方案。以模型設計為基礎，進行數據標識，從而完善數據生產環節，組織周期性任務，進而做好數據中心的建設。通過標準化定義、智能化的數據建模、研發數據、數據連接提取和綜合調度，形成相應的數據管理系統。

3.2項目設計方案

數據中心不僅專注于內部共享，還開放給社會公司和成員單位以及整合大型行業的數據和應用程序。隨著數據不斷增多，共享變得越來越普遍，數據安全和隱私變得越來越重要。數據中心由五個主要功能組成：存儲和處理、數據平臺、數據治理（數據資產管理）、數據操作和數據應用。數據中心設計數據的采集、處理、分析以及服務的全過程功能，形成了多種采集方式和一套基于元數據、基礎數據以及數據資產管理的管理體系。此外，企業的共享數據中心可以劃分成垂直數據中心、公共數據中心、數據提取的中心。

第一，垂直數據中心。企業垂直數據中心由垂直數據存儲中心組成，垂直數據存儲中心根據不同的業務分類執行不同的業務功能。垂直數據中心為公司收集業務數據和管理數據，包括來自各個業務子系統的結構化和非結構化數據。

第二，公共數據中心。公共數據中心是比較抽象的概念，其主要集成、分類和分析信息系統中的數據。每個主題都需要對應相應的領域，在分析數據后，可以進行完整和一致的描述，從而描述每個分析目標中包含的多個數據和數據關系。

第三，數據中心的提取。構建一個健全的數據中心，用于使用/自然業務對象提取公司數據，并以提取標簽為結構，形成用戶、建筑和財務等自然對象數據系統。數據系統由多維數據指標和基本數據標簽、統計數據標簽和算法數據標簽組成。

3.3數據中臺功能設計

在企業發展的階段，數據研發模型與企業的業務之間是緊密相連的。此外，數據系統也是結合企業的數據單元進行的縱向建立。而每個垂直業務都會帶來與之類似的其他數據系統。同時，隨著業務的不斷發展，數據規模迅速擴大，垂直業務單元數量也會不斷增加。雖然是一個垂直單位，但所有領域的所有數據類型（品種）都可以具有核心競爭力。

垂直單元之間的數據組織反過來會導致數據調用和復制的混亂，加之重復建設造成的資源浪費、數據度量定義不同造成的歧義、數據使用門檻的提高等問題在企業發展的過程中日益突出，亟待解決。

數據開發和管理平臺是未來業務的必要平臺，該平臺涵蓋離線計算和實時應用，以滿足開發者在數據采集、數據分析和數據提取方面的需求。數據質量和數據應用程序（如地圖、數據模型和數據API）可以提高開發人員的生產效率，提高業務數據開發的效率，并有效簡化數據的提取過程。

第一，對數據進行計算和存儲。整個平臺底層通過運用流行的Hadoop分布式平臺，spark計算引擎可以進行離線計算，Flink引擎則主要是進行實時計算。該系統主要以分布式的體系結構為基礎，可以水平擴展。隨著數據量不斷增加，通過使用添加的方式，能夠有效地解決計算性能中存在的問題，滿足各種場景的數據需求，從而支持SQL、Java、Python等接口，進而滿足不同的需求。存儲系統架構主要以分布式HDFS文件系統為基礎，能夠為數據分配計算能力提供支持。計算集群可以基于硬件異構體進行配置，并且可以根據性能要求輕松地進行更改。

第二，離線數據的開發和管理。首先，數據集成。數據集成模塊是不同存儲設備之間數據交換的通道，其能夠更好地支持常用數據庫的集成和共享。數據集成支持分布式系統的結構，支持同步閾值檢查等;其次，數據開發。數據開發是完成計算機清理、統計或數據提取邏輯的統一過程。而在編程周期方面，其支持按天、周、月、時、分配置多個編程周期的各種任務。同時，需要記錄每個版本的修改歷史，以便比較不同版本的代碼/參數;最后，管理服務中心。當進行實時數據采集時，該系統還可以實時跟蹤和警告輸入和輸出數據的數量。而支持實時任務執行控制、列出不同的任務執行狀態，從而能夠制定相應的警報功能，可同時設置任務啟動、任務終止等條件，進行短信、消息和其他方式的提醒方式，并配置相應的警報接受者。

3.4數據應用水平

在平臺生成數據后，需要通過相關應用程序為用戶提供數據服務，從而最大程度地提高數據的價值。而企業中的相關數據或對象分析可以直接進行數據的顯示或應用。同時，業務數據目錄和數據處理服務等應用程序可以把資源進行整合，從而有效提高數據的商業價值以及大型數據中臺的計算能力。項目數據的應用和技術的開發則在技術市場占據主要地位。此外，根據最終需求，Bi報告軟件用于固定的內容分析，其可由PC和移動終端創建。一些智能數據應用程序（如存儲位置和公司簡介）則以定制開發的形式呈現。

4基于數據中臺架構的數據管理應用

主要數據指用于描述公司實體的數據，如組織中的事物和人員，其核心是公司數據。主要數據是不同系統之間交換和共享數據的關鍵。目前，一些公司已經建立了統一的基礎數據平臺，但基礎數據仍由公司內部的專門服務部門進行維護和使用，沒有形成統一的公司、項目、業務和組織標準。不正確的主代碼則加劇了其他系統中工人的重復管理和低效操作現象。

基于統一的數據模型，公司基礎數據管理平臺設計用于識別和隔離分布在各個系統中的基礎數據，管理和維護基礎數據表中的各個字段，通過分布機制進行權限認證和共享，以滿足各業務系統的使用要求。同時，為了避免基礎數據的重復，應整合業務基礎數據管理平臺的相關功能，對各業務系統的功能進行改造和增強，并在其系統中維護基礎數據。

因此，在主要數據的基礎上，對原產地數據整合的建議是：第一，建立商業模式標準。通過建立主業務數據分類框架，建立目錄索引，逐一分析和整理各業務系統的數據，形成數據模型的標準;第二，統計主要數據。識別各業務系統的主要數據，對相關參數的屬性進行排序，確定各數據元的來源和權限，建立基礎數據臺賬;第三，完善基礎數據平臺。及時維護和更新業務數據管理平臺，以維護高級功能并集成一系列基本服務;第四，改造和更新現有的信息系統。通過對各業務系統相關功能的應用和集成，可以協調原系統中業務活動和事件產生的主要數據;第五，建立數據管理機制。建立數據管理相關機制，在公司內部搭建數據管理支撐平臺，實現數據標準、共享、賬戶、安全、質量的一體化管理。

5結語

業務數據管理是構建業務數據中心體系結構的首要任務。在分析基于數據中心組織的數據管理時，顯然首先要解決的是數據問題，以實現數據共享和標準化。本文從數據中臺架構進行建設的意義著手，探討了數據中臺架構建設的具體思路，并提出了基于數據中臺架構的數據管理應用，希望可以為企業數據管理提供參考，從而提高企業在互聯網大數據時代的競爭力。

作者簡介：

劉戈（1985—），本科，研究方向：ITSS運維和智慧城市。