企業數據中臺建設和發展的思考

□ 文 孫 杰 高志國 張喆瑛

1 引言

產業互聯網時代，企業數字化轉型將成為一種趨勢。數字化轉型的本質是新一代信息技術驅動下的產業變革，企業的數字化轉型是社會整體數字化轉型中的一部分，并非一個孤立事件。數字化轉型，業務是基礎，核心是數據，那么如何充分發掘數據的價值，以數據指引業務決策并驅動業務增長，是企業推進數字化轉型要思考的關鍵課題。數據中臺著眼于企業數據資產匯集、數據開發建模、數據服務能力輸出，全面賦能企業業務，是數字化轉型中的技術核心。在我國數字化進程不斷推進的背景下，企業的數字化轉型正進入新的階段，數據中臺作用也越來越重要。

2 數據中臺產生的背景、定義和特征

2.1 數據中臺產生的背景

2010年后，隨著移動互聯網以及物聯網的快速發展，數據爆炸式增長，各種數據服務需求不斷涌現。但在傳統IT建設方式下，企業的各種信息系統和數據庫大多是獨立采購或者獨立建設的，新舊IT系統中沉淀的數據之間難以打通，導致企業內部形成一個個“數據孤島”“數據煙囪”，分散割裂且不易形成可共享的數據服務，無法滿足企業降本增效、高質量發展的訴求，因而成為企業在數字化轉型過程中的一個最大痛點。在企業對數據服務和共享日益迫切的需求下，以構建數據資產體系、釋放數據資產價值為核心的數據中臺被推到了廣闊的舞臺中央，因此數據中臺是數字化轉型過程自然演進的結果。

2.2 數據中臺的定義和特征

在企業IT架構日益復雜的今天，如何快速整合數據資產、發掘數據的價值進而形成多樣化的數據服務能力，為企業生產管理、精細化運營、高效決策提供支撐，我們亟需一套數據管理和服務機制。數據中臺就是一套可持續“讓企業的數據用起來”的機制，是依據企業特有的業務模式和組織架構，通過有形的產品和方法論的支撐，構建一套持續不斷把數據變成資產并服務于業務、運營、管理決策的機制。數據中臺它以多樣化的數據服務能力以及統一的數據標準、流程規范，加速了業務數據化、數據資產化、資產服務化的進程，幫助企業實現數據互聯互通、資源協調和數據管理、數據集成和共享。

數據中臺的特征：全、統、通，如圖1所示。全域數據是匯集盤點企業所有數據資源，并將所有數據資源進行完整呈現，全域數據集成的目標是提供用戶一站式的數據同步和數據處理的能力，允許用戶在數據集成界面上通過簡單高效的一站式操作完成數據開發和運維工作，且能有效降低運行成本，全域數據是構建數據應用的基礎；統一規范就是讓數據都遵循相同的標準，并且提供統一開放的數據服務接口，讓更多的前臺應用共享數據中臺提供的標準化數據能力（比如：數據API，數據標簽，數據監控等）；聯接打通就是為了融合整個企業的全部數據，打通孤島數據，消除數據標準和口徑不一致的問題。通過聯接打通，融合企業不同的技術架構、IT系統和數據，既保護現有投資，助力企業對歷史海量數據的價值挖掘，同時把先進的數字技術與企業敏捷運營、精益管理融合起來，降低企業數據管理和運營的復雜度，實現面向未來的共同價值創造。

圖1 數據中臺的特征

3 數據中臺的主要價值

在以客戶為中心的時代，數據中臺對數字化轉型具有重要作用，在客戶洞察、商業創新、效能提升等方面為企業帶來巨大價值。具體來說，數據中臺的主要價值包含以下三個層面：

1．以客戶為中心，用洞察驅動企業穩健行動

在以客戶為中心的時代，客戶的觀念和行為正在從根本上改變企業的經營方式以及企業與客戶的互動方式。數據中臺建設的核心目標就是以客戶為中心的持續規模化創新，而數據中臺的出現，將會極大提升企業數據的應用能力，將海量數據轉化為高質量數據資產，為企業提供更深層的客戶洞察，從而為客戶提供更具個性化和智能化的產品和服務。譬如，數據中臺能夠匯聚全域數據，在標簽管理、營銷效果分析等應用上實現全域的閉環，優化對客戶全生命周期的理解。此外，以數據中臺為基礎，通過數據化運營提升客戶留存、復購和忠誠度，也得到諸多企業的認可。

2、以數據為基礎，快速構建服務，加快企業商業創新。企業里存在海量的數據，只有依托算法和數據分析，才能對海量的數據產生精準洞察，應用到生產業務和運營中去，從而加快商業的創新。此外，數據中臺提供標準的數據訪問能力，簡化集成復雜性、促進互操作性，在快速構建數據服務能力、加快商業創新、提升業務適配等方面，數據中臺也發揮著重要的作用。

3、以效能為目標，全要素數據化運營，實現企業數據資產的持續增值。數據中臺的目標是不斷滿足前端迅速變化的用戶需求，通過數據化運營、持續交付、效能提升，更好支持業務發展和創新，驅動企業的數字化轉型。面對紛繁復雜而又分散割裂的海量數據，數據中臺不僅可以幫助企業聚合內部外數據，盤活全量數據，還可以快速構建各種各樣的數據服務，打造持續增值的數據資產，實現數據可見、可用、可運營的目標，以數據來驅動決策和運營，不斷深化企業數字化轉型。

4 數據中臺與BI、數據倉庫、數據湖的區別

在企業中規劃和實施數據中臺項目的時候，總有人搞不明白商業智能BI、數據倉庫、數據湖和數據中臺的內涵與差異，這里我們也不妨做一下具體的區別分析。

1）數據中臺與商業智能BI

商業智能BI更多的是做了用數據展示的工作，是一種滯后的業務數據分析，而用數據管理工作、用數據推動工作做得很少，所以BI偏重分析；數據中臺則提出了數據滲透到整個業務的閉環中，用系統的方式推動工作、用數據的智能驅動業務創新，所以更實用和全面，并實時滲透到業務的全過程。

2）數據中臺與數據倉庫

數據倉庫是提供所有類型數據支持的集合，出于數據分析性報告和決策支持目的而創建。數據中臺是一個數據集成平臺，它不僅僅是為數據分析挖掘而建，它更重要的功能是作為各個業務的數據源，為業務系統提供數據和計算服務。數據中臺的本質就是“數據倉庫+數據服務中間件”。數據中臺構建這種服務時是考慮到可復用性的，每個服務就像一塊積木，可以隨意組合、非常靈活，有些個性化的需求在前臺解決，這樣就避免了重復建設，既省時、省力又省錢。

3）數據中臺與數據湖

數據的聚集、加工的目的也是為了數據的服務，但是數據湖只是解決了聚集問題，在數據加工方面由于不可控制的需求變得異常繁重，由于數據的繁雜和混亂引入數據治理讓數據的加工更是舉步維艱。

數據倉庫、數據湖、BI主要是圍繞“讀”數據展開的，強調利用數據的能力，而不修改數據，而數據中臺則不單提供數據，同時強調圍繞數據的各種形式的服務，一旦涉及數據的“寫”，又提供通用的服務，就變成了主數據管理了。但是站在靈活性上來說，數據中臺，主要解決的還是數據“讀”的能力的聚集和向多方賦能。

5 數據中臺的整體架構

數據中臺的整體架構如圖2所示，數據中臺是位于數據底座云平臺與上層的數據應用之間的一整套體系。數據中臺屏蔽掉底層云平臺的技術復雜性，降低對技術人才的需求，讓數據的使用成本更低。通過數據中臺的數據匯聚、數據開發，建立企業數據資產，形成數據體系。通過數據資產管理、數據服務管理把數據資產轉變為不同的數據服務能力，服務于企業各種業務。數據安全管理、數據運營體系保障數據中臺可以長期健康、持續運轉。數據中臺通過各種數據應用銜接內外用戶，為它們提供快速決策響應、精細化運營及服務支撐等，讓數據業務化，更好地驅動業務發展和創新。

圖2 數據中臺整體架構

1）數據底座是數據中臺誕生的重要基礎。數字化轉型是利用數字技術，把企業各環節要素數字化，推動要素資源配置優化、業務流程生產方式重組變革，從而提高企業經濟效率的過程，其中數字基礎設施是生產工具，數據是生產資料。以云計算為核心，融合人工智能、大數據等技術，創新應用開發和部署工具，可加速數據的流通、匯集、處理和價值挖掘，有效提升企業應用的生產率。如今企業上云已是大趨勢，但由于業務的紛繁復雜及多樣化需求，企業往往有私有云、公有云、混合云等不同的云環境，多云管理應運而生。在多云管理的基礎上，不僅可以匯集企業內外部的數據資源，還可以與企業內已有的業務流程、運營管理、安全管控等系統集成，通過統一標準的數據服務及資源調配，實現最優、最安全配置和高效運營，提高性能和可用性。

2）數據中臺是讓數據持續用起來，通過各種工具、方法和運行機制，把數據轉變為一種服務能力，服務于企業業務。數據匯聚是數據中臺各種數據資源接入的入口。數據中臺本身并不產生任何數據，所有數據來自于業務系統、日志、文件、網絡等，這些數據分散在不同的網絡環境和存儲平臺中，難以利用，很難產生業務價值。數據匯聚是數據中臺必須提供的核心工具，把各種異構數據源的數據方便地采集到數據中臺中進行集中存儲，為后續的加工建模做準備；數據開發則是通過一整套數據開發和建模工具，提供不同的模型和服務功能，快速把數據加工成對業務有價值的形式，提供給業務使用；數據體系是數據中臺的血肉，有了數據匯聚、數據開發模塊，中臺已經具備傳統數據倉庫的基本能力，就可以做數據的匯聚以及各種數據開發，建立企業的數據體系了。大數據時代，數據量大，增長快，業務對數據的依賴也會越來越高，必須考慮數據的一致性和可復用性，垂直的、煙囪式的數據和數據服務的建設方式注定不能長久存在。不同的企業因業務不同導致數據不同，數據體系建設的內容也不同，但大體相似，一般按照貼源數據、統一數倉、標簽數據、應用數據的標準來統一建設；數據資產管理通過數據體系建立起來的數據資產較為偏技術，業務人員比較難理解。資產管理最好是以企業全員更好理解的方式，把企業的數據資產展現給企業全員（當然要考慮權限和安全管控），數據資產管理以一種更直觀的方式展現企業的數據資產，提升企業的數據意識；數據服務體系就是把數據變為一種服務能力，通過數據服務讓數據參與到業務，激活整個數據中臺，數據服務體系是數據中臺存在的價值所在。大部分的數據服務都可以通過中臺的能力快速定制，比如服務的管控、鑒權、計量、調度等功能；運營體系和安全管理是數據中臺得以健康、持續運轉的基礎。通過前面的數據匯聚、數據開發、數據體系、數據資產管理、數據服務體系，已經完成了整個數據中臺的建設，也已經在業務中發揮一定的價值。如果沒有它們，數據中臺很可能像個一般項目一樣，會在搭建起平臺、建設部分數據、嘗試一兩個應用場景之后而止步，無法正常地持續運營，不能持續發揮數據的應用價值，這也就完全達不到建設數據中臺的目標。

3）數據中臺的重要聚焦點在企業的數據應用場景上。數據應用場景既是數據中臺的啟動點，又是實現創新的基石。不同行業的不同企業在不同的發展階段，其數據應用的需求也是不一樣的，具體應用場景的優先級也是不同的，而且不同階段支撐的場景數據也需要不斷的迭代。數據中臺通過數據采集、開發建模、數據資產交易、數據服務、數據運營等場景與企業內外用戶發生各種交互，實現企業數據中臺服務一體化，驅動業務精細化運營的能力建設，持續夯實數據基礎，形成數據與業務正向自循環促進的關系，不僅全面推動企業內部蓬勃的業務創新，也可以更好地對外服務，帶動整個企業的數字化轉型。

6 數據中臺建設的挑戰與應對方法

數據中臺建設面臨的挑戰包括：1）梳理業務場景：搞清楚數據中臺如何對業務產生價值。2）建設數據中臺的優先級策略：需求可能大而全，但我們不能直接建大而全的數據中臺，應該根據業務重要性來排需求的優先級。3）數據治理問題：和業務獨立開的數據治理少有成功的，大的數據標準要有數據資產目錄，通過數據資產目錄將共有的緯度、共性的業務模型提煉出來，在此基礎之上數據治理需要跟業務場景緊密結合。

搭建數據中臺需要圍繞“規劃、治理、整合、共享”的四步，將企業海量、多維的數據資產盤點、整合、分析、確保整個公司數據一致性和可復用性，為前臺提供數據資產、數據定制創新、數據監測與數據分析等服務，最終實現數據資產的價值最大化。當然，建設數據中臺面臨很多挑戰，道阻且長不是一蹴而就的，在這里需要把握以下應對方法：

（1）需要一把手的重視和支持。一把手首先需要認識到數據中臺的價值，數據是業務重要的支撐，是重要的推動力，更可以引領業務的發展。另外就是數據中臺的建設一定要有戰略規劃，更需要有相應的組織、制度、流程、資源的保障，因此只有獲得企業一把手的支持，才能推動數據中臺的持續建設。

（2）需要數據生態建設思維。數據生態體系的構建能夠為企業的管理、人才、銷售與伙伴，提供更好的競爭環境和資源配置效率，實現可持續發展的戰略轉折。通過開放式數據生態合作，創新連通上下游產業鏈，保持存量市場，擴大增量市場；

（3）需要建立數據湖的概念，推動數據和業務、技術的融合，實現跨地域、跨系統、跨層級、跨部門、跨業務的協同管理和服務。

（4）重視數據治理。數據治理是數據中臺建設中的關鍵一環。數據治理不僅要解決數據全不全、準不準、好不好用的問題，更要讓業務團隊知道公司的數據能力和數據資產標準，讓大家達成共建、共享、標準化的一致理念，確保數據流轉和應用是基于同樣的標準和基礎，真正把數據用好、用準、用透，讓數據持續為業務賦能，助力企業的數字化轉型。

7 數據中臺落地六步法

數據中臺技術集成度高，建設難點多，存在一定的建設風險，如何成功落地需要從以下六個方面著力：（1）建立清晰的數據戰略是數據中臺建設的第一步（2）數據技術和平臺能力（包括人工智能）是規模化應用數據的基礎（3）找到有價值的業務場景和用例，將數據應用起來是關鍵（4）建立企業的數據意識和認知，打造數據文化是土壤（5）讓數據團隊和業務緊密結合，價值驅動（6）持續運營，快速迭代，達到持續智能。

數據中臺可以幫助企業整合內外部數據資源與平臺能力，打通企業數據，提供以前單個部門或者單個業務單元無法提供的數據服務能力，以實現數據的更大價值變現。企業期待數據中臺能提升跨部門的普適性業務價值能力，更好地管理數據應用，將數據洞察變成直接驅動業務行動的核心動能，跨業務場景推進數據實踐，使能業務驅動業務的創新。

8 結束語

在以客戶為中心的時代，數據中臺對數字化轉型具有重要作用，以數據中臺為基礎的數據系統將位于企業應用的核心，在企業降本增效、精細化經營等方面為企業帶來巨大收益。數據中臺的未來的應用趨勢是向中小型企業賦能，降低企業的建設成本，發揮數據驅動業務創新的價值，帶動整個產業的數字化轉型。■