基于數據中臺視角的企業數字化轉型探析

馮曉娜 雷會鋒 王璐

摘要數據化轉型逐漸成為企業實現可持續經營的必經之路。本文在分析企業數字化轉型中的突出問題及原因的基礎上，梳理了企業創建數據中臺的前提、一般流程及注意事項，并基于阿里巴巴的數據中臺實踐案例，為企業構建、實施數據中臺提供建議。

關鍵詞 數據中臺；大數據；共享；復用

DOI： 10.19840/j.cnki.FA.2021.01.007

“中臺”一詞源于阿里巴巴的“大中臺、小前臺”戰略。就阿里巴巴而言，“前臺”就是直接服務于最終用戶或商家的業務部門，“中臺”則是強調資源整合、能力沉淀的平臺體系，旨在為“前臺”開展業務提供技術和數據支持。“中臺”一詞還衍生出數據中臺、財務中臺、組織中臺、業務中臺、服務中臺等諸多概念，但影響最大的是“數據中臺”。自被稱為數據中臺元年的2019年起，華為、騰訊、萬科、京東、網易零售、字節跳動、360金融、國家電網等諸多知名企業均在積極探索、建設、應用數據中臺。

但對于“數據中臺”的定義，目前尚未達成共識。國務院發展研究中心信息中心的李廣乾認為，數據中臺是企業數據系統解決方案中的那些可共享、可通用的數據業務內容，與數據參考模型聯系緊密。前阿里巴巴業務平臺負責人玄難認為，數據中臺是一種整合基礎數據并提供數據產品供業務方使用的能力。網易大數據平臺負責人郭憶認為，數據中臺是指面向不同的主題域，將分層的數據組織在一起，通過服務化的方式向外界提供可供決策的數據，是一種統一共享的數據組織，核心是實現數據的復用，可解決與企業運營管理相關的效率、質量和成本等三大問題。中國數據中臺行業研究報告（2019年）把數據中臺定義為“企業數字能力共享平臺，是平臺的平臺”。還有諸如，數據中臺是一套可持續“讓企業的數據用起來”的機制、“企業級能力復用平臺”“數據使用方法的集合體”等觀點。理論界對數據中臺的探索還處于概念討論的萌芽階段，涵蓋數據中臺的定義、定位、架構及建設等[1-4]。數據中臺的簡框如圖1所示。

盡管對定義數據中臺還存在爭議，但對其作用，各界均認為數據中臺旨在提高數據的使用效率，核心功能是基于海量數據（基于大數據平臺產生的）提高企業的運行效率，目標是促進企業更好地利用數據，更快地讓數據產生價值。鮮有文獻梳理數據中臺背后的深層原因及企業是否及如何構建數據中臺等方面的內容。

本文在匯總數據中臺現有研究成果的基礎上，通過梳理數據中臺產生的背景、構建數據中臺的一般流程，并結合阿里巴巴成功實施數據中臺的案例，為企業更好地開展數據中臺項目提供借鑒。對于準備實施數據中臺的企業而言，須基于自身的行業發展特性和具體業務性質，進行深入研究和規劃，繼而建設與自身發展相匹配的業務中臺和數據中臺。

一、企業數字化轉型中的突出問題及原因

（一）企業數據項目“煙囪式”建設

“煙囪式”的數據開發是企業數字化轉型中面臨的突出問題。由于企業的組織結構多為直線式的職能型管理，各部門互為獨立，導致基于單個部門（項目）建設的數據項目多為垂直的體系結構。每一個部門都有自己的存儲、設備、管理工具和數據庫，不同部門無法共享資源，形成了資源和信息孤島。“煙囪式”的數據開發，還引致企業多個部門之間數據的復用性較差，從數據開發、上線、再到使用的一系列環節，缺少整體層面的規劃與控制。此外，諸如冗余數據不斷堆積導致存儲成本上升、數據回溯性差導致錯誤源很難發現等問題，也多與“煙囪式”的數據開發模式緊密相關。

以阿里巴巴集團為例，在數據整合之前，淘寶、天貓、聚劃算三大平臺均需要在IT建設上投入大量資金，導致重復建設、資源利用率下降的問題。自2015年起，阿里集團將淘寶、天貓、聚劃算進行統一規劃管理，加強各平臺之間的資源整合，實施“萬能淘寶，品質天貓，活力聚劃算”戰略，并以此為基礎構建阿里的數據中臺建設。

（二）數據對業務部門的支持力度弱

數據源于業務，更要服務于業務。但對于很多企業而言，數據對業務的支撐作用有限。表現為：（1）數據使用門檻較高。對非技術型的業務人員而言，由于計算機知識欠缺，數據使用普遍出現困難。比如，結構化查詢語言（Structured Query Language，簡稱SQL），對技術人員容易，對非技術型的數據使用者而言可能就很困難。（2）全鏈路監控缺失，數據質量無法保證。一個數據的獲取需要上百個節點，任何一個節點出錯，都可能導致最終數據出錯，且不易定位問題的根源。（3）數據對業務的支撐作用弱。不同于匯集數據的數據平臺，數據中臺具有業務屬性，可以支撐多個前臺業務，使得各前端業務部門不再獨立管理業務數據，真正實現不同業務之間的互通互融。

總之，部分企業構建的大數據中心或數據倉庫普遍出現重復建設、數據成本高、取數效率低、數據質量差等問題。站在數據開發者視角，隨著數據量級的逐漸擴大，數據開發難度加大。站在數據使用者視角，數據查詢慢，需求響應慢，數據經常違反常規。站在企業管理者角度，花了那么多錢，還支撐不了業務。

（三）導致上述問題的原因分析

導致上述問題的原因主要有：（1）缺少規范的數據傳遞流程。很多數據中心缺少規范的數據開發、數據應用及管理流程。（2）盡管有些企業制定了數據的開發、管理、使用等制度，但由于技術系統跟不上，導致功能模塊之間的數據接口復雜多樣，難以實現系統之間的協同。（3）組織架構分散。傳統的部門結構導致數據隔離，很多數據倉庫無法有效連接。（4）數據與業務分離，無法更好地促進業務發展。

（四）是否需要構建數據中臺的判斷

并非所有企業都適合構建數據中臺，判斷標準有以下三方面：（1）是否存在數據傳遞阻隔問題。由于事業部制的組織結構，各部門之間形成了部門墻，存在煙囪式的數據系統。（2）是否存在數據重復建設問題。企業體量大時，業務復雜，可能自己開發建設或與第三方機構合作共建數據倉庫，本企業內部是否有多個部門在建設自己的數據倉庫。（3）企業規模巨大，業務復雜。

二、如何構建數據中臺

數據中臺是信息化與大數據融合發展的產物，是構建業務中臺的基礎。旨在從多個維度提高企業業務工作的效率，促進企業的高效運行。關鍵在于有效融合現有的信息化資源，不是另起爐灶。

（一）搭建企業數據中臺的原則

構建數據中臺應遵守的原則：標準、統一、共享及安全。對于一般企業而言，應首先理清業務與數據的關系，整合業務信息系統和會計信息系統，建立標準和統一的數據采集、存儲和加工機制。只有企業規模達到一定的程度，業務信息化發展到一定的水平，才有必要構建并從數據中臺獲得收益。不能為了趕時髦，倉促上馬數據中臺。其次，要確保數據共享與安全。諸如數據集中式的數據中心（數據倉庫），只是把大量數據集中起來，還應與業務部門分享數據。數據中臺最終能否真正地產生業務價值，目前尚無定論（類似會計人員提供的報表，是否有用并產生價值受多種因素的影響）。對于尚未具備構建數據中臺條件的企業而言，現階段可在人員儲備、技術能力、組織架構、業務水平等方面夯實基礎。

（二）搭建數據中臺需要考慮的三個主要問題

1.從方法論的視角。如何采用主題域管理模式，實現“一個數據”，分層管理數據；如何實現數據模型復用，被其他地方多次使用，比如橫向的覆蓋范圍和縱向的跨層引用等；如何提升數據服務化水平，打通全鏈路數據、加設數據網關、整合異構數據源。

2.從技術的角度。如何構建數據研發體系、數據建設體系、數據服務體系以及數據應用體系。數據研發體系，基于現實問題和遠景目標的研究開發系統；數據建設體系，基于元數據構建的指標體系、數據質量、成本優化、數據地圖、數倉設計等應用場景；數據服務體系，搭建數據研發與數據應用的橋梁；數據應用體系，數據中臺實時化、云端化、自動化（代碼構建）、智能元數據處理和增強分析、通用數據產品建設，數據生產力能力顯著提升。

3.從組織架構的角度。數據產品技術部包括數據產品團隊、數據平臺團隊、數據開發團隊、數據應用團隊。數據中臺的建立一般會伴隨著企業組織架構的調整。

總之，從建設數據中臺的步驟看，一般是首先建設業務中臺，基于一定的規則匯積大量的業務數據（即業務數據化）；其次，基于業務對數據的需求愿景，制定中臺建設的整體規劃，確定數據中臺的分階段建設目標。從數據中發現價值，反過來賦能業務。最后，根據業務部門的需求建設數據中臺，使數據服務于業務，優化業務，驅動業務增長并提升業務工作的效率（即數據業務化）。

（三）構建數據中臺的具體內容

1.數據采集與存儲。數據中臺的數據源頭，應能夠采集內部數據和外部數據、結構化數據和非結構化數據、歷史數據和現時數據，滿足多種類型的數據采集需要。此外，此環節還包括以一定的規則將數據有序存儲。

2.數據計算與分析。基于大數據和云計算，為數據中臺提供的快速、準確的計算能力，滿足各個層次的數據計算需求。同時，提供可視化的數據ts分析。

3.數據管理與服務。數據管理的內容包括數據標準、數據模型、數據質量、數據安全等。數據標準包含數據編碼、目錄、標簽、字段、庫表、視圖、數據口徑、術語、元數據等內容。數據模型涉及一般算法模型和機器學習算法模型。數據質量涵蓋及時性、準確性、完整性、一致性等維度。數據安全主要是指數據的訪問、使用、披露、修改、銷毀等均需授權。在此基礎上，使數據盡可能快捷地支撐企業業務發展，服務于企業整體戰略。總之，標準、規范、統一的數據管理是提供較高質量服務的前提。

三、案例分析

（一）阿里巴巴的數據中臺簡述

2015年，阿里巴巴集團提出“大中臺、小前臺”的戰略，創建業務和數據兩個中臺，打通業務與數據之間的障礙，實現對數據的采集、管理、控制、使用等全流程管控。如圖2所示，數據中臺和業務中臺相輔相成，滿足多種場景的對內對外數據應用，共同支撐阿里巴巴總體戰略的實現。

（二）阿里巴巴的數據中臺應用

1.數據管理。曾有觀點認為，大數據就是大災難，如果企業沒有很好的能力管理數據，數據越大，災難就越大。阿里數據管理主要圍繞“存、管、用”展開，“存”就是針對性地進行數據收集和存儲；“管”就是積極處理收集過來的數據；“用”就是要認真思考數據的應用場景，充分發揮數據的價值。

2.數據應用。數據應用方面，主要是站在用戶的角度考慮數據的應用價值和應用需要。通過全域數據收集（多終端的數據采集與連接）、全渠數據融合（阿里旗下所有平臺上用戶的行為數據）、全鏈數據集成（縱向記錄某種產品或服務整個商業過程的數據），阿里為眾多商家提供數據分析、診斷、優化、預測等一站式數據服務，全面支撐業務發展。此外，阿里的全局數據監控可視化，將原有的報表、指標全部可視化，利用折線圖、柱狀圖、餅形圖等工具展現出來。

比如阿里巴巴商家端統一數據產品平臺——生意參謀，基于數據中臺為不同行業的店主提供端到端的分析支撐，實現數據統一、服務統一和產品平臺統一。打通淘寶、天貓、螞蟻等業務中間層之間的隔閡。

（三）案例小結

阿里的數據中臺是一套持續“讓數據變成資產并服務于業務”的機制，是依據阿里自身的業務模式和組織架構構建起來的，不僅能降低數據項目的重復建設、減少部門間煙囪式協作的成本，也是阿里差異化競爭的優勢所在。

四、結論與啟示

隨著數據時代的來臨，越來越多的企業想通過數據驅動來進行精細化的運營和數據化轉型。從數據中心、數據倉庫、數據平臺一路發展而來的數據中臺，是大數據時代企業數據化轉型的關鍵路徑。企業是否需要建立數據中臺，要基于自身的業務及數據特征做出綜合判斷。需要具備扎實的基礎架構尤其底層基礎架構和相對完備的IT基礎設施，漸進式地建立適合企業自身的數據管理機制和流程。構建數據中臺時，一般要遵循標準、統一、共享、安全的原則。

當前，企業建設數據中臺相對較優的方式是，通過合理規劃、復用企業已具備的大數據基礎（平臺、工具）。充分借鑒業界數據中臺建設的成功實踐，從企業數據管理核心需求出發，首先基于某一特定業務，打通數據采集、存儲、計算、治理、服務的工作全流程，逐步擴展到全域數據的接入、加工和管理，建設起適合自身規模、業務特征的數據中臺。AFA

參考文獻

[1]李廣乾.什么是數據中臺[J].中國信息界，2019（6）：72-75.

[2]王作敬，汪照輝.企業中臺建設思索[J].金融電子化，2019（6）：72-75.

[3]繆翀鶯，譚華，易學明.數據中臺的定位和架構分析[J].廣東通信技術，2019（12）：57-62+70.

[4]劉俊良.新時代數據中臺研究與設計[J].電子世界，2020（5）：119.

（審稿：薛勝昔編輯：賈璐）