關(guān)于企業(yè)數(shù)據(jù)中臺(tái)系統(tǒng)架構(gòu)設(shè)計(jì)的探討

王六森

（廣州賽寶認(rèn)證中心服務(wù)有限公司，廣東廣州 511370）

企業(yè)規(guī)模增長(zhǎng)帶來(lái)的挑戰(zhàn)，不只是表面上管理方式的改變，更重要的是底層思維邏輯的改變。諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)獲得者Ronald Coase提出，企業(yè)的實(shí)質(zhì)是一種基于社會(huì)資源配置的組織模式。如果市場(chǎng)交易成本大于企業(yè)內(nèi)部的生產(chǎn)管理成本時(shí)，企業(yè)就是優(yōu)于市場(chǎng)的資源配置模式，反之當(dāng)市場(chǎng)交易的邊際成本小于或等于企業(yè)內(nèi)部的生產(chǎn)管理成本時(shí)，就是企業(yè)能否生存的安全邊界。隨著“數(shù)字經(jīng)濟(jì)”時(shí)代已經(jīng)到來(lái)，規(guī)模不再是企業(yè)唯一追求點(diǎn)之后，如何用“數(shù)字能力”形成“企業(yè)算法”，幫公司提升效率、順利轉(zhuǎn)型，成為了關(guān)鍵命題。

1.數(shù)據(jù)中臺(tái)的系統(tǒng)架構(gòu)設(shè)計(jì)

數(shù)據(jù)中臺(tái)被稱為大數(shù)據(jù)的下一站，初始由阿里在2015年發(fā)起，2020年9月，國(guó)資委也發(fā)文從國(guó)家戰(zhàn)略的高度以及全球信息技術(shù)發(fā)展的趨勢(shì)，強(qiáng)調(diào)了企業(yè)數(shù)字化轉(zhuǎn)型工作重要意義，提出要探索構(gòu)建“數(shù)據(jù)中臺(tái)”“業(yè)務(wù)中臺(tái)”等新型IT架構(gòu)模式。數(shù)據(jù)中臺(tái)核心理念是數(shù)據(jù)共享，其目的是針對(duì)大數(shù)據(jù)時(shí)代的創(chuàng)新性、靈活性的特征，構(gòu)建新型的企業(yè)組織機(jī)制和業(yè)務(wù)機(jī)制，最終實(shí)現(xiàn)管理模式的創(chuàng)新。類似于美軍的“特種部隊(duì)（小前臺(tái)）+航母艦群（大中臺(tái)）”模式，特種部隊(duì)（小前臺(tái)）只有十幾人甚至幾人組成的特種部隊(duì)在戰(zhàn)場(chǎng)一線，可以根據(jù)實(shí)際情況迅速?zèng)Q策，并引導(dǎo)精準(zhǔn)打擊。而精準(zhǔn)打擊的導(dǎo)彈往往是從航母艦群（大中臺(tái)）上發(fā)射而出，后方會(huì)提供強(qiáng)大的偵查火力后勤支援。

數(shù)據(jù)中臺(tái)的實(shí)現(xiàn)，需要對(duì)數(shù)據(jù)進(jìn)行分層解構(gòu)并抽取出公共接口，與數(shù)據(jù)平臺(tái)、數(shù)據(jù)倉(cāng)庫(kù)的主要區(qū)別在于數(shù)據(jù)中臺(tái)是企業(yè)級(jí)的邏輯概念，更貼近業(yè)務(wù)，能更快地響應(yīng)業(yè)務(wù)需求，數(shù)據(jù)API是提供給業(yè)務(wù)服務(wù)的主要方式，可以搭建在數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)平臺(tái)之上[1]。綜合目前已有的數(shù)據(jù)中臺(tái)技術(shù)，數(shù)據(jù)中臺(tái)系統(tǒng)架構(gòu)可以總結(jié)為5層1庫(kù)1模型，如圖1所示，5層即數(shù)據(jù)模型、數(shù)據(jù)服務(wù)、數(shù)據(jù)開發(fā)、數(shù)據(jù)資產(chǎn)、數(shù)據(jù)治理；1庫(kù)為企業(yè)知識(shí)庫(kù)；1模型為企業(yè)算法模型。

圖1 數(shù)據(jù)中臺(tái)系統(tǒng)架構(gòu)

1.1 數(shù)據(jù)模型

可以借鑒數(shù)據(jù)倉(cāng)庫(kù)的ETL思路構(gòu)建分層模型，分層模型有3層：基礎(chǔ)模型主要對(duì)業(yè)務(wù)基礎(chǔ)數(shù)據(jù)進(jìn)行初級(jí)的標(biāo)準(zhǔn)化處理；融合模型按照維度對(duì)基礎(chǔ)模型數(shù)據(jù)進(jìn)行整合，整合的模式包含關(guān)聯(lián)、解析、歸總等；挖掘模型則偏向于具體業(yè)務(wù)層面，分析業(yè)務(wù)的生命周期，定義業(yè)務(wù)的關(guān)鍵節(jié)點(diǎn)、指標(biāo)。建立數(shù)據(jù)模型的主要關(guān)鍵點(diǎn)：（1）數(shù)據(jù)模型應(yīng)滿足3NF范式要求。（2）數(shù)據(jù)顆粒度，過細(xì)則不便于上層數(shù)據(jù)關(guān)聯(lián)解析，過粗則難以滿足多維度的定制化查詢需求。（3）設(shè)計(jì)數(shù)據(jù)冗余，局部的冗余可以避免關(guān)聯(lián)的復(fù)雜性，從而導(dǎo)致性能下降。

1.2 數(shù)據(jù)服務(wù)

數(shù)據(jù)服務(wù)提供給數(shù)據(jù)開發(fā)人員，也包括業(yè)務(wù)分析人員，其目的是便于使用者進(jìn)行算法分析。數(shù)據(jù)服務(wù)需要依據(jù)業(yè)務(wù)要求對(duì)數(shù)據(jù)模型進(jìn)行封裝，應(yīng)包含的功能有：（1）數(shù)據(jù)接口標(biāo)準(zhǔn)化：標(biāo)準(zhǔn)化的主要作用是便于后期使用，所以需要提供統(tǒng)一的查詢?cè)噲D。（2）數(shù)據(jù)開發(fā)可視化：主要是生成數(shù)據(jù)API，通過數(shù)據(jù)API的開發(fā)可以降低開發(fā)要求，也便于后期維護(hù)。

隨著企業(yè)大數(shù)據(jù)運(yùn)營(yíng)的深入，各類大數(shù)據(jù)應(yīng)用層出不窮，對(duì)于數(shù)據(jù)服務(wù)的需求非常迫切，大數(shù)據(jù)如果不服務(wù)化，就無(wú)法規(guī)模化，例如：電信運(yùn)營(yíng)商行業(yè)可以封裝終端洞察、金融征信、位置洞察等各種服務(wù)，便可以滿足內(nèi)外數(shù)據(jù)服務(wù)的要求。

1.3 數(shù)據(jù)開發(fā)

業(yè)務(wù)多樣性和多邊形決定了基礎(chǔ)數(shù)據(jù)和數(shù)據(jù)服務(wù)不能滿足，數(shù)據(jù)開發(fā)便是啟動(dòng)前臺(tái)后臺(tái)銜接的重要一環(huán)，按照不同角色也分為3層，對(duì)于業(yè)務(wù)人員，則提供數(shù)據(jù)標(biāo)簽庫(kù)，便于對(duì)營(yíng)銷客戶群關(guān)聯(lián)解析；對(duì)于用戶，則提供數(shù)據(jù)開發(fā)平臺(tái)，便于對(duì)數(shù)據(jù)訪問和可視化開發(fā)；對(duì)于技術(shù)人員，則可以提供各種數(shù)據(jù)組件，即自主定義個(gè)性化數(shù)據(jù)產(chǎn)品。

1.4 數(shù)據(jù)治理

數(shù)據(jù)治理也就是一套關(guān)于企業(yè)數(shù)據(jù)的管理體系，需要編制與企業(yè)數(shù)據(jù)管理相關(guān)的組織、流程、制度、技術(shù)要求等。通過對(duì)企業(yè)數(shù)據(jù)管理能力提升，以及數(shù)據(jù)保護(hù)、數(shù)據(jù)變現(xiàn)等措施改進(jìn)，達(dá)到為企業(yè)業(yè)務(wù)賦能。數(shù)據(jù)治理需要關(guān)注的：（1）實(shí)施關(guān)鍵路徑，實(shí)施數(shù)據(jù)治理的公司應(yīng)根據(jù)各自數(shù)據(jù)治理目標(biāo)策劃對(duì)應(yīng)的關(guān)鍵路徑，例如：電商行業(yè)采用的關(guān)鍵路徑是數(shù)據(jù)價(jià)值、數(shù)據(jù)安全等。（2）數(shù)據(jù)安全，不能脫離業(yè)務(wù)場(chǎng)景考慮數(shù)據(jù)安全，避免數(shù)據(jù)管理過緊或者過松。（3）數(shù)據(jù)質(zhì)量，同數(shù)據(jù)安全一樣不能脫離業(yè)務(wù)場(chǎng)景，數(shù)據(jù)質(zhì)量需要在應(yīng)用過程中才能達(dá)到最優(yōu)化，在業(yè)務(wù)應(yīng)用過程中，同步解決數(shù)據(jù)質(zhì)量問題。

1.5 數(shù)據(jù)資產(chǎn)

能給企業(yè)未來(lái)帶來(lái)經(jīng)濟(jì)利益的數(shù)據(jù)資源，以及歸企業(yè)所有或管控，應(yīng)從業(yè)務(wù)角度去聚焦和定義企業(yè)的數(shù)據(jù)資產(chǎn)，數(shù)據(jù)資產(chǎn)不同于數(shù)據(jù)，具有唯一性，數(shù)據(jù)資產(chǎn)規(guī)劃的前期需要制訂數(shù)據(jù)全景圖，通過全景圖建立企業(yè)內(nèi)部可以跨業(yè)務(wù)、跨部門的統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)。在數(shù)據(jù)全景圖的基礎(chǔ)上可以整理出數(shù)據(jù)資產(chǎn)目錄。

1.6 企業(yè)知識(shí)庫(kù)

隨著業(yè)務(wù)高速增長(zhǎng)，信息、知識(shí)積累越來(lái)越多，這些散落的信息蘊(yùn)含巨大的業(yè)務(wù)價(jià)值，如何利用積累的知識(shí)來(lái)輔助決策，需要公司能夠有效的組織知識(shí)，構(gòu)建“企業(yè)大腦”來(lái)激發(fā)知識(shí)的價(jià)值。企業(yè)搭建統(tǒng)一的知識(shí)共享平臺(tái)，更好的實(shí)現(xiàn)企業(yè)知識(shí)的積累、傳承與進(jìn)化。知識(shí)共享平臺(tái)可以基于數(shù)據(jù)資產(chǎn)形成企業(yè)的知識(shí)圖譜，知識(shí)共享平臺(tái)在底層可以采集不能來(lái)源和格式的數(shù)據(jù)，核心層包括知識(shí)生產(chǎn)、知識(shí)加工、知識(shí)應(yīng)用能力，上層支持不同業(yè)務(wù)場(chǎng)景應(yīng)用落地。

1.7 企業(yè)算法

企業(yè)即算法，管理即決策。但好的算法依賴于好的數(shù)據(jù)基礎(chǔ)，同時(shí)也能反向迭代優(yōu)化決策算法。通過對(duì)企業(yè)算法的顯性化，可利于企業(yè)高層達(dá)成共識(shí)，為企業(yè)規(guī)模化發(fā)展奠定基礎(chǔ)。這需要企業(yè)核心高管積極承擔(dān)“企業(yè)算法管理師”的角色，通過PDCA的方式優(yōu)化企業(yè)算法，建立符合企業(yè)業(yè)務(wù)發(fā)展和戰(zhàn)略需求的管理結(jié)構(gòu)和體系[2]。美國(guó)通用電氣公司曾嘗試用自己前期成功的企業(yè)算法進(jìn)入其他行業(yè)，包括軌道交通、家電設(shè)備、醫(yī)療設(shè)備等，但嘗試后發(fā)現(xiàn)企業(yè)算法收益大打折扣，便開始去多元化，聚焦其優(yōu)勢(shì)領(lǐng)域的航空發(fā)動(dòng)機(jī)和燃?xì)獍l(fā)電機(jī)等。該案例說(shuō)明企業(yè)高管必須客觀評(píng)估所要進(jìn)入的行業(yè)與其算法是否匹配，明確企業(yè)的核心優(yōu)勢(shì)，并在過程中提煉出屬于自己的企業(yè)算法。

2.數(shù)據(jù)中臺(tái)的意義

阿里CEO 張勇說(shuō)：“數(shù)字經(jīng)濟(jì)時(shí)代正撲面而來(lái)，社會(huì)經(jīng)濟(jì)、生活的方方面面正在發(fā)生巨大的變化。我們不僅要積極擁抱變化，而且要主動(dòng)創(chuàng)造變化，這樣才能引領(lǐng)時(shí)代的腳步，成為新時(shí)代的“造風(fēng)者”！”數(shù)據(jù)中臺(tái)是中國(guó)數(shù)字經(jīng)濟(jì)發(fā)展的一個(gè)新產(chǎn)物，數(shù)據(jù)中臺(tái)不是一套業(yè)務(wù)軟件系統(tǒng)，只針對(duì)某部分環(huán)節(jié)收集數(shù)據(jù)、獨(dú)立存儲(chǔ)、計(jì)算分析，而是將企業(yè)的設(shè)計(jì)、生產(chǎn)、倉(cāng)儲(chǔ)、供應(yīng)鏈、客戶體系、渠道銷售等所有環(huán)節(jié)全部打通，將全部環(huán)節(jié)產(chǎn)生的數(shù)據(jù)匯總到一起，形成標(biāo)準(zhǔn)數(shù)據(jù)，建立中央數(shù)據(jù)倉(cāng)，然后根據(jù)各個(gè)環(huán)節(jié)的業(yè)務(wù)需要，支持各業(yè)務(wù)端形成智能分析，智能決策，最終賦能各業(yè)務(wù)端[3]。以往企業(yè)的做法是對(duì)標(biāo)行業(yè)標(biāo)桿，但行業(yè)標(biāo)桿只是領(lǐng)先企業(yè)共性的總結(jié)，其深層缺乏一套個(gè)性化的數(shù)據(jù)中臺(tái)，好的數(shù)據(jù)中臺(tái)是基于企業(yè)特色、基于企業(yè)業(yè)務(wù)場(chǎng)景。