上海外國語大學(xué)數(shù)據(jù)中臺(tái)幫高校實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)化

文/趙衍

隨著商業(yè)環(huán)境的不斷發(fā)展，企業(yè)間的競爭越來越激烈，如何利用現(xiàn)有的數(shù)據(jù)快速地定位問題、分析問題和解決問題，成為企業(yè)間競爭的焦點(diǎn)。為了應(yīng)對復(fù)雜多變的市場環(huán)境，為企業(yè)各層決策者提供數(shù)據(jù)支持，從而贏得核心競爭力，阿里集團(tuán)首先提出了“中臺(tái)”的概念。

數(shù)據(jù)中臺(tái)系統(tǒng)，就是對海量數(shù)據(jù)進(jìn)行采集、計(jì)算、存儲(chǔ)、加工，形成標(biāo)準(zhǔn)的大數(shù)據(jù)資產(chǎn)層，為組織的內(nèi)外部客戶提供高效數(shù)據(jù)服務(wù)。數(shù)據(jù)中臺(tái)能夠降低數(shù)據(jù)庫和數(shù)據(jù)倉庫的重復(fù)建設(shè)，減少煙囪式協(xié)作的成本，幫助組織構(gòu)建新型的差異化競爭優(yōu)勢。

數(shù)據(jù)中臺(tái)是涵蓋了數(shù)據(jù)資產(chǎn)、數(shù)據(jù)治理、數(shù)據(jù)模型、垂直數(shù)據(jù)中心、全域數(shù)據(jù)中心、萃取數(shù)據(jù)中心、數(shù)據(jù)服務(wù)等多個(gè)層次的體系化建設(shè)方法。“讓一切業(yè)務(wù)數(shù)據(jù)化，一切數(shù)據(jù)業(yè)務(wù)化”是對數(shù)據(jù)中臺(tái)系統(tǒng)功能的簡要概括。

數(shù)據(jù)中臺(tái)系統(tǒng)的特點(diǎn)

數(shù)據(jù)中臺(tái)與傳統(tǒng)的業(yè)務(wù)前臺(tái)和后臺(tái)有顯著的區(qū)別，與傳統(tǒng)的數(shù)據(jù)庫和數(shù)據(jù)倉庫既有一定的聯(lián)系，又有很大的區(qū)別。

數(shù)據(jù)中臺(tái)與前后臺(tái)

組織中的前臺(tái)是指各類數(shù)據(jù)應(yīng)用，這些應(yīng)用可能是管理流程的配置、支持決策的數(shù)據(jù)和報(bào)表的提供、各種數(shù)據(jù)查詢服務(wù)，也可能是支持業(yè)務(wù)工作的軟件開發(fā)等。

后臺(tái)是指對原始數(shù)據(jù)的管理，這些數(shù)據(jù)可能是關(guān)系型數(shù)據(jù)庫中的靜態(tài)實(shí)體數(shù)據(jù)或者業(yè)務(wù)數(shù)據(jù)；也可能是服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)設(shè)備等生成的各類日志數(shù)據(jù)；或者是人工填報(bào)和上傳的半結(jié)構(gòu)化或非結(jié)構(gòu)化的圖表、文本、音頻、視頻等數(shù)據(jù)。

介于前臺(tái)數(shù)據(jù)應(yīng)用層和后臺(tái)原始數(shù)據(jù)管理層的中間層就是數(shù)據(jù)中臺(tái)。數(shù)據(jù)中臺(tái)主要是為了支持前端各類數(shù)據(jù)服務(wù)而對后臺(tái)原始數(shù)據(jù)進(jìn)行加工和整合后生成的各類數(shù)據(jù)集合。這些數(shù)據(jù)集合可能有明確的服務(wù)對象，也可能尚無明確的服務(wù)對象。

數(shù)據(jù)中臺(tái)與數(shù)據(jù)庫和數(shù)據(jù)倉庫

數(shù)據(jù)中臺(tái)不同于數(shù)據(jù)庫。目前，高校各部門使用的業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫主要是關(guān)系型數(shù)據(jù)庫，聚焦于對人、財(cái)、物的管理。而數(shù)據(jù)中臺(tái)中的數(shù)據(jù)，不遵循范式要求，并不針對某類具體實(shí)體或者聯(lián)系的管理，主要是面向應(yīng)用；而且數(shù)據(jù)中臺(tái)中的數(shù)據(jù)不僅包括實(shí)體和聯(lián)系數(shù)據(jù)，還包括各類日志數(shù)據(jù)、圖表、文本、音視頻資料等半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)。

數(shù)據(jù)中臺(tái)的概念也不同于數(shù)據(jù)倉庫，主要體現(xiàn)在以下三個(gè)方面：

1.數(shù)據(jù)來源不同。數(shù)據(jù)倉庫的數(shù)據(jù)主要來源于各類業(yè)務(wù)數(shù)據(jù)；而數(shù)據(jù)中臺(tái)的數(shù)據(jù)除了各類業(yè)務(wù)數(shù)據(jù)外，還包括各類日志、IOT（Internet of Things）數(shù)據(jù)、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)等。

2.對數(shù)據(jù)實(shí)時(shí)性要求不同。數(shù)據(jù)倉庫主要是為了支持決策，因此，并不要求數(shù)據(jù)達(dá)到實(shí)時(shí)更新，一般能做到T+1就可以；但數(shù)據(jù)中臺(tái)由于要進(jìn)行實(shí)時(shí)的業(yè)務(wù)支持和快速的問題分析，因此對數(shù)據(jù)的實(shí)時(shí)性要求更高。

3.服務(wù)對象不同。數(shù)據(jù)倉庫的服務(wù)對象主要是企業(yè)經(jīng)營的決策者；而數(shù)據(jù)中臺(tái)的服務(wù)對象不僅包括決策者，還包括業(yè)務(wù)人員、運(yùn)維人員、各類應(yīng)用系統(tǒng)開發(fā)人員以及合作伙伴等。

此外，相比較于數(shù)據(jù)庫和數(shù)據(jù)倉庫，數(shù)據(jù)中臺(tái)離業(yè)務(wù)更近，對需求的響應(yīng)更迅速。組織中現(xiàn)有的數(shù)據(jù)庫和數(shù)據(jù)倉庫都可以成為中臺(tái)系統(tǒng)的數(shù)據(jù)來源。

數(shù)據(jù)中臺(tái)系統(tǒng)的建立，可以降低數(shù)據(jù)服務(wù)的門檻，讓數(shù)據(jù)真正實(shí)現(xiàn)資產(chǎn)化和業(yè)務(wù)化，成為組織新型核心競爭力的來源。

建立數(shù)據(jù)中臺(tái)系統(tǒng)的動(dòng)因

目前，高校信息化管理部門同時(shí)肩負(fù)管理（主要是IT設(shè)備和應(yīng)用系統(tǒng)管理）和IT服務(wù)兩種職能，按照網(wǎng)絡(luò)、應(yīng)用系統(tǒng)開發(fā)、數(shù)據(jù)整合、多媒體教室設(shè)備管理、實(shí)驗(yàn)室管理、網(wǎng)絡(luò)安全管理、一卡通系統(tǒng)管理、有線電視網(wǎng)絡(luò)管理等“塊狀”業(yè)務(wù)設(shè)計(jì)組織架構(gòu)。但是，隨著用戶需求的變更和技術(shù)的發(fā)展，這種“塊狀”的業(yè)務(wù)劃分方法將面臨變革，轉(zhuǎn)變?yōu)閳D1所示的層次狀架構(gòu)。

高效IT服務(wù)

圖1 高校IT部門的層次狀業(yè)務(wù)架構(gòu)

隨著技術(shù)的發(fā)展，各類IT服務(wù)在前端技術(shù)上慢慢趨同，面向師生的各種網(wǎng)絡(luò)服務(wù)、校園卡服務(wù)、電教服務(wù)等所需的技能差異逐漸縮小，此類服務(wù)在客觀上可以整合在一個(gè)服務(wù)團(tuán)隊(duì)中完成，通過工單系統(tǒng)快速響應(yīng)、定位、診斷并處理用戶提出的問題，這套工單系統(tǒng)需要完整的師生數(shù)據(jù)、設(shè)備臺(tái)賬數(shù)據(jù)、各類設(shè)備和系統(tǒng)日志數(shù)據(jù)的支持。

高質(zhì)量設(shè)備和資產(chǎn)管理

隨著師生對校園網(wǎng)絡(luò)和各類應(yīng)用系統(tǒng)的依賴越來越深，“網(wǎng)絡(luò)不間斷”和“業(yè)務(wù)不中斷”成為廣大師生對信息化的基本訴求，這在客觀上要求高校信息化管理部門能夠持續(xù)提供高質(zhì)量的IT運(yùn)維，能夠預(yù)防并快速解決軟硬件系統(tǒng)中出現(xiàn)的任何問題。這些都在客觀上需要完整的設(shè)備資產(chǎn)、臺(tái)賬、日志及知識庫等數(shù)據(jù)的支持。

流程與決策支持

隨著高校之間競爭的加劇，高校行政系統(tǒng)運(yùn)行效率和決策質(zhì)量成為高校之間競爭的一個(gè)焦點(diǎn)。“一站式網(wǎng)上服務(wù)”、“一網(wǎng)通辦”成為高校各部門提供高效、高質(zhì)量服務(wù)的客觀要求。此外，校各級管理部門也常常需要快速、完整、多維度的數(shù)據(jù)報(bào)表，以便輔助決策。這些流程配置和決策支持功能的實(shí)現(xiàn)，都依賴于對各類業(yè)務(wù)數(shù)據(jù)和日志的實(shí)時(shí)采集、加工和分析。

綜上，在高校信息化管理部門的IT服務(wù)、IT設(shè)備及資產(chǎn)管理以及流程與決策支持三大業(yè)務(wù)逐漸分離的趨勢下，一套強(qiáng)大的數(shù)據(jù)中臺(tái)系統(tǒng)成為高校信息化業(yè)務(wù)開展的基礎(chǔ)。

上海外國語大學(xué)數(shù)據(jù)中臺(tái)系統(tǒng)

建設(shè)方案

考慮到系統(tǒng)功能的持續(xù)擴(kuò)展性，為防止系統(tǒng)由于過分依賴廠商或太過封閉造成今后的持續(xù)開發(fā)風(fēng)險(xiǎn)，本中臺(tái)系統(tǒng)由校方大數(shù)據(jù)項(xiàng)目團(tuán)隊(duì)自主進(jìn)行整體架構(gòu)設(shè)計(jì)，在綜合權(quán)衡學(xué)校的數(shù)據(jù)規(guī)模和應(yīng)用需求后，采用開源和自主開發(fā)相結(jié)合的方式進(jìn)行建設(shè)。系統(tǒng)架構(gòu)如圖2所示。

圖2 高校數(shù)據(jù)中臺(tái)系統(tǒng)架構(gòu)

數(shù)據(jù)采集層采集人員數(shù)據(jù)、教務(wù)數(shù)據(jù)、財(cái)務(wù)數(shù)據(jù)庫、科研數(shù)據(jù)庫、人事檔案數(shù)據(jù)、學(xué)科數(shù)據(jù)庫、日志事件庫等業(yè)務(wù)基礎(chǔ)數(shù)據(jù)，支持離線和實(shí)時(shí)兩種數(shù)據(jù)采集方式。離線數(shù)據(jù)采集主要支持MySQL、SQL Server、Oracle、離線文件等；實(shí)時(shí)數(shù)據(jù)采集主要支持 MySQL、日志等，并支持API接口實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)上報(bào)。實(shí)時(shí)數(shù)據(jù)采集對于其他類型的實(shí)時(shí)數(shù)據(jù)提供“邊緣數(shù)據(jù)采集工具集”，邊緣數(shù)據(jù)采集工具采用GO語言開發(fā)，直接部署在數(shù)據(jù)產(chǎn)生節(jié)點(diǎn)上，避免了集中處理數(shù)據(jù)的壓力。采集來的數(shù)據(jù)都被放入一個(gè)基于Apache Kafka 的消息隊(duì)列中,該消息隊(duì)列只投遞一次，避免因后續(xù)數(shù)據(jù)加工平臺(tái)和數(shù)據(jù)采集工具的處理能力不匹配而丟失數(shù)據(jù)。

對于業(yè)務(wù)數(shù)據(jù)，利用ETL工具定期從業(yè)務(wù)系統(tǒng)里抽取數(shù)據(jù)放到臨時(shí)數(shù)據(jù)庫，同時(shí)進(jìn)行一些數(shù)據(jù)整合操作,再利用工具將臨時(shí)數(shù)據(jù)庫里的數(shù)據(jù)存入Kafka里。這些數(shù)據(jù)中，大部分是Syslog形式的，直接存入Kafka里即可；另外有些數(shù)據(jù)需要利用廠商提供的API導(dǎo)入Kafka里；還有一些手工填報(bào)的數(shù)據(jù)，需要利用Excel文件導(dǎo)入Kafka里。

在數(shù)據(jù)加工層，有數(shù)個(gè)數(shù)據(jù)處理節(jié)點(diǎn)不間斷地從Kafka里將數(shù)據(jù)取出，并完成兩項(xiàng)工作，一是將部分決策支持模型需要的原始數(shù)據(jù)轉(zhuǎn)存到6個(gè)月存儲(chǔ)期的集群中；二是抽取需要的數(shù)據(jù)到上層的查詢分析集群。

在數(shù)據(jù)服務(wù)層，提供基于Elastic Stack的大數(shù)據(jù)查詢和分析，方便用戶快速獲得所需數(shù)據(jù)；提供運(yùn)行于ES數(shù)據(jù)集群之上、用戶自定義模型的各類預(yù)警和決策參考工具，利用ELK的預(yù)警模塊，通過“Push”和“Pull”兩種方式提供給用戶；提供開放的數(shù)據(jù)集、開放API以及標(biāo)簽工廠等資源，在保證數(shù)據(jù)安全的前提下，方便用戶獲取數(shù)據(jù)和重新定義數(shù)據(jù)，讓用戶享受快速便利的數(shù)據(jù)服務(wù)。

問題與不足

數(shù)據(jù)中臺(tái)系統(tǒng)匯集了學(xué)校各業(yè)務(wù)系統(tǒng)的業(yè)務(wù)數(shù)據(jù)和硬件資源的日志數(shù)據(jù)，是一個(gè)集中的校園數(shù)據(jù)平臺(tái)，但也存在一定的問題與不足。首先本系統(tǒng)的安全性和權(quán)限管理是個(gè)非常重要的問題；其次數(shù)據(jù)分析所需的技能與高校信息化管理部門傳統(tǒng)的技能要求不同，因此，高校信息化管理部門的人員技能更新和人才引入也是一個(gè)亟需關(guān)注的問題；第三，決策支持模型的設(shè)計(jì)中，有價(jià)值的模型是要有充足的理論依據(jù)的，因此，決策支持模型的設(shè)計(jì)需要在理論層面獲得支持。