數據湖對外數據服務架構體系研究
——以北京社會管理職業學院為例

孟凡明

（北京社會管理職業學院，北京 101601）

1 引言

近幾年，網絡技術迅猛發展，隨著云技術的發展及應用，將各類信息轉型為大數據，大數據將成為高效率、低成本的信息處理技術發展的標志，我們無形中已經步入了一個新的時代[1]。“智慧校園”的建設也必然經過大數據技術這條路。而數據湖技術是大數據技術發展的一個重要部分。

目前，數據湖技術生態繁榮，發展日新月異，Hadoop、MPP、NoSQL、HTAP、OLAP、OLTP等技術不斷發展，不同的數據存儲技術適用于不同的業務場景，高職院校的數據湖必定是混合式的架構。高校與互聯網、政企領域的業務有其獨有的特色，建設具有高職院校特色的數據湖架構體系，并對數據按高職院校的業務特點進行關聯融合，形成契合業務需求的、高效便捷的數據服務[2]。

2 數據湖在高校信息化建設中的應用

“智慧校園”是通過信息技術的有效支撐，提供一個可感知、可個性化定制、可共享協作的開放教育教學環境，在這種環境中，師生可以便捷地進行教學、學習和生活，以發展學習者的智慧為目的，同時為學校提供管理決策，助力學校管理水平的提升[3]。

數據湖能夠有效治理校園數據，通過充分地挖掘數據，為學院的精準管理創造新的價值，進而規范業務流程、提高工作效率和工作透明度。

存儲數據只是數據湖價值之一，數據湖還能夠在存儲海量數據的基本上，分析統計數據，打破不同領域、不同行業、不同類型數據之間的壁壘，提升分析效率，節約校園運行成本。例如，很多高校在“智慧校園”建設過程中均應用到了數據湖技術，該技術通過打通校內各業務系統接口，使數據關聯融合，為行政人員計算考勤、工作考核、職務晉升、職稱評審、人員增減、掛職培訓等提供了快速、精準的數據，從而優化了學校管理服務體系，提高了業務工作效率。

3 我院在數據應用服務方面面臨的挑戰

我校信息化建設已有多年，主要分為教學口和行政口。教學口是由教務系統連接我校網絡教學平臺，實時上傳學生的上課數據和活動數據，教學管理單位隨時監督教師的教學過程和學生的學習過程，行政口的業務系統有財務系統、網絡報銷系統、科研系統、人事系統、教務系統等，但這些系統目前都處于各自獨立狀態，并沒有打通數據庫接口，因此，導致只能在各自范圍內開展相關工作，部門間的交叉業務效率低下因此我校急需進行技術架構改革，實現各業務系統間真正的交互，從交互的數據中挖掘更多的新信息，充分利用這些無形的數據資產，為學校的運行發展提供戰略服務。

4 我院數據服務應用探究

如果說大數據的戰略意義在于從海量的數據中挖掘出有用的價值，那么數據湖技術則是實現這種意義的技術基礎。

數據湖技術主要包含數據的加載、存儲、加工和對外數據服務四個部分。1）數據加載將分布在不同業務系統不同數據存儲庫中的數據自動抽取加載數據湖中。2）數據存儲具有對結構化、半結構化、非結構化數據的存儲能力，支持OLTP、OLAP、HTAP、全文、KV、對象等數據庫。3）數據加工指對入庫存儲的數據按照業務需求和特色關聯融合業務數據的過程，該功能按照預先定義的業務數據加工規則，通過定期、觸發等方式將數據湖中的多源異構數據進行加工融合，并將生成的高價值數據存儲回數據湖中。4）對外數據服務是將數據湖中的數據通過可視化界面、RestFul數據服務接口等方式對業務人員或其他業務系統提供數據服務。

針對我校目前面臨的問題，本文提出了一種數據湖服務架構體系，實現校內各業務系統間的數據的融合共享，打通各業務系統數據通道，形成全局數據資產和數據服務，為我校各部門數據賦能。

該架構體系如圖：

圖1 數據服務架構

根據我校對數據服務架構的功能需求，本數據服務架構共分為4部分：數據抽取與加載、數據存儲、數據關聯融合、數據服務；

1）數據抽取與加載：對接各業務系統，抽取各業務系統的業務數據，本部分主要解決數據的來源多、格式多的問題，完成數據的抽取、格式的規范化功能，支持對結構化、半結構化、非結構化數據的抽取與加載，支持與Mysql、Oracle、MPP、HBase、ES、S3、Hive、文件系統等數據存儲組件的數據抽取和持久化；2）數據存儲：提供海量異構數據的存儲能力，針對我校業務特點，選用MySQL、ES、對象庫這3類數據庫，常見的課表、成績等結構化業務數據存儲至MySQL中，郵件、教案等需全文檢索的長文本數據存儲至ES數據庫中，教學視頻、教學PPT等音視頻數據存儲至對象數據庫中。數據存儲庫層兼容開源組件，支撐后續業務升級時的新數據庫的擴增。3）數據關聯融合：對來自教務、科研等業務系統的異構數據進行關聯，形成高價值知識數據和業務中臺數據，如學生/職工基礎信息庫、部門工作考核績效等數據，并將生成的高價值數據存儲至數據存儲庫中，用于支撐上層數據查詢業務。4）數據服務：通過可視化界面和數據查詢服務接口（RestFul）的形式，對業務人員和業務系統提供數據查詢服務。在原生數據庫接口的基礎上，針對我校業務數據使用特點，增加方便易用的業務查詢接口。如人員基礎信息查詢、部門業績查詢等許多數據庫表關聯查詢的業務，通過一次數據服務接口調用，完成關聯查詢功能。查詢服務接口支持靈活擴增，可快速滿足業務需求的持續變化。

5 總結

立足我校“智慧校園”管理工作實際需求，最大限度地滿足和提高工作效率及管理水準，對各部門統籌規劃，對各業務進行整合梳理，充分地實現數據收集，高效的挖掘校園數據，為校園高層管理、決策提供最有力的數據依據。因此，實現大數據技術助力我校未來發展的愿景，使“智慧校園”能得到更充分的理解。