基于微服務(wù)的智慧高校綜合信息系統(tǒng)研究與設(shè)計(jì)

趙世浡　陶槊　董芳　鄒濤

摘要：文章分析了智慧高校建設(shè)中出現(xiàn)的各類(lèi)問(wèn)題及業(yè)務(wù)需求，并提出了整合校內(nèi)現(xiàn)有各類(lèi)數(shù)據(jù)與系統(tǒng)的解決方案。隨后，根據(jù)微服務(wù)系統(tǒng)架構(gòu)與大數(shù)據(jù)分析的要求，重新整合共享數(shù)據(jù)中心，以適應(yīng)高校業(yè)務(wù)系統(tǒng)的開(kāi)發(fā)與應(yīng)用。最后，通過(guò)具體開(kāi)發(fā)案例說(shuō)明了綜合平臺(tái)在高校自助一站式服務(wù)系統(tǒng)中的作用。

關(guān)鍵詞：微服務(wù)；云平臺(tái)；數(shù)據(jù)中心；Spark

中圖分類(lèi)號(hào)：TP312 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2024）14-0060-03 開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID） ：

0 緒論

當(dāng)前世界各發(fā)達(dá)國(guó)家與機(jī)構(gòu)都在深入研究教育智慧化，例如日本的“Society5.0”計(jì)劃旨在將虛擬空間與現(xiàn)實(shí)空間高度融合，實(shí)現(xiàn)學(xué)習(xí)系統(tǒng)的發(fā)展[1]；韓國(guó)的“智慧教育”項(xiàng)目MasterI-V也是如此[2]。歐盟在2018 年1月提出了“數(shù)字挑戰(zhàn)”，該計(jì)劃旨在推動(dòng)教育系統(tǒng)智能化[3]。我國(guó)教育部頒發(fā)的《教育信息化2.0行動(dòng)計(jì)劃》（教技〔2018〕6號(hào)）以及中國(guó)國(guó)家標(biāo)準(zhǔn)化管理委員會(huì)于2018 年6 月出臺(tái)的《智慧校園總體框架（GBT36342-2018） 》[4]規(guī)劃，都推動(dòng)著各地高校積極推進(jìn)智慧校園項(xiàng)目。本文基于高校智慧化建設(shè)中遇到的實(shí)際問(wèn)題和建設(shè)經(jīng)驗(yàn)，進(jìn)行了以下工作：1） 分析了高校信息系統(tǒng)存在的問(wèn)題與制約因素，并尋求解決途徑。2） 在集中式數(shù)據(jù)中心部署高校核心業(yè)務(wù)，并基于云平臺(tái)架構(gòu)實(shí)現(xiàn)數(shù)據(jù)與資源的整合與利用。3） 根據(jù)Spark系統(tǒng)，采用微服務(wù)架構(gòu)，開(kāi)發(fā)部署，聯(lián)通高校一站自助式綜合信息服務(wù)，實(shí)現(xiàn)智慧高校的業(yè)務(wù)智能服務(wù)與高效運(yùn)營(yíng)。

1 存在問(wèn)題

1.1 通信障礙

1） 高校業(yè)務(wù)量呈爆發(fā)式增長(zhǎng)，導(dǎo)致數(shù)據(jù)分析難度增加。存在“信息孤島”，缺乏統(tǒng)一指標(biāo)和明確的技術(shù)發(fā)展路線，不利于深度利用信息。由于系統(tǒng)間接口的授權(quán)、標(biāo)準(zhǔn)、技術(shù)限制，教學(xué)教務(wù)、學(xué)工、移動(dòng)支付/一卡通、后勤生活、安保監(jiān)控信息無(wú)法真正打通。

2） 校際、區(qū)域間的信息管理與再利用仍處于隔絕狀態(tài)。

1.2 技術(shù)瓶頸

1） 信息利用質(zhì)量不一，大數(shù)據(jù)分析范圍狹窄，尤其是在學(xué)工、教務(wù)方面的數(shù)據(jù)分析能力不足，導(dǎo)致許多高校開(kāi)發(fā)的校情分析系統(tǒng)應(yīng)用范圍有限，軟件生命周期短。

2） 5G移動(dòng)應(yīng)用場(chǎng)景不足，高校信息系統(tǒng)跟不上5G網(wǎng)絡(luò)帶來(lái)的高流量、多并發(fā)的業(yè)務(wù)流。

3） 大數(shù)據(jù)分析應(yīng)用帶來(lái)了高校與個(gè)人信息隱私保護(hù)同高校教學(xué)與管理工作提升的沖突。

4） 在云環(huán)境、多節(jié)點(diǎn)分布式背景下，傳統(tǒng)的軟件開(kāi)發(fā)模式或架構(gòu)已無(wú)法適應(yīng)多業(yè)務(wù)集成的應(yīng)用模式，導(dǎo)致開(kāi)發(fā)成本難以控制，代碼再利用率低下。

5） 復(fù)雜多變的高校業(yè)務(wù)導(dǎo)致各信息系統(tǒng)之間服務(wù)配套存在障礙，如在學(xué)工系統(tǒng)中，學(xué)生行為畫(huà)像不僅涉及校內(nèi)教務(wù)、后勤安保、網(wǎng)上社群，還包括通信軌跡、消費(fèi)等一系列數(shù)據(jù)處理。數(shù)據(jù)增多導(dǎo)致系統(tǒng)開(kāi)發(fā)難度與響應(yīng)時(shí)間增加，判定規(guī)則的漏洞和不確定性使得難以生成直觀結(jié)論。

6） 智慧化系統(tǒng)應(yīng)用周期縮短，一站式服務(wù)難以對(duì)動(dòng)態(tài)性外界環(huán)境或使用者形成“智適應(yīng)”能力，需要不斷人為介入。主要問(wèn)題包括校情分析、輔助系統(tǒng)的預(yù)測(cè)分析，掌握規(guī)則后很快被推翻；人臉識(shí)別被各種方式破解[5]。

1.3 關(guān)聯(lián)制約

智慧校園信息系統(tǒng)建設(shè)受到規(guī)模、技術(shù)框架、應(yīng)用深度與廣度、后續(xù)變化等內(nèi)外關(guān)聯(lián)因素的影響和制約，導(dǎo)致整個(gè)智慧校園建設(shè)與完善工作受到重重阻力。高校信息化系統(tǒng)與高校運(yùn)作情況強(qiáng)關(guān)聯(lián)圖如圖1所示。

2 解決策略

2.1 數(shù)據(jù)整合

1） 數(shù)據(jù)與資源。在設(shè)施完善的基礎(chǔ)上，智慧校園建設(shè)必須實(shí)現(xiàn)校園信息的標(biāo)準(zhǔn)化與開(kāi)放化，確保數(shù)據(jù)采集通識(shí)、通用和安全，實(shí)現(xiàn)特定標(biāo)準(zhǔn)格式對(duì)結(jié)構(gòu)化、半結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行收集整合與信息共享，從而提供接口保證數(shù)據(jù)的分布處理與流通，減少數(shù)據(jù)冗余，提高各類(lèi)系統(tǒng)的處理效率。

2） 業(yè)務(wù)管理控制平臺(tái)。為配合高校業(yè)務(wù)時(shí)效性和多樣化，必須建立統(tǒng)一的高校信息業(yè)務(wù)管理與控制平臺(tái)。

2.2 基礎(chǔ)工具

目前市面上有開(kāi)源與商業(yè)化產(chǎn)品，技術(shù)上有離線/批量處理、實(shí)時(shí)/流式、算法與人工智能共3 類(lèi)路線，需根據(jù)單位的自身?xiàng)l件、業(yè)務(wù)需要和財(cái)力等進(jìn)行綜合選擇。

根據(jù)高校業(yè)務(wù)分類(lèi)的模式，選擇合適的開(kāi)發(fā)工具。例如，根據(jù)一般院校的特點(diǎn)，采用openstack云平臺(tái)核心組件swift API，實(shí)現(xiàn)對(duì)異構(gòu)數(shù)據(jù)的拓展功能管理與控制。其配套數(shù)據(jù)庫(kù)工具HBase用于HDFS分布式處理（如圖2所示），符合高校數(shù)據(jù)分析要求，通過(guò)row key檢索原始數(shù)據(jù)，實(shí)現(xiàn)高校集成業(yè)務(wù)系統(tǒng)的快速查詢、變更操作。

3 架構(gòu)模型

通過(guò)建立適用于高校通用的數(shù)據(jù)模型，幫助院校進(jìn)行信息化需求分析、方案論證、產(chǎn)品選項(xiàng)與維護(hù)管理。在實(shí)施過(guò)程中，大數(shù)據(jù)處理架構(gòu)一般分為3個(gè)階段：概念構(gòu)建、邏輯框架、物理表述，用戶可參照總體架構(gòu)圖（圖2） 進(jìn)行項(xiàng)目設(shè)計(jì)。

1） 概念構(gòu)建。參考業(yè)務(wù)模型選擇數(shù)據(jù)模型組件，標(biāo)準(zhǔn)化區(qū)間，明確建設(shè)內(nèi)容。

2） 邏輯構(gòu)建。項(xiàng)目詳細(xì)設(shè)計(jì)階段，能推導(dǎo)出開(kāi)發(fā)業(yè)務(wù)模塊對(duì)應(yīng)的流程、業(yè)務(wù)條線、功能塊、場(chǎng)景模式等系統(tǒng)需求組合。

3） 物理表征。從代碼編制到系統(tǒng)的測(cè)試維護(hù)，可以直接以標(biāo)準(zhǔn)的物理標(biāo)識(shí)來(lái)評(píng)估系統(tǒng)的運(yùn)行情況，便于第三方接手。

4 微服務(wù)（Microservice）

隨著智慧校園自主一站式信息服務(wù)的流行，平臺(tái)上線的幾十個(gè)應(yīng)用也造成了另一個(gè)困難，即多樣化的業(yè)務(wù)交互伴隨的自感知能力的不足，造成了終端用戶選擇的困惑或耗時(shí)。微服務(wù)可以幫助高校實(shí)現(xiàn)統(tǒng)一服務(wù)流程、門(mén)戶平臺(tái)，快速移動(dòng)辦公和高校業(yè)務(wù)系統(tǒng)的貫通。

4.1 微服務(wù)模型

微服務(wù)是由一系列 API 驅(qū)動(dòng)，在異構(gòu)系統(tǒng)下運(yùn)行不同語(yǔ)言開(kāi)發(fā)的小型應(yīng)用程序組，支持不同業(yè)務(wù)模塊互通。然后實(shí)現(xiàn)智能化識(shí)別與接入端點(diǎn)/服務(wù)模塊，包括與物聯(lián)網(wǎng)的信號(hào)同步與控制，自主學(xué)習(xí)運(yùn)用工具/控件提煉處理離散化數(shù)據(jù)，最后實(shí)現(xiàn)彈性部署與便捷運(yùn)維（DevOps[6]） 。它能實(shí)現(xiàn)多主體回路服務(wù)的關(guān)系模型，簡(jiǎn)化了傳統(tǒng)信息系統(tǒng)的分層模式。

微服務(wù)有多種架構(gòu)，如 Dubbo、SOFAStack、Heli?don、gRPC 等各有優(yōu)劣[7]，目前高校因所有的業(yè)務(wù)系統(tǒng)還做不到全部用 Java 開(kāi)發(fā)接口，所以還不能統(tǒng)一用Spring Cloud 架構(gòu)來(lái)實(shí)現(xiàn)微服務(wù)業(yè)務(wù)整合，同時(shí)還要面對(duì)不同業(yè)務(wù)模塊之間的調(diào)用與互聯(lián)，只有考慮微服務(wù)網(wǎng)格（Service Mesh） 架構(gòu)[8]，即將所有業(yè)務(wù)按服務(wù)單元實(shí)現(xiàn)分子化，統(tǒng)一 J2EE 架構(gòu)各自開(kāi)發(fā)，并支持PHP/C++/Python 等各類(lèi)工具，所以可部署于網(wǎng)絡(luò)各個(gè)節(jié)點(diǎn)，彼此通過(guò)代理（Envoy Proxy） 實(shí)現(xiàn)交互，因此保證了整個(gè)系統(tǒng)的分散開(kāi)放性與穩(wěn)定性。

鑒于多數(shù)高校業(yè)務(wù)系統(tǒng)只需要在中小型機(jī)上部署，Docker 作為輕量級(jí)開(kāi)源的容器（container） 框架與引擎[9]，既接受 VM 軟件管理，又可以讓 container 封裝高校各自開(kāi)發(fā)、擴(kuò)展或刪除信息系統(tǒng)；在 container 內(nèi)既能實(shí)現(xiàn)多種開(kāi)發(fā)程序并存，易于在各類(lèi)云平臺(tái)上部署，也能支持異構(gòu)系統(tǒng)移植，因此特別適合高校微服務(wù)應(yīng)用開(kāi)發(fā)環(huán)境。

4.2 高校微服務(wù)平臺(tái)設(shè)計(jì)

從圖3可以看出，在一站式微服務(wù)平臺(tái)的設(shè)計(jì)中，所有系統(tǒng)根據(jù)功能單元自動(dòng)獲得任務(wù)，然后通知相應(yīng)模塊完成流程。以學(xué)生入學(xué)為例，最基本的入住階段以BPMN（Business Processing Model Notation） 開(kāi)始程序設(shè)計(jì)（如圖4） ，這樣就可以將復(fù)雜的系統(tǒng)設(shè)計(jì)分解成單任務(wù)模塊在各個(gè)子單元的實(shí)現(xiàn)，體現(xiàn)了微服務(wù)在云平臺(tái)設(shè)計(jì)中的作用。根據(jù)這一模式，分別完成整個(gè)校園一站式微服務(wù)平臺(tái)的全部結(jié)構(gòu)設(shè)計(jì)與關(guān)聯(lián)（見(jiàn)圖5） 。

但在整個(gè)微服務(wù)系統(tǒng)設(shè)計(jì)部署中，需要面對(duì)各類(lèi)數(shù)據(jù)、進(jìn)程、事務(wù)的調(diào)用與同步，追蹤與檢驗(yàn)。因此為簡(jiǎn)化開(kāi)發(fā)難度，可以考慮直接部署 Spark 系統(tǒng)實(shí)現(xiàn)整個(gè)微服務(wù)的協(xié)調(diào)工作（見(jiàn)圖5） 。即首先在數(shù)據(jù)中心HDFS 環(huán)境下搭建數(shù)據(jù)倉(cāng)庫(kù)（Hive） 。在微服務(wù)集群根據(jù) Zookeeper 同步分布進(jìn)程間的 API 調(diào)用與消息發(fā)布。使用 MapReduce 從數(shù)據(jù)倉(cāng)庫(kù)實(shí)現(xiàn)數(shù)據(jù)調(diào)用。通過(guò) Azkaban 實(shí)現(xiàn)各服務(wù)間的部署，工作流的同步。在控制層上完成身份驗(yàn)證，YARN 實(shí)現(xiàn)綜合管理控制，用 Sqoop 對(duì)數(shù)據(jù)庫(kù)實(shí)現(xiàn)遷移與轉(zhuǎn)換。具體到某個(gè)業(yè)務(wù)，利用 MapReduce 進(jìn)行 MapTask 劃分緩沖區(qū)，Re?duceTask 收集/轉(zhuǎn)發(fā)，完成微服務(wù)。對(duì)自主服務(wù)后期使用 MLlib/Mahout 中間件直接應(yīng)用智能開(kāi)發(fā)。

5 結(jié)束語(yǔ)

智慧化校園的目的是為高校提供多樣化、便捷化、智能化的軟硬設(shè)施。然而，在實(shí)施過(guò)程中，必須根據(jù)高校特點(diǎn)選擇適用的服務(wù)架構(gòu)與數(shù)據(jù)處理模式。在此基礎(chǔ)上，整合現(xiàn)有的資源平臺(tái)，通過(guò)微服務(wù)與Spark 架構(gòu)的組合，完善技術(shù)和標(biāo)準(zhǔn)，特別是異構(gòu)系統(tǒng)間的互聯(lián)，才能順利開(kāi)發(fā)各高校自主一站式綜合服務(wù)系統(tǒng)，推動(dòng)高校信息基礎(chǔ)建設(shè)的全面升級(jí)與創(chuàng)新。

參考文獻(xiàn)：

[1] 柴山昌彥.Society5.0時(shí)代的人才培養(yǎng)[DB/OL].（2020-08-07）[2021-02-15].https：//www5.cao.go.jp/keizai-shimon/kaigi/min?utes/2019/0327/shiryo_02.pdf.

[2] 吁佩.韓國(guó)教育信息化發(fā)展的經(jīng)驗(yàn)及啟示[J].科教文匯，2017（23）：59-61.

[3] European Commission. A Concept Paper on Digitization， Em?ployability and Inclusiveness： The role of Europe（2018-01-17）[2020-07-19] [EB/OL]. http：//ec. europa. eu. newsroom/docu?ment.cfm？doc_id=44515.

[4] 國(guó)家市場(chǎng)監(jiān)督管理總局，國(guó)家標(biāo)準(zhǔn)化管理委員會(huì).智慧校園總體框架：GB/T 36342—2018[S]. 北京：中國(guó)標(biāo)準(zhǔn)出版社，2018.

[5] 趙麗，韓朝陽(yáng) 開(kāi)通知網(wǎng)號(hào)“. 人臉識(shí)別” 的安全問(wèn)題已經(jīng)來(lái)了[N].法制日?qǐng)?bào)，2017-09-19（5）.

[6] 耿泉峰，李曦，葛維，等.基于DevOps的軟件開(kāi)發(fā)管理模式[J].軟件，2019，40（1）：93-96.

[7] 韓丹.基于DevOps的云平臺(tái)微服務(wù)架構(gòu)可靠性分析[J].電子技術(shù)與軟件工程，2020（19）：174-175.

[8] YIN J， DENG S， WU J， et al. Research on Shared Service based on Loop-type relationship Model[J]. Communications of theCCF，2017，13（2）：18-23.

[9] 趙然，朱小勇.微服務(wù)架構(gòu)評(píng)述[J].網(wǎng)絡(luò)新媒體技術(shù)，2019，8（1）：58-61.

【通聯(lián)編輯：唐一東】

項(xiàng)目基金：安徽省教育廳 繼續(xù)教育教學(xué)改革項(xiàng)目（2021jxjy054） 和安徽省高校教學(xué)實(shí)訓(xùn)基地項(xiàng)目（2021jyxm1532） 和安徽省教育廳自然科學(xué)研究重點(diǎn)項(xiàng)目（2022AH052979）