職業院校數據中心建設探究與實踐
—— 以常德職業技術學院為例

田威

（常德職業技術學院，湖南常德 415000）

隨著高校逐步從以信息化基礎設施建設和普及應用為主的1.0時代進入到以深度融合、創新發展為主的2.0時代。如何合理配置資源、實現教育資源共享、使資源能最大限度地發揮作用，已成為高校在智慧校園發展階段需要解決的首要問題[1]。我校當前管理與服務的信息化已經不再滿足于對數據單純的處理和查詢，而需要利用這些收集到的大量數據進行相關分析，將其轉換成有用的信息和知識，為決策提供有力的支撐，進而提升我校數據服務的能力。因此，建立符合我校的數據中心來統一集中管理數據、分析數據、開放數據迫在眉睫。

一、職業院校信息化建設存在的問題

（一）數據標準不統一，數據孤島普遍

隨著信息化1.0時代的到來，一般職業院校都建設了各類管理信息系統，各類系統都是相對獨立的，因此各類系統采用的數據定義、代碼集、計量單位、編碼方式均自成一體[2]。隨著時代的發展，我們要求實現大數據視角下的全維度數據分析和個性化服務，因此需要將各種來源、各種維度的數據匯總到一起進行全局分析。此時，數據時間標準、規范的不統一，使得大量的數據處于游離、孤島的狀態，難以實現關聯匯總和大數據分析。

（二）數據質量不高，信息難以整合分析

各個信息系統運行時，由于種種原因（功能缺陷、管理缺位、操作不當等），各管理系統中的數據質量常常存在各種問題。例如，數據項缺失、數據結構化不良、無效枚舉項、錯誤表達格式、數值錯誤等。另外，部分系統涉及開發的業務流程并不完全符合業務部門的實際業務需求，操作人員就沒有使用這部分功能模塊，這樣導致了一部分高價值數據臨時存儲在某個電子表格中，甚至只留存了一些紙質材料，這部分數據的準確性、規范性都存在比較大的問題。大數據時代，對于數據分析的任務更是無法實施。

（三）數據協調困難，難以充分利用

各個部門在自己的管理過程中，經常需要用到其他部門生成的數據。但實際的數據協調工作經常面臨“黑盒困境”：不知道所需的數據是否存在、存在于什么地方、如何登陸、如何獲取、如何解讀、如何使用，即使拿到數據以后，也經常發現數據的完整性、準確性缺乏保障，或者還需要找其他部門才能湊齊完整的數據。結果造成找一項數據要與多個部門協調，還要耗費大量的精力進行整合去重、判斷正誤、對比沖突，致使工作效率低下，費時費力還費錢。

（四）數據共享缺乏管控，數據安全面臨風險

傳統的數據中心模式下，部分數據實現了初步的整合，并向一部分業務系統提供數據交換共享。但這種模式下的數據共享管理存在管理難點和安全風險。首先，數據的供應只有一種方式，即通過對數據庫的配置發布表或視圖來提供數據。這種方式的弊端在于：大量的數據庫連接配置增加了數據管理的工作量和難度，而數據發布過程中難以監控數據的調用過程、頻度、用量等，無法發現和阻止對數據的不當使用，對數據安全管理造成不小的威脅。當管理人員崗位變動時，新接手的人常常無法判斷每個接口的作用和業務屬性，造成故障排查困難、維護不便。

二、數據中心的建設內容

（一）數據中心整體建設框架

筆者根據我校超融合虛擬化服務器資源以及業務系統整體架構，并且考慮到后續應用場景，設計了我校數據中心建設的整體框架，如圖1所示。Oracle用來做主存儲服務器，全量采集存儲教務、學工、資產等各業務系統數據，使用Hadoop和Spark平臺用于后續部署大數據、人工智能等應用。根據我校當前信息化存在的實際問題，數據中心建設內容包含數據治理、數據填報、數據管理和統一開放開放平臺等內容。

圖1 數據中心整體框架

（二）數據治理

我校的數據治理遵守國家強制標準、參考教育部推薦標準和其他學校數據標準、引入我校已有部分合格標準（含元數據模型和代碼集），兼顧各個標準之間的兼容性、一致性以及標準的可擴展性，并且通過與教務處、學生處、圖書館、財務處等各部門協調溝通，深刻了解了我校的管理業務特性，確定數據子集的分類方式，建設和完善常德職業技術學院校級數據標準[3]。制定了學校自定義的編碼規范并給出數據分類編碼規格說明書，輸出了一套符合學校實際的《常德職業技術學院數據標準》（數據子集、標準代碼集、編碼規范）。在數據治理實施過程中，再次與各部門業務系統管理員確認當前各系統的使用狀況和處理細節，制定了一套符合我校數據治理的流程，實施過程嚴格按照我校制訂的數據治理流程執行。具體實施過程如下：

首先，對各管理部門的業務內容、組織機構、管理信息系統、后臺數據庫信息、數據內容和形態、供需關系、交換共享要求、數據質量問題、可引入的標準資源等進行調研了解并輸出數據現狀報告。根據數據調研的結果，羅列所有已知的數據來源和分布，記錄訪問賬號和入口，查看實際的數據內容。根據上述數據治理范圍目標，從數據來源中識別出目標數據所在的庫、表、字段、格式等。

其次，制訂數據質量規則（如非空、唯一性、長度、取值范圍、枚舉范圍、關聯一致性等）根據每個字段應有的質量屬性將正確的質量規則綁定到字段上。執行質量檢查，將不符合質量規則的記錄識別出來，形成數據質量報告，以便評估數據質量狀況，定位有問題的數據，便于下一步修正處理。根據質量報告的內容，確定質量問題的內容、程度，并定位到具體記錄。大致上，質量問題分為兩大類：結構性質量問題：如代碼集定義、表達格式、數據單位不一致等問題。這類問題可以通過批量的、規則化的轉換處理即可轉換成符合標準的數據，這類問題將通過ETL的轉換規則實現質量提升。內容性質量問題：如數據缺失、內容錯誤等問題。一般情況下，這類問題無法通過簡單的批量轉換修復，因此需要將問題數據和質量報告提交到數據對應的負責部門，由部門進行核實、采集、填報后形成有效數據。數據修復后，需要記錄在業務管理系統中，通過再次采集入庫，直至質量檢查合格。這部分工作是數據治理的核心工作，是整個過程中最復雜、最耗時的階段。

最后，將各種清洗轉換完成、符合質量標準的數據導入到之前已經建模完成的表格中，即形成了符合校標的、質量達標的成果數據。

當前已經完成對學校教務系統、人事系統、學生綜合管理系統、網站群、辦事大廳和統一身份平臺、一卡通平臺、教育陽光服務平臺、財務系統、微信掌上云推平臺的數據治理，通過數據治理后的結果統一對外共享和交換數據。

（三）數據填報系統

我校絕大多數數據都在業務系統中進行管理，數據存儲在數據庫中。但我校還存在部分業務系統不太健全的問題，有一些有價值的數據并沒有通過業務系統進行管理，而是直接利用電子表格進行記錄，如學綜系統學生個人操行分、學生上課紀律情況登記等。因此，僅采集數據庫中的數據，并不能完整地采集所有具有業務價值的數據。為了實現全量數據治理，必須采用系統化、高效率的方案將線下數據也納入管理和采集的范圍。

學校需要數據填報及審批系統，用來將線下的Excel記錄的數據進行采集，使用數據庫進行記錄，并提供WEB界面對數據進行查看、編輯，從而使原先線下的數據生成過程完全在線化。同時，可以體現簡單的流程協作能力，實現多用戶的協同操作，即不同的用戶去操作同一個表格，每個人負責編輯不同的字段。這些功能的組合可以實現一個簡單的業務管理系統那樣的多崗位流程管理功能。

具體操作時，由數據填報的發起部門設計好表格結構，將表格的編輯權限以及各字段的編輯權限分配給合適的對象，然后通知對方填寫數據。數據填寫完畢后，數據將自動記錄在數據庫中的一個表中。后面再通過ETL過程將數據進行采集、標準化、封裝等過程，即可形成可供全校共享使用的標準化數據資源，數據填報系統如圖2所示。

圖2 數據填報系統

（四）全量數倉管理和開放平臺

全量數倉管理平臺，如圖3所示，為管理人員提供直觀、全面的數據治理工作展示頁面，幫助管理人員快速了解當前業務系統的使用情況。通過數倉管理平臺，管理人員能查看業務系統原始庫、數據集中庫、數據倉庫這幾類數據。其中業務系統原始庫：用來直觀展現業務系統數量、涉及部門、數據表張數、字段數、數據記錄數等信息；數據集中庫：用來直觀展現體積大小、數據表張數、字段數、數據記錄數等信息；數據倉庫：用來直觀展現體積大小、數據主題分類、涉及標準數量、數據表張數、字段數、數據記錄數等信息，從宏觀和微觀角度去全面掌控學校的數據。管理人員能定期生成業務系統使用檢查報告，詳細列舉出各系統存在數據缺失的信息項、數據不符合校方數據標準的信息項、數據存在錯誤等信息項，按照業務系統使用部門進行通知分發，令部門系統負責人進行整改，從而有效提高學校業務系統的使用質量。

圖3 數倉管理平臺

統一數據開放平臺，如圖4所示，是數據中心建設的核心系統，著眼于大數據管理及應用開發、大數據計算等層面，實現學院的一站式大數據落地，從根本上解決各業務系統“信息孤島”的問題。平臺需要為學院各應用系統、教務系統、人事系統、學生綜合管理系統、辦事大廳和統一身份平臺、網站群、一卡通平臺、教育陽光服務平臺、財務系統、微信掌上云推平臺等提供統一、安全、高效的數據出口服務，以解決傳統數據貢獻該過程中的溝通成本高、效率低等問題。平臺提供數據服務的方式包含數據API、數據庫鏈接、離線數據下載，安全保障方式為申請、審核、調用、監控等流程，數據提供方只需要簡單地編寫SQL語句，通過Web可視化編輯配置數據庫信息，便可完成數據的開放。數據使用者只需在平臺上便捷申請所需數據，當管理人員收到消息通知后，管理人員可以直接進行線上審核，即可通過API調用、數據庫連接、離線文件下載三種數據開放方式獲取所需數據，其中，API調用滿足輕量級應用系統開發的數據調用需求；數據庫連接在數據訪問負載非常大超出API響應能力時使用；離線文件用來下載日常工作需要的電子表格形式數據，數據使用人員可以根據不同場景靈活選用適合的開放方式。數據的開放和共享全程線上完成，大大提高數據開發效率。

圖4 統一數據開放平臺

（五）日志處理工具

我校對數據治理存在的普遍性問題進行總結，針對我校日志體量大、日志廠商類型多等問題，通過部署CDH集群解決數據體量大的問題，滿足我校日志數據處理的需求。同時根據廠商提供的數據字典，進行高效率解析，解析之后的日志數據體量仍然非常龐大，日志處理工具支持通過數據計算功能對解析之后的數據進行大體量的分析計算，滿足高校對數據分析處理計算的需求，幫助高校解決日志數據分析的難題。支持通過可視化的圖表將計算后的結果數據進行呈現，讓分析出來的數據清晰可見，能夠讓數據使用起來，發揮出數據應有的價值[4]。

三、數據中心建設成果應用展示

當前我校基于微信掌上云推平臺，自主開發了學校重要新聞和重要通知推送、網上報賬、數字迎新、教務查詢、財務查詢、故障報修、數字資源等52個應用，如圖5所示。學生能通過教務查詢完成在線選課、教學評價、查詢課表、查詢成績等操作；教職工能通過財務查詢應用查詢自己的工資發放明細和在線完成網上報賬手續；師生能通過故障報修應用對學院網絡故障、教室和宿舍內硬件故障等問題在線報修；校園資訊應用能實時推送學校重要新聞和重要通知，學生能第一時間收到學校的各種政策，師生能夠及時了解學校的防疫政策，團結一心，共同抗疫，增強了學校師生的凝聚力；數字資源應用能讓師生利用碎片化時間，隨時隨地瀏覽學校的圖書資源，充分發揮出了學校自購的數字資源的使用價值。掌上云推平臺52個應用的數據均來自數據中心統一開放平臺，通過統一開放平臺，只需要簡單地書寫SQL語句便能完成數據API的開放，完成系統與系統之間的數據交換和共享。

圖5 掌上云推平臺

四、結束語

目前我校已初步完成數據中心建設，解決了我校在信息化建設中遇到的主要問題。數據治理作為數據中心建設最主要的環節，它的建設不可能一步到位，我校的數據治理還存在很多細節問題，還需要花更多時間和精力去探索，不停地優化和完善我校數據治理標準。如何將大數據分析、云計算、人工智能等技術應用在數據中心，設計更多綜合統計分析報表，并以更直觀的圖形和圖表展現給部門和院級管理者，使設計人工智能應用更好地服務于學校師生的學習和工作，還需要多去參考學習國內外智慧校園建設比較成功的案例。