高校數據資源池建設的模型設計與運行機制研究

黃傳峰，尚渡新，陳銘軒

(南京工程學院 經濟管理學院，南京 211167)

0 引言

大數據時代下，信息與數據的利用服務于各行各業，深刻影響著人們的工作、生活，并推動了高校信息化建設2.0時代的變革與發展。與此同時，非一線行業如高校也暴露出了脫產的弊端，即高校所使用到的信息數據資源價值遠遠小于其實際蘊含的價值，因此我們不僅可以將硬件資源信息化，同時考慮將高校內的數據也整合為虛擬化資源池供數據倉庫進行過濾提煉，并用于數據挖掘和決策分析。而數據資源池技術作為一種將數據、服務器，存儲、網絡、都整合成一個虛擬的資源池(如圖1)，這樣應用軟件需要的資源可以在資源池里抓取，不僅能夠提升高校的服務器資源的利用率、數據可用性，同時也可以指導高校管理做出科學決策。

圖1 高校內虛擬資源池整合

虛擬資源池作為實現融合基礎設施結構與數據的關鍵要素，是共享服務器、存儲和網絡的集合，能夠根據應用程序的要求更快地進行重新配置，從而使管理員能夠比以往更容易、更快捷地支持業務需求的變化。在云計算環境下，資源不再是分散的硬件，而是將物理服務器經過整合之后，形成一個或多個邏輯上的虛擬資源池，共享包括計算、存儲、網絡資源。資源池可以委派對集群資源的控制權，在使用資源池劃分集群內的所有資源時，其優勢非常明顯。首先可以創建多個資源池作為主機或集群的直接子級，并對它們進行配置。然后可向其他個人或組織委派對資源池的控制權[1]。在高校信息化環境下的大數據統一(管理)資源池平臺是基于特定用戶大量的行為數據在統一管理資源池平臺中進行數據分析、利用及可視化處理用于為學校的管理帶來智能化的改變和效率的提升。

1 相關研究

目前對資源池的應用，眾多學者和業內人士已經在多方面展開了研究。葛中澤[2]等提出對資源池數據訪問模式的探討，通過對傳統模式和資源池模式的測試對比，針對提高服務器端的資源利用率、提高系統的性能為目的，提出了基于資源池模式原件設計的一般方法，并作為引例詳細闡述了圖書管理信息系統中的資源和資源池的設計，以及資源池的管理策略和管理線程。該研究在資源池的運行模式建設中有較高的利用價值，在物理層方面服務器的資源利用率確實是一個瓶頸，對于高校來講，服務器的高利用率意味著可以減少硬件的堆疊，降低資金投入，減少運維成本同時帶來更好的用戶體驗。在資源池的建設方面，劉波等[3]分析了基于私有云的資源池建設要點。針對數據流量的爆發式增長，為提升用戶體驗、業務效率引入IT支撐系統資源池部署以及云計算和大數據技術的應用，提出需架構需集中化、平臺化、安全又靈活的IT支撐私有云架構。其中針對IT支撐系統分散，組網架構技術標準不統一等現狀采用明確資源池對上層應用提供通用接口的要求并不斷進行優化。在高校的資源池建設中也可采用同類方法處理不同業務系統提供的信息數據從而加以整合形成可利用的信息資源池，用以打破高校目前面臨的信息“孤島”問題。沈銳[4]等提出基于資源池的資源聚合機制，由于系統的動態性和自治性特點非常突出，系統服務質量很難得到保證，而該應用機制將所需資源合成資源池，并在運行過程中即使部分節點由于系統故障、超載等原因中途退出任務處理，用戶的服務請求仍能得到處理和呼應。該機制的應用極大緩解了機器故障帶來的不確定性和緊張感，其將需求虛擬化和本文提出的數據虛擬化相類似，有效地提高了系統的服務質量。劉振恒等[5]設計了基于開源KVM虛擬胡資源池以及動態的JBoss負載均衡技術的框架結構，實現了一個能夠按需分配的資源池，提高了高校內數字化資源動態。崔嘉[6]探討了云計算的資源池管理，較詳細地針對數據資源、計算資源等進行了分析，對私有云資源池管理具有一定借鑒作用。沈志豪、梅峰等[7]針對設備資源利用率不高，同時設備維護管理成本持續增加設研究了基于虛擬化的資源池技術。

高校內部的信息系統建設本身對用戶體驗、儲存能力、智能化有著較高要求。通過引入資源池建設與“數據閉環”的模型設計與運行機制，以解決高校信息資源利用率低、用戶體驗差、業務系統分散、信息孤島等問題。

2 校園數據資源與虛擬化

數據資源虛擬化是資源池運行的前提，也是智能化校園建設的主題和目標，當今大數據(智能)的浪潮已經進入各類行業，在大數據時代和高校信息化建設2.0時代的雙重發展下，資源池建設作為提升校園管理智能化、個性化的新途徑，也對高校的教育管理產生了深遠的影響。高校作為高等教育的人才培養中心，在許多特定時期及日常工作中都會產生大量與學生相關的信息數據，這些數據也為高校帶來了重大機遇和艱巨的挑戰。高校數據呈現多樣化、異構化、多源且跨行業整合的大規模數據，特別是半結構化和非結構化的數據，必須解決數據收集、數據存儲、數據分析、數據管理、數據應用等多方面的問題[8-9]。

資源池的模型對處理大數據方面具有提高應用性能等先天優勢，帶來的高效率并行處理(massively parallel processing,MPP)逐漸成為高校治理體系和管理能力現代化水平的關鍵因素。因此將資源池技術積極納入校園管理中，使高校在校生進行各種活動時所產生的各種數據成為高校制定管理方案的“決策源”，從而進行更為精確的信息決策有著更加深遠的意義。然而許多高校的信息中心通常將重點放在已經可視化的結構化大數據中，對學生日常活動及特殊教學工作所產生的非結構化數據沒有引起足夠的重視。對管理者來說全面了解學生在高校中的真實需求和學生的基本生活狀態，提升高校的教學質量，全面素質化教育和推動高校信息化建設2.0時代的發展，將數據整合在資源池中加以應用，在校園管理中就顯得尤為重要。

在數據虛擬化環節中，由于高校內獲得教學信息的途徑多樣，且數據比較分散，存在數據重復收集，匯聚精確信息難，二級部門收集后保存時間短，同時由于信息基礎架構模式沒有很好的規劃，很多系統數據僅僅為了解決某些特定的業務而存在，沒有針對性的做集中化及數據聚合，本應有緊密聯系的相關管理系統，實際上卻沒有相應的關聯，很大程度上影響了共享資源池的數據利用，造成難以對數據綜合利用。與此同時大多數在高校數據儲存部分未對數據進行分類和虛擬化，而是直接在物理設備上存儲，也就必然存在成本高，應用效率低，運維難度大等問題。

對師生而言，資源池的建設也可以為用戶提供更加個性化和智能化的服務，也為改善傳統教育管理模式的種種弊端提出了新的解決方法。由于高校大多數信息業務緊緊圍繞學生的學業活動，具有較強的峰谷負載特征。但是目前多數高校的信息平臺通常是按照當時峰值負載來設計的，這導致業務空閑期大量資源的浪費，同時在業務高峰時無法滿足用戶需求，也給信息中心帶來不便。

在高校數據資源池模式建設與運行機制方面，由于大部分高校對數據價值的認識還停留在表面，重硬件堆疊，輕數據深度利用，從而缺乏對數據資源的統一規劃和深入分析，從而導致各部門在數據資源管理方面缺乏有效的管理機制，導致數據資源效能不高，因此在數據資源池建設方面需要考慮高校內復雜的業務邏輯及流程、處理大量學生數據、相關子系統之間的業務系統融合等。

3 高校大數據資源池模型應用

該模型基于高校的業務現狀，利用數據資源虛擬化，結合資源池技術和理念，提出了智能化的閉環數據資源池信息框架，如圖2所示。

圖2 高校數據資源池模型

高校資源池應用模型由資源池和管理運營平臺組成，資源池主要由計算資源模塊、網絡資源模塊和存儲資源模塊，存儲資源模塊又分為云資源模塊和本地資源模塊。在該平臺模型中并不直接存儲數據，也不進行數據挖掘和分析，正如物理硬件層面的虛擬化一樣，而是對數據資源進行重新整理和抽象虛擬化，再結合外部提供的資源進行業務需求處理。

3.1 計算資源模塊

計算資源(computing resource)模塊對資源池的支撐關鍵在于底層物理元件的異構融合，將物理邏輯結構上相對獨立的硬件實現虛擬邏輯上的整合，然后重新定義，不再受限于單臺物理服務器的計算界限，使如中央處理器(CPU)等硬件設備成為動態管理的對象，實現1+1>2的效果，從而為資源池的運行提供充沛的計算能力。計算資源模塊由高校現有的服務器資源以及云服務器計算資源融合得到，通過多臺真是物理服務器和虛擬服務器組成服務器群，服務器虛擬技術對物理服務器進行重新整合，實現了已有資源的高效利用，同時提升了整體計算性能和系統管理能力[10]。隨著信息化的不斷發展，高校內的辦公教學系統不斷增多，功能需求不斷提高，各教學管理中心和二級學院之間的數據中心造成極大的計算資源浪費。與此同時，當高校有新功能和業務并發增加時，物理資源的增加能力和成本額度也十分受限，但虛擬化的計算資源模塊具有動態自增長和收縮的特點，很容易滿足新業務和高并發的計算資源需求。

3.2 網絡資源模塊

網絡資源(network resource)模塊是數據資源池抽象后完成數據處理和資源虛擬的匹配，網絡虛擬資源模塊包括了網絡節點、鏈路、接口等基本要素，校園網內包含兩套網絡系統，包括局域網和廣域網，通過NAT接入外網。校園局域網并存著教務系統、科研服務、財務系統，在這之間又包含對學生和教師開放的與你專用網絡(VPN)服務。高校內多種網絡應用服務并存于相同的網絡環境里，因此網絡的高可用性、擴展性和高速傳輸就顯得尤為重要。對應資源池的網絡結構采用網絡控制和應用控制，通過優先級策略分配貸款，結合身份驗證和安全隔離技術實現高效的網絡服務資源分配。

3.3 數據資源模塊

數據資源(data resources)模塊是資源池虛擬化的核心模塊，在該模塊中實現虛擬數據對象的控制，進行對數據重新整合、確立權威數據、進行抽象和提取等一系列操作，并為上層提供統一數據接口。數據虛擬對象是儲存資源模塊的數據進行融合，抽象出新的數據對象[11]，提供給資源池平臺統一使用。通過儲存資源控制器達到屏蔽底層硬件的物理異構，對資源池而言儲存資源模塊的數據是一片“水”，具有透明性、一致性強且集中，對計算機系統而言，“資源池化”后的數據相當于一個高可塑性的“電資源”，相對的同構化且具有高度的可用性，通過資源池模型的處理直接產出“數據產品”。對用戶而言，可以只關心處理后的數據結果，在終端完成不同院系間、不同系統間的高效產出工作。實現了數據便捷、一致、集中的結果，進而可以完全不用理會數據異構型帶來的不兼容問題，不同院系間的信息孤島、各個系統間數據壁壘高引發數據不通用的問題。

同時該層不會開放數據庫的存儲和提取權限，也無法通過如結構化查詢語言(SQL)等進行系統操作或事先格式化的操作，而是通過模型化的算法、數據接口函數、認為定義等方式進行匯聚處理和虛擬化。該模塊通過在軟件維度上的數據虛擬化也就意味著完全擺脫了傳統意義上的數據分析、數據管理和數據應用，不再受限于人工+管理系統的形式，而是引入人工智能模型，通過算法對數據進行加工和處理。在數據分析方面由于全部數據基于全部統一標準，因此可以為數據倉庫提供更為快速和準確的數據，而不用再考慮數據源的底層異構和融合問題。數據虛擬化是對數據表象的一種升華，其背后的真實數據控制器決定了融合后數據的可用性和便利性。每一種虛擬數據對象都配備有相應的虛擬數據對象控制器，負責提取數據匯聚層下方的真實數據格式，然后封裝為對象的虛擬數據對象進入數據匯聚層，提供給上層統一規范后的數據進行使用，與此同時上層傳遞過來的數據再通過數據控制器解封裝傳給數據匯聚層進行真實的數據存儲和傳輸。例如學生對象(student)包含基本信息(student_ID、student_num)等多個主鍵和外鍵，而通過數據控制器會提供具體方法產生一個查詢多個數據庫后集成的表單，這樣就避免了因高校內多個業務系統存在交集的數據而缺乏權威標準，同時又彌補了單一數據庫信息不全的缺點。如遇到數據產生交集且不一致時，權威數據可以通過分析業務流的數據流來確定。如學生基本信息來源于學生入學時在教務系統錄入產生，而后分發給其他系統，因此從業務流上分析學生的基本信息如遇到自其他系統中或者產生變動應以教務系統的數據為權威。同樣的交集數據情況也可以通過這種方法來確定權威數據。

3.4 儲存資源模塊

儲存資源(storage resources)模塊是虛擬資源池模型真實數據存儲的核心，該模塊圍繞真實數據信息提供存儲系統，對數據進行備份和容災，包含本地物理存儲和云服務器存儲，該模塊為資源池提供原始數據，這些數據可以是結構化、半結構化或者非結構化的，可以來自關系數據庫也可以來自非關系數據庫。通過儲存資源控制器達到屏蔽底層硬件的物理異構，對服務器而言處理的是同構的統一數據，會大大增加儲存器的儲存能力，提高利用效率。

4 基于高校數據資源池的運行機制

高效資源池的應用改變了傳統IT系統的資源配置模式，使得IT系統的資源配置更靈活、高效。資源池在高校多子系統的環境下實現資源、管理、服務方面的協同演進構建智能化、高效化、動態化的資源服務平臺。

圖3 高校數據資源池平臺的運行架構

資源池管理運營體系與實際生產環境的結合應用機制受到更為廣泛的關注和重視。通常高校內系統建設方式導致系統資源無法共享、響應業務需求慢的現狀，資源池通過主機、存儲等虛擬化技術建立跨系統的共享資源池，提供資源的動態分配，具有高可用性的處理能力。上述文章針對資源池的建設和運營體系進行了深度研究，其中設計研究方法為高校資源池的建設提供了較好的借鑒。但高校內數據往往錯綜復雜，各業務部門系統之間的數據冗余度高、無統一規范，需要更具針對性的數據資源池應用。

在該資源池模型應用機制下，把高校內所有子系統和業務系統和學生端軟件(如選課系統、教務系統、圖書館系統、信息辦業務軟件)部署在該資源池上，所有的應用均在該資源池客戶端上運行，實現C端的融合，后端的運行區分。高校的學生數據資源由“分散”到“集中”，有效地避免了信息的孤島化，模塊化，管理費用和建設費用也勢必減少，高校管理的過程中為了更加智能化人性化的管理學生，以學生的需求為出發點，大數據時代下了解學生需求的最有效的途徑就是通過學校的管理系統手機與學生相關的數據，提取和分析其中的潛在價值，進而分析學生的真實訴求。基于虛擬化軟件簡歷資源池統一管理平臺，實現資源的智能調配、資源池數據安全、子系統接入等應用。該應用機制實現對服務器集群、計算資源模塊，儲存模塊、數據模塊等基礎資源環境的統一管理、實現基于用戶優先級差別化性能管理和性能分配，提升對用戶行為控制的效率，通過智能化的流程提供服務。

5 業務運行結果分析

通過分析高校內的業務現狀，以高校選課系統為試點，結合業務環境遇到的問題利用資源池技術加持對比得出一些實驗結論。引入資源池模型后，使選課系統的后端結構由后端程序+冷數據庫轉變為后端程序+Redis+虛擬資源池，由于資源池是使用虛擬同構數據，數據存儲在虛擬資源池中，所以比一般存儲在硬盤中的數據庫有IO的先天優勢，同時由于Redis是使用Hash表的內存數據庫，所以查詢效率在最優情況下為O(1)，極少情況到達最壞情況O(n)，可以在高并發量下顯示出優勢。

表1 Jemter測試數據

后端程序在選課前使教務系統中與學工系統冷數據庫中的異構數據載入資源池，通過資源池的數據虛擬化模塊整合選課所需關鍵數據，并且通過讀取前端返回數據進行選課(如圖4)，在訪問量減少時和結束時，將Redis數據遷移到資源池中，從而完成選課數據的虛擬同構化。

圖4 選課系統前端界面

在傳統的服務器上進行擴展，將服務器分為后端程序服務器與資源池服務器，并且對這兩塊服務器進行集群處理，用以提升查詢效率。對于資源池應用，設置協調服務器，動態監測服務器的狀態，對CPU設置閥值，將數據處理盡可能平均地分配給多個資源池服務器，并且在資源不足時申請新的云服務器，將新申請的服務器使用虛擬資源池服務器的鏡像，同時加入集群。對于虛擬資源池，將需要同步的數據(比如選課的課程余量)設置在單一服務器，將不相干數據設置在多個服務器(比如學生學號與密碼，學生所對應的空閑時間段，課程)，將部分可分割數據設置在多個服務器(學生學號對應的空閑時間段，課程，將各個不同的學院布置在多個服務器上)。數據資源池對于后端程序和數據庫，相當于私有云數據庫，由于有專門的數據和程序服務器，使得查詢和傳輸后端數據的資源分攤在多個設備上，同時得益于資源池數據的統一性和隨時動態擴展的優勢，可以在數據量再次擴大時對資源池進行升級或添加新的數據服務器，以適應更大的并發。本項目使用vmware server進行服務器的虛擬化，便捷地將服務器虛擬出宿主操作系統，以最大程度凸顯資源池的虛擬環境。對于后端程序服務器與數據庫服務器進行單獨測試，使用C#或其他本地化的語言寫測試程序，利用jemter測試Web API的承載并發能力(如表1)，可以減少瀏覽器對于網頁渲染對測試后端程序服務器與數據資源池的服務器的影響，以更真實地請求完成資源池效能測試。

6 結語

高校數據資源池的建設利用數據資源池技術、虛擬化技術，在原有硬件虛擬化的基礎之上實現了高校內異構數據的高度集成，為信息中心對大數據的應用提供了統一的源數據環境。資源池平臺的搭建為高校提供了一個信息統一管理的平臺，實現了對數據動態、高效地靈活調度，同時和物力資源進行智能彈性組合，很好地解決了數據差異大帶來的數據資源利用率低的問題，必將為學生、老師帶來更大的便利，也為高校的信息化發展提供了良好的數據發展空間。