高校信息系統后評估督導機制及其指標體系*——以西北工業大學為例

王 聰 薛 靜 禹 亮

高校信息系統后評估督導機制及其指標體系*——以西北工業大學為例

王 聰 薛 靜 禹 亮

（西北工業大學 信息化建設與管理處，陜西西安 710072）

高校信息系統在建設中存在運維弱、體驗差、監督少等問題，不僅減緩了信息化進程，還影響著教育技術的質量。為此，文章引入績效管理理念，首先設計了信息系統后評估督導機制的傳動式實施策略。隨后，文章構建了由四個維度各級指標及其權重分值構成的信息系統后評估督導機制指標體系，以指導策略落地。最后以西北工業大學為例，介紹了信息系統后評估督導機制的應用現狀，其中該機制的“雙線四向五要素”架構實現了信息系統建設全生命周期的閉環管理，之后進行了案例分析。實踐證明該機制既有利于促進數據治理實效、增加業務協同度、提高師生滿意度，也能提升信息系統應用效果，并可為高校信息化建設提供理論與實踐指導。

教育信息化；后評估；督導機制；信息系統；績效管理

一 研究背景

1 高校信息化建設的現狀

2018年，教育部發布《教育信息化2.0行動計劃》，強調全面開展面向區域教育信息化的督導評估和第三方評測，提升各地區和各級各類學校發展教育信息化的效率、效果和效益[1]。當前，高校信息化建設具有信息安全、數據準確、不反復填表、一趟都不跑等需求，這也是教育信息化發展過程中遇到的突出問題。另外，新冠疫情凸顯了在線教學、遠程科研的支撐作用。因此，如何檢驗在線教學體系各子系統支撐大規模應用的能力，以及時彌補體系的薄弱環節，成為了眾多高校面臨的共同挑戰[2]。高校要重視信息系統的業務流程梳理，更要重視投入建設后的使用反饋，對呈現出的問題進行對標審視，檢驗預期目標，實現績效管理策略，指導流程再造。

2 績效管理與信息系統建設問題

所謂績效管理，是指各級管理者為達到組織目標，共同參與的績效計劃制定、績效輔導溝通、績效考核評價、績效結果應用、績效目標提升的持續循環過程，其目的是持續提升個體和組織的績效。信息化是促進高校改革創新和提高教育質量的有效途徑[3]，旨在有效控制風險、提高使用效率，以達到理想效果，實現建設項目的綜合績效最優化。信息系統是高校提升綜合服務與應用能力的重要保障，其建設內容涉及立項、審批、需求設計、招投標、簽合同、執行、驗收、運維、升級改造等環節，但由于在對接方式、預期效益、二次開發等方面無調控，容易暴露出使用體驗不佳、改進無從下手等問題，主要表現為：各部門所建信息系統眾多，按業務邏輯開展建設的跨業務關聯度不高；建設經費及耗能較大，不重視運維，導致功能推廣滯緩；統籌規劃不充分，項目管理不規范，負責人頻繁更換，問題無法得到及時響應；關鍵數據不統一、信息標準不一致、用戶信息化素養待提升。對此，信息系統建設需利用督導手段介入治理。

3 后評估督導機制的推出

后評估制度是國家計劃委員會關于可行性報告的重要內容，是管理的重要環節，可以為項目執行計劃和調整提供依據，是重要的信息反饋途徑[4]。由于信息系統涉及眾多既跨流程又互相關聯的業務，故本研究中后評估的督導范圍包含了學校教學、科研、管理、服務等在內的全套公共信息系統。當系統建設與其他系統交叉運行一段時間且經過并發高峰期之后，將進入后評估督導環節：首先依據設定的標準，按照特定程序，在符合信息化規劃、統籌管理、標準規范等要求的基礎上，對信息系統使用前后情況進行分析、比對并實時跟蹤應用反饋；隨后，對系統建設成效進行綜合性評價；最終，根據評估結果持續優化改進，直至系統下線，跟進結束。

隨著信息化服務功能需求的不斷增多，高校一部分信息系統即將淘汰。從信息系統建設到使用，需要介入第三方角色進行客觀分析，以及時發現不足、適時督導改進。后評估督導機制的建立，意味著把信息化納入可統籌的績效考核[5]，其推行是為了進一步提升信息系統的質量和應用效果，最終實現全生命周期的閉環管理，從而更大程度地發揮信息系統的效能。

二 信息系統后評估督導機制的傳動式實施策略

高校信息系統后評估督導機制的建立是一個持續傳動的過程。為了增加信息系統后評估督導機制推行的信任度和實施的可靠度，使評估中的每個環節都得到有效控制，本研究參考戴明環[6]提出的將質量管理分為Plan（計劃）、Do（執行）、Check（檢查）和Act（處理）四個階段的PDCA循環理論，對應設計了包含建設、后評估、反饋和改進四個環節的信息系統后評估督導機制的傳動式實施策略，如圖1所示。該策略以“點”（即規劃、指標細項、第三方視角）帶“面”（即紅色的主導面、黃色的預判面和綠色的推進面），貫穿“督導線”和“反饋線”兩條線，并根據績效，結合權重和信息系統使用后的反饋，不斷完善后評估督導機制。

圖1 信息系統后評估督導機制的傳動式實施策略示意圖

1 以信息化“規劃”為基準點，帶動“績效”形成主導面

按照統一規劃原則，后評估督導機制需加強問題的發現和意見的征集歸納效率，并綜合考慮信息系統的業務特征、應用類型、項目規模、技術指標和復雜程度。具體實施時，該機制需要明確權責、績效目標和進度，綜合評價所屬責任范圍內的經濟效益、管理效益、社會效益、資金預算、人員配備、管理支持等方面的可持續發展，將督導與改進同時推進。

2 以特定“指標細項”為評測點，基于“權重”形成預判面

信息系統后評估督導機制需設置特定的指標細項，并合理匹配各項權重，同時針對信息系統中使用率低、與其他系統難以互聯互通、功能設計不合理、用戶體驗不佳等問題開展深度檢測，找出問題的癥結所在并加以解決，以確保信息系統建設的質量。

3 以“第三方介入”為視角，根據多向“反饋”形成推進面

針對高校眾多系統，信息系統后評估督導機制在推行中特設多種督導角色，如一線教師、教務人員、業務負責人、教學負責人等，通過深入驗核，相對獨立地得出較客觀的改進依據，并隨時反饋信息系統的使用動態，以實現評估集約易行，使諸多問題第一時間得到有效解決。

三 信息系統后評估督導機制的指標體系

信息系統后評估督導機制的傳動式實施策略的落地，離不開相關指標體系的指導?；诖?，本研究構建了信息系統后評估督導機制的維度模型，設計了各級指標并確定其權重分值，形成了信息系統后評估督導機制的指標體系。

1 維度模型的設計

考慮到系統建設在頂層設計、數據應用、用戶滿意度和安全性等方面容易偏離預期，本研究構建了信息系統后評估督導機制的維度模型（如圖2所示），主要包括：①“維度一”聚焦于系統頂層設計，重點判斷信息系統達到學校整體信息化要求的程度，并指定專人負責，針對效率、跨業務、效益、移動應用、統一身份認證等方面做出評判；②“維度二”聚焦于數據管理，包括信息系統數據的采集、整合等，經業務關聯后能夠反映信息系統的使用效率，重點判斷業務數據庫的建設情況、數據質量優劣和數據交換共享或備份效果；③“維度三”聚焦于用戶體驗，是根據信息系統投入運行后在一定周期內呈現出的狀態，判斷系統運行過程中的平穩交互情況，使師生用戶經培訓使用后感受舒適、便捷，同時對其他系統起到引領和示范作用；④“維度四”聚焦于系統安全，從國家網信安全的要求出發，判斷信息系統能否有效保護師生信息安全、是否按等級保護標準和相關安全策略運維、是否有應急響應方案和防護控制措施等。

圖2 信息系統后評估督導機制的維度模型

2 各級指標的設定與權重分值的確定

依托信息系統后評估督導機制的維度模型，結合高校信息化建設的要求和實際情況，本研究初步設定了信息系統的評估指標內容。之后，參照西北工業大學信息系統建設、數據資源目錄、信息安全等管理辦法[7]，同時考慮到信息系統涉及不同的責任單位，本研究從系統建設方案中獲取關鍵指標量化值[8]，得到可量化的一級指標11項、二級指標39項、三級指標56項。在設定各級指標后，本研究采用主次指標排隊分類法確定各級指標的權重分值，具體步驟如下：

①排隊，即結合專家、師生和關聯單位的意見，將一級指標按照后評估督導流程排隊，而二級指標、三級指標按重要程度排隊。西北工業大學設置了專家評估組、師生體驗組、關聯單位組三個評估小組，統籌收集三個小組的意見，得到各指標的技術評判、效益評估結果。在此基礎上，專家評估組重點把關維度一、維度二、維度四，而師生體驗組和關聯單位組從系統使用和業務融合的角度出發對各維度進行考查。

②設置權重。經三個小組現場測試、質詢、評議、打分后，本研究按照4:3:3的評分權重系數統計，匯總形成最終評估結果。需要說明的是，由于專家是學校各學科領域的項目負責人，同時也是部門項目在建設初期的指導專家和項目驗收時的評判專家，具有豐富的評判經驗且其評判比較客觀，故專家評估組的評分權重略高于其他兩組。

經上述兩個步驟，本研究確定了各維度各級指標的權重分值。各維度一、二、三級指標及其權重分值如表1、表2、表3、表4所示，共同構成了信息系統后評估督導機制的指標體系。

表1 信息系統后評估督導機制的指標體系（維度一）

在表1～表4中，“頂層設計”“專人管理”“建設效率”“建設效益”“數據質量”“數據交換與共享”“便捷性”“安全設計”等8項二級指標的分值≥4分，說明這些內容是信息系統后評估督導的重點，在一定程度上決定信息系統建設的成敗。其中，“數據質量”的分值高達10分，說明數據質量是信息系統建設的重中之重。具體來說，“頂層設計”要求不同的信息系統必須統籌建設，信息系統屬于學校公共平臺，需要納入學校統一管理，系統的建設、運維和優化要符合學校信息化規劃的要求；“專人管理”體現“一把手”責任制，要求每個系統由專人負責管理和維護，凸顯信息化驅動業務的重要性；“建設效率”反映建設的品質，評判建設周期與預定計劃是否一致；“建設效益”體現資金投入與受益效果是否一致，以及信息化項目經費的申報和使用是否合理；“數據質量”用來反推信息化的整體進度，實現信息系統與其他系統的準確關聯；“數據交換與共享”要求按照一定的標準規范進行數據接口開發，以有效對接不同系統并實現系統升級；“便捷性”要求盡可能地將網上審批流程集成到一站式辦事大廳，以提高辦事效率；“安全設計”考查能否利用有效的技術手段來保障系統安全運行。

表2 信息系統后評估督導機制的指標體系（維度二）

表3 信息系統后評估督導機制的指標體系（維度三）

表4 信息系統后評估督導機制的指標體系（維度四）

四 應用現狀與案例分析

1 應用現狀

“十三五”期間，西北工業大學的信息系統建設規模持續擴大，圍繞教學、科研、教務和學生的學習、生活等建成了各類信息系統約40余個，涉及30多個責任單位。以信息系統后評估督導機制的指標體系為指導，按照信息系統后評估督導機制的傳動式實施策略，西北工業大學于2019年6月下發《西北工業大學信息系統后評估管理辦法（試行）》，進行信息系統試評估，試行一年后對信息系統后評估督導機制進行修訂，之后正式實施。截止到2021年12月，西北工業大學通過后評估的信息系統有16個，督導改進完成率為62.5%。經后評估督導改進后，西北工業大學的信息系統不僅優化了審批流程、縮短了辦事時間、解決了反復填表問題、提升了師生滿意度，而且系統自身的使用率也得以大大提高，可為新建系統提供有益參考。

根據多輪評估經驗，西北工業大學形成了信息系統后評估督導的工作流程：①制定后評估工作計劃，包括具體實施進度、考核要求和改進復核；②向系統所涉責任單位發送《信息系統后評估通知》，向專家評估組、師生體驗組、關聯單位組三個評估小組發送評審任務；③責任單位報送任務回執，并提供系統運行資料和測試賬號；④通過測試、審閱、調研、隨機走訪、函評等方式，對系統進行評測；⑤向各類系統的用戶征集意見并進行相關數據統計；⑥責任單位匯報系統的建設、使用情況，三個評估小組現場測試、質詢、評議、打分；⑦匯集意見，明確問題歸屬，形成《后評估改進建議通知單》；⑧責任單位按照《后評估改進建議通知單》，結合實際建設情況，制定改進計劃；⑨審核改進計劃，通過審核后建立臺賬，下發責任單位要求落實、跟進；⑩責任單位實施改進計劃，可申請專項經費，后評估督導持續跟蹤、管理。

圖3 信息系統后評估督導機制的“雙線四向五要素”架構

為了更好地指導后續信息系統后評估督導工作的開展，西北工業大學設計了信息系統后評估督導機制的“雙線四向五要素”架構，如圖3所示。該架構以督導線和反饋線為主線，從信息系統建設的規劃開始，每一個環節都在建、評、督、改、核五要素的管控下，以專家意見、業務流程、師生建議為反饋手段，促使問題導向更明確、跟蹤趨向更及時、再建指向更準確、復核動向更清晰，實現了信息系統建設全生命周期的閉環管理。

2 案例分析

截至2021年12月，在西北工業大學已經評估的16個系統中，有3個系統完成了全面升級：①“本科教學管理系統”，這是師生使用頻繁、上線人數多、涉及業務面廣、師生關聯密切的業務平臺。經后評估兩輪改進后，“本科教學管理系統”的工作效率得以極大地提高，不僅落實了完全學分制改革，而且方便了“教”與“學”，促進了學校各業務系統整體信息化水平的提升。②“校園郵件系統”，這是學校為方便在校師生信息交流而開設的一項服務。通過廣泛征集師生、校友、校內外專家、業務關聯單位等的意見，“校園郵件系統”進一步優化了業務流程，成為了第一個全部完成后評估改進的系統，獲得了廣大師生的好評，為其他系統的優化與升級起到了示范作用。③“校園門戶”，這是學校信息服務綜合管理平臺。經過后評估改進后，最新版“校園門戶”集成在移動端APP，其針對用戶提供主題服務，并通過集約各類系統、設置符合使用習慣的導航界面，全面提升了用戶體驗。

值得一提的是，西北工業大學在實施信息系統后評估督導的過程中積累了諸多經驗，如遴選覆蓋各學院的40余名在校教師為“信息化督導員”，負責日常收集、匯總系統使用意見，并為學院師生提供簡單的系統使用培訓；招募熱衷于信息技術、對互聯網思維感興趣的學生為“網信志愿者”，負責在學生區進行網信宣傳和提供相關技術支持，同時達到“實踐育人”的目的。

信息系統后評估督導機制的實踐，不僅有力提升了信息化服務的時效性，而且營造了學校全員參與信息化建設的積極氛圍。西北工業大學推出的信息系統后評估督導機制在業內為首創，在2020年11月舉辦的“智慧校園2.0創新驅動模式與路徑探索”專題研討會上，陜西省教育廳指出該項實踐工作是建立健全教育信息化可持續發展機制的重要探索，并評價信息系統后評估督導機制規范了信息化項目管理，沖破了數據阻隔，提高了信息化的重視度、使用度、體驗度、參與度、信任度和安全意識，建議各高校借鑒并加以推廣。

五 結語

本研究引入績效管理理念，將信息系統的評估和督導相結合作為切入點，設計了信息系統后評估督導機制的傳動式實施策略，構建了信息系統后評估督導機制的指標體系，并以西北工業大學為例進行了案例分析，指出其設計的信息系統后評估督導機制的“雙線四向五要素”架構實現了信息系統建設全生命周期的閉環管理。為了進一步滿足師生對高校信息化的實際訴求，信息系統后評估督導機制有待繼續優化和持續推廣。而從“能用”到“好用”，還有一段很長的路要走。后續研究將不斷推動高校信息化質量評估體系的完善，助力教育信息化可持續發展。

[1]教育部.關于印發《教育信息化2.0行動計劃》的通知[OL].

[2]張紫徽,楊玉輝,張宇燕,等.全鏈路壓測保障高校信息系統的探索與思考——以浙江大學為例[J].現代教育技術,2021,(2):55-62.

[3]麻志毅,李梅.高校信息化建設中的變化適應性解決方案[J].現代教育技術,2018,(6):25-31.

[4]謝幼如,鄭云翔.引領與推動:教育信息化績效評價[M].北京:高等教育出版社,2016:5.

[5]田生湖,姚建峰,趙學敏,等.高校教育信息化治理績效評價研究[J].電化教育研究,2018,(3):29-33.

[6]戴明環.PDCA循環[OL].

[7]校園信息化建設領導小組.西北工業大學信息化建設體系文件《網絡與信息系統安全管理辦法》《信息化項目建設管理辦法》《數據資源管理辦法》《網絡與信息系統安全管理辦法》[Z].西安:西北工業大學,2019:3-10.

[8]徐建,吳砥,陳敏,等.區域教育信息化發展水平評估系統設計與實現[J].現代教育技術,2018,(2):120-126.

Post-evaluation Supervision Mechanism and Its Index System of University Information System——Taking Northwestern Polytechnical University as an Example

WANG Cong XUE Jing YU Liang

There were problems such as weak operation and maintenance, poor experience, and less supervision in the construction of university information systems, which not only slows down the informatization process, but also affects the educational technology quality. Therefore, this paper introduced the performance management concept, and firstly designed the transmission implementation strategy of the post-assessment supervision mechanism of the information system. Subsequently, an index system for the post-assessment supervision mechanism of the information system was constructed, which was composed of indicators at all levels in four dimensions and the corresponding weight scores, in order to guide the implementation of the strategy. Finally, taking Northwestern Polytechnical University as an example, the application status of the post-assessment supervision mechanism of the information system was introduced. The “two lines, four directions and five elements” structure of the mechanism realized the closed-loop management of the whole life cycle of the information system construction, and further a case analysis was carried out. Practice proved that the mechanism was not only conducive to promoting data governance effectiveness, increasing business collaboration, and improving teacher and student satisfaction, thereby improving the application effect of information systems, and could provide theoretical and practical guidance for college informatization construction.

educational informatization; post-evaluation; supervision mechanism; information system; performance management

G40-057

A

1009—8097（2022）05—0075—08

10.3969/j.issn.1009-8097.2022.05.009

基金項目：本文受西北工業大學發展戰略研究基金項目“‘雙一流’建設背景下（智慧校園）建設發展策略研究”（項目編號：2021FZY44）資助。

王聰，工程師，碩士，研究方向為智慧校園建設及實施，郵箱為wangcong0304@nwpu.edu.cn。

2021年8月31日

編輯：小米