基于用戶視角的教學管理信息化建設績效評價

黃波 朱昌平 黃健元 李峰

摘要：教學管理信息化建設是高校數字化校園建設的重要組成部分，作為建設對象的教學管理信息系統(tǒng)是師生使用最頻繁、登錄人數最多、涉及面最廣的教學管理業(yè)務平臺，體現了高校教學管理信息化水平。在教學管理信息化建設的立項招標、實施管理、結項驗收、升級維護等各個環(huán)節(jié)，如何控制風險，提高效率，實現建設項目綜合績效最大化，是用戶最關切的問題。運用層次分析法，從用戶視角構建了教學管理信息化建設績效評價指標體系，建立了綜合績效評價模型，分析了教學管理信息化建設績效評價結果。通過對教學管理信息系統(tǒng)立項招標階段的績效評價案例應用分析，表明該指標體系和評價模型在教學管理信息化建設績效評價過程中簡單易行，可靠有效。該評價指標體系和模型為高校在教學管理信息化建設過程中實現風險控制、進行綜合績效評價和科學決策提供了理論依據。

關鍵詞：教學管理信息化；績效評價；教學管理信息系統(tǒng)；層次分析法

中圖分類號：CJ434

文獻標識碼：A

2018年4月教育部發(fā)布的《教育信息化2.0行動計劃》中指出， “完善教育管理信息化頂層設計” “提高教育管理信息化水平” “優(yōu)化教育業(yè)務管理信息系統(tǒng)，深化教育大數據應用，全面提升教育管理信息化支撐教育業(yè)務管理、政務服務、教學管理等工作的能力”。中國電化教育事業(yè)奠基人南國農先生早在2002年就指出，教育管理信息化建設是我國教育信息化建設的三大領域之一，主要任務是建立和完善學校教育管理信息系統(tǒng)，實現各級教育管理目標[1]。在《教育信息化2.0行動計劃》中，將教育管理信息化作為“教育治理能力優(yōu)化行動”的主要內容，體現了新時代教育管理信息化對提升高校教育管理水平、提高綜合治理能力、促進教育現代化的重要作用。

眾所周知，教學管理是高校教育管理的重要部分，是進行人才培養(yǎng)的主要管理職能。教學管理工作具有專業(yè)性強、數據量大、關聯度高和重復勞動多等特點，早期的教學管理事務全部或部分依賴人工操作，隨著高校辦學規(guī)模的擴大，教學管理要求的提高和教育教學改革的推進，面對成倍增加的教學管理數據和信息，傳統(tǒng)的人工操作或低水平信息化管理模式，已無法實現教學管理大數據對教育教學改革的保障和決策作用。因此，從上世紀八十年代開始，信息技術（Information Technology）與教育教學開始融合，由最初的工具和手段，逐漸融入到人才培養(yǎng)和教育教學的全過程[2]。

教學管理信息化將高校教學管理人員從大量繁瑣、復雜的數據處理和報表展示等工作中解放出來，同時，通過教學管理數據挖掘為決策層制訂政策提供參考和依據。相對其他業(yè)務管理，高校教學管理信息化建設具有周期長、環(huán)節(jié)多、與校內其他業(yè)務系統(tǒng)對接和數據共享頻繁等特點，建設過程中容易出現業(yè)務功能無法實現，系統(tǒng)安全系數偏低，建設經費超預算等風險源[3]，因風險失控極易導致教學管理信息化項目建設任務無法按期完成、建設目標無法全部實現、結項驗收無限延期、售后服務沒有保障等問題。因此，科學有效的教學管理信息化建設績效評價，是管控建設風險、保障教學管理信息化可持續(xù)發(fā)展的基礎和前提。

國內外大量的機構和專家、學者對教育信息化評價的框架、方法和指標進行了研究，如世界銀行信息項目促進發(fā)展項目組（infoDev）、聯合國教科文組織（UNESCO）、英國的學校信息化自我評估組織（The Self-review Framework.SRF）和美國的高校信息化項目組（Campus Computing Project，CCP），以及R.L.Nolan（1993）[4]、W.R.Synnott（1987）[5]、Mische（1999）[6]等，主要針對教育信息化項目中的硬件設備、信息資源和發(fā)展階段模型等提出了評估辦法，其中美國高校信息化項目（CCP）的評價框架根據學校信息化建設的重點不同而適時調整。近年來，隨著國內信息技術的發(fā)展，以及信息技術與教育教學的深度融合，教育信息化績效評價已成為當前教育技術研究領域的前沿和熱點。國內的教育信息化評價模型主要有“六要素模型”[7]、CIPO模型[8]和平衡記分卡模型[9]等。在評價指標方面，聯合國教科文組織（UNESCO）應用績效評價指標，從定性和定量兩個方面、三個層次對世界各國教育信息化應用情況的評價指標進行了分析，美國的STaR評估量表[10]、英國的SRF[11]分別從四個維度、六個要素對學校信息化進行評價。國內學者魏理豪（2014）[12]、謝幼如（2015）[13]、田生湖（2018）[14]、岳洪江（2016）[15]等分別從不同視角、多種維度，采用各種方法構建了教育信息化建設和應用績效評價的指標體系。

根據信息化發(fā)展階段理論模型[16]，教學管理信息化是一個動態(tài)的過程，一般可分為系統(tǒng)建設和系統(tǒng)應用兩個階段。綜合文獻整理和調研情況發(fā)現，信息化績效評價是當前信息化領域的研究熱點，但大部分研究成果都集中在信息系統(tǒng)的應用績效評價上，對建設績效評價不多，專門針對教學管理信息化建設的績效評價研究極少。在評價指標方面，大而全、宏觀層面的指標體系居多，小而精、中（微）觀層面、針對性強的教學管理信息化建設績效評價指標體系和模型缺乏。通常情況下，教學管理信息化建設常見的有三種模式：高校自主開發(fā)建設模式（簡稱“自主模式”）、軟件供應商提供標準版教學管理信息系統(tǒng)模式（簡稱“標準模式”）和高校和軟件供應商聯合建設模式（簡稱“共建模式”）。為找出影響教學管理信息化建設績效的主要因素和一般規(guī)律，通過對三種模式的利弊分析，選擇大部分高校采用的“共建模式”開展績效評價研究。

通過構建教學管理信息化建設績效評價指標體系和綜合評價模型，為用戶在教學管理信息化建設過程中實現風險控制、開展績效綜合評價和科學決策提供理論依據。

一、教學管理信息化建設績效評價的內涵及特點

（一）績效評價與教學管理信息化績效評價

績效評價（Performance Measurement.PM）的概念最早源自西方工業(yè)社會，指基于目標對過程、結果的評判與衡量。在管理學中，績效評價的過程為：根據評價指標體系，綜合運用數理方法，開展定性定量分析，對過程和效果作出綜合評判[17]。新時代教育信息化的內涵是，將信息技術作為教育系統(tǒng)性變革的內生力量，促進信息技術與教育深度融合，推動教育現代化發(fā)展。教學管理信息化建設是教育信息化建設的組成部分，與教學管理信息化應用共同組成教學管理教育信息化的主要內容。教學管理信息化建設績效評價是指，信息技術與教學管理深度融合過程中，借助于教學管理信息化建設績效評價指標體系，對建設實施過程中所產生的效益進行客觀、公正和準確的綜合評判。

根據層次分析法建模原則，在調研和專家打分的基礎上，依次得到準則層，以及“系統(tǒng)性能”“服務質量”“經濟因素”的一致性檢驗情況（如表2所示）。

再次，進行層次單排序。在本評價指標體系中，即為計算3個一級指標Bl，B2，B3對總目標A重要性次序的權值，以及7個二級指標Bll，B12，…，B17對一級指標Bl，5個二級指標級B21，B22，…，B25對一級指標B2，4個二級指標級B31，B32，…，B34對一級指標B3重要性次序的權值。

最后，進行層次總排序。通過上述從上到下的逐層計算，已得出相鄰兩層中下層對上層的相對重要性排序值，通過公式3構建的綜合績效評價模型，可計算出二級指標B_ij二級對于總目標A的相對重要性總排序（如表3所示）。

公式3中，Wi為Bi對應的相對權重，Wij為Bi中第j個評價指標Cij對應的相對權重。

（五）結果分析

從教學管理信息化建設績效評價的指標體系二級指標對總目標的合成權重及排序結果可以看出：

通過層次總排序可看出，在一級指標中， “系統(tǒng)性能B1”和“服務質量B2”所占權重遠超“經濟因素B3”，說明隨著高校對信息化工作的重視，愿意加大信息化建設投入。同時，各信息化建設單位，對教學管理信息系統(tǒng)的性能、軟件供應商的服務質量提出了更高要求，要求軟件供應商提供性能更優(yōu)越、服務質量更高的教學管理信息化產品。

排序前50%的二級指標依次為“系統(tǒng)架構Cll” “固定技服C25” “響應時間C21” “數據并發(fā)C12”“報價總額C31”“開發(fā)方式C22”“系統(tǒng)安全C13”和“用戶體驗C14”，權重之和達總權重的84%，說明在教學管理信息化建設中，這些因素是影響教學管理信息化建設效果的核心因素，用戶應重點關注，并采取必要的措施降低建設風險，提高建設效率。

排序后50%的指標為影響教學管理信息化建設效果的主要因素，是經過調研、案例實踐和專家論證篩選出的，針對不同教學管理信息化建設項目或隨著技術進步，有的指標重要性將進一步加強。如排序第11的“訂制功能C15”指標，隨國家“雙一流”建設的實施，許多學校都相繼推出了“一流本科行動計劃”或“一流人才培養(yǎng)計劃”，吹響了新一輪教育教學改革的號角，對高校教學管理信息化提出了新要求。為滿足這些新要求，標準版的教學管理信息系統(tǒng)功能必須進行改進、優(yōu)化甚至訂制開發(fā)，因此， “訂制功能C15”指標重要性提升也是教學管理信息化發(fā)展的必然趨勢。

三、案例應用與分析

H高校因信息化建設需要，需進行新綜合教學管理信息系統(tǒng)立項建設，經用戶前期市場調研、項目可行性分析等流程，現進入軟件供應商招標采購環(huán)節(jié)，經初步審核，共有3家軟件公司（A、B、C）符合應標條件。3家公司都是國內知名的教育信息化軟件供應商，在國內市場占有較大份額，其中A公司是近幾年來發(fā)展迅猛的綜合性的教育信息化軟件供應商，除教學管理信息系統(tǒng)外，業(yè)務范圍覆蓋數字化校園多個業(yè)務領域，B公司和C公司以教學管理信息軟件為主，有多年的教學管理信息系統(tǒng)研發(fā)經驗。招投標之前，3家公司業(yè)務人員均向用戶介紹了各自研發(fā)的教學管理信息系統(tǒng)產品。招標過程中，由用戶代表、信息化專家組成的招標專家考評組，根據投標文件及現場質詢，對3家公司進行了綜合測評。對每個指標的評價分為5個等級，用“5分” “4分”“3分” “2分”“1分”分別對應“好”“較好”“中等”“較差” “差”。由多名專家對每家公司的每個指標進行評分后取平均值。綜合評價得分為：

公式4中，F為該公司綜合得分，Wi為每個評價指標對應的權重，為專家對該評價指標打分的平均值，n為評價指標的數量。通過綜合評價可以看出，B公司的綜合績效評價得分高，建議B公司承擔該校的教學管理信息管理信息化建設（如表4所示）。

除了上述的立項招標環(huán)節(jié)，在教學管理信息化建設實施、運行管理、升級維護的各個環(huán)節(jié)，都可以參考此流程進行績效綜合評價。在建設實施過程中，可以通過對照建設目標和實施實況，進行績效評估后控制項目的建設風險，改變項目尾款的支付方式和結項驗收時間，提高項目建設效率。在運行管理過程中，通過分析績效評價指標體系中各指標的權重值，明確項目運行管理的重點，制訂有針對性的教學管理信息系統(tǒng)運行管理方案。在教學管理信息系統(tǒng)升級維護等后續(xù)建設管理過程中，能參考教學管理信息化建設項目實際建設的績效評價情況，確定教學管理信息化升級維保單位。

四、結語

教學管理信息化建設伴隨著高校教育教學改革的不斷推進，系統(tǒng)的架構將越來越復雜，功能越來越繁多，與其他業(yè)務系統(tǒng)進行數據共享和系統(tǒng)對接將是未來教學管理信息化發(fā)展的主流趨勢。從用戶視角對教學管理信息化建設階段的綜合績效評價構建科學指標體系和模型，可以實現建設過程中的風險控制和科學決策，對提高高校教學管理水平、保障教學改革順利進行奠定了基礎。

參考文獻：

[1]南國農.教育信息化建設的幾個理論和實際問題（上）[J]電化教育研究，2002，（11）：3-6.

[2]王正青.唐曉玲.信息技術與教學深度融合的動力邏輯與推進路徑研究[J]電化教育研究，2017，（12）：59-65.

[3]餞冬明，羅安妮等.教育信息化項目風險評估指標體系的構建[J]中國電化教育，2017，（1）：94-100.

[4] Nolan R L_croson D C，Seger K N.The Stages Theory：A Frame work forIT Adoption and OrganizationaILearning[M].Bos[on：Harvard.BusinessSchool Puhling，1993.

[5] Synnott William R. The Information Weapon： Winningcuslomers andMarket With Technology[M].New York：Wiley，1987.

[6] Mische Michael A. Reengineering：System Integration Success[M].JohnWyzalek，1999.

[7]呂新奎中國教育信息化[M].北京：電子工業(yè)出版社，2002.

[8]張進寶.從“六要素模型”到“CIPO”模型：教育信息化研究思路的再審視[J].中國電化教育，2008，（10）：5-9.

[9]顧小清，林陽等.區(qū)域教育信息化效益評估模型構建[J]中國電化教育，2007，（5）：23-27.

[10] TheCEO forum school technology and technology report[DB/OL].http：//www2.uca.es /lace/documentos/99report.pdf，2018-03-20.

[11]王煒，黃黎兇.國內外基礎教育信息化評估述評[J]中國信息技術教育，2008，（12）：13-15

[12]魏理豪，王甜等基于層次分析法的信息系統(tǒng)實用化評價研究[J]科技通報，2014，30（2）：143-146.

[13]謝幼如，常亞潔.績效導向的教育信息化評價模型的構建[J]中國電化教育，2015，（1）：56-60.

[14]田生湖，姚建峰等.高校教育信息化治理績效評價研究[J]電化教育研究，2018，（3）：29-34.

[15]岳洪江，徐歡基于期望一滿意測評的高校信息系統(tǒng)績效評價研究[J]現代情報，2016，36（7）：51-57.

[16]張聰.高校教育信息化評估的成熟度模型建構及其應用研究——以河南省高校為例[D]上海：上海外圍語大學，2017.

[17]楊杰，方俐洛等.關丁績效評價若干基本問題的思考[J].自然辨證法通訊，2001，23（2）：40-50

[18]徐建，吳砥等區(qū)域教育信息化發(fā)展水平評估系統(tǒng)設計與實現[J]現代教育技術，2018，28（2）：120-126.

[19]謝幼如，鄭云翔.引領與推動：教育信息化績效評價[M]北京：高等教育出版社，2016：5.

[20] Saaly T L Analytic Hierarc，hy Process[M].New York：John Wiley&Sons，L[d，2001.19-20.

[21]杜棟，龐慶華等.現代綜合評價方法與案例精選[M].北京：清華大學出版社，2013.14-24.