數字化賦能新一輪本科教育教學審核評估:意義、現狀與展望

王 超,劉 蓬,王廣琨

(1.山東大學,山東 濟南 250100;2.華東理工大學,上海 200237;3.大連理工大學,遼寧 大連 116024)

一、前言

近年來,云計算、大數據、人工智能等數字化技術加速創新,與高等教育評估領域的融合日益深入。黨的二十大首次將“推進教育數字化”寫入黨代會報告,為教育領域數字化轉型提出了明確要求。2020年中央出臺《深化新時代教育評價改革總體方案》《關于深化新時代教育督導體制機制改革的意見》,明確要求“充分利用信息技術,提高教育評價的科學性、專業性、客觀性”[1]“大力強化信息技術手段應用,充分利用互聯網、大數據、云計算等開展督導評估監測工作;逐步形成由現代信息技術和大數據支撐的智能化督導體系,提高教育督導的信息化、科學化水平”[2]。兩份中央文件都明確了數字化手段在教育評價和教育督導領域的重要作用,為教育評價和教育督導的信息化、數據化和智能化轉型提供了根本遵循。

2021年1月,教育部發布《普通高等學校本科教育教學審核評估實施方案(2021-2025年)》(以下簡稱《方案》),正式啟動新一輪審核評估。審核評估是我國高等教育質量保障的重要舉措,也是我國“五位一體”評估制度(高校自我評估、院校評估、專業認證及評估、國際評估和教學基本狀態數據常態監測)的重要組成部分[3]。新一輪審核評估在充分繼承上輪審核評估“用自己的尺子量自己”“五個度”等高教戰線普遍認可的經驗做法基礎上,對標中央教育評價改革和教育督導改革要求,在指導思想、理念標準、方法技術等方面進行了系統設計和改革創新。其中,在方法創新方面,《方案》提出“綜合運用互聯網、大數據、人工智能等現代信息技術手段,深度挖掘常態監測數據,采取線上與入校結合、定性與定量結合、明察與暗訪結合等方式,切實減輕高校負擔,提高工作實效”[4]。如果說信息技術在上輪審核評估中僅發揮了信息錄入、存儲和查詢等輔助性作用[5],那么在新一輪審核評估中,線上評估環節的首次引入和數據手段的進一步強化,則意味著審核評估工作真正進入了數字化轉型的新階段。

二、數字化賦能新一輪審核評估的重要意義

《教育信息化2.0行動計劃》指出,將教育信息化作為教育系統性變革的內生變量,支撐引領教育現代化發展,推動教育理念更新、模式變革、體系重構[6]。在教育教學評估工作中,以信息技術為代表的數字化手段的合理運用,一是能夠引領和促進審核評估工作進一步強化過程評價和增值評價,建立健全綜合評價體系,提高評估結果的全面性、客觀性和準確性;二是能夠充分調動評估各方積極性,促進高校進一步夯實質量保障主體責任,推動高等教育質量保障共同體建設;三是能夠促進評估管理服務水平不斷提升,支撐元評價有效開展。

(一)健全綜合評價體系,提高評估結果的全面性、客觀性和準確性

《深化新時代教育評價改革總體方案》指出,要堅持科學有效,改進結果評價,強化過程評價,探索增值評價,健全綜合評價[1]。落實中央文件要求,就是要轉變以往重結果輕過程的評價思路,在發展過程方面給予更多關注。其中,過程評價是在一個時間單元的中間部分發生的,屬于伴隨式評價,而基于信息技術的本科教學狀態數據采集和常態監測則讓這種伴隨性成為可能[7]。增值評價是對學生學習、教師教學、學校辦學、政府工作的進步幅度和努力程度的評價[8],體現了過程性評價、發展性評價的理念[9]。增值評價涉及復雜的數據收集與統計,包括分層、分塊及歷史數據的對比分析,是建立在大數據基礎上的[10]。借助信息技術的數據管理與統計分析功能,能夠降低開展增值評價的時間和人力成本,提高增值評價的可操作性[11]。

在新一輪審核評估工作中,一方面,通過對國家數據平臺歷年數據的充分利用和深度挖掘,實現了對高校本科教育教學指標變化情況的客觀、全面展現,能夠引導教育行政部門和評估專家更多關注本科教育教學的全過程要素和發展趨勢,進一步加強對高校持續改進成效的考核,從而推動審核評估工作由結果評價向過程評價和增值評價轉變;另一方面,基于數據處理與分析技術打造的多維度的數據報告體系,從學校自身、常態監測數據、教師、在校生、畢業生、用人單位等多元視角構建對高校本科教育教學和人才培養情況的精準“畫像”,有利于推動健全綜合評價機制,使評價結果更加全面、更加客觀、更加準確。

(二)充分調動評估主體積極性,推動建設高等教育質量保障共同體

在以往的教育教學評估工作中,各參與主體相對孤立,高校在第三方評估中被邊緣化,只是信息的接受者,對于評估指標如何選取、評估過程如何進行、評估數據如何測出都無所知曉,難以滿足多元主體協同參與評估的需求[12]。而在新一輪審核評估中,數據挖掘技術的充分運用和多維度數據報告體系的構建,不僅為評估專家開展評審工作提供了便利,也為高校進一步健全內部質量保障體系提供了重要參照。歷年指標數據的縱向比較能夠促進學校準確把控自身發展態勢;不同類型常模的橫向比較能夠幫助學校明確自身優勢和短板;類型豐富的調查報告為學校開展自我評估提供了多元視角和依據。大數據時代催生的數據化評估工具,能夠充分發揮過程性評估和動態監測的實時反饋和改進作用[13],促進高校夯實質量保障主體責任,有效做好自我評估,主動落實整改提升工作。

此外,依托評估管理系統開展的線上評估工作,在新一輪審核評估中發揮了重要作用。以試點評估為例,7所試點高校的評估專家在全面審讀學校自評報告及相關數據報告的基礎上,通過線上平臺調閱電子教學材料1594份、在線聽課看課207門次、在線座談訪談267人次。初步估算,線上評審工作量在專家總工作量中的占比超過七成。可以說,新一輪審核評估中的評估管理系統已不僅是評估材料上傳、存儲、下載的工具性平臺,更是教育行政部門、評估機構、專家、學校等評估主體深入開展審核評估工作的重要載體和共享空間。互聯網手段的應用,一是減輕了評估各方的負擔,調動了各方參與評估工作的積極性,推動了審核評估工作的常態化開展;二是加強了專家與師生的溝通[14],促進了評與被評方的雙向互動;三是提高了評估的透明度,方便了評估組織實施工作的開展和教育行政部門的統一管理。教育行政部門、評估機構、評估專家和高校等評估主體協同聯動,有力推動了高等教育質量保障共同體建設,有助于高校教育教學水平和人才培養質量的持續提升。

(三)促進評估管理服務水平不斷提升,支撐元評價的有效開展

新一輪審核評估借助評估管理系統和專家管理系統,實現了對評估全過程的數字化管理,形成參評學校“一校一檔案”、評估專家“一人一檔案”的數據整合機制。通過對評估過程數據的深度挖掘和多維分析,從宏觀、中觀和微觀層面呈現客觀直觀的數據信息,為管理決策提供了更加科學、理性的判斷依據[15],也為開展元評價提供了數據參考。所謂元評價,就是對“評價”的評價,是“升維”的評價活動[16]。開展元評價,需要系統收集已有評價信息,對評價的設計、實施、效果進行系統、透明的分析和鑒定,對評價的深度假設、價值預設、評價工具、評價執行、價值裁定進行再評價[17]。審核評估過程數據包含學校自評、專家選派及評價情況、專家評審過程及評審結論、學校整改情況等各個方面,對這些數據的挖掘分析結果,能夠為客觀審視審核評估各個環節、準確評價審核評估所發揮的效能提供數據參考,在提升審核評估管理服務科學化、精細化水平的同時,推動審核評估工作自身持續改進。

三、數字化手段在新一輪審核評估中的應用

《方案》出臺后,教育部教育質量評估中心(以下簡稱“教育部評估中心”)對新一輪審核評估的落地實施工作進行了系統設計和統籌謀劃,并在清華大學、上海交通大學、中國農業大學、安徽大學、遼寧石油化工大學、常熟理工學院、衢州學院7所高校分別開展了評估試點。從試點的總體情況來看,新一輪審核評估中的數字化手段應用主要體現在建設線上工作平臺、充分利用數據資源和優化專家隊伍管理等三個方面。

(一)建設線上工作平臺,推動部省協同,實現一站服務

教育部評估中心針對新一輪審核評估工作建設了全國統一、分級使用、開放共享的全國普通高等學校本科教育教學院校評估管理系統(以下簡稱“評估管理系統”),主要功能架構如圖1所示。評估管理系統是部省校三級協同開展評估工作的重要平臺,對新一輪審核評估各流程、各環節起到了重要的支撐作用。

圖1 評估管理系統功能架構

1.服務評估參與主體,保障部省協同評估質量

評估管理系統設計了部長賬號、教育部評估專家委員會、教育部教育督導局、教育部評估中心、地方教育行政部門、地方評估機構、評估專家、高校、專家組秘書、項目管理員等十大用戶角色,并對各用戶角色權限進行了合理劃分。

根據《方案》要求,教育部和地方教育行政部門依托全國統一、開放共享的專家庫,協同開展新一輪審核評估工作。受教育部委托,教育部評估中心具體組織實施中央部門所屬高校第一類、第二類審核評估和地方高校第一類審核評估工作;省級教育行政部門組織所屬高校第二類審核評估及推薦高校參加第一類審核評估工作。教育部對各地各校審核評估工作進行統籌協調和指導監督。教育部評估中心按照《方案》要求搭建了部省校三級協同開展審核評估工作的大平臺,各組織管理部門在其職責權限內開展相關工作(如圖2所示)。教育部依托該平臺,能夠全面掌握全國高校審核評估開展情況。在橫向的宏觀維度,實現全國范圍內高校審核評估“全景式”動態管理;在縱向的微觀層面,實現各高校審核評估全流程實時跟蹤,從而保障部省評估質量實質等效。

圖2 評估管理系統部省校三級協同模式

2.支撐全部評估流程,助力線上入校評估考察

評估管理系統實現了對評估申請、學校自評、線上評估、入校評估、反饋結論、限期整改、督導復查等評估全流程的信息化支撐,為高校、評估專家、評估組織管理部門提供分角色登錄、導向操作、集成管理的一站式服務。

在評估申請和學校自評環節,評估管理系統除了為參評學校提供申請材料和自評材料上傳提交等常規功能外,還有效支撐了《方案》“自主套餐+自主配餐”這一亮點特色的落地實施。“自主套餐”是高校可在兩類四種方案①中選取一種方案進行評估,“類”跟“種”都可選擇。一旦選擇“套餐”,還可“自主配餐”,即每種評估方案的評估指標還可再選[18]。評估管理系統以模塊化、菜單式設計,引導高校依據自身辦學定位,制定“一校一案”個性化指標體系和評估方案。

在線上評估與入校評估環節,數字化賦能實現了對傳統評估模式的革新,打造了網絡化、智能化的評估新模式。評估試點期間,專家通過評估管理系統不僅能夠線上審閱自評材料,還可以開展線上聽課看課、線上訪談座談、線上調閱材料等多種考察活動,充分發揮了線上評估考察不受時間、空間限制的靈活優勢,更加全面、深入地對參評學校本科教育教學工作進行審核[19]。根據評審情況,評估專家在線填寫《個人線上評估意見》,系統自動進行匯總。專家組組長根據匯總材料整理形成《線上評估問題清單匯總表》,并按需選配入校評估專家,在線分配入校核查任務,制定入校評估方案。入校評估專家依據線上評估產生的“問題清單”靶向考察、深入印證,在線完成《入校考察問題核查表》。評估管理系統自動匯總線上評估與入校評估專家遞進式考察意見,有效服務專家評估、學校整改和后續督導工作,筑牢“評價-反饋-持續改進”閉環鏈條。

3.挖掘評估過程數據,實現評估管理清晰可溯

評估管理系統充分利用審核評估過程中產生的數據資源,從宏觀、中觀和微觀層面,對審核評估工作進行數據化統計分析和圖表化直觀展示。在宏觀層面,著重統計全國和地方審核評估進度,可視化展示已評、在評、未評高校數量及比例;在中觀層面,著重統計每所參評學校審核評估過程數據,如專家組工作量、專家組報告中問題清單數量、學校整改進度等;在微觀層面,可分類統計參評學校自評材料準備情況、專家組成員評審工作開展情況等。

(二)利用數據資源,豐富評估工具,促進多元評價

在云計算、大數據時代,傳統“拍腦袋”決策模式或者定性指標已很難有效地把控質量內涵[20],需要用數據化的手段,推動評估走向科學化、客觀化,打造數據密集型評估[21]。因此,新一輪審核評估增設定量指標,并借助數字化手段,加強對各類數據資源的深度挖掘和合理利用。

1.增設定量指標和各類常模,提升評價精度

新一輪審核評估指標體系,在定性指標的基礎上,新增了定量指標。第一類審核評估包含35個定量指標,其中必選指標22個,可選指標13個。第二類審核評估包含46個定量指標,其中必選指標30個,可選指標16個。除定量指標外,參評學校還需自主選擇常模類型,包括世界一流大學常模、“雙一流”建設高校常模、擁有一級學科博士點高校常模、全國常模、31個省(區、市)常模、12種類型高校常模(理工類、綜合類、語言類、醫藥類、財經類、體育類、藝術類、師范類、民族類、農業類、軍事類和政法類)以及自定義常模(可任選不超過3組高校,每組高校數量不少于5所)等。國家數據平臺利用學校年度填報數據和指標計算公式,自動計算參評學校所選定量指標值和常模值,為學校開展自評自建工作和評估專家開展評審工作提供數據參考。

2.構建“1+3+3”數據報告,拓展評價維度

在上輪審核評估中,國家數據平臺建成并投入使用,基于評估目的所采集的所有本科高校的教學狀態數據在審核評估中發揮了積極作用[5]。新一輪審核評估加大了對國家數據平臺教學狀態數據進行深度挖掘的力度,進一步拓展時間維度,描繪高校相關數據歷年變化趨勢,對《本科教學狀態數據分析報告》作了進一步優化和完善。同時,新搭建了全國高校師生調研分析系統,并依托該系統開展師生調研,形成《教師教學體驗調查報告》《學生學習體驗調查報告》,與《本科教學狀態數據分析報告》一起形成3份教學狀況報告。基于教育部學生服務與素質發展中心的相關系統和數據庫,形成《本科生就業數據分析報告》《用人單位跟蹤調查報告》《本科畢業生跟蹤調查報告》3份就業狀況報告。教學層面和就業層面雙向聯動,構建了以自評報告為中心,以3份教學端過程性報告和3份就業端結果性報告為兩翼的“1+3+3”多元評價體系,進一步豐富了專家評估工具。

“1+3+3”報告體系的有效落地,需要互聯網和大數據技術的有力支撐。一是借助相關信息系統和平臺,收集被評高校的相關數據信息。例如,國家數據平臺每年定期向高校開放,對高校本科教學狀態數據進行全面收集;全國高校師生調研分析系統在學校自評階段向參評學校師生發放調查問卷,對教師教學體驗和學生學習體驗數據進行全面收集等。二是借助大數據等數據處理技術,對收集的數據進行深度挖掘、多維處理和關聯分析,形成有價值、效度高的信息和結論。三是由系統根據既定模板自動、批量生成相關報告,降低人力成本,提高工作效率。

(三)優化專家管理,構建“全息畫像”,實現智能選派

評估專家是審核評估工作中的關鍵角色,是為高校本科教育教學情況“把脈開方”的“體檢醫生”。高水平、廣來源的專家組構成能夠有效提升審核評估的權威性、客觀性和規范性[22]。教育部評估中心已啟動院校評估專家庫建設,著力建成全國統一、開放共享的專家庫,形成數量充足、結構合理、政治過硬、業務精湛的專家隊伍,為高質量開展新一輪審核評估工作奠定堅實基礎。

1.頂層設計專家庫系統,實現全流程數字化管理

為做好專家庫建設工作,教育部評估中心在做好頂層設計的基礎上,研發了專家管理系統,其中包含高等院校、教育行政部門、科研院所、行業組織等多類專家推薦角色以及教育部評估中心、教育部評估專家委員會等專家信息審核角色,在嚴把專家政治關、業務關的前提下,進一步拓寬專家推薦渠道,把更多懂評估、愛評估、敬評估的專家吸納到新一輪審核評估工作中。

專家管理系統搭建了專家在線培訓模塊,教育部評估中心負責維護培訓資源、制定培訓規則。新推薦的專家首先進入專家預備庫,通過參加線上線下培訓,完成規定學分后,在線授予評估專家證書并正式進入評估專家庫。

此外,依托專家管理系統實現了專家多元評價和動態退出機制。專家每參加一次審核評估工作后,由教育部評估中心、參評學校、專家組專家、專家組秘書、項目管理員等在線給予評價,系統按照不同權重綜合計算,作為評價專家評估工作質量的參考依據。

2.構建專家“全息畫像”,實現智能化精準選派

為了充分發揮線上評估不受時間和空間限制的靈活優勢,調動更多專家資源對高校本科教學狀況進行更加全面評審,新一輪審核評估專家組在人數方面較上輪審核評估有較大提升,由15-21人組成,這也為選派一支結構合理的專家隊伍留足了空間。

專家管理系統建立了一套全面、細致的專家字段信息,覆蓋專家單位類型、學科背景、職務職稱、專業特長、工作經歷、評估經歷等與院校評估工作相關的各個方面。依據專家個人填寫的相關信息,初步構建專家“全息畫像”,形成覆蓋德智體美勞不同領域、政產學研不同職業及國際國內不同地域,專長鮮明、類型豐富的專家隊伍,在方便專家日常管理的同時,也為開展智能化專家選派奠定了基礎。

在進行專家選派時,系統根據參評學校辦學定位、類型特色、學科專業布局等,結合專家隊伍年齡、職務職級、學科背景、專業特長、地域分布等多種因素,實現專家隊伍的智能選派、精準選派,形成一支對接學校類型和辦學特色、覆蓋主干學科、涵蓋德智體美勞“五育”范疇的結構合理的專家隊伍(如圖3),配齊配準“體檢醫生”,有效進行“聯合會診”和“把脈開方”。

圖3 審核評估專家選派模式

3.多維分析專家字段信息,實現專家管理數據化

字段信息豐富、成員數量充足的專家庫為開展專家信息數據挖掘和多維分析創造了條件。專家管理系統借助數據挖掘技術,從專家年齡結構、地域分布、學科分布、選派次數、專業特長等不同角度對專家庫整體結構進行多維分析和報表呈現,實現了專家日常管理的數據化和可視化。

四、審核評估工作數字化轉型的展望

數字化手段為新一輪審核評估的開展提供了重要支撐,新一輪審核評估的方案設計和落地實施也對評估工作的數字化轉型起到了重要的推動作用。以新一輪審核評估為契機,進一步筑牢信息平臺基礎,強化數據應用賦能,持續加強數據文化和信息技術應用能力建設,深入探索新技術賦能評估工作的途徑,數字化將在高校審核評估工作中發揮更大效能。

(一)提升平臺智能化水平,打造智慧評估空間

一是進一步提升平臺的可擴展性和智能化水平。根據《方案》要求,省級教育行政部門可結合實際,制定本地區審核評估的具體實施方案。也就是說,在國家層面審核評估的統一框架下,各地區在審核評估指標、程序等具體細節方面可能各具特色。在上輪審核評估工作中,有一些省份建設了專門針對本省審核評估工作的管理信息系統[23],方便了本省審核評估工作的開展,但不利于全國范圍內的統籌管理。為此,評估管理系統還需要在可擴展性和靈活性上下功夫,實現不同評估指標體系、不同評估程序的個性化定制。

二是著力打造評估參與主體共建共享的智慧空間。一方面建立健全培訓模塊,將與審核評估相關的慕課、微課等優質在線培訓宣介資源納入平臺中,完善在線輔導答疑,拓展培訓時空,擴大培訓覆蓋面,提升培訓受益面和效果[24];另一方面建立案例共享平臺,將各高校審核評估中的計劃方案、工作措施、典型案例等不涉密的數據匯聚起來,供高校互學互鑒,共同提升[12]。

(二)破解數據孤島難題,健全數據管理機制

新一輪審核評估強化了數據手段的運用,從試點過程來看,“1+3+3”報告體系在為參評學校和評估專家提供多元評估視角的同時,也出現了某些數據項不一致的現象,給學校自評自建和評估專家開展評審工作造成了一定的困惑。數據不一致問題的產生,一方面源于數據孤島的存在,另一方面也歸咎于統計口徑、計算方式等數據管理因素。“1+3+3”報告數據來源于不同的信息系統,如本科教學狀態國家數據平臺、全國高校師生調研分析系統、全國高校畢業生就業管理系統等,這些系統之間尚未實現數據的互聯互通,無法自動進行數據一致性校驗。

近年來,區塊鏈技術的快速發展為破解審核評估領域的數據孤島難題、健全數據管理機制提供了一種可能的途徑。區塊鏈是一種由多方共同維護,使用密碼學保證傳輸和訪問安全,能夠實現數據一致存儲、難以篡改、防止抵賴的記賬技術,也稱為分布式賬本技術[25]。將區塊鏈技術應用于審核評估,能夠提升評估數據的客觀性、完整性,強化數據共享與應用[26]。展望未來,可以探索利用區塊鏈共識機制來構建相互信任的教學狀態數據和就業數據開放與共享網絡,以確保不同來源的數據保持一致,促進數據分層分級的開放與共享[27-28]。同時,也要加強制度供給,健全數據采集、存儲、整合、呈現與使用、分析與應用、歸檔和銷毀的全生命周期管理機制,保障數據的真實性、準確性和一致性。

(三)加強數據文化建設,提升技術應用能力

靠數據支撐、用數據說話,教育教學評估工作的開展,數據是重要的驅動力。落實教育評價改革要求,要創新數據先行的評估認證方法,加強評估領域的數據文化建設,幫助參評學校、評估專家、評估機構和社會公眾樹立數據意識、建立數據思維、提高數據素養,多方協力提高數據質量。同時,還需要通過培訓等手段,提升參評學校、評估專家、評估機構相關人員的信息技術應用能力,利用評估指標和評估工具引導高校進一步提升自身的數字化建設水平和數據分析能力。做好這些基礎工作,審核評估的數字化賦能效果才會真正落地見效,數字化轉型進程也會加快推進。

五、結語

當前,教育部正在大力實施教育數字化戰略行動,旨在以高水平的教育信息化引領教育現代化。在數字化的賦能下,新一輪本科教育教學審核評估邁向了“云+數”的新階段,實現了“云端考察”“數中評估”,這是貫徹黨的二十大精神、落實教育部教育數字化戰略行動、順應互聯網和大數據時代高等教育發展趨勢,實現審核評估信息化、數據化、智能化轉型的必然要求。進入新時代,以5G、人工智能、虛擬現實等為代表的各類新技術層出不窮,如何進一步用好、用巧數字化手段,充分發揮技術對審核評估工作的支撐、賦能乃至變革引領作用,是值得深入思考和持續研究的問題。然而,無論技術如何發展、如何應用,都要始終秉持對國家負責、為學校服務的根本宗旨,遵循學生中心、產出導向、持續改進的基本理念,從審核評估工作實際需求出發,讓技術服務于人、服務于業務,服務于中國特色、世界水平的本科教育教學質量保障體系建設。

注釋：①“兩類”即第一類審核評估、第二類審核評估;“四種”即第一類審核評估以及第二類審核評估中的第一種(適用于已參加過上輪審核評估,重點以學術型人才培養為主要方向的普通本科高校)、第二種(適用于已參加過上輪審核評估,重點以應用型人才培養為主要方向的普通本科高校)和第三種(適用于已通過合格評估5年以上,首次參加審核評估、本科辦學歷史較短的地方應用型普通本科高校)。