教育信息化2.0時代職業教育數字教材評價指標體系構建研究

馬曉麗

2018年，教育部印發《教育信息化2.0計劃》，對引領推動教育信息化轉段升級作出具體部署。在此背景下，職業教育領域圍繞教材、教師、教法的數字化改革成為實踐的重點，尤其作為集中體現教學內容的教材在新技術的“挾持”下率先被推向了數字化變革的軌道[1]。2021年12月，教育部辦公廳印發的《“十四五”職業教育規劃教材建設實施方案》明確提出，“推動教材配套資源和數字教材建設，探索紙質教材的數字化改造，形成更多可聽、可視、可練、可互動的數字化教材”。當前，我國職業教育數字教材建設取得一定進展，但質量參差不齊，亟待進行監管和評價。鑒于此，本文基于教育信息化2.0時代背景，根據職業教育數字教材建設要求和特點，探索構建了職業教育數字教材評價指標體系，以期發揮診斷、指導、激勵和導向功能，促進職業教育數字教材良性發展。

一、教育信息化2.0時代職業教育數字教材評價指標體系構建的現實動因

（一）落實國家有關政策要求的需要

國家高度重視職業教育教材建設工作，出臺的《職業院校教材管理辦法》（教材[2019]3號）、《“十四五”職業教育規劃教材建設實施方案》（教職成廳[2021]3號）等一系列專門文件對我國職業教育教材建設提出了明確要求，同時強調要加強教材評價制度建設。此外，國家高度重視教育評價工作，2020年中共中央、國務院印發的《深化新時代教育評價改革總體方案》對我國教育評價改革工作提出明確要求，同時強調要“完善教材質量監控和評價機制”。因此，構建科學合理的職業教育數字教材評價指標體系是落實國家有關政策要求的體現。

（二）評價數字教材適應性的需要

從數字教材需要包含的專業知識層面來看，一方面，職業教育數字教材需要具備嚴謹的知識體系與結構，以快速幫助學生形成完整知識結構，實現縱向層面知識梳理[2]；另一方面，職業教育數字教材學科之間需要具備清晰的邊界與范圍，凸顯本學科特色，進而實現橫向層面的知識統合[3]。因此，職業教育數字教材是否具備完整的、條理清晰的知識結構與體系，則需要通過評價指標體系進行回答。從數字教材采用的專業技術層面來看，一方面，職業教育數字教材開發需要充分利用數字技術提供的技術資源支撐，使教材呈現數智化、標準性、便捷性、交互性等特點；另一方面，數字教材是否會引發數據安全、隱私保護等問題，能否在職業教育教學活動中被大量應用，也是一個值得考量的議題。為此，構建職業教育數字教材評價指標體系，能夠有效回答數字教材中技術的適用性問題。

（三）探索智慧教學模式的需要

教學模式是反映特定教學理論邏輯、為保持某種教學任務的相對穩定且具體的教學活動結構。教學模式是基于大量實踐而形成的，具有一定的理論基礎作為支撐，具備較高穩定性，難以在短時間內進行較大變動。然而，伴隨教育信息化2.0時代到來，數字教材創造了多種教育結構新模式，不僅實現了教學過程的重構，還實現了知識信息化轉變，對固有職業教育教學模式形成一定沖擊[4]。理論上講，數字教材通過云計算、物聯網、VR、AR等新技術覆蓋現實環境，為師生構建出一個虛實結合的學習場景，推動職業教育教學模式優化調整。但事實上數字教材能否有效契合教學模式調整方向，仍需通過構建職業教育數字教材評價指標體系進行確認。

（四）規范教材更新的需要

教材是課程標準的具體化，能夠有效幫助課程標準轉化為教育成果。進入新時代以來，隨著教學改革不斷深入推進，教學標準和課程標準不斷發生變化，教材也要保持動態更新，尤其是根據信息技術發展和產業轉型升級進行動態修訂。教育信息化2.0時代，數字教材已成為未來發展的新引擎，為職業教育提供優質內容與服務[5]，但也面臨定期修訂更新的要求。綜上所述，相較紙質教材，數字教材更新速度更快，因此，對數字教材更新質量的檢測變得尤為重要，尤其是評價更新后的數字教材中吸納的新技術、新工藝、新材料、新方法是否符合國家要求，這需要通過構建職業教育數字教材評價指標體系進行確認。

二、教育信息化2.0時代職業教育數字教材評價指標體系構建的核心原則

（一）注重評價標準的科學性

職業教育數字教材評價是評價主體以一定的評價標準對職業教育數字教材的價值進行評價的過程，在這一過程中，職業教育數字教材評價標準的科學性是影響職業教育數字教材評價結果是否符合實際的前提和關鍵。第一，職業教育數字教材評價指標的選取要符合職業教育改革發展規律，尤其要能彰顯職業教育類型教育的特征和特色；第二，職業教育數字教材評價指標的選取要體現和落實立德樹人根本任務，符合人的身心發展規律和技術技能人才培養要求；第三，職業教育數字教材評價指標的選取要符合信息化數字化發展要求，迎合行業和產業數字化發展趨勢[6]，充分運用人工智能、大數據等數字化技術；第四，職業教育數字教材評價指標的選取要符合教材建設的需要，嚴格遵循國家出臺的有關教材建設的政策要求以及教育評價改革的要求。

（二）體現評價主體的多樣性

職業教育數字教材建設涉及多方需求和利益，職業教育數字教材評價指標體系的構建也應考慮多元化需求。第一，教材是國家意志在教育領域的直接體現，是落實黨的教育方針的重要抓手，因此構建數字教材評價指標體系要考慮國家對人才培養的要求和對教材建設的要求，確保數字教材符合國家大政方針政策。第二，職業院校是人才培養的主陣地，也是推進數字教材建設的主陣地，因此構建數字教材評價指標體系要考慮職業院校開展教育教學改革和人才培養對數字教材的需求。第三，教師是數字教材的主要編寫者，也是數字教材的使用者，因此構建數字教材評價指標體系要考慮一線教師身心發展特點和開展課堂教學對數字教材的需求。第四，學生是數字教材最廣泛的使用者，能否通過數字教材獲得專業知識和專業技能是評價數字教材的核心因素，因此構建數字教材評價指標體系必須考慮學生身心發展特點和實際需求。第五，出版社是數字教材的出版發行方，對數字教材的形式和內容具有把關的責任，因此構建數字教材評價指標體系必須考慮出版社的要求。

（三）注重評價指標的創新性

數字教材是技術融于職業教育的產物，涉及多個專業、多個主體以及多種要素，故影響數字教材應用的因素必然盤根錯節。因此，在教育信息化2.0時代構建職業教育數字教材評價指標體系時，相關指標需有一定創新性，尤其要體現出被評價對象的特色[7]。這需要全面系統地研究影響數字教材應用的相關因素，并找出主要影響因素與重點問題，通過設置重要指標，突出指標體系中的重點項目以及權重，保障評價結果的新穎性、針對性、準確性與有效性。在橫向上，職業教育數字教材評價指標體系要體現全面性，需要有結構完整、不同維度的觀測點以及創新性評價要素。具體來講，需要將教育、經濟、產業、技術等多個環節結合起來，清晰反映出職業院校、產業與社會發展之間的內在聯系與規律。在縱向上，職業教育數字教材評價指標體系要體現針對性，要涵蓋專業設置、授課方式、人才培養、信息化建設等對數字教材要求的關鍵要素，各要素之間具有清晰的內在邏輯，能夠反映職業教育數字教材特色。

（四）體現評價過程的靈活性

伴隨教育信息化2.0深入推進，職業教育教材在形式與內容上發生了較大轉變[8]，使得教材評價隨之發生變化，由結果性評價轉變為結果與過程相結合的評價。數字教材應用具有過程性、動態性以及整體性特點，因此數字教材評價指標體系需要隨事物變化與評價目標改變而改變。教學成果是數字教材應用的直觀反映，為準確評估教學成果，需要對職業教育數字教材評價指標體系中的指標進行動態調整。這種動態調整可以分為主動調整與被動調整。其中，主動調整是基于新的評價目標與評價要求對評價指標體系進行調整或重新設計。被動調整是基于評價效果對指標體系進行動態修正，即增加或刪減某些指標。

三、教育信息化2.0時代職業教育數字教材評價指標體系構建

（一）評價指標篩選

1.數據來源

基于已有研究成果[9]，按照《“十四五”職業教育規劃教材建設實施方案》《教育信息化2.0計劃》等有關政策文件對職業教育數字教材的要求，將職業教育數字教材評價體系分成4個一級指標、9個二級指標、25個三級指標，見表1。進一步采用李克特5級量表開發相應的結構性調查問卷，邀請12位專家依據指標重要程度對25個三級評價指標進行打分，1代表非常不重要，2代表不重要，3代表一般，4代表重要，5代表非常重要。本研究邀請的專家均有職業院校工作經驗，部分專家同時具備企業工作經驗。考慮到不同專家綜合能力有所差異，依據專家從教時間、實踐經歷，對其打分賦予不同的加權系數，加權系數賦值邏輯見表2。

表1 教育信息化2.0時代職業教育數字教材評價體系指標集

表2 專家打分加權系數賦值情況

2.數據分析

對25個評價項及12位專家打分情況進行灰色關聯度分析，設置分辨系數為0.5。關聯度值越大，代表其與母序列之間的相關性越高，對應的重要性越強，灰色關聯度結果見表3。觀察可知，在25個三級指標中，教學規律性、教學適應性、職業素養體現性、生產貼合性、教學互動性、版權合規性的綜合評價最高，對應關聯度為1.000。排在第二梯隊的是內容先進性、內容擴展性、完整性、價值導向正確性、政治方向正確性、出版流程合規性，對應灰色關聯度均超過0.9。設置關聯系數門檻值為0.6，篩選出教育規律性、教學適應性、職業素養體現性、生產貼合性等20個評價指標。此外，專家意見指出，版權合規性、出版流程合規性、價值導向正確性、政治方向正確性四個指標應當屬于“一票否決”性指標，不宜參加權重劃分。換言之，評價時首先應對照是否滿足“否決性”指標要求，一旦觸發其中任意一項，即可視為評價對象不合格，相應評價隨之終止。

表3 指標灰色關聯度結果

（二）評價指標權重分析

1.構建層次

重新梳理上述篩選后的指標，形成包含三個層次的綜合評價指標體系。其中，最高層包括教材內容、教材設計、技術應用3個一級指標。中間層包括科學性、職業性、結構設計、界面設計、標準性、便捷性、交互性7個二級指標。最底層則包括教育規律性、教學適應性、職業素養體現性等16個三級指標。

2.確定指標權重

本研究采用九級比例標尺，對比分析兩指標之間的相對重要性。如果兩個指標重要性相同，標度為1。如果一個指標較另一指標輕微重要，標度為3；輕微次要，則標度為1/3。如果一個指標較另一指標重要，標度為5；次要，則標度為1/5。如果一個指標較另一指標較為重要，標度為7；較為次要，則標度為1/7。如果一個指標較另一指標極為重要，標度為9；極為次要，則標度為1/9。2、4、6、8及對應倒數代表介于相鄰判斷之間。

針對通過的16個三級指標構建16階判斷矩陣并進行AHP層次分析法研究，得到特征向量及各指標對應權重值。結合特征向量計算求得最大特征根，并采用隨機一致性比率（CR）進行一致性檢驗。CR值越小，判斷矩陣隨機一致性越高。通常情況下，當CR小于0.1時，則認為判斷矩陣隨機一致性通過檢驗。具體計算過程如下：

第一步，計算矩陣A最大特征值λmaxA，借助MATLAB軟件求得本文λmaxA為16.185。

第二步，計算偏離一致性指標CIA，對應公式為CI=（λ-n）/（n-1）。公式中，為判斷舉證階數，代入求得CI=0.012。

第三步，計算隨機一致性CR，對應公式為CR=CI/RI。公式中，RI為隨機一致性指標，當n=16時，RI為1.59，代入求得本文CR=0.008。

可見，本研究判斷矩陣滿足一致性檢驗，計算所得權重具備一致性。

（三）評價指標結果分析

將上述分析結果進行整理匯總，得到最終的職業教育數字教材評價指標體系，見表4。4項“否決性”指標分別為版權合規性、出版流程合規性、價值導向正確性、政治方向正確性，且不參與權重性分析，其余16項篩選通過的指標則參與權重性分析。進一步對表4職業教育數字教材評價指標體系進行深入分析，得到如下結論。

表4 教育信息化2.0時代下職業教育數字教材評價體系

1.評價基點：教材合規

教育信息化2.0時代下，職業教育數字教材處于初始發展階段，其合規性問題必須引起相關部門高度重視。最終形成的評價指標體系中，版權合規性、出版流程合規性、價值導向正確性、政治方向正確性成為決定數字教材是否可用的否決性指標。與商業出版物、網絡視頻相比，教材的育人屬性決定了其審核必須嚴格，這也是職業教育數字教材評價的基點所在。具體而言，一方面，要保證職業教育數字教材的內容及出版流程符合法律規定，對于存在侵權、不符合出版制作流程的數字教材堅決抵制；另一方面，要關注價值導向及政治方向的正確性。無論職業教育教材表現出怎樣的外在形式，其仍舊蘊含著立德樹人的根本任務。為此，對于意識形態方面出現問題的教材，必須要采取零容忍態度。

2.評價重點：教材內容

從指標評價體系權重排序結果可知，在3個一級評價指標中，“教材內容”所占權重最大，對應比例高達61.72%。“教材設計”“技術應用”所占權重接近，分別為19.05%與19.23%。在16個三級評級指標中，權重最大指標為“教材內容”的下屬指標“教育規律性”，權重為15.61%。評價權重排名前五的評價指標中，來自教材內容的有4項，分別為“教育規律性”（15.61%）、“教學適應性”（11.62%）、“生產貼合性”（10.58%）、“內容先進性”（10.36%）。可見，教育信息化2.0時代下，教材內容仍舊為評價數字教材質量的核心標準。

3.評價難點：教材設計與技術應用

教育信息化2.0時代下，職業教育數字教材的評價涵蓋“技術應用”這一全新維度，無論是“格式標準性”，還是“搜索便捷性”，均是傳統職業教育教材評價很難涉及的領域。對于評價主體而言，其需要切身體驗評價對象與同類型產品，在多方對比下得出結果，從而保障評價結果的客觀性。此外，在教材設計方面，盡管普通教材評價同樣也涉及到“結構設計”與“界面設計”，但教材表現形式的差異使得二者之間評價并不具備通用性。評價主體無法完全按照以往教材評價經驗評估數字教材設計的合理性。綜合而言，職業教育數字教材不僅評價維度更加多元，評價難度亦有所上升，針對教材設計與技術應用的科學賦分將成為未來評價的難點所在。