基于Delphi法和熵值法的智能教材評價指標體系構建及測度

摘要：在梳理智能教材釋義、支持技術和演進等研究成果基礎上，基于Delphi法和熵值法分別從思想性、教學性以及技術性3個一級指標，共9個二級指標，31個三級指標初構智能教材評價指標，運用熵值法測算智能教材各級評價指標權重形成智能教材評價指標體系，以期為高校智能教材出版、選用和評估提供量化參考標準。

關鍵詞：熵值法；智能教材；評價指標體系

中圖分類號：G436文獻標識碼：A文章編號：2095-6916（2024）15-0122-04

Construction and Measurement of Intelligent Teaching Materials Evaluation

Index System Based on Delphi and Entropy Method

Liu Fang

（Xingzhi College of Xi’an University of Finance and Economics， Xi’an 710038）

Abstract： On the basis of sorting out the research results of the interpretation of the intelligent teaching materials， supporting technology and evolution， the Delphi method and entropy method were used to construct the evaluation index of intelligent teaching materials from the 3 first-level indicators of ideology， teaching and technology， a total of 9 second-level indicators and 31 third-level indicators， and the entropy method was used to measure the weight of the evaluation index of the intelligent teaching materials at all levels to form the evaluation index system of intelligent teaching materials， which provided a quantifiable reference standard for the publication， selection and evaluation of intelligent teaching materials in college and university.

Keywords： entropy method; intelligent teaching materials; evaluation index system

黨的二十大報告進一步提出加快數字中國建設，與數字世界的互動方式為我們在學習、生活等方面帶來了空前未有的體驗和便利。隨著虛擬現實和增強現實等交互式技術的發展，深度學習等人工智能技術、物聯網上無處不在的數據傳感器、大數據分析以及移動設備開始普及，知識的生產模式、存儲模式、加工與傳播方式已從紙質形態發展到數字形態［1］，教材領域的無聲革命正在進行。從調研了解的情況看，當前數字教材建設中存在著簡化、異化等問題，譬如“電子文書”“多媒體教學資源庫”和“教師答題”［2］，為避免走進簡單轉換為電子文書、隨意堆積多媒體資源、機械使用智能技術等誤區，推動數字教材更好地向智能化發展，需要建立科學的智能教材評價指標體系，本文現就基于Delphi法①和熵值法②的智能教材評價指標體系構建及測度進行探討。

一、智能教材的相關研究

國外學者研究智能教材起步較早，在智能教材釋義、支持技術和別具一格的智能教材開發平臺等方面取得了豐碩的理論和實踐成果。

（一）智能教材釋義

Billingsley W.H［3］認為智能教材是一種基于網絡的教材，其包括的練習由計算機模型或分析系統支持，學生可使用恰當的圖形符號或圖表完成這些練習，并獲得由模型所產生的評價與反饋。Mengdi Wang等人［4］認為智能教材通過整合機器可操作的知識擴展傳統紙質教材內容覆蓋面，且形成集成知識也就是教材中提到的相關概念列表，結合概念列表執行多種智能操作，如內容鏈接、內容推薦等。江波等人［5］將智能教材界定為以深度交互、學習畫像和自適應為主要特征，為學生提供個性化學習、評價和規劃等服務的智能化數字教材。

（二）支持技術

Gerhard Weber等人［6］提供兩種不同技術（ELM-ART）的創造性組合——智能輔導和自適應超媒體技術，為基于網絡的智能教育系統設計提供了一個模型，制作一系列創作框架和系統開發智能教科書和課程。Jeffrey Matayoshi等人［7］利用自然語言處理和機器學習技術來構建分類模型，以實現與教科書及其內容的匹配。評估模型作為一個完全自動化的系統具有與人類專家結合使用的潛在性能。N Matsuda等人［8］提出具有宏觀自適應支架的在線課件擴展：基于網絡瀏覽器的認知導師創作工具和用于自動技能模型發現和注釋的文本挖掘應用程序這兩種學習工程方法有效創建網絡書。張治等人［1］提出融入學習模型、教學策略模型、學習者畫像和知識圖譜四個核心組件的智能型數字教材系統技術實現路徑及其推進機制。

（三）智能教材的演進

伴隨信息技術的發展和傳播形態的演變，智能教材經歷了知識工程（Knowledge Engineering）階段、語義網（Semantic Web）階段、自然語言處理+機器學習（NLP+ML）階段和交互數據挖掘（Interaction Data Mining）階段。

1.知識工程階段

美國Stanford University計算機科學家Feigenbaum教授在1977年第五屆國際人工智能會議上提出知識工程這一概念。二十世紀九十年代中期，第一批智能教材在自適應超媒體領域被開發出來，它極度依賴學科領域專家的知識和經驗。學科領域專家搭建了由域模型、內容模型和學生模型構成的簡單模型，確定每一本教材提出的關鍵概念（域模型），并注釋包含的概念集（內容模型），個體學習者的知識（學生模型）被動態地表示為域模型的加權疊加［9］。早期的智能教材擁有自適應導航、自適應表示、內容推薦和基于概念的導航等“智能”功能。

2.語義網階段

二十一世紀初，許多人工智能研究人員將關注點轉向語義網絡技術，構建基于語義進行判斷的智能網絡布局，降低人與電腦溝通時的障礙。這一技術可將知識模型作為軟件本體，學習素材作為鏈接和注釋賦能早期智能教材，打開了自適應教材架構，并支持外部內容集成［10］，成功地通過軟件技術將外部內容自動集成到自適應教材中［11］。

3.自然語言處理+機器學習階段

自然語言處理研究是能實現人和計算機間運用自然語言開展有效通信的理論和方法。機器學習主要研究計算機模擬或實現人類學習行為的途徑，在獲取新的知識或技能的基礎上，重新組織已有知識結構從而不斷改善自身性能。2011年前后，自然語言處理和機器學習的進一步發展使得教材的內容和結構具備“智能”功能，即基于概念的域模型的自動構建成為人們獲取知識的來源，比如從教材中自動提取主題和概念以及挖掘這些概念之間的各種邏輯關系。

4.交互式數據挖掘階段

由數字教材和現代技術生成的用戶交互數據的不斷增長，推動智能教材進入新的發展階段。傳統的數據挖掘技術需要在數據分析之前進行多次預處理，這會浪費大量的時間和資源，而且很難立即獲得收益。交互式數據挖掘技術的出現，使得用戶通過交互的方式參與到數據挖掘過程中，數據分析和挖掘的過程可以更加的高效、可控和自適應。例如，頁面導航和高亮度顯示行為生成的數據，用于挖掘學生的閱讀技巧并跟蹤他們的注意力，推斷學生通過閱讀教材獲得知識的狀態；為智能教材平臺提供更強大的個性化方法，實現基于學生實時行為的自適應建議；專注結合人工智能和群體智能探索越來越復雜的方法，挖掘過去用戶的行為，以預測并指導新用戶行為。

二、智能教材評價指標體系的構建

（一）初構智能教材評價指標

遵循科學性、整體性、可操作性和獨立性等原則，通過對紙質教材、數字教材、智能型教材、智能教科書的國內外相關文獻進行研究，列出智能教材評價指標清單，包括科學性、教育性、技術性、實用性、安全性4個一級指標，符合國家相關教育法規和課程政策，體現社會主義核心價值觀等40個二級指標。

（二）指標體系的調整與確定

采用Delphi法，選擇北京、西安、貴陽3個城市的5位企業人員作為專家。通過背對背方式，經過兩輪征詢，使得專家意見趨于一致。根據專家反饋意見調整不合理之處，最終確定指標體系。

該指標體系包括思想性、教學性以及技術性3個一級指標，政治方向、價值導向、內容科學、內容豐富、結構合理、形態立體、智能交互、可視化、學習支持服務等9個二級指標，堅持馬克思主義指導思想、堅持為黨為國育人、育才立場等31個三級指標。

（三）智能教材各級評價指標權重測算

設有n個專家，m個指標，則Xij表示第i個專家的第j個指標評價指標值，熵值法測算指標權重的步驟如下。

1.數據的一致化與無量綱處理問題，由于指標體系中各指標數據單位都是“分”，且各三級指標的專家打分值都是個位數，說明各指標之間的數據量級相同，故不用對數據進行一致化和無量綱化的處理。

2.計算第i個專家的第j個三級指標的特征比重矩陣：

pij=xij/∑ni=1xij 式（1）

3.計算第j個三級指標的熵值：

ej=-1ln（n）∑ni=1pijlnpij 式（2）

4.計算三級指標Xij的差異系數比：

gj=1-ej 式（3）

5.計算第j個三級指標的權重系數：

wj=gj∑mj=1gj 式（4）

通過以上方法測算出各三級指標的權重系數和熵值，然后根據各三級指標的權重計算各二級指標和一級指標的權重，測算數據如表1所示。

（0.193）描繪學習者畫像，準確識別和判斷學習者狀態，推送針對性教學內容、學習資源。0.9770.024基于可視化過程數據，分析、規劃學習者學習路徑，匹配教學策略。0.9530.049建立學習風險預測模型，匹配學習補救內容。0.9430.060建立個性化學習預警機制，確立干預等級，制定干預措施。0.9640.037知識結構AI化。0.9810.020遵循原有學科邊界和學科結構。0.9660.035捕捉學習者在學習方面的差異，設定不同的學習管理方式和學習目標。0.9590.043提供持續、靈活和動態的工具，支持學習者對不同教材內容之間進行靈活布局，建構知識。0.9840.016關注學習者身心發展。0.9560.046嵌入獎勵機制和激勵策略，實現學習者自我監控、自我反饋及自主學習的實時反饋。0.9680.033各指標的熵值可以反映出各指標提供信息量的大小，從表1可以看出，31個三級指標中的熵值都大于0.9，說明所構建的指標體系信息量非常豐富，能夠從多個方面綜合反映智能教材的質量。

三、結語

隨著我國深入實施教育數字戰略行動，教育數字化轉型已成為教育發展的內在必然。教材建設作為教育數字化轉型的重點領域，對推動教育教學高質量發展具有重要意義。當前數字技術已經滲透到我們學習、工作、生活的方方面面，紙質教材正被數字技術顛覆和轉變。本文基于Delphi法和熵值法構建了智能教材評價指標體系，以期為高校智能教材出版、選用和評估提供了可量化的參考標準。

基金項目：本文系陜西省教育廳服務地方專項計劃項目“陜西本科高校教材建設成果與教師待遇掛鉤政策研究”（編號：23JM015）的有關成果

①Delphi法，也稱專家調查法，1946年由美國蘭德公司創始實行，其本質上是一種反饋匿名函詢法，其大致流程是在對所要預測的問題征得專家的意見之后，進行整理、歸納、統計，再匿名反饋給各專家，再次征求意見，再集中，再反饋，直至得到一致的意見。

②熵值法是一種基于信息熵的數學方法，用于判斷某個指標的離散程度。在信息論中，熵是對不確定性的一種度量。信息量越大，不確定性就越小，熵也就越小；反之，信息量越小，不確定性就越大，熵也越大。

參考文獻：

［1］張治，劉德建，徐冰冰.智能型數字教材系統的核心理念和技術實現［J］.開放教育研究，2021（1）：44-54.

［2］李鋒，盛潔，黃煒.教育數字化轉型的突破點：智能教材的設計與實現［J］.華東師范大學學報（教育科學版），2023（3）：101-109.

［3］BILLINGSLEY W H.The Intelligent Book： Technologies for Intelligent and Adaptive Textbooks， Focussing on Discrete Mathematics［D］.Cambridge：University of Cambridge，2007.

［4］MENGDI WANG，HUNG CHAU，KHUSHBOO THAKER，et al.Knowledge Annotation for Intelligent Textbooks［J］.Technology， Knowledge and Learning，2023（28）：1-22.

［5］江波，杜影，顧美俊.智能教材研究綜述［J］.開放教育研究，2022（3）：39-50.

［6］GERHARD WEBER，PETER BRUSILOVSKY.ELM-ART-An Interactive and Intelligent Web-Based Electronic Textbook［J］.International Journal of Artificial Intelligence in Education，2016（26）：72-81.

［7］JEFFREY MATAYOSHI，CHRISTOPHER LECHUGA.Automated Matching of ITS Problems with Textbook Content［C/OL］.（2020-07-06）.AIED 2020.

https：//ceur-ws.org/Vol-2674/paper02.pdf.

［8］N MATSUDA，M SHIMMEI.PASTEL： Evidence-Based Learning Engineering Method to Create Intelligent Online Textbook at Scale［C/OL］.（2019-06-25）.AIED 2019.

https：//ceur-ws.org/Vol-2384/paper07.pdf.

［9］PETER BRUSILOVSKY，SERGEY SOSNOVSKY，KHUSHBOO THAKER.The Return of Intelligent Textbooks［J］.AI Magazine，2022（43）：337-340.

［10］MELIS E，GOGUADZE G，HOMIK M，et al.Semantic-aware Components and Services of Activemath［J］.British Journal of Educational Technology，2006（3）：405-423.

［11］SOSNOVSKY S，HSIAO IH，BRUSILOVSKY P.Adaptation “in the wild”： Ontology-based Personalization of Open-corpus Learning Material［C］//21st Century Learning for 21st Century Skills（EC-TEL 2012）.Germany：Springer，2012：425-431.

作者簡介：劉芳（1981—），女，漢族，山東滕州人，西安財經大學行知學院副教授，研究方向為組織行為與人力資源管理。

（責任編輯：馮小衛）