多場景人機協同在線教學評價框架研究*——基于層次分析法和熵權法的分析

王辭曉 徐珺巖 郭利明 鄭勤華

多場景人機協同在線教學評價框架研究*——基于層次分析法和熵權法的分析

王辭曉 徐珺巖 郭利明 鄭勤華[通訊作者]

（北京師范大學 遠程教育研究中心，北京 100875）

新一代人工智能技術促進了人機協同在線教學的發展，如何基于教師與機器的協同教學表現開展在線教學評價是當前研究重點。文章首先梳理了當前在線教學評價方法，指出開展評價需要考慮場景異質性。接著，文章分析了教師與機器在課前導學、課中活動、課后答疑三個環節的在線教學任務和教學表現維度，在此基礎上構建了人機協同在線教學評價框架。隨后，文章對該評價框架進行了場景異質性分析，運用層次分析法和熵權法綜合得出教師與機器的教學表現對在線教學質量的影響權重。最后，文章總結了研究結論，提出：基礎教育場景中教師教學具有不可替代性，職業教育與高等教育場景中機器的整體表現更重要，各場景中教師的課中教學表現均有較大影響。此研究結果可為開展多場景在線教學評價提供參考，并能為智能時代教師的焦慮情緒緩解、場景角色定位提供實證依據。

在線教學評價；教師；機器；層次分析法；熵權法

實施在線教學評價是保障在線教育質量的關鍵環節，然而現有評價方式多以標準化考試成績為指標，這種單一的評價標準不僅難以全面、準確地反映在線教學質量，還不利于提升師生在線教與學的積極性和主動性[1]。2020年，中共中央、國務院印發《深化新時代教育評價改革總體方案》，強調要“堅決克服唯分數等頑瘴痼疾”“充分利用信息技術，提高教育評價的科學性、專業性、客觀性”[2]。伴隨著新時代教育評價改革的浪潮，在線教學評價研究成為重要的學術命題與實踐議題。而在新一代人工智能技術的推動下，人機協同在線教學已成為現實，人類教師與智能機器能夠協同進行學情分析與反饋、學習資源推薦、答疑輔導等[3]，兩者的教學表現也都與在線教學質量密切相關。綜合分析人類教師與智能機器的在線教學表現，正成為區別于以往學生在線學業表現評價的一種新興在線教學質量評價方式。此外，在線教學場景具有異質性特點，會導致不同教育階段教師與機器的評價側重點存在不同。基于此，本研究面向多場景在線教學，綜合采用專家主觀賦權和機器客觀賦權方法，探索如何基于教師與機器的協同教學表現開展評價，并分析不同教育階段的評價重點，以期為開展智能時代的在線教學評價提供參考。

一 文獻綜述

1 當前在線教學評價方法及其局限

當前，在線教學評價主要采用主觀評價和客觀評價的方法，且多從學習行為、學習成績等“學”的角度分析在線教學質量：①在主觀評價方面，主要通過問卷收集學生在線學習行為、效果等方面的數據，進而評價相應的在線教學質量[4]。②在客觀評價方面，研究者多結合在線學習行為數據評價學習效果。例如，李華等[5]用學習成績和發帖質量兩項指標來反映在線學習效果；魏順平[6]設計了包含學習投入、學習產出等維度的在線學習評價指標體系，并采用層次分析法確定各級指標權重。此外，也有部分研究從教師“教”的角度剖析在線教學質量，如將教師在線教學表現分為促進度、投入度、聯通度、認可度和調控度[7]，或關注教師行為的廣度、深度和持續度等[8]。盡管在線教學評價研究正逐漸轉向對教師“教”的關注，但少有研究涉及對人機協同教學中教師與機器教學表現的評價。此外，現有的在線教學評價指標體系主要由層次分析法、德爾菲法、理論演繹法等主觀方法構建，而熵權法、數據包絡分析法等基于實際數據的客觀方法較少應用于評價指標體系構建。

2 人機協同在線教學的場景異質性

從技術使能的角度來看，人機協同教學能夠突破傳統教學模式單一、反饋不足等局限，在基礎教育、職業教育、高等教育等在線教學場景均有應用：①在基礎教育領域，黃濤等[9]設計了小學語文寫作的人機協同教學分工，即教師了解學情與發布任務、機器采集數據并推薦個性化知識與資源；李艷等[10]在初中語文教學中應用了人機協同作文評價，由機器負責線上評價、反饋學生語文作文存在的標點錯誤、語法錯誤等低階任務，而教師負責提供構思、意義等補充性評價與反饋的高階任務。②在職業教育領域，對于動作、表達、思維等技能類課程，如汽車駕駛、商務英語等，機器負責對學生基礎技能的判斷與矯正，教師則負責課前、課中、課后各教學流程的把控以及對學生技能掌握的整體評估[11]。③在高等教育領域，清華大學與“學堂在線”合作研發的“小木”機器人能夠自動回答學生的知識類問題，使教師有更多時間投入課中活動組織、資源調控和課后學生問題解決能力等高階思維的培養[12]。綜上可知，由于各教學場景的異質性——基礎教育側重知識傳授、職業教育側技能掌握、高等教育側重思維發展，教師和機器的在線教學任務分工有所不同，這種差異主要體現在課前導學、課中活動、課后答疑三個環節。因此，探索人機協同在線教學評價方法需要考慮教師和機器在各教學場景中的職能差異。

二 人機協同在線教學評價框架的構建

1 場景通用的人機協同常見在線教學任務分析

依據各教學場景通用的一般在線教學流程，本研究按照課前導學、課中活動、課后答疑三個環節，對教師和機器的常見在線教學任務進行了初步劃分，如表1所示。對各教學環節的常見在線教學任務進行劃分，能夠為評價教師和機器的在線教學表現提供主要依據。

表1 教師和機器的常見在線教學任務

2 人機協同在線教學表現分析維度設計

為進一步明確教師和機器兩大在線教學主體的教學職能，本研究設計了教師和機器的在線教學表現分析維度，如表2所示。具體來說，參考在線教師教學評價理論模型[13]，將教師的在線教學表現分為投入度、促進度、調控度、認可度四個維度；同時，參考智能機器教學表現理論模型[14]，將機器的在線教學表現分為感知、交互、協同、進化四個維度。

表2 教師和機器的在線教學表現分析維度

3 人機協同在線教學評價框架的初步構建

綜合人機協同在線教學中教師和機器的常見在線教學任務與教學表現分析維度，本研究初步構建了人機協同在線教學評價框架，如圖1所示。其中，兩大教學主體（即教師、機器）和三大教學環節（即課前導學、課中活動、課后答疑）是核心內容。接下來，本研究將應用人機協同在線教學評價框架，進一步分析教師和機器兩大教學主體在基礎教育、職業教育、高等教育三類場景的重要程度與教學表現，從而得出各類場景的評價重點。

圖1 人機協同在線教學評價框架

三 人機協同在線教學評價框架的場景異質性分析

1 異質性分析方法

本研究將綜合主客觀指標賦權方法，通過判斷不同教學場景下人機協同在線教學過程中教師和機器的重要程度，進行人機協同在線教學評價框架的場景異質性分析。具體來說，本研究擬采用層次分析法（Analytic Hierarchy Process，AHP）和熵權法（Maximum Entropy Method，EWM）分別計算評價內容的權重，最后綜合兩者進行組合賦權。其中，層次分析法屬于教育專家的主觀賦權法，而熵權法屬于基于實際數據的客觀賦權法。綜合運用主客觀賦權方法，能夠在尊重專家意見的同時體現數據的客觀性，有助于降低不同評價方法產生的極化效應，從而提高賦權的科學性。

2 層次分析法應用

（1）數據采集與分析

層次分析法旨在通過兩兩比較教師和機器常見教學表現的重要程度，實現對教師與機器教學表現評價指標的主觀賦權。依托人機協同在線教學評價框架，本研究設計了“人機協同在線教學表現重要性的專家咨詢問卷”，評價內容包括教師課前導學、教師課中活動、教師課后答疑和機器課前導學、機器課中活動、機器課后答疑共六項指標。本研究邀請16名教育專家填寫問卷，其基本信息如表3所示。根據專家填答的問卷，分別計算出專家的判斷依據值為0.89、熟悉程度值為0.79，兩者均值=0.84＞0.7，表明本次咨詢的專家權威程度較高，賦權結果可靠性較強。

表3 16名教育專家的基本信息

在專家咨詢環節，16名教育專家通過兩兩比較對六項指標的重要性進行賦值。具體而言，是以1～9及其倒數作為標度進行重要性判別，標度含義如表4所示。

表4 層次分析法的標度含義

在數據分析環節，首先計算專家通過重要性賦值生成的16個原始矩陣的幾何平均值，得到判斷矩陣。隨后，計算判斷矩陣的最大特征根lmax及對應的特征向量W。最后，進行一致性檢驗，即計算檢驗系數CR值。一致性指標CI的計算為如公式（1）所示，其中n代表判斷矩陣階數，即指標數6。根據隨機一致性指標計算方法，得到RI值為1.24。

經計算，基礎教育、高職教育、高等教育三類場景層次分析法的CR值分別為0.021、0.010、0.010，均小于0.1，說明三類場景通過一致性檢驗，判斷矩陣可用，能夠進行權重分配。

（2）教學主體權重確定

層次分析法的賦權結果如表5所示。橫向比較三類場景教學主體的權重，可以發現：教師在基礎教育場景的重要性最高，其次是職業教育，高等教育排最后。進一步縱向比較三類場景的指標權重，可以發現：教師課中活動的教學表現在各類場景中均最為重要。

3 熵權法應用

（1）數據采集與分析

熵權法旨在比較典型在線教學平臺中教師和機器的實際教學表現，實現對教師與機器教學表現評價指標的客觀賦權。“熵”最初來源于熱力學相關概念，主要反映系統的無序化程度。熵值理論利用系統的混亂程度表征信息量的大小，即某項指標攜帶的信息越多，其對決策的影響越大，該指標的權重也越大。為了解現有在線教學平臺中教師和機器的教學表現水平，本研究從基礎教育、職業教育、高等教育各場景分別選取10個典型在線教學平臺作為分析對象，具體如表6所示。

表5 層次分析法的賦權結果

表6 各教學場景的典型在線教學平臺

表7 16名專業人員的基本信息

依托人機協同在線教學評價框架，本研究設計了“人機協同在線教學表現的專業人員評價問卷”。本研究共邀請16名專業的在線教育領域產業從業人員參與問卷填寫，要求他們在各場景至少選擇5個典型在線教學平臺，并以表2為依據對教師和機器的教學表現進行綜合打分（分值范圍為1～5分），總分越高說明表現越好。16名專業人員的基本信息如表7所示。

經計算，專業人員判斷依據和熟悉程度分別賦值為0.84、0.60，兩者均值=0.72>0.7，表明本次咨詢的權威程度較高，賦權結果可靠性較強。剔除評價人數≤8的在線教學平臺后，基礎教育、職業教育、高等教育各場景分別有10、9、7個平臺納入熵權法的計算。

（2）教學主體權重確定

熵權法通過計算指標的信息量進行賦權。假設有m個評價對象、n個評價指標，便能形成原始數據矩陣R=(X)m×n。第個指標的信息熵E和差異系數為F的計算分別如公式（2）、公式（3）所示。其中，P為第個指標下第個評價對象指標值所占的權重，按公式（4）計算。最終，第個指標的權重W通過公式（5）計算得到。

根據16名專業人員對典型在線教學平臺上教師和機器綜合表現的打分，可以計算出不同平臺上教師與機器兩大主體的平均得分，生成基礎教育、職業教育、高等教育場景的10×2、9×2、7×2原始數據矩陣，并計算出各場景兩大教學主體的熵值。基于所得熵值，教師與機器的賦權結果如表8所示，可以看出：機器在三類場景的重要性均高于教師；但單就教師而言，仍以高等教育場景的重要性為最高，其次是職業教育，最后是基礎教育，這與層次分析法結果基本一致。

表8 教師與機器的賦權結果

4 多場景教育主體的組合賦權

組合權重計算的目的是將層次分析法和熵權法所得指標權重進行集成。根據最小相對信息熵原理，本研究采用拉格朗日乘子法計算組合權重，具體計算如公式（6）所示。其中，α為主觀賦權層次分析法計算所得權重，而為客觀賦權熵權法計算所得權重。

組合權重計算的賦權結果如表9所示，可以看出：基礎教育場景中教師的組合權重高于機器，而職業教育和高等教育的結果與此相反，說明教師僅在基礎教育在線教學表現的重要性高于機器；另外，單就教師、機器在三類場景的組合權重而言，教師在基礎教育場景的重要性最高、其次是職業教育、高等教育排最后，而機器正與此相反。

表9 組合權重計算的賦權結果

最終，本研究根據組合權重計算的賦權結果得到基礎教育、職業教育、高等教育三類教學場景的人機協同在線教學評價公式，分別如公式（7）、公式（8）、公式（9）所示。需說明的是，本研究僅提供教師與機器兩大教學主體的整體權重；至于具體評價指標的權重，還需要結合具體的教學情境、教學環節等進一步設計。

基礎教育的人機協同在線教學質量=教師教學表現×0.5139+機器教學表現×0.4861公式（7）

職業教育的人機協同在線教學質量=教師教學表現×0.4832+機器教學表現×0.5168公式（8）

高等教育的人機協同在線教學質量=教師教學表現×0.4566+機器教學表現×0.5434公式（9）

四 研究結論

本研究綜合運用層次分析法和熵權法，得到了教師、機器兩大教學主體在各教學場景中的在線教育質量評價權重。基于教師和機器的賦權結果，本研究進一步分析得到不同場景中教師、機器的重要程度及其評價重點，主要研究結論如下：

1 基礎教育場景中教師的不可替代性被普遍認可

盡管應用層次分析法和熵權法得出的教師和機器權重存在差異，但兩者結果均顯示：教師在基礎教育場景下的重要性最高，其次是職業教育，高等教育排最后。究其原因，主要在于基礎教育是學習者價值觀的奠基階段；而與機器相比，教師能夠更加直接、有效地影響學習者的人格、品行等，并在學習者價值觀的塑造方面發揮重要作用。因此，在基礎教育階段，教師應發揮其在學習者素養培養和價值觀塑造方面的影響力，通過交流與反饋激發學習者在學習過程中的積極情感。值得一提的是，隨著人工智能在教育教學中的應用與發展，中小學教師對于自身職業是否會被人工智能技術替代的問題產生了較高的焦慮。有研究發現，教師的技術信念和技術感知能夠在一定程度上緩解其人工智能焦慮情緒[15]。本研究不僅驗證了教師在基礎教育場景中的不可替代性，而且主張對教師與機器的協同教學表現進行評價，這不僅有助于教師反思并改進自身教學，還能幫助教師理解自身和機器在教學過程中的角色屬性，提升技術感知度，進而消解教師對人工智能的焦慮情緒。

2 職業教育與高等教育場景中機器的整體表現更重要

組合權重計算的賦權結果顯示，與基礎教育相比，職業教育與高等教育場景中機器的整體教學表現更重要。這主要是由于在職業教育與高等教育階段，在線學習者的學習目標、學習偏好和學習策略存在較大差異，而機器能夠借助其算法和算力優勢，以更小的成本和更高的效率實現個性化在線教學，主要表現為：①職業教育的課中活動包括大量的動作技能練習，教師難以及時發現并糾正學習者的練習問題[16]，但智能技術支持的虛擬教學助手、智能導師系統等能在課中活動中為學習者提供精準、及時的反饋[17]。②在高等教育階段，學習者的學習動機和學習能力更強，課后學習需求的差異性較大。課后，智能機器根據學習者的情感和行為特征進行個性化資源和問答推薦，能夠有效滿足其高階學習需要[18]。例如，智能機器能夠通過理解學習者的提問，檢索并返回答案，或根據其提問情況推薦個性化學習資源。

3 各場景中教師的課中教學表現均有較大影響

層次分析法的賦權結果顯示，教師的課中教學表現對各場景在線教學質量的影響都比較大，具體表現為教師課中活動的指標權重顯著高于包括教師課前導學與課后答疑、機器各教學環節的指標權重。這主要是因為，目前盡管機器在數據收集和分析方面的效率遠超人類，但教師在情感、價值、思維方面的教學價值仍無法被替代[19]。尤其是課中教學環節，更加強調師生共同參與的互動過程，因為教師與學習者的有效溝通和互動有助于調動學習者學習的主動性。基于此，對于人機協同在線教學質量評價中的教師評價部分，教育管理者應著重考察教師在課中教學活動的表現。此外，目前智能機器在備課、組卷、答疑等方面尚不能完全脫離人類專家或學科教師的參與，人機協同是實現各教學環節精準教學的重要方式[20]。對教師和機器的教學表現進行精準評價，不僅有助于教師反思和改進自身教學問題，還能為人機協同教學模式的迭代完善提供過程性依據。總的來說，智能時代的教師應不斷提升自身信息素養和運用先進智能技術開展教學的技能水平，并與機器在教學過程中建立相互促進、共同發展的協同關系。

五 結語

本研究構建了人機協同在線教學評價框架，并比較了基礎教育、職業教育、高等教育三類場景中教師與機器教學表現的重要程度，有助于從“教”的視角豐富智能時代的在線教學質量評價思路。同時，本研究指出教師在基礎教育場景中具有不可替代性且其在各場景中的課中教學表現均有較大影響，為人機協同中教師的焦慮情緒緩解和場景角色定位提供了實證依據。需要說明的是，由于多數在線教學平臺存在數據獲取限制，故本研究的熵權法應用存在一定的局限性，如僅通過問卷采集所需信息量。基于此，后續研究可通過數據埋點、智能傳感等方式采集教師與機器在特定教學平臺的實際教學行為數據，并在細粒度教學行為指標和深度學習算法的支撐下，構建多層級人機協同在線教學評價體系。

[1]王竹立.后疫情時代,教育應如何轉型?[J].電化教育研究,2020,(4):13-20.

[2]新華社.中共中央國務院印發《深化新時代教育評價改革總體方案》[OL].

[3]余勝泉,王琦.“AI+教師”的協作路徑發展分析[J].電化教育研究,2019,(4):14-22.

[4]喬偉峰,劉威童,李曼麗.學生眼里的在線教學:行為、效果與挑戰——基于新冠疫情期間清華大學學生在線學習行為調查[J].清華大學教育研究,2021,(1):57-66.

[5]李華,魏一通.混合式教學中學生學習行為評估體系構建與應用研究[J].中國電化教育,2020,(10):58-66.

[6]魏順平.在線學習自動評價模式構建與應用研究[J].中國遠程教育,2015,(3):38-45.

[7][13]陳耀華,鄭勤華,孫洪濤,等.基于學習分析的在線學習測評建模與應用——教師綜合評價參考模型研究[J].電化教育研究,2016,(10):35-41.

[8]魏順平,程罡.數據驅動的教育機構在線教學過程評價指標體系構建與應用[J].開放教育研究,2017,(3):113-120.

[9]黃濤,龔眉潔,楊華利,等.人機協同支持的小學語文寫作教學研究[J].電化教育研究,2020,(2):108-114.

[10]李艷,劉淑君,李小麗,等.人機協同作文評價能促進寫作教學嗎?——來自Z校拓展課的證據[J].現代遠程教育研究,2022,(1):63-74.

[11][16]王雯,韓錫斌.面向遠程技能訓練的在線教學模式研究[J].中國職業技術教育,2021,(26):41-51.

[12]Song Z, Tang J, Liu T X, et al. XiaoMu: An AI-driven assistant for MOOCs[J]. Science China Information Sciences, 2021,(6):1-3.

[14]劉智,孔璽,王泰,等.人工智能時代機器輔助教學:能力向度及發展進路[J].開放教育研究,2021,(3):54-62.

[15]趙磊磊,張黎,章璐,等.中小學教師的人工智能焦慮:現狀分析與消解路向[J].現代教育技術,2022,(3):81-91.

[17]董文娟,黃堯.人工智能賦能職業教育:實質、路徑與目標[J].現代教育技術,2019,(10):28-33.

[18][20]楊重陽,武法提.精準教學與個性化學習場景中教學支持服務框架研究[J].現代教育技術,2022,(1):111-117.

[19]陳星,吳葉林.人機協同教育治理的障礙與突破[J].現代遠程教育研究,2022,(1):40-47.

Research on the of Evaluation Framework of Multi-scene Human-machine Collaborative Online Teaching——Based on the Analyses of Analytic Hierarchy Process and Entropy Weight Method

WANG Ci-xiao XU Jun-yan GUO Li-ming ZHENG Qin-hua[Corresponding Author]

The new generation artificial intelligence (AI) technology has promoted the development of human-machine collaborative online teaching. How to carry out the online teaching evaluation based on the collaborative teaching performance of teachers and machines is the current research focus. Firstly, this paper reviewed the current online teaching evaluation methods and pointed out that the implementation of evaluation needs to consider scene heterogeneity. After that, this paper analyzed teachers’ and machines’ online teaching tasks and teaching performance dimensions in the three teaching steps of pre-class guidance, in-class activity and after-class query, and constructed the evaluation framework of human-machine collaborative online teaching. Then, this paper conducted the scene heterogeneity analysis of the evaluation framework, and further obtained the influence weight of teachers’ and machines’ teaching performance on online teaching quality. Finally, the research conclusions were summarized in this paper, and it was proposed that teachers’ teaching in the basic education scene wasirreplaceable, and machines’ overall performance in the vocational and higher education scenes was more important. In addition, in each scene, teachers’ in-class performance all had a great influence. The research results could provide reference for carrying out multi-scene online teaching evaluation and offer an empirical basis for teachers’ anxiety relief and scene role orientation in the intelligent era.

online teaching evaluation; teacher;machine; analytic hierarchy process; entropy weight method

G40-057

A

1009—8097（2023）01—0074—09

10.3969/j.issn.1009-8097.2023.01.008

本文受科技創新2030新一代人工智能重大項目“混合增強在線教育關鍵技術與系統研究”（項目編號：2020AAA0108804）資助。

王辭曉，講師，博士，研究方向為在線教育、學習科學，郵箱為wangcixiao@bnu.edu.cn。

2022年5月11日

編輯：小米