在線教學質量的雙向評價體系研究

唐閨臣 梁瑞宇 謝躍

[摘 要] 基于人工智能技術對教學質量進行正確有效的評價，促進教學工作，提高人才培養質量，符合國家對當前教育的指導方針。通過分析目前在線教學質量評價的應用現狀與存在的問題，基于人工智能技術提出了雙向的教學質量評價體系，并對評估指標和評估方法進行了設計，以期能客觀、有效地評價教與學的雙向活動，從而有效提高教學質量。

[關鍵詞] 人工智能;在線教學質量;雙向評價體系

[基金項目] 2020年度江蘇高校哲學社會科學研究一般項目“基于人工智能的在線教學質量雙向評價研究”（2020SJA0455）

[作者簡介] 唐閨臣（1979—），女，浙江三門人，碩士，南京工程學院信息與通信工程學院實驗師，主要從事語音信號處理研究;梁瑞宇（1978—），男，江蘇徐州人，博士，南京工程學院信息與通信工程學院教授，主要從事語音信號處理研究;謝 躍（1991—），男，江蘇淮安人，博士，南京工程學院信息與通信工程學院講師，主要從事語音信號處理研究。

[中圖分類號] G643 ? [文獻標識碼] A ? [文章編號] 1674-9324（2021）11-0033-04 ? ?[收稿日期] 2021-01-18

一、引言

西方發達國家從20世紀中葉就開始對課堂教學質量工作評價展開研究。近年來，隨著智能技術的發展，一些智能的教學分析軟件也開始參與教學質量評價[1]。美國《國家人工智能研發戰略規劃》中提到要利用人工智能技術改進教育機會，實施個性化學習和終身學習等。但是，這些研究工作主要以線下教學為主，且側重于教學模式改革與課堂紀律管理方面，針對在線教學質量評估的研究工作較少。我國《新一代人工智能發展規劃》提出要發展“智能教育”，推動人才培養模式和教學方法改革?！督逃畔⒒?.0行動計劃》提出要“推進智能教育，開展以學習者為中心的智能化教學支持環境建設，推動人工智能在教學、管理等方面的全流程應用”等。在全球防疫的大背景下，在線教學質量評價具有重要的研究意義。

以“在線教學質量”為關鍵詞，在中國知網檢索發現，我國對在線教學質量的研究數量從2014年以來逐年上升，相關論文共有160多篇。但基于人工智能技術的研究幾乎沒有，也缺乏針對學生和教師雙向評價的研究。相關研究主要為線下教學質量評估。

雖然有一些文獻中提到了在線教學質量評估的問題，但很少有文獻提出切實可行的解決辦法，究其原因，主要是沒有充分利用基于人工智能的音視頻分析技術，對教學數據進行及時有效的在線評估，且缺乏有效的雙向評價體系和方法。關于運行人工智能技術進行課堂教學管理已經有很多案例[2，3]，但是只是停留在教學紀律管理、教學改革示范等方面[4]，缺乏深層次的教學分析和應用。為了更有效地評估教學質量，需要建立教學過程的音視頻大數據平臺，全面及時地識別課堂教學行為，對課堂教學行為進行自動化分析，洞悉課堂教學情境，才能實現教學評估的實時性，及時督促學生改進學習態度，并根據學生的在線表現提醒教師調整教學方法和策略，動態調整課程教學以向高質量方向發展，進而制定在線教學過程中切實可行、精準的雙向評價體系和方法，力爭推廣到線下教學中，有效促進教育教學的高質量和針對性發展。

本文首先分析了目前教學質量評價的現狀與存在的問題，提出了基于人工智能的教學質量雙向評價體系，并針對體系中的數據提取、特征分析、系統決策等環節提出自己的觀點，最后根據設想提出質量評價的具體實施方案。

二、在線教學質量評價現狀分析

過去對本科教學質量的評價注重教學設計、教學模擬與課程建設，對實際教學過程中師生互動與學生學情關注不足，屬于偏重靜態的評價[5]。而且，我國高校教學質量評價存在較為嚴重的管理主義傾向，片面強調教學質量評價的管控功能，導致高校教學質量評價越來越表面化和形式化，難以發揮高校教學質量評價“以評促教”和“以評促學”的積極作用[6]。此外，當代導向型學習的教育理念需要體現以學生為中心、以成果為導向的核心思想，需要在學習過程中評價學生，而不是孤立、統計式的評價[7]。比如，英國“教學卓越框架”覆蓋學習全過程的教學質量評價體系，聚焦學習的每一階段[8]。

而與線下教學質量評價相比，在線教學質量評價存在著差異，面臨著新的問題。

（一）受限于傳統的教學質量評價方法

目前，不管是線下教學還是線上教學，仍然是以督導聽課、學生課后評價為主的傳統教學質量評價方法。這種評價方法的評價和判斷標準會受到個人認知、情境、喜好、評價對象與評價者之間關系等影響而產生偏差。而且，傳統評價忽略了不同特點的課程應具有不同特點的教學方法和內容設計。以教師是否與學生互動、學生是否坐在前排等表象作為評價的主要指標[4]，雖然與以前的點名方式相比，這種表象性的評價已經有了很大的進步。但是，離客觀、公平、公正地評價教學過程以達到提升教學效果的目標仍然很遠，教學質量的評價應該是更深層次的。

（二）缺乏基于大數據和人工智能技術的教學質量動態評價方法

隨著人工智能的不斷發展，基于大數據技術的教學質量評價方法不斷涌現。但是，這些統計數據主要來源于傳統教學質量評價模式下的學生評價、督導評價、同行評價等主觀評價和學生成績等客觀數據。這種方法首先不能反映在線教學與離線教學的區別，也沒有充分利用在線教學中電腦終端可以實時有效采集教學雙方數據的便利。而有效的方法應該能充分利用在線教學中教學雙方的互動性，從音視頻數據中充分挖掘教學雙方的情緒變化，通過對雙方投入度的評估來隱性地評價在線教學質量，從而及時有效地形成動態的教學評價。在目前基于人工智能的教學評價方法中，視頻技術的運用比較普遍[9]，而很少有運用基于音頻的評價技術。融合音視頻技術可以實現分析互補，更好地實現教學質量評價。

（三）缺乏在線教學的雙向評價體系與方法

在目前的教學質量評價體系中，教師評價和學生評價在時間上是割裂的。學生評價往往滯后于教師評價，且主要以學生成績為主。而不同班級的學習風格各不相同，使得傳統評價方法得到的結論無法應用到其他班級中。其原因在于，傳統評價方法不能給授課教師提供及時有效的反饋，無法使教師在授課過程中以學生為主來調整教學方法。因此，研究一種雙向、實時的教學質量評價體系和方法，能有效改進當前質量反饋不能及時指導教學的問題。

由于傳統教學質量評價方法存在低效、受主觀制約、滯后于教學等問題，因此，我們以在線教學數據分析為基礎，以大數據和人工智能技術為手段，制定出及時有效的教學過程雙向評價體系及方法，促進人工智能和大數據技術在教育領域的發展。通過音視頻數據，對教學雙方的情緒進行分析，從教師和學生投入度、情緒變化入手，形成跨學科的教學質量評價方法。

三、基于人工智能技術的在線教學質量評估研究體系

雖然傳統的教學質量評估存在一些問題，但是一些評價方法和評價指標仍然具有一定的研究和參考價值。此外，基于人工智能的教學質量評價方法本身對于數據來源并沒有很嚴格的要求，圖像、音頻、文本、主觀評價等都可以作為模型的輸入數據，選擇有效的特征可以人為地去標定，也可以通過人工智能技術進行自動學習。

在詳細調研和國內外文獻研究的基礎上，本研究采用“資料+討論+體系+理論+應用+評價+完善”的技術路線有計劃地開展工作。具體的研究思路及方法如圖1所示。從圖中可以看出，本文提出的基于人工智能的在線教學質量評價體系主要分五個階段進行，不同階段的研究重點和方法各異。

第一階段，采用文獻法結合專家討論確定研究思路。通過研讀與研討大量文獻，對現有理論和框架進行梳理，探討在線教學質量評價的特征與規律。了解當前主流的音視頻分析技術，并聘請教育專家進行研討，確認基于人工智能的在線教學質量雙向評估的研究思路。通過研討和交流，需要確定的是數據的來源和類型、質量評價指標的類型、選用的評價模型以及教學效果反饋的方式等。

第二階段，教學數據采集與分析。數據來源采用線上和線下相結合的方式，線上為主，線下為輔。線上主要是針對在線教學軟件進行數據采集，由于缺乏運營商的支持，可以采用桌面錄屏的方式進行;而線下主要是為了擴大數據的采集量和進行補充分析使用，由于目前所有的教室都有錄播系統，數據非常容易獲得。數據的類型主要包括音頻和視頻，輔助以線下的作業、測試等文本數據或者類似分數的標量數據。與其他研究不同的是，本文提出將音頻數據也列入采集的基本數據。

數據的分析分為兩類：一是表象性分析，通過智能化方法獲得一些容易定義、常規的教學指標，比如到課人數、人臉的關鍵特征點、音頻的常規特征等;二是深層的非教學評價指標，這部分指標包括識別的情緒[ 10，11 ]、活躍度[9，12 ]、通過音視頻分析得到的生理參數[ 13 ]等。該部分也可以借鑒專家經驗，增加一些經驗性的指標[9]。為了對數據進行有效標注，本文推薦采用多人交叉和多次評定相結合的方法，聘請專業人員對采集到的數據進行分析評估，對深層的非教學評價指標進行人為檢驗和修正。

第三階段，質量評價指標。在獲得第二階段的數據，并進行簡單分析后，模型就可以獲得教學質量的一些評價指標。但是，由于教學質量評價本身帶有一定的主觀性，了解教學雙方對教學質量評價的認識，選擇可以反映教學雙方在教學過程中動態行為的統計指標和過程性指標非常重要。為了有效而全面地評價教學質量，本研究建議對學生、教師、專家進行半結構式深度訪談，了解其對教學質量評價指標的認知。比如，聘請有經驗的教學專家對視頻中的教學質量進行評價，同時選擇部分學生對教師的教學質量進行評價，并將這些主觀評價作為一種學習標簽來對數據進行標識。通過個體驗證，調整指標的數量和權重。

第四階段，教學評價建模。利用人工智能和大數據技術，采用統計分析法，以分析得到的指標或者原始數據為輸入，以期望的質量指標為輸出，建立教學質量評價模型。根據數據的規模，小數據量的可以選擇支撐向量機，大數據量的可以采用深度學習網絡[ 12，14 ]。由于數據的來源、結構和維度都不同，因此，此處的模型設計是研究的難點。由于視頻識別通常選用卷積神經網絡進行處理，因此，本文推薦使用該類網絡進行教學質量評價。在異構數據處理方面可以將音頻數據變為二維語譜圖[ 15 ]與視頻數據進行拼接融合，也可以分別針對視頻和音頻數據進行特征提取，選用注意力機制對數據進行加權融合。

第五階段，教學效果反饋。采用問卷調查和專家評價的方法對教學效果進行評價，并結合學生成績變化綜合判斷該評價方法對教學的促進作用。同時，為體現與傳統方法的區別，采用比較法與傳統教學方法進行橫向和縱向比較?；趯σ粢曨l教學大數據分析，采用人工智能技術，將教學數據與過程評價指標進行關聯，將動態實時的教學質量評價情況反饋給教師，并為教師提供可能的教學方法進行選擇。形成每次課的整體教學質量評價報告，繪制學生的情緒變化曲線，顯示學生本節課最感興趣的內容和教學方法，促進教師改善自己的課程設置和教學方法，實現教學相長。此外，通過此處的分析反饋，有助于發現設計模型中的不足甚至錯誤，從而為階段二的數據選擇和階段四的模型建立提供有價值的參考。

四、結語

隨著人工智能時代的到來，傳統教學評價方法已不能適應現有的線上教學模式。本文提出基于人工智能技術的教學質量雙向評價體系，設計了完善評價的五個階段，并詳細討論了每個階段需要完成的工作，以及實施要點。該評價體系不僅適用于在線教學質量評價，也適用于線下教學質量評價，存在的差別主要在于數據分析的種類、相關指標以及評價模型上的差異。

參考文獻

[1]劉清堂，何皓怡，吳林靜，等.基于人工智能的課堂教學行為分析方法及其應用[J].中國電化教育，2019（9）：13-21.

[2]劉邦奇，李新義，袁婷婷，等.基于智慧課堂的學科教學模式創新與應用研究[J].電化教育研究，2019（4）：86-92.

[3]謝妤，宋衛軍.智慧課堂視角下智能手機在教學實踐中的應用[J].高教學刊，2019，103（7）：50-52+56.

[4]李青，劉超.基于人工智能的課堂教學過程雙向管理體系研究[J].高教學刊，2019，115（19）：147-149.

[5]陸一，林珊，陳嘉.從評價到賦能：大學課程教學質量提升新方法[J].中國大學教學，2020（8）：71-77.

[6]劉強.超越管理主義的平庸：高校教學質量評價的實踐審視及其重構[J].當代教育科學，2020（10）：25-34.

[7]牛富榮.財政學翻轉課堂教學質量評價體系的構建[J].山西財經大學學報（高等教育版），2020，42（S2）：125-128.

[8]劉湉祎，李立國.覆蓋學習全過程：“以學習為中心”評價的趨勢[J].中國大學教學，2020（5）：68-74.

[9]賈鸝宇，張朝暉，趙小燕，等.基于人工智能視頻處理的課堂學生狀態分析[J].現代教育技術，2019，29（12）：82-88.

[10]孫發勤，鄧雯心.基于人工智能的課堂學習情感評價研究[J].中國教育信息化，2019（23）：58-62.

[11]Xie Y， Liang R， Liang Z， et al. Speech Emotion Classification Using Attention-Based LSTM. IEEE/ACM Transactions on Audio， Speech， and Language Processing， 2019，27（11）：1675-1685.

[12]曹曉明，張永和，潘萌，等.人工智能視域下的學習參與度識別方法研究——基于一項多模態數據融合的深度學習實驗分析[J].遠程教育雜志，2019，37（1）：32-44.

[13]Chen Wang， Thierry P， Guillaume C. A Comparative Survey of Methods for Remote Heart Rate Detection From Frontal Face Videos. Frontiers in Bioengineering Biotechnology， 2018，6 （33）：1-16.

[14]趙敏，詹瑋.基于深度學習算法的教學質量評價系統[J].現代電子技術，2020，43（13）：143-146+149.

[15]Liang R， Tao H， Tang G， et al. A Salient Feature Extraction Algorithm for Speech Emotion Recognition. IEICE Transactions on Information and Systems， 2015，E98D （9）：1715-1718.

On the Two-way Evaluation System of Online Teaching Quality：

A Study from the Perspective of Artificial Intelligence Technology

TANG Gui-chen， LIANG Rui-yu， XIE Yue

（School of Information and Communication Engineering， Nanjing Institute of Technology， Nanjing， Jiangsu 211167， China）

Abstract： The correct and effective evaluation of teaching quality based on artificial intelligence technology can promote teaching and improve the quality of talent training， which is in line with the current national education guidelines. In this paper， the application status and existing problems of online teaching quality evaluation are analyzed， a two-way teaching quality evaluation system based on artificial intelligence technology is put forward， and the evaluation indexes and methods of this system are designed， so as to objectively and effectively evaluate the two-way activities of teaching and learning， which will effectively improve the teaching quality.

Key words： artificial intelligence technology; online teaching quality; two-way evaluation system