基于人機混合智能的課堂研究數字化轉型理論與實踐

摘要：課堂研究是提升教學質量的重要手段，當前的課堂研究方法主要包括基于人類智能的傳統課堂研究和基于機器智能的全自動分析課堂研究，但這兩種方法均存在缺陷，基于人機混合智能的課堂研究方法雖能在一定程度上解決這些問題，但也存在一定的局限性。基于此，文章首先提出了一種基于人機混合智能的課堂研究數字化轉型理論，包含基于人機混合智能的音視頻采集、剪切與存儲，基于機器智能的自動語音識別，基于人類智能的課堂日志生成，基于人機混合智能的課堂研究數字化材料生成，基于人類智能的課堂研究共5個部分。然后，文章面向16節中學語文教學示范課，進行了課堂研究數字化轉型應用實踐，發現文章提出的數字化轉型理論可以快速生成大量課堂研究數字化材料，具有功能豐富、高效靈活的特點，能夠滿足日常課堂研究需求。文章通過研究，旨在為課堂研究數字化轉型提供可參考的實施框架。

關鍵詞：課堂研究；教育數字化轉型；AI+教育；人機混合智能；示范應用

【中圖分類號】G40-057 【文獻標識碼】A 【論文編號】1009—8097（2024）10—0123—10 【DOI】10.3969/j.issn.1009-8097.2024.10.013

隨著AI技術的快速發展，數字化轉型已逐漸成為推進教育高質量發展的國家戰略。課堂作為教育的主要場所，針對其進行深入研究是提高教育質量的重要手段[1]。當前，課堂研究的方法主要包括基于人類智能的傳統課堂研究和基于機器智能的全自動分析課堂研究，但這兩種方法都存在缺陷，難以滿足課堂研究數字化轉型的需求。為了解決缺乏有效課堂研究方法的問題，有學者提出基于人機混合智能的課堂研究方法，然而該類方法使用機器智能產生的少量數字化研究材料僅能用于開展針對特定功能的課堂研究。為了滿足復雜多樣的課堂研究需求，本研究提出了一種基于人機混合智能的課堂研究數字化轉型理論，通過產生多樣化的課堂研究數字化材料，開展了大量的研究實踐，以期為課堂研究數字化轉型提供現實可行的實施框架。

一 研究現狀

1 課堂研究現狀

課堂是學生學習的主要場地，也是教師傳授知識、培養學生能力、塑造學生價值觀的重要場所。在課堂中，學生與教師進行互動，形成特殊的社會環境，致使課堂研究不僅僅要針對教學方法、教學內容進行探究，更要分析師生所處的社會環境。通過課堂研究，可以幫助教師更好地理解學生的學習過程，發現教學中存在的問題，從而改進教學方法，提高教學質量。目前課堂研究方法主要分為基于人類智能的傳統課堂研究和基于機器智能的全自動分析課堂研究兩類。其中，基于人類智能的傳統課堂研究主要使用課堂志、聽評課、觀察量表、教學切片、手工編碼等方法[2][3][4][5][6]，但這些方法均存在工作量巨大的缺陷，僅能開展小樣本的案例研究，研究結論難以保證泛化性。近年來隨著AI技術的快速發展，“AI+教育”所推動的教育數字化轉型全面鋪開，研究者提出基于機器智能的全自動分析課堂研究方法，如自動考測、問卷調查、評論分析、自動編碼等[7][8][9][10]，但這些方法存在視角固定或單一、主觀性強、過程性差等缺陷，難以滿足課堂研究數字化轉型需求，造成教育研究出現圍繞課堂打轉、難入其中的問題。

表1 "當前主流課堂研究方法匯總與優缺點

2 基于人機混合智能的課堂研究現狀

隨著使用AI開展的課堂研究不斷增多，近來有學者嘗試借助人機混合智能開展教育學意義明確的課堂研究，均采用了以人為中心的人機協同應用模式[11][12][13][14]。其中，鄧偉等[15]提出了一種基于智能感知和“教師-教研員”協同的課堂研究框架，這種方法具有即用性特點，即廠商提供智能感知課堂行為的錄播設備，自動采集音視頻多模態信息，生成并繪制師生行為統計報表和班級學習參與度變化曲線等；教師和教研員可以直接利用可視化數據，開展面向真實課堂教學場景的及時分析評價與反思優化，有助于促進教師的職業發展。但該方法忽略了課堂言語中包含的豐富教學認知信息，導致研究者無法開展面向認知互動的深層次課堂研究。孫眾等[16]基于人機混合智能提出了一種“人在回路”課堂教學結構研究框架，以教學結構作為課堂教學分析與改進回路的焦點，使用人工智能對教學行為和教學事件進行自動分類并開展教學階段自動劃分，借助人類智能進行教學結構分析、優化教學模式，基于教學事件構建面向教學結構的“感知-分析-評價-優化”回路，這種方法的優點在于模型簡單、教育學意義明確，缺點是僅適用于示范課、競賽等具有教案的特定課堂研究，無法開展教學結構以外的課堂研究。

綜上所述，目前基于人機混合智能的課堂研究還處于初期探索階段，生成的課堂研究數字化材料比較少，無法滿足現實課堂研究的多樣性需求，亟需構建一套能夠產生多種課堂研究數字化材料的理論架構以促進課堂研究的數字化轉型。為此，本研究聚焦課堂研究數字化材料生成，提出了一種基于人機混合智能的課堂研究數字化轉型理論，并使用這些數字化材料開展了大量教育學意義明確的課堂研究，初步實現了課堂研究的數字化轉型。

二 基于人機混合智能的課堂研究數字化轉型理論框架與關鍵技術

1 理論框架

基于研究團隊已有的課堂教學智能評價研究成果，本研究提出了一種基于人機混合智能的課堂研究數字化轉型理論，其框架如圖1所示。

圖1 "基于人機混合智能的課堂研究數字化轉型理論框架

該框架包含數據處理流程和對應的功能模塊兩個部分，其中按照數據處理的流程，基于人機混合智能的課堂研究數字化轉型理論包括如下內容：①數據采集，基于混合智能的音視頻采集及其剪切、存儲。先使用錄播設備采集課堂教學音視頻和教師說課音視頻，然后手工對音視頻進行剪切與上傳存儲。②數據預處理-1，基于機器智能的自動語音識別（Automatic Speech Recognition，ASR）。使用ASR軟件自動生成課堂教學轉錄文本和教師說課轉錄文本。③數據預處理-2，基于人類智能的課堂日志生成。使用字幕添加軟件對課堂實錄進行整理，并對教學結構、教學活動等課堂研究對象進行手工標注，以生成課堂教學日志，同時通過簡單的順句生成教師說課日志。④數據分析，基于混合智能的課堂研究數字化材料生成。使用機器智能實現基于S-T雙編碼的課堂教學過程智能分析評價，同時基于課堂教學日志和說課日志，使用人機混合智能快速生成包括教學重難點、板書、教學結構、教學擴充材料等的課堂研究數字化材料。⑤研究結論，基于人類智能的課堂研究。通過中學語文“四立”教學設計與評價理論、教學結構分析、自主學習活動分析、初高銜接等內容廣泛的課堂研究，本研究提出的課堂研究數字化轉型理論可以對盡可能多的課堂研究議題開展應用，功能強大且更為實用。

由圖1可知，理論框架共包括9個功能模塊，利用其中6個基本模塊（實線框部分）就可以對課堂教學開展研究，剩下的3個與教師說課相關的功能模塊（虛線框部分）是可選的，因為大部分示范課帶有說課環節，可以方便地對教學重難點、教學立意等教學設計信息進行準確獲取。另外，3個可選模塊的功能與其對應的3個基本模塊的功能相同，同時其信號采集和語音自動識別均采用通用技術。下面僅對理論框架中的3個基本模塊所用到的關鍵技術進行簡單論述，并將基于人類智能的課堂研究模塊放在下一部分示范應用中進行重點分析。

2 基于字幕添加軟件的課堂教學日志生成技術

為了對課堂語音轉寫得到的課堂實錄進行錯誤校正，同時快速精確地定位視頻片段，以實現虛擬的教學切片、師生說話文本與視頻的一一對應，本研究使用字幕添加軟件Aegisub 3.2.2生成如圖2所示的課堂教學日志，主要規則如下：①每條記錄具有明確的語義完整性，基本上都是一個句子，其中包括簡略句；②每條記錄的說話人具有明確的身份，在說話人的文本框中，一般填教師、學生、學生們、師生或空白，分別表示教師說話、學生說話、學生朗讀、師生共讀或沉默；③在一條記錄文本的開始，使用小括號對課堂教學環節和教學活動進行手工標注，一般來說一個教學環節包含多個教學活動；④在一條記錄的任何位置都可以用小括號的形式插入教學注釋，如踴躍舉手發言、鼓掌、學生或教師插話等輔助教學信息。

圖2 "基于字幕添加軟件的課堂教學日志生成

需要注意的是，在基于人機混合智能的課堂研究數字化轉型理論框架中，手工標注課堂日志盡管是工作量最大的一個環節，但對于一線教師而言是可以接受的，其原因主要包括：①隨著ASR軟件功能的日益強大，文本校正和手工生成教學記錄的工作量會越來越小；②對于一線教師特別是任課教師而言，標注課堂言語、師生對話、教學活動、教學環節、教學方法等課堂研究數字化材料不需要專門訓練，從主觀上能夠接受；③對于以教研組為基礎的校本科研團隊而言，一名教師完成2～3節課，教研組就可以生成10節以上的樣本庫，不會對教師產生過重的額外負擔；④對于教研組而言，按照教研目的生成合乎規則的課堂教學日志，本身就是一項有意義的教研活動，可以計入工作量。

3 基于混合智能的課堂研究數字化材料生成技術

基于教材文本、課堂教學、教師說課音視頻等原始研究材料，不僅可以手工生成課堂日志和可選的教師說課轉寫文本等基礎研究材料，還可以進一步利用人機混合智能生成更多的課堂研究材料，根據生成的先后順序可以分為如下三類：基礎研究材料、摘抄性研究材料、總結性研究材料，具體如表2所示。

表2 "基于混合智能的課堂研究數字化材料的生成

①基礎研究材料的生成：包括課堂教學日志（文本）、教師說課文本、PPT截屏圖片、板書截屏圖片、作業截屏圖片、學習場景截屏圖片共6種，除課堂教學日志需要花費一定的時間生成以外，其他材料可以通過混合智能快速生成。

②摘抄性研究材料的生成：包括課例的教學題目（文本）、教學延伸材料與出處（文本）、多媒體材料種類/起止時刻、IT應用種類/起止時刻、自學活動種類/起止時刻共5種，其中課堂日志生成人員可以手工總結課例的教學題目，分類并定位媒體材料種類/起止時刻、IT應用種類/起止時刻、自學活動種類/起止時刻，使用搜索軟件找出教學延伸材料與出處。

③總結性評價材料的生成：包括教學目標（文本）、教學重點（文本）、教學難點（文本）、教學立意（文本）、教學環節名稱/起止時刻、教學活動名稱/起止時刻、教學結構（文本）、教學方法（文本）、課前準備（文本）、舉手次數/人數/起止時刻、全班出聲笑次數/起止時刻、全班鼓掌次數/起止時刻共12種，其中課堂日志生成人員可以使用AI分析軟件直接識別并快速得出舉手次數/人數/起止時刻、全班出聲笑次數/起止時刻、全班鼓掌次數/起止時刻。

4 基于S-T雙編碼的課堂教學過程智能分析評價技術

利用全自動S-T雙編碼算法，課堂日志或近場錄音的教師語音能夠直接生成整節課的S-T行為編碼序列和S-T互動編碼序列（S-T雙編碼序列），分別對兩個序列求平均數可以直接計算出整節課的教師主導行為占比Rt值和師生互動率Ch值。同時，基于S-T雙編碼序列和具體的Rt、Ch值，結合圖3（a）所示的賦分規則，可以直接繪制出如圖3（b）所示的真實課例的Rt-Ch圖，并計算出教師講授強度ST、學生自主學習強度SL、師生互動強度SI共3個教學強度值，進而繪制出具有評價功能的三指標教學強度雷達圖，即ST-SL-SI雷達圖。ST-SL-SI雷達圖中包含2個三角形，其中一個三角形表示待評課例的教學強度值，另一個表示采集多名優秀教師、多節示范課的教學強度平均值，作為本學段、本學科的教學強度常模值。

（a）4分制13分區Rt-Ch圖的賦分規則 （b）真實課例的Rt-Ch圖

圖3 "基于S-T自動編碼的師生言語互動4分制13分區Rt-Ch圖

基于Rt-Ch圖和ST-SL-SI雷達圖，可以從師生言語互動角度對課堂教學過程進行直觀的量化評價與反思，具體步驟如下：

①使用Rt-Ch圖對一節課的教師言語和師生互動情況進行總體評價，基于Rt-Ch坐標所在的區域，直接對這節課的師生互動進行打分（0～3分），分值越高，表示師生互動越均衡。

②使用ST-SL-SI雷達圖所示的三個教學強度值對這節課的教學強度進行評價，通過與本學段、本學科的教學強度常模值進行比較，找出這節課的教學特色，得出以下5種評價結論：

A.如果三個值均大于常模值，則表明這節課在教師講授、自主學習、師生互動這三個方面均取得了完美平衡，課堂教學節奏設置比較好，不同教學時段面向特定的教學活動；

B.如果出現1～2個值明顯偏大、其他值與常模值相近的情況，則表明這節課為一節特色教學課，如SI明顯偏大，則表明這節課突出師生互動；

C.如果三個值均小于常模值，則表明這節課的教學節奏比較亂，沒有面向教師講授、自主學習、師生互動設置專門的教學時段；

D.如果出現1～2個值明顯偏小、其他值與常模值相近的情況，則表明這節課有明顯需要改進的地方，如ST明顯偏小，則表明教師的授課內容比較分散，需要設置完整的講授活動；

E.如果出現兩個值明顯偏小而另一個值明顯偏大的情況，則表明這節課在教學強度設計上存在明顯缺陷，需要重新設計。

③結合S-T雙編碼序列，對這節課的教學強度評價結論進行反思并加以改進。一般而言，如果希望增強某個教學強度指標，則需要將一個時段內密集出現、持續時長較短的該教學活動進行強化，如將幾個相鄰的短講授合并為一個持續時間較長的教師講授活動，以適當降低師生互動強度SI值來提升教師講授強度ST值。

三 課堂研究數字化轉型的示范應用實踐

基于人機混合智能的課堂研究數字化轉型理論，本研究利用16節中學語文課教學視頻開展了示范應用，其中16節教學視頻的顯示格式均為1080P，由北京師范大學附屬三所市級示范中學于2013～2017年期間精選的樣板課組成（基本上每校一年1節課），其應用如表3所示[17]。為了方便研究，使用年度和采集順序對研究案例進行編碼，如GXY為201X年采集的第Y個案例，同時使用姓名首字母對授課教師進行編碼。受限于文章篇幅，本研究以兩名教師為例，僅闡述如何使用數字化材料對教師的教學技能發展進行比較研究：首先，課例與姓名編碼信息顯示，男教師FHJ分別在2013年和2016年錄制了課例G33、課例G63，女教師LRR分別在2016年和2017年錄制了課例G62、課例G71。然后，本研究從16節樣板課中選出10節教學效果好的課例，再根據這10節課在34個評價指標上的出現頻率，通過數據分析的方法選出20個評價指標用于優秀教師課堂教學的評價。表4為LRR與FHJ兩名教師課堂教學的職業發展比較，其中教師FHJ從2013年G33出現5個優秀示范課指標，提高到2016年G63的11個指標，教師LRR則從2016年G62的13個指標提高到2017年G71的15個指標，由此可以得出如下結論：開展示范課教學確實可以促進教師的職業發展；時間跨度越長，越能清晰地展示教師職業發展的改進程度。

表3 "課堂研究數字化轉型理論的示范應用

表4 "LRR與FHJ兩教師在課堂教學的職業發展比較

為了展示在較長時間跨度下教師職業發展的改進程度，下文對FHJ教師的兩節課展開進一步比較：首先針對教師形象與板書進行比較，如圖4所示，兩節課的板書都能夠邏輯清晰地展示教學重點和事物之間的邏輯關系，但G63板書的字體和圖畫設計明顯得到了改善，表明教師FHJ在板書方面進行了改進；同時其著裝的改變也體現出其教學體態得到了明顯改進。然后，本研究從教學強度方面對兩節課進行比較，具體如圖5所示。其中，細線陰影三角形表示待評課例的教學強度值；粗線三角形表示采集多名優秀教師、多節示范課的教學強度平均值，作為本學段、本學科的教學強度常模值。由圖5可知，與教學強度常模三角相比，G33的講授強度ST和自學強度SL均有所欠缺，G63僅在自學強度SL方面有所欠缺，表明教師FHJ在教學強度上取得了明顯進步，其中兩節課的自學強度SL明顯偏小，表明該教師過于追求教學效率，應該適當地在教學過程中增加時段較長的自主學習活動，如小組討論或閱讀思考。

以上示范應用實踐驗證了，本研究提出的基于人機混合智能的課堂研究數字化轉型理論可以生成豐富的課堂研究數字化材料，滿足現實課堂研究的多樣性需求，支撐課堂研究數字化轉型的應用落地。

（a）G33的教師形象與板書設計 （b）G63的教師形象與板書設計

圖4 "G33、G63的教師形象與板書設計比較

（a）G33的教學強度 （b）G63的教學強度

圖5 "G33、G63的教學強度比較

四 結語

本研究提出了基于人機混合智能的課堂研究數字化轉型理論，并開展了多議題的課堂研究數字化轉型示范應用，通過課堂研究數字化轉型實踐進行了驗證。實踐結果表明，基于人機混合智能的課堂研究數字化轉型理論不僅能夠對課堂教學過程進行智能分析與評價，而且可以生成大量的課堂研究數字化材料，有助于研究人員根據研究興趣和經驗開展多樣化的實用課堂研究，解決當前課堂研究工作量大、缺乏實用性強的數字化研究材料的難題，為課堂研究數字化轉型提供了現實可行的實施框架。為了提高課堂研究效率，后續研究將使用預訓練大模型進行課堂研究數字化材料的自動生成，以進一步減少研究者的工作量，促進課堂研究數字化轉型的落地應用。

參考文獻

[1]鐘啟泉.課堂研究[M].上海：華東師范大學出版社，2016：11.

[2]王鑒.課堂志：作為教學研究的方法論與方法[J].教育研究，2018，（9）：122-132.

[3]廖偉，劉淼，毛玉琳.循證式聽評課：為何循證、循何證、如何循證[J].中國教育學刊，2023，（4）：86-91.

[4]崔允漷.論課堂觀察LICC范式：一種專業的聽評課[J].教育研究，2012，（5）：79-83.

[5]魏宏聚.教學切片分析：課堂診斷的新視角[J].教育科學研究，2019，（2）：63-67.

[6]方海光，高辰柱，陳佳.改進型弗蘭德斯互動分析系統及其應用[J].中國電化教育，2012，（10）：109-113.

[7]李紅美，楊浩.國際移動互動反饋系統應用研究新趨勢及對我國的啟示[J].遠程教育雜志，2019，（2）：55-62.

[8]張屹，郝琪，陳蓓蕾，等.智慧教室環境下大學生課堂學習投入度及影響因素研究——以“教育技術學研究方法課”為例[J].中國電化教育，2019，（1）：106-115.

[9]田娜，周驛，嚴蓉.基于MOOC的課程討論文本話題挖掘研究[J].軟件導刊，2020，（5）：168-172.

[10]駱祖瑩，趙琦琦，段福慶.基于教師近場語音的課堂教學過程自動分析[J].現代教育技術，2021，（8）：76-84.

[11]駱祖瑩，張丹慧.課堂教學自動評價及其初步研究成果[J].現代教育技術，2018，（8）：28-34.

[12]Zhang X L， Wang J Q， Wan Z H， et al. Classification of classroom teachers’ speech intention based on deep learning[A]. 2021 International Conference on Computer Engineering and Application[C]. New York： Institute of Electrical and Electronics Engineers Inc.， 2021：230-233.

[13]陳凱泉，韓小利，鄭湛飛，等.人機協同視閾下智能教育的場景建構及應用模式分析——國內外近十年人機協同教育研究綜述[J].遠程教育雜志，2022，（2）：3-14.

[14]樂惠驍，汪瓊.人機協作教學：沖突、動機與改進[J].開放教育研究，2022，（6）：20-26.

[15]鄧偉，楊曉丹，高倩倩，等.人工智能支持下的課堂教學評價模型研究[J].中國教育信息化，2023，（8）：3-14.

[16]孫眾，于子淳.人工智能課堂教學分析與改進：人在回路的協同機制[J].電化教育研究，2023，（1）：116-122.

[17]教師教育實踐網.教師教育課程資源[OL]. lt;http：//jsjysj.bnu.edu.cn/jsjykczy/gt;

Theory and Practice of Digital Transformation of Classroom Research Based on Human-machine Hybrid Intelligence

LUO Zu-Ying1 " "LI Yu-Shun2[Corresponding Author] " "ZHANG Yi-Jun3 " "DUAN Fu-Qing1

（1. College of Artificial Intelligence， Beijing Normal University， Beijing， China 100875;

2. Faculty of Education， Beijing Normal University， Beijing， China 100875;

3. Anhui Wenxiang Information Technology Co.， LTD， Beijing， China 100176）

Abstract： Classroom research is an important means of improving teaching quality. The current classroom research methods mainly include traditional classroom research based on human intelligence and automatic analysis classroom research based on machine intelligence， but these two methods are insufficient. Although the classroom research method based on human-machine hybrid intelligence can solve these problems to a certain extent， there are still certain limitations. Based on this， this paper firstly proposed a digital transformation theory of classroom research based on human-machine hybrid intelligence， which mainly included the following five parts of audio and video collection， cutting and storage based on human-machine hybrid intelligence， automatic voice recognition based on machine intelligence， classroom log generation based on human intelligence， generation of digital materials for classroom research based on human-machine hybrid intelligence， classroom research based on human intelligence. Then， the paper carried out the application studies on digital transformation of classroom research have been conducted for 16 demonstration lessons of Chinese language teaching in middle schools. It was found that the digital transformation theory of classroom research proposed in this paper can quickly generate numerous digital materials of classroom research， with the advantages of multi-functionality， efficiency， and flexibility， which met the needs of daily classroom research. Through research， this paper was aimed to provide referable implementation framework for the digital transformation of classroom research.

Keywords： class research; digital transformation of education; AI+education; human-machine hybrid intelligence; demonstration application

*基金項目：本文受國家自然科學基金項目“層次行為事件模型啟發的課堂教學行為模式挖掘及其關鍵技術研究”（項目編號：61977009）、教育部產學合作協同育人項目“助力教育數字化轉型的高校本科教學課程建設”（項目編號：231107601064339）資助。

作者簡介：駱祖瑩，教授，博士，研究方向為教育數字化轉型、課堂教學智能評價、中小學教師數字素養培養，郵箱為luozy@bnu.edu.cn。

收稿日期：2024年3月25日 " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " 編輯：小時