基于RT-DETR-ASF的學生科學探究實驗行為檢測研究

摘 要：深度學習方法在學生科學實驗的自動檢測和評估方面具有提高效率的潛力。為了解決學生科學實驗數據集的缺乏和低準確率的問題，該文提出了一種基于實時的注意力尺度序列融合的目標檢測變換器RT-DETR-ASF的學生科學實驗檢測方法。首先，該文構建了學生科學實驗數據集，包括417個視頻，18308張視頻幀和20331個標注，主要關注5種行為：稱重、測高度、丟球、測大小和記錄。為提高檢測準確率，引入了一種注意力尺度序列融合模塊。為解決邊界數據問題，提出了行為邊界指數，用于識別數據集中的邊界樣本。為了解決數據不平衡問題，進行了過采樣與視頻幀擴展的操作。使用科學實驗檢測模型對數據集進行檢測，實驗結果表明：行為分類檢測的平均準確率達到了71.1％。這證明了該模型的有效性。學生科學實驗數據集與RT-DETR-ASF為未來的學生科學實驗分析提供了先驗基礎，有望推動該領域的進一步發展。

關鍵詞：深度學習；學生科學實驗；RT-DETR-ASF；數據不平衡

中圖分類號：G4 文獻標志碼：A 文章編號：2096-0069（2024）05-0014-10

收稿日期：2024-02-29

基金項目：國家自然科學基金面上項目“基于事理圖譜的計算思維智能導訓模型及可解釋性研究”（62277018）；教育部人文社科基金項目“基于C-STEAM的粵港澳大灣區教育協同創新機制研究”（22YJC880106）；華南師范大學哲學社會科學重大培育項目“面向創新能力培養的跨學科組合策略與應用效果研究”（ZDPY2208）

作者簡介：楊帆（1996— ），男，四川成都人，碩士，研究方向為計算機視覺、人工智能教育；詹澤慧（1983— ），女，廣東潮州人，博士，教授、博士生導師，研究方向為學習科學與智慧教育、跨學科與創新教育，系本文通信作者。

引言

在傳統教學中，對學生的實驗行為進行評估需要耗費大量的時間和精力。這種人為評估存在著主觀性差異，不同教師之間的評估標準可能不一致，甚至同一位教師在不同時間評估同一學生的實驗視頻時也可能得出不同的評分結果。近年來，行為檢測技術逐漸成為分析學生科學實驗行為的重要工具。一方面，通過應用行為檢測技術，有望實現對學生科學實驗行為的精準分析，從而提供更全面準確的實驗評估和學習反饋[1]。這種自動化評估方法不僅可以顯著縮短評估時間，減少人力投入，還可以降低因評估標準差異引起的不確定性，為科學實驗教育提供更加可靠的支持。另一方面，通過對學生行為的分析，可以實現學生行為觀察的自動化[2]，課堂反饋的精準化[3]，以及以評促教[4]。教師還可以根據及時準確的評估反饋，對學生的行為表現進行有針對性的教學干預，以幫助學生更好地理解實驗內容并提高學習效率。

近年來，基于目標的行為檢測算法取得了巨大突破，對學生課堂行為的檢測可達到較好的效果[5]。然而，現有的基于目標的行為檢測算法在學生科學實驗場景中仍然面臨一些挑戰，特別是在處理數據不平衡和邊界數據方面。此外，當前大多數的學生行為數據集都是課堂場景數據集，與本文提出的學生科學實驗場景存在較大差異。本文的數據是由學生自主拍攝的，參與者僅包括學生和家長，人數較少且不存在遮擋，但是學生實驗過程的材料和環境卻存在較大差異，這給學生科學實驗行為檢測帶來了一定的挑戰。

一、文獻綜述

（一）行為檢測

現有的行為檢測算法主要分為三類：基于視頻的行為檢測、基于姿態估計的行為檢測和基于目標的行為檢測。

基于視頻的行為檢測能夠實現對連續行為的識別，但通常需要大量樣本進行標注。例如，時空學習器的掩碼自編碼器檢測的時空定位的原子視覺行為（Atomic Visual Actions，簡稱AVA）數據集有158萬個標注量[6]。類似的集多人視頻與時空定位的體育行為的數據集的標注量也非常龐大。有趣的是，有些行為有時可以僅通過特定物體或場景來確定。例如，只要模型在視頻幀中識別到自行車，就能夠預測騎自行車的行為；同樣地，如果識別到了板球場地，模型也可能預測板球投球的行為。因此，對于這些類別，視頻行為識別可能成為一個不需要推理運動/時間信息的對象/場景分類問題。近年來，許多研究工作者在行為檢測方面構建了優秀的網絡，例如，AVA數據集的檢測準確率提升到了45.1%，體育行為數據集的檢測準確率達33.3%。盡管取得了這些進展，基于視頻的行為檢測網絡依舊不足以在實際應用中落地。

基于姿態估計的行為檢測通過獲取身體關節的位置和運動信息來識別人的行為，然而，在具有相似姿態但視覺表現不同的行為中，其識別準確率不高。

近年來，基于目標的行為檢測算法取得了顯著進展，已廣泛應用于學生課堂行為的檢測，表現出良好的實用性和效果。目標檢測框架可以大致分為基于卷積神經網絡、基于自注意力機制與編碼器-解碼器，前者的典型代表就有YOLO（You Only Look Once）系列，如YOLOv5、YOLOv7等[7] ，其具有較強的實用性與實時性，在工業界得到廣泛應用。Transformer框架已在計算機視覺領域發展了3年多，形成了不少優秀的網絡，如DETR等。基于DETR的網絡消除了各種手工設計的組件，如非最大值抑制，從而極大地簡化了目標檢測的流水線，但這些網絡與傳統的CNN網絡如YOLO系列相比，存在實時性差的問題。為了解決該問題，百度提出了RT-DETR。與YOLOv7相比，RT-DETR用更少的迭代次數和更少的數據增強，能達到比YOLOv7更好的效果，并且能做到實時檢測。

（二）學生行為數據集

數據集是影響網絡訓練效果的關鍵因素之一。在學生行為數據集這一領域，大部分數據集為課堂場景數據集，如學生課堂行為數據集（Student Classroom Behavior Dataset，簡稱SCB-Dataset）[8]、學生-教師行為數據集[9]、基于傳感器的行為學生數據[10]以及多模態數據[11]。在SCB-Dataset3中的3種行為——舉手、看書、寫字的平均準確率，在YOLOv7中分別達到了81.9%、74.8%、60.6%。這表明，視覺上易于分辨的行為具有更高的檢測準確率。這些學生行為數據集通常具有密集人群、遮擋和小目標等特點。

公開的學生行為數據集是非常缺乏的，這也制約了課堂場景行為檢測的研究和應用。在本文研究的學生科學實驗領域，公開數據更是稀缺。因此，本文構建了學生科學實驗數據集。

（三）數據不平衡

在現實生活中采集的數據往往存在數據不平衡的情況[12] ，并且可以分為類間不平衡與類內不平衡兩種類型。常見的解決數據不平衡的方法有過采樣、欠采樣、權重調整等方法。欠采樣是一種用于解決類別不平衡問題的方法，通過減少多數類樣本來平衡數據集。其中，隨機欠采樣和啟發式方法是常見的技術。啟發式方法包括濃縮最近鄰規則、湯姆克鏈接和編輯最近鄰規則。此外，還有一些結合了不同方法的欠采樣技術，如單邊選擇及基于聚類的方法，如基于K均值聚類的欠采樣。這些方法在保持數據分布特征的同時，實現了多數類和少數類樣本數量的平衡。過采樣是一種平衡數據集的方法，通過增加少數類樣本來達到樣本平衡。隨機過采樣是其中的一種簡單形式，但可能導致過擬合。為了解決這個問題，研究者提出了合成少數類過采樣技術，它通過插值生成新的少數類樣本。然而，合成少數類過采樣技術也可能產生噪聲樣本。為此，在損失函數中設置各類別的權重，對低預測值分配較大權重，對高預測值分配較小權重，可強化損失函數對小樣本類的影響。在學生科學實驗數據集中，不僅存在類別不平衡問題，還存在邊界數據問題，邊界數據對分類器性能有著顯著的影響。因此，消除邊界數據區域中的多數類樣本對于解決類別不平衡問題是有益的。所謂的邊界數據區域，是指在一個區域內同時存在多數類和少數類樣本，這種情況會導致少數類樣本不被充分觀察，從而影響其識別。

二、行為數據集

（一）學生科學實驗數據集的構建

對學生科學實驗進行自動化評估，需要模型能夠識別視頻中的關鍵信息。學生所探究的科學實驗為探月實驗，即探究隕石質量與砸在月球表面上凹坑的大小的關系。學生使用小球替代隕石，使用沙堆替代月球表面。學生首先需要準備各種實驗材料，包括稱重儀器、小球、沙堆、尺子、筆和紙。學生將小球放在稱重儀器上稱重，并記錄下小球的重量。然后，學生將小球放在沙堆上方，并使用尺子測量小球與沙堆之間的距離（家長可以參與協助測量）。接下來，學生放開小球，測量小球在沙堆中形成的凹坑的大小，并記錄下凹坑的尺寸。最后，學生平整沙堆。本文總結出了5種關鍵行為：稱重、測量高度、丟球、測量大小和記錄。通過模型對視頻進行檢查，可以輸出行為序列，為實現對學生科學實驗的自動化評估提供了數據基礎。

數據集是訓練神經網絡模型的基礎。本文構建了學生科學實驗數據集。在劃分數據集的訓練和測試集時，本文按照視頻進行劃分。這是因為同一個視頻的視頻幀具有高度相似的特征，如果訓練集和測試集同時包含同一個視頻中的數據，就可能導致測試準確率虛高的問題。

圖 1展示了學生科學實驗數據集的制作流程。為了保護學生隱私，本文對所有的學生實驗圖片進行了動畫化操作。首先，學生自主拍攝并上傳視頻到學生綜合評價與發展平臺。由于這些視頻中存在大量低質量內容，例如時長僅有幾秒、拍攝角度不佳、鏡頭拉得過近或者拍攝的人與物體不完整等情況，因此，本文精選出約700個高質量視頻，作為訓練和測試樣本。隨后，使用開源多媒體處理工具對視頻進行每秒1幀的抽幀。然后，使用在線視覺幾何組圖像標注器（VGG Image Annotator，簡稱VIA），加載初始化標注文件進行人工標注。在標注過程中，會刪除無用的視頻幀。接著，將標注數據轉換為目標檢測格式的數據集，例如YOLO格式或者視覺對象類別格式等。然后，將數據集送入目標檢測模型中進行訓練。訓練好的模型可以用于對未標注的視頻進行檢測，然后將檢測結果輸入VIA的預標注文件，實現自動化標注。最后，對自動化標注的數據進行微調即可。

學生科學實驗數據涉及的行為類別龐大，屬性多樣。如稱重行為，學生使用的稱重設備有體重秤、天平秤、秤克電子秤、桿秤等。另外，沙堆的材料與容器也各不相同，尺子的類型也多種多樣，拍攝的角度、距離、光線也各有不同。

表 1（見下頁）是學生科學實驗數據集的數據統計，本文篩選了417個學生科學實驗視頻，視頻每秒抽1幀，總共標注1.8萬余張圖片，總標注量2萬多張。

從表 1和我們對數據集的檢查，發現學生科學實驗數據集中存在類間和類內不平衡。由于部分學生缺少稱重設備，導致稱重數據采集不足，造成類間不平衡。丟球行為則屬于類內不平衡，因為球的下落速度極快，導致捕捉到的樣本數量較少，而準備丟球和小球落在沙堆中的樣本數量較多。

（二）AVA數據集

為驗證學生科學實驗數據集及算法的有效性，本文與公開的AVA數據集進行了比較。AVA數據集共有80個通用行為類別，但這些行為存在極度不平衡狀態，只有9個類的標注量高于1萬張。因此，本文只選取了AVA數據集中標注量超過1萬張的5個行為進行了比較，它們分別是：站、說話、坐、拿和走。本文選擇這5個類別是因為它們與學生科學實驗數據集具有一定的相似性。

三、基于注意尺度序列融合的實時檢測變換器RT-DETR-ASF（Real-Time DEtection TRansformer with Attentional Scale Sequence Fusion，簡稱RT-DETR-ASF）網絡的學生科學實驗行為檢測

（一）RT-DETR-ASF

RT-DETR使用卷積神經網絡或類似的圖像特征提取器，從輸入圖像中提取特征。這些特征被用作后續Transformer模塊的輸入。Transformer解碼器是RT-DETR的核心組件之一，它接收來自特征提取器的特征，并通過自注意力機制捕捉圖像中的復雜模式。這種機制使模型能夠同時關注圖像中的多個位置，并根據其重要性加權特征，從而更準確地識別和定位目標。由于采用了Transformer架構，RT-DETR能夠并行處理多個目標，大大提高了計算效率。此外，該模型在圖形處理器實現了高度優化的運算，使其能夠在保持高精度的同時實現實時檢測。通過統一建模目標檢測、嵌入和跟蹤任務，RT-DETR學習到了目標之間的關聯信息，這種關聯信息有助于提高檢測的準確性和魯棒性。特別是在復雜和動態的環境中，與傳統的目標檢測方法相比，RT-DETR無須依賴于基于錨點的方法或復雜的后處理步驟（如非極大值抑制）。它在端到端的框架內完成整個目標檢測流程，大大簡化了檢測流程并提高了效率。與其他模型相比，RT-DETR對數據增強的依賴度較小。

然而，在學生行為這樣細粒度級的目標檢測中，RT-DETR在提取行為特征、區分相似行為上有一定困難。為了解決這一問題，本文將注意力的尺度序列融合模塊ASF（Attentional Scale Sequence Fusion，簡稱ASF）融入RT-DETR，如圖 2（見下頁）所示。ASF中采用了一種獨特的尺度序列特征融合SSFF（Scale Sequence Feature Fusion，簡稱SSFF），該模塊能夠自適應地融合不同尺度的特征。通過考慮不同尺度的信息，模型能夠更準確地識別和分類不同行為類別。同時，ASF具有實時性強、準確性高的優點，這使得RT-DETR-ASF在處理大量學生行為圖像時能夠保持較高的檢測速度和準確性。另外，ASF還引入了一個通道和位置注意力機制CPAM（Channel and Position Attention Mechanism，簡稱CPAM），該機制能夠專注于信息通道和空間位置相關的物體，有助于改進檢測性能。在ASF網絡結構中，尺度序列特征融合模塊將來自多個尺度圖像的全局或高級語義信息組合在一起，三重特征編碼器（Triple Feature Encoder，簡稱TFE）模塊則可以捕捉小目標的局部精準細節。

（二）邊界數據

在行為數據集中，不同行為類別之間可能存在一些模糊的邊界，導致當前行為既可被歸類為A類行為，也可被歸類為B類行為。這是因為行為之間存在過渡，使得邊界變得模糊不清。為了計算學生行為數據集中的邊界數據，本文引入了行為邊界指數，如公式（1）所示：

BBI＝（，） （1）

在方程中，Si，j代表行為類別i和行為類別j之間的重疊計數，Ni代表行為類別i的計數， Nj代表行為類別j的計數。因此，行為邊界指數表示行為類別i和j的重疊率，即邊界數據。行為邊界指數在一定程度上能夠反映行為之間的相似性。

圖3（見下頁）中顯示了兩種類別，中間的重疊區域就是邊界數據區域，如學生科學實驗數據集中的放球和測高度就存在較大的邊界區。這一區域的數據是降低模型訓練的準確率的原因之一，通過行為邊界指數，可以找到這些邊界數據。噪聲通常是在標注過程中誤標的數據。稠密區與稀疏區，就如丟球行為中的不平衡，丟球中的準備丟球、小球落在沙堆中屬于稠密區，小球下落中就屬于稀疏區。由此可見，稠密區更加貼近邊界區，稀疏區更加遠離邊界區。所以，我們可以通過增加稀疏區的樣本數量來減少邊界區的大小，以提高模型訓練準確率。

如圖 4所示，本文對邊界數據的處理方式有3種：第一種是刪除邊界數據；第二種是通過檢查數據集，修正誤標的數據；第三種是通過視頻幀擴展的方法來增加稀疏區的樣本數量。

（三）數據增強

從現實中采集的數據非常容易出現數據不平衡的情況。為了減少小樣本數據，本文采用兩種數據增強的方法，一種是將稱重的樣本進行過采樣處理，另一種是擴大每秒抽幀數量。

我們在實驗時發現，學生科學實驗數據集中的丟球行為存在行為內部的不平衡。丟球共有3個階段：準備丟球、小球下落中、小球落在沙堆中。我們發現，在丟球的樣本中，大部分是準備丟球與小球落在沙堆中，小球下落的樣本較少。這是因為小球下落過程時間太短，1幀/秒的抽幀策略難以捕獲小球下落的樣本，這也是丟球準確率低的原因。于是，我們通過增加每秒抽幀數量來解決該問題，采用15幀/秒對視頻進行抽幀，然后選取其中小球下落過程中的樣本。

四、實驗

（一）實驗環境與數據集

模型訓練圖形處理器是搭載80GB顯存的A800型號NVIDIA Tesla系列GPU，存儲空間16特拉字節，操作系統是社區企業操作系統，編程語言是python 3.8，統一計算設備架構版本是 10.1。

實驗使用了2個數據集，第一個數據集是學生科學實驗數據集，其中訓練集、測試集的劃分比例為86∶14；第二個數據集是提取后的AVA數據集，其中訓練集、測試集的劃分比例為230∶62。

（二）實驗內容

本文的實驗分為5部分：

①YOLOv7在AVA數據集上的訓練測試準確率。

②對比RT-DETR在融合ASF前后模型的訓練準確率。

③對比RT-DETR與YOLOv7的準確率。

④對比邊界數據處理前后模型訓練的準確率。

⑤對比數據增強前后模型訓練的準確率。

模型訓練采用隨機梯度下降優化器，訓練周期設置為100，批量大小設置為4，采用微軟團隊提供的一個大規模的對象檢測、分割、關鍵點檢測和字幕數據集的預訓練權重，主干網絡采用殘差網絡50。

在評估實驗結果時，本文使用了精確度和召回率。

precision＝ （2）

recall＝ （3）

真正例表示正樣本被分為正樣本的數量，假負例表示正樣本被錯誤地分為負樣本的數量，假正例表示負樣本被錯誤地分為正樣本的數量，“TP+FN”表示全部正樣本數量，“TP+FP”表示全部被分為正樣本的數量，TP和FP根據交并比閾值來判斷。IOU計算公式如下：

IOU（A， B）＝ （4）

其中，A表示真實框；B表示基于錨框，即通過檢測模型預測出來的框。

為了客觀分析實驗結果，本文采用平均準確率，其IOU=0.5。計算公式如下：

APi＝∫10 P（r）dr （5）

mAP＝ ∑（APi） （6）

（三）實驗結果及分析

1.YOLOv7在AVA數據集上的訓練測試準確率

本文將處理后的AVA數據集在YOLOv7中進行了訓練與測試，在兩塊圖形處理器上對AVA數據集進行訓練，大約在110個訓練周期時，訓練測試的準確率達到最高，一個訓練周期消耗55分鐘，大約訓練6天時間，得出表 2的數據。

從表 2可以看出，在數據量龐大的AVA數據集中，訓練測試的mAP@50僅達到了 65.8%。造成這一結果的原因之一是AVA數據集源自299個電影片段，其中背景和人物的差異性較大，同時行為的多樣性也非常豐富，從而導致其訓練難度較大。同時也可以了解到，在行為檢測領域，普遍的準確率大約在70%。

2.對比RT-DETR在融合ASF前后模型的訓練準確率

為了驗證ASF融入RT-DETR的有效性，本文對比了RT-DETR與RT-DETR-ASF訓練的mAP@50。如表 3所示，第一行代表模型評價指標，第一列代表模型，可以看出RT-DETR-ASF在各個指標上都高于RT-DETR，mAP@50達到65.8%。

從更加細致的角度來看RT-DETR與RT-DETR-ASF的區別，本文計算了各個行為類別的AP值，如表 3所示，第一行代表模型，第一列代表不同類別，可以看出，RT-DETR-ASF在各個類別上都高于RT-DETR，尤其是測高度，RT-DETR-ASF提高了10.7%，達到了63.2%。

公開數據集中的寫字行為在YOLOv7中的準確率為60.6%。寫字的行為與學生科學實驗數據集中的記錄行為相似，本文的準確率達到了86.9%。當然，取得較高的準確率也是因為學生科學實驗的場景相比學生密集的課堂場景較為簡單。

3.對比RT-DETR-ASF與YOLOv7的準確率

RT-DETR相對于YOLOv7，有更快的收斂速度，有更簡潔的目標檢測流程。RT-DETR在有預訓練模型的情況下，在訓練迭代20個訓練周期左右就能收斂。YOLOv7在訓練迭代40個訓練周期左右就能收斂。本文對比了在同樣訓練迭代到20個訓練周期的情況下，RT-DETR與YOLOv7的準確率對比，如表4所示，可以看出RT-DETR優于YOLOv7。

4.對比邊界數據處理前后模型訓練的準確率

本文使用RT-DETR-ASF模型對學生科學實驗數據集進行特征計算，然后通過對特征數據進行計算，得到邊界數據值。表5展示了各個類別的邊界數據的樣本數量，其中，第一行代表兩種類別之間的邊界值，第二行代表著邊界數據的樣本數量。

圖 5展示了邊界數據的可視化，本文只展示了邊界數據的樣本數大于20的值。圖 5中有5個不同大小的圓形，代表了5種類別，圓的大小代表其樣本數量（圖中也標記了每個類別的樣本數量）。可以看出，丟球與測高度出現了較多的邊界數據。

本研究通過遍歷學生科學實驗數據集，將丟球與測高度的268個邊界數據刪除，然后再對其進行模型訓練。

表 6展示了邊界數據處理前后RT-DETR與RT-DETR-ASF的準確率對比結果，如第一行第二列的數據66.5（+0.7），表示邊界數據處理后，RT-DETR的mAP@50為66.5%，相對于邊界數據處理前，提高了0.7%。從表6可以看出，邊界數據處理對提升模型準確率是有一定作用的。

5.對比數據增強前后模型訓練的準確率

本文的數據增強分兩部分：一個是對學生科學實驗數據集中少樣本類別（稱重）進行過采樣操作，另一個是對類內不平衡類別（丟球）進行視頻幀擴展。

過采樣是一種最簡單有效的方式，直接將稱重的樣本復制一遍，復制后的稱重樣本數量為2 958。這樣做有兩個好處：一個是直接實現了過采樣的操作；二是在訓練的過程中，由于稱重樣本數量增加，訓練時的權重也會偏向稱重。具體對比結果見表7。

視頻幀擴展需要人工定位到指定行為的起始點，然后進行視頻裁剪，最后按照每秒15幀來抽幀。為了能夠完整捕捉到球下落的過程，本文選取的視頻裁剪長度為3秒，即抽幀完成后，有45幀圖片，將視頻幀擴展的數據加入過采樣的數據中，然后進行模型訓練。所以，模型訓練的準確率對比是在過采樣的數據的基礎上進行的，具體結果見表8。

（四）實驗結論

本實驗驗證了RT-DETR-ASF模型在學生科學實驗數據集上應用的有效性。通過對AVA數據集進行的基準測試，獲得行為檢測在當前技術水平下可以達到的準確率。然后，進一步通過對比融合了ASF前后的RT-DETR模型，證明了ASF模塊能夠提高模型的準確率。此外，通過邊界數據處理和數據增強，模型的準確率得到了進一步的提升。

五、總結

針對學生科學實驗場景，本研究的主要貢獻如下：首先，建立了學生科學實驗數據集，從3 417個視頻中標注了18 308張視頻幀，總共20 331個標注，提煉了5種行為：稱重、測高度、丟球、測大小和記錄，為未來的學生科學實驗評估提供了一定的數據基礎。其次，提出了RT-DETR-ASF模型，將ASF融入RT-DETR，提高了RT-DETR在提取模型提取視頻幀中行為特征的能力，以提高模型的檢測準確率。最后，提出了行為邊界指數，用于識別學生科學實驗數據集中的邊界樣本，通過對邊界樣本的處理來提高模型訓練的準確率。同時，通過過采樣的方法來調整模型訓練的權重向小樣本類別偏移，通過視頻幀的擴展來解決類內的數據不平衡問題，最終使模型的平均準確率達到了71.1%。下一步研究可聚焦于提高學生科學實驗數據集的質量，擴展更多行為類別，增加物體識別與檢測，以及增強模型在處理不平衡數據時的訓練擬合能力。

參考文獻

[1]詹澤慧，李通德，鄒萱萱，等.智慧課堂教學交互事理圖譜的構建與實證：融合知識與事理邏輯[J].電化教育研究，2003（9）：77-85.

[2] 詹澤慧，呂思源.基于課堂觀察的STEM教學評價：協議、要素與方法[J].開放教育研究，2023，29（4）：65-80.

[3]牛世婧，詹澤慧.基于建構性反饋的雙循環對分課堂教學模式研究[J].數字教育，2024，10（2）：62-70.

[4] 詹澤慧，鐘煊妍，鄒萱萱，等.以評促教：基于事理圖譜的計算思維水平評價方法[J].現代遠距離教育，2024（1）：45-57.

[5] YANG F， WANG T， WANG X. Student classroom behavior detection based on YOLOv7+ BRA and Multi-model fusion[C]//International Conference on Image and Graphics. Cham： springer nature switzerland， 2023： 41-52.

[6] GU C， SUN C H， ROSS D A， et al. AVA： a video dataset of spatio-temporally localized atomic visual actions[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2018： 6047-6056.

[7] WANG C Y， BOCHKOVSKIY A， LIAO H Y M. YOLOv7： trainable bag-of-freebies sets new state-of-the-art for real-time object detectors[J/OL]. http：//arxiv.org/abs/2207.02696.

[8] SUN B， WU Y， ZhAO K， et al. Student class behavior dataset： a video dataset for recognizing， detecting， and captioning students’ behaviors in classroom scenes[J]. Neural Computing and Applications， 2021（14）： 8335-8354.

[9] ZHAO J， ZHU H， NIU L. BiTNet： a lightweight object detection network for real-time classroom behavior recognition with transformer and bi-directional pyramid network[J]. Journal of King Saud University-Computer and Information Sciences， 2023， 35（8）： 101670.

[10] YANG Q， ZHAN Z， DU X. A learning engagement analysis model for assignments based on dot matrix pen technology[C]//Proceedings of the 6th International Conference on Education and Multimedia Technology. 2022： 90-96.

[11] 管彤彤，張立強，彭朝陽.人工智能視域下教師課堂教學行為分析：以物理課堂為例[J].數字教育，2023，9（5）：54-61.

[12] 劉厚濤. 面向分布極端不平衡數據的分類算法研究[D].南京：南京郵電大學，2022.

（責任編輯 李強）

Research on the RT-DETR-ASF Based Detection of Students’ Experimental Behavior in Scientific Inquiry

Yang Fan1，2， Zhan Zehui1

（1. School of Information Technology in Education， South China Normal University， Guangzhou， Guangdong， China 510631

2. College of Information Science and Technology， Jinan University， Guangzhou， Guangdong， China 510632）

Abstract： Deep learning methods have the potential to improve efficiency in automatic detection and evaluation of student science experiments. In order to cope with the lack and low accuracy of student science experiment datasets， this paper proposes a method of student science experiment detection based on real-time attention-scale sequence fusion of target detection converter RT-DETR-ASF. First， this paper constructs a dataset of student science experiments， including 417 videos， 18 308 video frames and 20 331 annotations， which focus on five behaviors： weighing， measuring height， dropping balls， measuring size， and recording. To improve the detection accuracy， an attention-scale sequence fusion module is introduced. To solve the boundary data problem， a behavioral boundary index is proposed for identifying boundary samples in the dataset. To solve the data imbalance problem， oversampling with video frame expansion is performed. A science experiment detection model is used to detect the dataset， and the experimental results show that the average accuracy of behavioral classification detection reaches 71.1%， which proves the effectiveness of the method in this paper. The student science experiment dataset with RT-DETR-ASF provides a priori foundation for future student science experiment analysis， which is expected to promote the further development of this field.

Key words： Deep learning; Student science experiments; RT-DETR-ASF; Data imbalance