基于R-CNN的學生課堂管理系統

田剛

(中共陜西省委黨校(陜西行政學院)，陜西，西安 710061)

0 引言

學生課堂行為分析不僅是評價教學質量的重要環節，而且有助于預測學生的長遠發展[1-2]。然而，以往的學生行為分析很大程度上依賴于教師的觀察，費時費力，不能滿足大規模的實際需求。因此，需要一個自動的學生行為檢測系統來進行全面深入的分析。本文設計了一個學生課堂行為管理系統。該系統是基于一種改進的Fast R-CNN算法。主要的改進有兩點：首先針對不同尺寸的感興趣區域(ROI)，提出了一種不同膨脹率的尺度感知檢測頭，解決了尺度變化的難題;其次，提出了一種簡單而有效的特征融合策略，融合不同層次的特征，實現低層次的高分辨率細節和高層次的語義信息，并檢測出較小的目標。最后，聯機挖掘難樣例(OHEM)用于集中處理更難的示例。通過這個系統，可以有效地觀測學生在課堂上的表現，并對學生的課堂表現進行統計，在一定程度上能夠預測學生相關課程的成績，以及評估授課老師的課程歡迎度。

1 Fast R-CNN原理介紹

Fast R-CNN網絡將整個圖像和一組對象建議作為輸入[3-5]。通過使用幾個卷積層和最大池化層處理整個圖像來生成卷積圖。然后，對于每個對象建議一個RoI，從特征圖中提取固定長度的特征向量。每個特征向量都作為輸入提供給一系列完全連接的(fc)層。最后一個完全連接的層分為2個同級輸出層，一層在K個對象類加上一個籠統的“背景”類上生成softmax概率估計，另一層為K個對象類中的每一個給出4個實數值輸出。每組4個值是K個類別之一的邊界框位置，如圖1所示。

圖1 Fast R-CNN的網絡結構

1.1 候選區域

有多種方法可用于生成類別獨立的區域建議[6]。Fast R-CNN使用選擇性搜索“邊緣框”定位對象建議方法從圖像中的邊緣生成ROI。

并集上的交集(IoU)，用于測量邊界框的度量。IoU計算對象建議框(由RPN生成)和地面真值框的交集，除以它們的并集面積。一般要求IoU分數大于0.5。IoU為0.7提供了非常寬松(IoU為0.5)和非常嚴格(IoU為0.9)重疊值之間的合理折衷。圖2給出一個示例。

圖2 IoU為0.5、0.7和0.9的示例

1.2 ROI池化

ROI池化層使用最大池化將感興趣的有效區域內的特征轉換為固定空間范圍為H×W的小特征映射，其中H和W是獨立于任何特定ROI的層超參數。ROI是通過ROI投影進入conv特征圖的矩形窗口，如圖1所示。每個ROI由4個值(r，c，h，w)定義，這些值指定了ROI的左上角(r，c)，高度寬度(h，w)。

1.3 訓練

Fast R-CNN使用了一個簡化的訓練過程，其中有一個微調階段可以聯合優化softmax分類器和邊框回歸器，并在3個單獨的階段進行回歸。這個過程的組成部分是丟失、小批量采樣策略、通過ROI池化層的反向傳播和SGD超參數。

1.4 SGD超參數

初始化用于softmax分類和邊界框回歸的完全連接層。偏差初始化為0。所有層使用的每層學習率為1表示權重，2表示偏差，全局學習率為0.001。

1.5 尺度不變性

為了實現尺度不變的目標檢測，圖像金字塔通過圖像金字塔向網絡提供近似的尺度不變性。在測試時，圖像金字塔被用來縮放標準化每個對象的建議。

1.6 檢測

一旦對Fast R-CNN網絡進行微調，該網絡將以圖像和R對象建議列表(約2 000)作為輸入。使用圖像棱錐體時，每個ROI都被分配給比例，這樣縮放后的ROI最接近45×30像素的區域。對于每個測試ROI，前向通過輸出一個類的后驗概率分布p和一組相對于r的預測包圍盒偏移量(K個類中的每一個都得到自己的精確包圍盒預測)。使用估計概率pk，為每個對象類別k的r分配檢測置信度pr。

2 系統原理

在這一部分中，首先詳細介紹了學生課堂行為分析系統，包括舉手、站立和睡覺。然后詳細闡述了為減輕真實數據集中的挑戰而設計的策略。

2.1 系統概述

整個系統采用教室錄制的視頻流作為模型輸入。然后，提出的算法將輸出檢測結果以供進一步分析和可視化，如圖3所示。通過設在教室中的監控，獲取教室的課堂視頻流，然后對視頻流進行分析，通過對視頻流中的圖像進行處理后用提出的Fast R-CNN算法對圖像進行檢測，獲取檢測結果，最終將結果傳送到終端，進行可視化和分析。

圖3 學生課堂活動管理系統的總體架構

具體來說，提出的行為檢測算法基于更快的R-CNN。在此采用包含5個塊的ResNet-101[7]作為特征提取網絡，這些剩余塊分別表示為{conv1、conv2、conv3、conv4、conv5}。與原來的Fast R-CNN不同，首先對不同大小的ROI分別使用擴張率為1、2、4的conv5的3個分支。然后，將conv3和conv4的輸出特征進行融合，得到低層次的高分辨率特征映射和高層次的語義信息。最后，在訓練中應用OHEM，重點是這些檢測困難的例子，以解決班級不平衡的問題。

2.2 尺度感知的檢測頭

在基于ResNet-101的Fast R-CNN中，conv5層作為子網(檢測頭)進行分類和回歸。然而，更快的R-CNN將不同大小的ROI連接到同一個檢測頭上，并且在大尺度方差方面表現不佳。在中國，班級規模不僅因班級的不同而有很大的差異，比如站姿行為的差異，而且由于班級內部的原因，導致了教室的擁擠。受SNIP[8]啟發，在此提出了一種基于尺度感知的檢測頭，該檢測頭使用不同的膨脹率來檢測不同大小的物體。

具體地說，使用conv5塊的3個分支，分別基于主干的特征映射，使用1、2、4的膨脹率。理由是需要不同的接收場來探測不同大小的物體。利用尺度感知策略，為每個分支分配一個特定的尺度范圍，以匹配每個感受野。對于大小范圍為(0，80)、(40，160)和(120，∞)的ROI，分別形成相應的擴張率為1、2、4的檢測頭來捕獲不同尺度的特征。在訓練和推斷過程中，根據大小范圍對ROIs應用不同的檢測頭，如圖4所示。

(a)Fast R-CNN中的原始探測頭

通過使用擴張卷積，這3個分支可以共享相同的網絡結構和參數，但具有不同的感受野。通過這種設計，提出的模型可以在不增加模型大小的情況下，在不同的感受野上檢測不同尺度的物體。消融實驗證明了這種多擴張支設計的有效性。

2.3 特征融合策略

具有ResNet骨干網的Fast R-CNN采用conv4輸出特征圖作為最終檢測特征。但是，這種低分辨率的特征地圖不足以檢測小于其步幅的物體。在真實的課堂中，大多數行為相對于原始圖像的大小來說是相當小的。如圖5所示，采用的數據集中近70%的對象只占整個圖像不到0.5%。探測如此微小的物體是很有挑戰性的，特別是對于低分辨率和各種手勢的舉手。

圖5 使用的數據集對比

在這里，不使用像FPN這樣昂貴的金字塔，而是提出用一種簡單而有效的方式來融合特征。具體來說，結合conv3層和conv4層的輸出，構建既具有高分辨率特征又具有高層次語義信息的檢測特征圖。首先使用1x1卷積濾波器對conv3的輸出進行降維，然后將相鄰的特征疊加到不同的通道中，生成一個類似于YOLOv2[9]的更小的特征映射。該降采樣特征映射與conv4層的輸出相連接，然后是1×1卷積濾波器，以將輸入通道與conv5層匹配。提出的特征融合策略引入了很少的開銷，實驗表明，它大大提高了小物體(睡覺和舉手)的準確性。

2.4 在線難樣例挖掘

但使用的數據集面臨很大的類別不平衡。首先，睡眠樣本比其他類別的樣本少了近5-24倍，這導致了原始的Fast R-CNN睡眠檢測性能較差。其次，舉手樣本的分辨率較低，手勢多樣，遮擋嚴重，與較大的站立行為相比更難學習，這導致了難易例子之間的類不平衡。

為了解決上述類不平衡問題，在訓練期間使用了OHEM(在線難樣例挖掘)[10]。在前向通道中，評估所有提議的損失，然后按損失對所有ROI進行排序。選擇損耗最大的top-K ROI，并根據所選的例子進行反向傳播。這個模型被學習去關注這些困難的例子，比如不常見的睡眠例子和各種各樣的舉手例子。實驗表明，使用OHEM可以大大提高模型處理復雜場景的能力。

3 實驗

為了證明提出算法的有效性，對學生行為數據集和從數據集中選擇的難集進行了廣泛的實驗。對于這2個數據集，在此用COCO-style：平均精度(mAP)、APs、APm和APl的度量來顯示結果。符號APs、APm和APl分別表示小、中、大對象的地圖百分比。

3.1 實驗數據集

在學生行為數據集上執行改進的Fast R-CNN網絡，包括70 k手舉樣本、20 k站立樣本和3 k睡眠樣本。使用的數據來自中國某市30多所不同的中小學。由于復雜的場景和各種各樣的手勢，在數據集中捕獲的行為樣本對于檢測來說非常具有挑戰性。使用29 k個圖像(總共40 k個圖像)樣本進行訓練，然后在11 k個子集上驗證性能。以原始更快的R-CNN為Baseline進行比較，證明了本文方法的有效性。測試結果如表1所示。

表1 基于學生行為數據集的不同測試方法結果

如表1所示，提出的模型比原來更快的R-CNN取得了更好的性能。這些結果表明提出的方法不斷改進。這3種方法結合后的最終mAP比Baseline提高了3.4%。另外，APs的增加了20.6%，這反映了提出的方法是有效的。

Baseline和提出方法的檢測結果如圖6所示。與Baseline檢測結果相比，該方法能夠檢測出更多低分辨率、嚴重遮擋的行為。

(a)Baseline方法檢測結果

3.2 選定難集的實驗

從學生行為數據集中構造一個選定的難集，以證明提出的方法對于難場景的有用性。具體來說，從11 k測試集中根據相對對象大小(僅占整個圖像部分以下0.1%)選擇4.7 k個樣本，主要包括睡眠樣本和低分辨率的手舉樣本。如表2所示，提出的方法將mAP的結果提高了2.2%，在解決這一極其困難的場景時尤其有效。

表2 基于難集的實驗結果對比

4 總結

為了提高教學質量，提出了一種改進的Fast R-CNN網絡，用于真實課堂場景中的學生行為檢測。提出了一種基于不同膨脹率的尺度感知檢測頭，用于檢測不同尺寸的目標。提出了一種新的特征融合策略，用于檢測較低分辨率的目標。在訓練過程中使用OHEM來緩解使用的數據集中的班級不平衡。這些改進的整合在真實的課堂上取得了令人印象深刻的效果。