基于多模態身體行為信息融合的學生學習興趣分析方法研究

任 婕

（北方工業大學 信息學院，北京 100144）

0 引言

在當前的教學領域中，評價者不能簡單地憑借學生的成績或者調查問卷去分析學生對課堂的學習興趣，需要綜合考慮學生在學習過程中的多種行為表現，從而為課堂中學生的參與意識和投入程度提供有效的改進意見。

學生的學習興趣可以通過身體行為體現。課堂中的身體動作，往往能直觀反應學生上課的專注程度。而身體動作又可以分為很多種，譬如對舉手特征動作的識別，趴桌子特征動作的識別，托腮特征動作的識別，低頭特征動作的識別，寫字和正坐特征動作的識別。

根據獲得的身體行為數據，可以把一個課堂環境下的學生在某段時間的身體行為數據轉化為一個一維向量。由于隨機森林在解決小樣本非線性分類問題中所表現出的分類效果極佳，同時隨機森林可以解決分類、函數擬合等其他機器學習問題的特性，所以本文決定采用隨機森林算法對所得到的向量進行訓練并對參數進行調優，訓練得到一個可以分類學習狀態的分類器，最終通過多模態信息融合得到結果。

表1 身體軀干關節點的編號及命名Table 1 Number and name of trunk nodes

圖1 課堂環境數據采集示意圖Fig.1 Schematic diagram of classroom environment data acquisition

1 身體行為數據集構建

數據集收集是身體行為分析的基礎，以往數據集的收集過程都是參與者自己表演、重現和互動的，只有比較少一部分的數據集是自發的，而且并沒有一個數據集是用來專門針對課堂環境中的[1]。因為本研究是區分課堂上身體行為的動作狀態，所使用的數據集也必須是來自正在上課時的學生的身體行為數據。在實驗視頻錄制方面，該項目采用的是海康威視的DS-2CC597P 超寬動態針孔攝像機，輸出設置為1080p、28fps 的實時圖像。

整體有25 名學生參與了這次課堂行為數據的錄像——6 名女生和19 名男生。首先保證他們都沒有參與到本次論文的研究過程與方法中。這25 名參與者都是橫跨中學到大學的學生，年齡在9 歲～23 歲之間。在大量的錄制與分析后，研究成員收集了這25 名參與者中50 段舉手、趴、托腮、低頭玩、寫字和正坐的身體行為視頻（收集的每個參與者的片段數都是不固定的）。在數據集中，這6 種狀態的身體行為剪輯的平均時間長度略多于6s 左右。

圖2 歸一化后的數據集Fig.2 Normalized data set

對于收集到的每個片段，研究者將每一個視頻數據的片段進行分割，然后對這些視頻數據進行標注，這樣就完成了對數據集的構建。

2 身體行為識別數據的預處理及特征提取

本研究采用Openpose 去實現特征點的提取，Openpose可以同時追蹤捕獲多個用戶的身體軀干關鍵點坐標信息。本文將獲取的關節點二維坐標信息作為原始數據，每個關節點的空間坐標彼此獨立。利用這些關節點坐標數據來構造單幀圖片的人體全局特征，再根據所采集的身體動作進行描述[2]。按照本文任務要求，課堂環境和實驗設備的設定，胸部以下部位是采集不到肢體坐標信息的，如圖1 所示。去除8 號～13 號坐標信息，另外根據1 號坐標x 坐標值不變，y 軸正方向增加200 像素距離作為一個新增點18坐標信息，用于后續行為特征的提取。對應關節點名稱詳情見表1。

提取關鍵點坐標之后，以鼻尖作為原點進行歸一化，并將歸一化后的數據打入標簽放入csv 文件中。其中，標簽0 為舉手、1 為趴、2 為托腮、3 為玩手機、4 為寫字、5為正坐，如圖2 所示。

3 分類

本文分別對Sigmoid 核函數支持向量機、多項式核函數支持向量機、線性和函數支持向量機、徑向基核函數支持向量機、決策樹、隨機森林等6 種常用的機器學習分類算法對學生課堂行為進行分類。最終結果表明，使用隨機森林算法具有最高的分類準確率89.36%，也說明了本文提出的學習狀態識別分類方法的有效性。在后續實驗中發現，雖然svm 方法中有兩類核函數支持向量機對樣本測試準確率很高，但對新數據分類結果并不理想，兩類方法對樣本數據產生過擬合，泛化能力較差，故采用隨機森林分類方法。

4 多模態信息融合

4.1 融合方法

就現在的科技水平和研究方法來說，多模態信息融合方式從數據上來講，可以分為3 個方向：數據級融合、特征級融合、決策級融合。決策級融合是最高級別的融合，該級別的融合是指在已經拿到由相應分類器得到的初步識別結果后，綜合各方結論數據，通過規則的方法再進行決策的過程，該級別對應的就好比是公司的決策者。在這3種融合方法中，只有決策層融合能對不同的特征選其相對應的分類器，有更好的準確性和靈活性。身體行為的數據來自于對教室視頻監控數據的分析，根據視頻數據在分類器中得出的分類結果，將最終的融合因素分為6 層，對于身體行為的6 個融合因素進行層次分析法的決策融合后，去估計學生的興趣程度。

同時，基于以上身體行為的多模態信息融合思想做以下定義：

一般地，令D={x1,x1,…,xm}表示包含m 個示例的數據集，每個示例由6 個動作描述（例如舉手、趴、寫字、低頭、正坐、托腮），則每個示例xi={Ai,Bi,Ci,Di,Ei,Fi}中，Ai是xi在A 屬性上的取值。即，基于身體行為的多模態信息融合形式化表示為：

表2 重要性權重含義表Table 2 Significance weight meaning table

圖4 層次分析法流程圖Fig.4 Flow chart of analytic hierarchy process

這里，N 表示身體行為信息融合的結果；m 表示融合對象的個數；A,B,C,D,E,F 分別表示融合對象i 的6 種融合因素。最終，基于身體行為特征的多模態信息融合得到的興趣度，可定義為：

其中，WA,WB,WC,WD,WE,WF也就是將會在下文提到的權重。

4.2 權重分析

在基于身體行為的綜合評價模型中，各指標權重的確定是其核心問題。因此，要實現綜合評價信息的融合，首先要了解每個屬性的影響度可由權重值來表示，權重大的即影響程度大，權重小也就代表影響小。而權重的確定方法可分為主觀賦權法和客觀賦權法。

主觀賦權法中的層次分析法（Analytic Hierarchy Process）[3]是使專家決策者對照相對重要性的參照表2 給出指標兩兩比較的重要性等級，因而可靠性高，誤差小，并且經該方法取得的最終結果具有一定的可遺傳性，所以決定在權重分析中采用層次分析法。首先由專家對評價指標根據表2 進行兩兩比較，得到判斷。構造了判斷矩陣后，再由和積法求該判斷矩陣的最大特征值和對應的特征向量。具體步驟如圖4 所示。

按照上述步驟可分別求出學生身體行為屬性的權重向量為：

表3 身體行為時長檢測結果Table 3 Test results of physical behavior duration

圖5 基于本文方法得到的學生學習興趣度分布Fig.5 Distribution of students' learning interest based on the method in this paper

5 結果分析

為了驗證本文權重計算方法的合理性，以及學生學習興趣度結果是否能真實反映學生的學習興趣表現，本文以一段600s 的視頻為例，跟蹤整個視頻中隨機抽取的8 名學生的6 種身體行為動作時長（單位：s）見表3。

根據層次分析法得到的6 個身體行為動作的權重關系見表4。

基于文本分析法的身體行為特征融合結果如圖5 所示。

最后根據興趣度具體值的整體分布，取0.4 為閾值，將大于0.4 的歸為有興趣，小于0.4 的歸為不感興趣。再將基于以上算法得出的檢測結果分別與自我評價是否感興趣的客觀真值和教師評價學生是否感興趣的客觀真值進行比較[4]，從而計算出本文方法與這兩個值比較的比較結果見表5。

表4 權重關系Table 4 Weight relationship

表5 興趣分類識別率（%）Table 5 Interest classification recognition rate (%)

這個表可以很直觀地說明通過本文的數據提取以及分類器分類再經過一系列的計算所得到的反映學生在課堂環境中興趣程度的結果是非常有效并且實用的。

6 結論

首先，本文對教學中學習狀態識別的基本思想進行了介紹，詳細論述了教學中學習狀態識別的特點并論證了可行性。其次，本文介紹了教學中反映學習狀態的特征動作，定義了6 種特征動作并敘述了6 種特征動作的識別方法，從而得出了分類器的識別準確率。并經由綜合評價信息融合以及層次分析法確定權重。最后，結合實驗結果分別與自評和教師評價的客觀真值進行比較，同時驗證了本文權重計算方法的合理性。