課堂環境下用于頭部行為識別的李群特征表示

謝 冬，孟凡榮，賀恒桃，閆秋艷

中國礦業大學 計算機科學與技術學院，江蘇 徐州 221116

近年來，人工智能（artificial intelligence，AI）飛速發展，計算機視覺（computer vision，CV）作為其重要分支，正在不斷發展的計算機視覺技術正逐漸成為人們的認知世界過程中的主體應用技術[1]。在以人類為研究對象的計算機視覺研究領域中發現，人的頭部包含豐富的表達信息，哈佛大學的Ambaby教授[2]對授課過程做過一個實驗，得出結論：教師在課堂環境表達自己思想的過程中，非語言表達方式和語言表達方式同樣重要，非語言表達方式可能有著更加明顯的作用。這一結論對于授課的信息接收者——學生也同樣適用，學生頭部的姿態蘊含著豐富的信息，跟他的情緒、動作有著強大的潛在聯系。基于頭部特征的相關計算機視覺問題，目前成為了科研工作者的研究熱點，并已經有落地實施的項目，比如在汽車安全駕駛、人機交互、刷臉支付等領域。

近年來，在頭部行為識別領域，肌音信號（Mechanomyography，MMG）[3]——反映肌肉力學特性的一種肌肉收縮時產生的低頻信號——使頭部行為識別技術取得了顯著進步，但是存在一些不適用性，比如課堂環境下為每個學生配置肌音信號傳感器存在成本高、干擾教學秩序的問題。因此，如何從隨堂采集的視頻數據中直接實現學生頭部行為的識別，并且克服傳統課堂中光照、陰影等環境因素對頭部行為識別造成的影響，是實現自動化評價教學質量的關鍵。

傳統的頭部行為識別大多是作用在RGB圖像序列上，然而RGB圖像數據缺少深度信息，基于RGB人臉圖像提取的面部幾何特征極易受到光照、陰影等因素的干擾，影響頭部行為識別準確率。隨著傳感技術的發展，深度傳感設備在市面上逐漸普及，例如市場流行的體感設備Kinect除了獲取彩色圖像還可以獲取深度圖像（DepthMap），深度圖中每個像素值都是傳感器距離物體的實際距離，通過深度圖可以準確提取出物體關鍵點的空間3D數據。深度圖不僅包含空間信息而且抗干擾能力強，可以解決RGB圖像數據易受光照、陰影等因素影響的問題，受到越來越多研究人員的關注。

本文以計算機視覺技術為基礎，以Kinect獲取的深度圖為數據對象，研究課堂環境下學生頭部行為的識別方法，從頭部行為深度圖中提取頭部行為的李群特征表示，提升課堂環境下學生頭部行為識別的準確率，為后續分析課堂教學環境下學生的學習狀態，評價教師的課堂教學效果奠定數據基礎。

1 相關工作

目前，基于深度圖的頭部行為特征提取的方法主要分為兩大類，即從深度圖像中提取頭部姿態角特征以及提取深度和速度特征。胡習之等人[4-5]利用Kinect攝像頭進行人臉識別的基礎上，計算得到頭部姿態角特征監測駕駛員的駕駛狀態，設定安全區域角度閾值。范子健等[6]通過Kinect設備獲取學習者頭部姿態坐標，計算得到頭部偏轉角度，當坐標大于閾值即判定為某一行為。胡占峰[7]借助Kinect傳感器獲取彩色圖像和深度圖像數據，獲取人臉3D信息得到面部特征點，分析鼻尖、眼睛的運動方向、運動距離和運動偏轉角度是否超過了規定的閾值，識別駕駛員行車途中左右轉頭或抬頭低頭不安全行為，將偏航角信息作為頭部行為識別的特征卻存在場景不適用性。Ohtsuka等人[8-9]提出利用深度傳感器識別頭部姿態運動，實現非接觸式控制輪椅功能，作者將前傾姿態的變化分為四個階段，為每個階段設定頭部的深度信息的閾值范圍，生成控制輪椅的指令信號，這種方式只能識別前傾動作。Jindai等人[10]提出Kinect獲取頭部三維形狀和顏色圖像，利用AAM對面部跟蹤測量頭部節點計算點頭角速度，并將角速度作為頭部行為識別的特征。Patwardhan[11]的工作主要識別人體運動，其中為了追蹤并識別頭部運動，追蹤頭顱前后共12個特征點的坐標、距離和與水平線的角度，最后將它們合并為一個特征向量，這種特征表示方式得到的特征維度過高。現有的特征提取方法特征維度過高且難以同時表達時間空間的信息特征，對于課堂環境下的頭部行為識別適用性偏低。

近年來，空間幾何特征——李群[12-13]不再局限于數學領域的理論研究，這類連續變換群在計算機領域的應用也開始廣泛起來。李群既滿足群操作，又滿足流形[14-16]的性質。人體各個部位的運動可認為是剛體運動，剛體（Rigid body）是力學中的一個抽象概念，是在任何情況下都不發生變形的物體，不論是否受力，剛體內部任意兩點之間的距離總保持不變，因此，人體頭部可以簡化成物理學意義上的剛體，其運動可以應用剛體運動來表征。李群SE(3)和李代數se(3)間的轉換有對數映射形式logSE(3):SE(3)→se(3)和指數映射形式expSE(3):se(3)→SE(3)。反對稱矩陣（skew symmetric matrix）可以將三維向量和三維矩陣建立對應關系，就將流形空間中的特征映射到歐式空間中進行分類。為此，提出了一種適用于課堂環境的基于李群的特征表示方法。

2 本文方法

引入深度信息獲取面部關鍵點坐標并且將每個頭部動作序列視為沿空間和時間兩個方向的變化序列，通過描述頭部行為在時空方向的變化提取頭部動作序列的李群時空特征，使用SVM分類器對提取出的頭部李群特征進行分類識別。

2.1 深度圖中獲取面部關鍵點及關鍵段

目前頭部行為識別領域尚未存在廣泛使用的深度數據集，雖然已經存在從二維圖像提取三維坐標的技術，但是其效果仍然存在偏差。含有深度信息的深度圖能提供更準確的信息來源，因此，本文利用OpenFace[17]技術提取面部關鍵點的三維坐標，共可得到67個面部關鍵點信息，但是對于面部67個關鍵點，并非所有面部關鍵點對頭部行為識別都起到重要作用，為了減少數據冗余，從面部67個關鍵點中提取出5個關鍵點信息，其中，提取第39、42關鍵點表征面部上部分區域，提取第30關鍵點鼻尖表征面部中間區域，對于提取第48、54關鍵點嘴角表征面部下部分區域，具體關鍵點如圖1所示紅色區域表示。

圖1 OpenFace面部關鍵點Fig.1 Key facial points obtained by OpenFace

利用OpenFace得到對頭部行為識別具有顯著作用的面部關鍵點的三維數據，并根據需要將獲得五個關鍵點的三維位置進行統一格式處理。隨著類似Kinect深度傳感器在市場上的普及，提取面部三維坐標相對容易，Kinect傳感器提供場景的三維深度數據，對光照變化具有魯棒性，為提取面部三維信息提供了可靠的數據來源。對課堂數據集，本文用Kinect提取出人臉5個關鍵點部位，為表述方便將臉部關鍵點簡稱關鍵點，并且為能夠清楚描述本文提出的空間幾何特征明確了關鍵點之間的坐標指向，以鼻子為中心指向其他關鍵點，構成臉部關鍵段簡稱關鍵段，具體表示如圖2所示。

圖2 面部關鍵點及關鍵段Fig.2 Face critical points and segments

對于人臉關鍵點信息，用符號S=(V,E)表示，其中V=(v1,v2,v3,v4,v5)表示關鍵點集合，E=(e1,e2,e3,e4)表示關鍵段集合。為下文表述方便，記關鍵段en∈E，其中en1∈R3，en2∈R3，分別表示關鍵段en的起始點和終止點，ln表示關鍵段長度。

2.2 李群特征提取

根據上述定義，可以將頭部動作建模為流形空間的特征，即將頭部行為看作為一條曲線。以向右做擺頭動作為例，如圖3所示，頭部動作是由一幀幀的動作序列構成，當前幀與下一幀之間都存在某種時空聯系，根據本文提出的李群表示模型將當前的面部關鍵段與下一幀的面部關鍵段之間的關系以旋轉平移的方式表現出來，這種表示方式既表示出空間關系又表示出時間聯系，頭部行為的完整動作序列所對應的李群時空特征序列就構成了流形曲線，通過對李群SE(3)×…×SE(3)構成的曲線分類即可完成頭部行為識別任務。

圖3 頭部行為的流形空間表示Fig.3 Manifold space representation of head motion

具體構成方式以某一對面部關鍵段em和en為例，為了描述它們的相對幾何關系，用一個局部坐標系來表示它們，通過旋轉和平移全局坐標系得到以某一面部關鍵段em為標準的局部坐標系，使得em與X軸重合并使em1為坐標原點，記旋轉角度為Rm，平移向量為dm，如圖4所示。

圖4 全局坐標系變換Fig.4 Global coordinate system transformation

基于人臉關鍵點信息的李群表示模型如圖5所示，其中Rm,n(t)表示在t時刻以en為局部坐標系，關鍵段em相對于關鍵段en局部坐標系的旋轉矩陣，dm,n(t)表示為在t時刻關鍵段em與en之間的平移向量。

圖5 en關鍵段為局部坐標系的旋轉平移Fig.5 Rotation and translation of en segments

將面部關鍵段em通過旋轉和平移與面部關鍵段en重合，則在當前t時刻可得到相對幾何關系，見公式（1）：

Gm,n(t)表示頭部從t時刻向右轉頭運動到t+1時刻期間以en面部關鍵段為局部坐標系，面部關鍵段em和面部關鍵段en之間的空間幾何關系。又因為各關鍵段長度ln不會隨時間變化而變化，所以相對幾何關系可忽略其長度在深度圖像數據的變化。同時為了獲得完整的時空信息，對于任意幀之間的所有關節點都通過公式（1）計算得出相應的幾何關系，那么在相鄰幀之間，所有關鍵段的相對幾何關系就可以表示為李群上的一個點，如公式（2）所示：

其中，Gp,q′(t)中p表示當前幀的面部關鍵段，q表示下一幀的面部關鍵段，C(t)∈SE(3)×…×SE(3)。

頭部行為就是由一幀一幀的動作序列構成，利用上述提出的李群表示模型表示出頭部所有關鍵段相鄰幀之間的相對幾何關系，那么描述完整的頭部動作序列就可以表示頭部行為的時空上下文信息，由此得到李群的一條曲線，即一個流形結構。

李群的曲線位于流形空間，常見的歐氏空間操作在這個空間中并不適用，支持向量機等歐氏空間標準分類方法和傅里葉分析等時間建模方法也不能直接適用于該曲面空間。若要能夠使用歐氏空間的方法，需要將李群從流行空間映射到歐氏空間，即需要將李群關鍵段表示模型映射為相應的李代數表示，通過李群到李代數的變換公式（3）可得到李代數向量空間：

其中，vec(·)表示李代數向量空間，由當前幀存在4個面部關鍵段與下一幀3個面部關鍵段的空間幾何結構構成李群特征，從流形空間映射到歐氏空間，對于一個旋轉平移矩陣可映射為6維李代數向量，則M為維數為6×4×3維度的向量，至此得到李群特征，用t在時域上的變化表示頭部行為。

通過李群表示模型表示頭部行為的時空信息得到李群特征后，若直接對獲得的李代數向量空間的曲線進行識別，很可能會導致分類效果不佳，因為獲取的深度數據存在速率變化（rate variation）、噪聲（noise）和時間偏差（temporal misalignment）等干擾因素的影響，因此，針對速率變化采用動態時間規劃算法（dynamic timewarping，DTW）進行調整，利用傅里葉時間金字塔（fourier temporal pyramid，FTP）處理時間偏差和噪聲等問題[18]。

2.3 頭部行為識別算法

基于李群特征的頭部行為識別算法通過運用頭部關鍵段在三維空間中旋轉、平移的幾何變換，對每對關鍵段在相鄰幀之間的幾何關系進行了表示，并將整個動作序列建模為李群空間上的一條曲線，以此表示頭部行為特征，由于速率不同、表現形式不同等原因造成的頭部動作復雜性，利用視頻進行頭部行為識別，采集到的各個動作視頻是不等長的，因此首先需要對動作序列的幀數進行規整，對不同數據集嘗試找到一個合適的幀數，將數據集中所有的動作序列都通過插值得到相同的長度。

在獲取相同長度的動作幀數后，使用3.2節中介紹的李群特征表示模型獲取動作序列的特征表示，對于待測試動作序列直接通過RBF核的一對多支持向量機對最終特征向量進行頭部行為識別，在測試集上輸出動作標簽，最終實現基于李群特征的頭部行為識別。

本文算法的流程如圖6所示。

圖6 頭部行為識別算法流程圖Fig.6 Head motion recognition training process

3 實驗與結果分析

3.1 數據集

為了驗證本文提出方法的有效性，分別在公共數據集和自定義課堂數據集上進行頭部行為識別實驗驗證。

公共數據集：

（1）BUHMAP-DB數據庫[19]旨在研究土耳其手語（Turkish sign language，TSL）相關的頭部動作和面部表情，640×480分辨率，30 frame/s。該數據集涉及11個不同的實驗人員，包含6名女性和5名男性，分別進行8種不同的頭部動作或表情動作，數據庫由8個不同類別的動作組成。BUHMAP-DB數據集包含的同意、不同意、困惑等頭部動作為本課題提供很多可用于課堂環境的數據來源，但并非所有的數據都涉及頭部運動，在本課題研究中，主要對BUHMAP-DB數據集中的HeadLR、HeadUp、HeadF、HeadUD、HappyUD共5個相關頭部動作進行實驗。

（2）KTH-IdiapCorpus[17]數據集由KinectV1攝像機拍攝，如圖3～9所示，視頻幀速率為30 frame/s。由于對話是圍繞著圓桌進行的，所以在視頻中參與者傾向于看著對方。視頻持續約1 h，從9個不同的人的視頻中選擇了5 min的片段，為了驗證本文所提出的方法，對77個點頭動作視頻進行實驗。

課堂數據集（Kinect classroom database，KCRD）：結合了Kinect傳感器和VisualStudio2010軟件平臺進行數據的采集和處理工作，依靠Kinect的人臉跟蹤的基礎功能獲取人臉面部深度圖，并可準確獲得的人臉關鍵部位。自定義課堂數據集包含8個頭部動作，分別為Right、Left、Rightup、Leftup、Rightdown、Leftdown、Nod、Shake，在模擬的課堂環境下6個實驗人員分別做這8個頭部動作，利用Kinect采集數據，具體采集的動作如圖7所示。

圖7 課堂數據集頭部行為視頻Fig.7 Captured head motion video

3.2 實驗結果分析

將頭部行為獲得的李群特征用RBF核的SVM進行識別、分類，表1展示了本文提出算法與其他頭部行為識別算法的效果對比，可以看到，在公共數據集上，本文所提出的特征表示方法比基于關鍵點角度、距離等的表示法表現得更好。在KCRD數據集上進行實驗，該數據集根據課堂環境設計的8個頭部動作，針對該數據集的8個動作，使用交叉驗證的方式進行驗證，最終在此數據集上取得平均識別率為73.63%。

表1 頭部行為識別效果對比Table 1 Comparison of head motion recognition effect

在BUHMAP數據庫上進行實驗的過程中，針對該數據庫中的5個動作的頭部行為序列，使用交叉驗證的方式進行測試，在此數據庫上，本文方法取得平均識別率為81.60%，比基于關鍵點位置軌跡的方法[20]高出4.2個百分點。在KTH-IdiapCorpus數據集上進行頭部動作識別得到80.84%的識別率，比基于頭部偏轉角度序列識別點頭動作評估注意力的算法[21]高出6.54個百分點。文獻[20]從提取出面部關鍵點后，利用頭部行為或面部表情過程中面部關鍵點位置的軌跡提取各種識別特征，如關鍵點二維坐標時間序列、面部幾何特征等，這種特征考慮到時空信息但易受環境因素的干擾。文獻[21]中利用人臉特征點計算頭部運動的姿態參數即姿態角，將姿態角與設定的閾值范圍進行比較，判定出學生異常行為，然而在某些特定環境下，姿態角因位置而異，無法利用姿態角閾值判定頭部行為。而提出的李群特征能夠有效避免這類環境、外貌以及位置因素的干擾，分類效果更優。

基于李群表示模型表示的特征的識別率比距離、角度等特征的頭部行為識別率高，并且在KCRD數據集上實驗結果可知基于相鄰幀提取的特征的識別率比在單幀提取李群特征的頭部行為識別率高47.94個百分點。

由實驗結果可知，相鄰幀之間不同的面部關鍵段的相對幾何關系比當前幀關鍵段之間的相對幾何關系能更好地表示出頭部動作的時空上下文信息。同時為了證明取臉部5個關鍵點的有效性，在BUHMAP數據集的人臉圖像提取5個面部關鍵點的基礎上另加入眉心2個關鍵點，得到7個面部關鍵點構造的空間幾何特征，最后得到61.84%的識別準確率，而基于面部5個關鍵點的空間幾何特征的頭部行為識別準確率比其高19.76個百分點，表明基于面部5個關鍵點的李群特征進行頭部行為識別的有效性，增加了關鍵點個數并沒有提高準確率，猜測是由于特征之間的冗余反而產生了干擾。實驗結果說明了在頭部行為識別中引入深度信息，并且根據李群表示模型提取的頭部行為的相鄰幀動作特征能夠較好表示動作的時空上下文信息。

同時為了驗證李群特征表示方法在課堂環境下適用性，進一步計算出在自定義課堂數據集KCRD上識別結果的混淆矩陣，如表2所示。

表2 KCRD頭部行為識別混淆矩陣Table 2 Head motion recognition confusion matrix on KCRD

數據集包含了各種不同朝向的頭部動作，實驗人員在完成頭部動作期間涉及其他頭部動作朝向不可避免，但大部分動作混淆的概率都較低且多數都為0，證明本文所提出的算法在課堂環境下依然能取得不錯的實驗效果，并且最高對于Shake動作取得了0.82的識別率，表明使用李群特征表示進行的頭部行為識別方法的有效性，并且適用于課堂這一特定環境。

4 結論

本文提出了一種基于李群的頭部特征表示方法，該方法從深度圖像中獲取頭部的時間空間特征，在流形空間中使用李群來表示頭部行為，并使用這種特征表示方法完成了頭部行為識別任務。實驗結果表明這種基于李群的特征表示方法能夠有效表達頭部的時空信息，并且對課堂環境具有很好的適用性。

本文方法的主要改進方向是選取搭建先進的網絡模型對提取的向量進行利用，并且課堂環境中存在語音文本等多模態數據，如何利用結合多模態數據結合圖像特征進行動作識別，將是下一步研究的主要內容。