專注度識別研究綜述

孫帥成　劉瑞明

摘 ?要：效率是工作者最關心的問題之一，而專注度是影響效率高低的關鍵因素。近年來，人們對個人的專注度的重視程度大大提升，提出了很多針對專注度的判斷方法，例如人工觀察、問卷調查、訪談等。這些方法可信度不高、客觀程度不夠、效率低下、浪費資源等，在機器視覺快速發展的情況下，將機器視覺和專注度識別相結合，更加智能和高效地進行專注度識別。該文對國內外的研究歷程和進展進行了回顧，并從基于人臉表情的專注度識別和基于行為的專注度識別兩個方面對人臉專注度識別技術進行了闡述。最后探討了專注度識別的發展趨勢，為后來者提供借鑒。

關鍵詞：專注度 ?機器視覺 ?人臉表情識別 ?行為識別

中圖分類號：TP18 ? ? ? ? 文獻標識碼：A ? ? ? ? ? ?文章編號：1672-3791（2021）02（a）-0006-04

A Review of Research on Attentiveness Recognition

SUN Shuaicheng1 ?LIU Ruiming2*

（1.School of Mechanical and Marine Engineering， Jiangsu Ocean University; 2.School of Electronic Engineering， Jiangsu Ocean University， Lianyungang， Jiangsu Province， 222005 China）

Abstract：Efficiency is one of the concerns of workers and concentration is a key factor affecting efficiency. In recent years， our emphasis on personal concentration has greatly increased and many judgments on concentration methods such as manual observation， questionnaire surveys， interviews， etc. These methods have low credibility， insufficient objectivity， low efficiency and waste of resources. In the case of rapid development of machine vision， machine vision and concentration recognition are combined to more intelligently and efficiently recognize concentration. This article reviews the research history and progress at home and abroad， and explains the facial recognition technology from two aspects： facial expression-based concentration recognition and behavior-based concentration recognition. Finally， it discusses the development trend of concentration recognition and provides a reference for the latecomers.

Key Words：Attentiveness; Machine vision; Face expression recognition;Behavior recognition

專注度識別有多種方法，例如，基于人臉表情識別的專注度識別和基于行為的專注度識別，其中基于面部表情的專注度識別是一個研究熱點。人的情感是一個相當復雜的心理過程，每個人的情感表達也有很多方式，我們將情感的表達分成3類：表情、語言、動作。這3類中，語言和動作的欺詐行為的易操作性遠遠比人臉表情高，依靠表情表現出的信息更為可靠。基于面部表情的專注度識別就是利用攝像頭來獲取面部的表情特征信息，并通過計算機來進行解析，然后對解析結果進行專注度判別。此類技術具有非常巨大的應用前景，例如教育教學、安全駕駛、市場調查、產品評估、裝備智能化等。

1 ?基于面部表情的專注度識別方法

情緒是一種主觀認知經驗的統稱，會對人的記憶、感知、思維等活動產生影響，不同的情感狀態會對專注度產生不同的影響，而不同的情感狀態表現在不同的面部表情上，通過對表情的判斷可以判別專注度的狀態。隨著科技的進步，數據的重要性越來越高，表情識別的數據庫越來越豐富，各種研究機構也越來越多進入這一領域。

何秀玲等人[1]提出基于深度學習模型的自發學習表情識別，將課堂中的情緒分為5類，分別為困惑、快樂、疲倦、驚訝和中性。文中提出了一種融合局部幾何特征、全局CLBP特征和CNN深度特征的特征提取方法;并構建了自發學習表情數據庫，包含22名被測者共979張表情圖像。文中算法在自建庫中識別率為95.6%，并在中國化情緒圖片系統和CK+庫中分別達到了86.7%和96.3%，提高了識別率。

唐康[2]基于深度學習，將表情識別與課堂教學評價相結合，通過對人眼與頭部姿態、唇部姿態等特征研究，定義了傾聽、疑惑、理解、抗拒、不屑5種表情。通過對學習者表情的識別結合抬頭率，實現對學生專注度的分析。

郭曉旭[3]將微表情技術與專注度相結合，提出了基于微表情識別的學生課堂專注度分析系統，采用了綜合深度學習框架FATAUVA-Net[4]，將動作單元與效價喚醒空間相結合，通過學習者在愉快維的情感狀態結合喚醒維和興趣維的強度，實現對學習者的情緒識別，更全面地對學習者的學習狀態進行評價，并分為注意力非常集中、集中、不集中、非常不集中4種狀態。

徐振國[5]將學習者的情感表情分為常態、高興、悲傷、驚恐、憤怒、專注、走神7種類型并采用卷積神經網絡進行表情識別，同時同步采集與學習者情感對應的學習畫面，建立學習畫面情感圖像庫，探究了不同的畫面和情感對學習者的影響。

2 ?基于行為的專注度識別

除了上述基于面部表情的專注度識別，基于行為的專注度也是研究熱潮。通過對人的眼睛張合、哈欠、低頭抬頭、身體朝向等行為作為判斷基準來判斷專注度。以教育教學為例，主要列舉了3種方法，一是以抬頭低頭為判斷基準的專注度判別方法;二是以人眼張合度為判斷基準的方法;三是結合面部和身體特征為判斷基準的方法。

2.1 以抬頭低頭為判斷基準的方法

學生課堂中的專注度識別是相當復雜的，這里取其中抬頭低頭作為識別專注度的一個標準，將大多數人的行為意向作為專注意向，當大多數人抬頭的時候，低頭的人專注度較低。

孫亞麗[6]將文獻法、觀察法統計法等相結合，在C++和OpenCV環境下編寫了人臉檢測程序，每50幀檢測一次課堂中學生的抬頭低頭的情況，并適合學生成績進行綜合考慮，研究了不同同學的專注度差異和課堂中高專注度的時間段的分布。研究表明，在70～90分的分數段的學生的專注度最高，50～60分的分數段專注度最低，而90～100分的學生專注程度略低于70～90分的學生。這是由于90～100分的學生的學習能力和接受程度都偏高，通過較少的專注時間就接受了老師傳授的知識，并且還總結出了每節課的專注度高峰期有3個，主要分布在課堂的前10 min、中段21～30 min和下課前的5 min。老師可以根據上述數據對不同層次的學生因材施教，使每個學生都得到最大程度的發展，提高教育的有效性。

但是這種判斷基準仍然存在明顯的缺點，光憑借抬頭、低頭對于學生的專注度識別來說還是不夠準確，抬頭的學生也有存在發呆走神的情況。

2.2 以人眼張合度為判斷基準的方法

為彌補上述缺陷，在以抬頭、低頭為判斷基準的基礎上，段巨力[7]進行了改進，增加了在大多數同學抬頭的情況下對于抬頭的學生的人臉檢測，在都是抬頭無法判斷是否有人專注度下降時，再通過眼睛張合度來判斷每個學生的專注度。

在人臉定位之后進行對人眼的定位，通過矩形定位將不規則的人眼睛化為矩形，得到了矩形的長度和寬度，提高了算法效率，為計算人眼張合度提供便利。人眼的張合度就是指人眼張開程度[8]，眼睛睜得越大，眼球露出的面積就越大，人的專注度就越高，在人臉識別中，將人眼部分用矩形標識出來，用來計算張合度，其數學公式可以表示為：

（1）

式中，ZHD為人眼張合度，H為眼睛的高度，W為眼睛的寬度。

計算出人眼張合度后，將被測目標的人眼張合度與最大人眼張合度相比，得到的就是專注度（ZZD）。

通過對ZZD（專注度）值的判斷來確認專注度的高低。在實驗樣本為一個班60人的情況下，這種算法對于專注度的準確率達到了92%，而傳統的FB（特征綁定）專注度算法的準確率只有80%，大大提高了識別的準確率。但是仍然存在著問題，每個學生的數據過于龐大，需要逐幀分析學生的抬頭、低頭的有效次數;并且每個學生的眼睛大小不同，需要對每個學生建立數據庫存儲各自的數據，計算量巨大;同時對于圖像的質量要求也很高，圖像越清晰監測的效果就越好。

2.3 結合面部和身體特征為判斷基準的方法

Janez Zaletelj與Andrej Ko?ir[9]使用Kinect One傳感器獲取數據特征，將面部特征與身體特征相結合，并設計訓練了7個簡單到復雜的分類器來判斷注意狀態，具體關系見圖1。

實驗人員為斯洛文尼亞一所公立大學的22名本科生。對于身體特征，Janez Zaletelj等人使用Kinect傳感器在授課過程中記錄了學生的視頻和3D數據，并使用Matlab中的腳本Kin2 Toolbox for Matlab，實時特征提取了視頻中的骨骼，并以矢量標記表示（以傳感器為原點建立的坐標系）。對于面部特征，使用了Kinect SDK 2.0人臉跟蹤引擎，并以教室左上角為原點建立坐標系來表示各個測試人的凝視點的位置，通過關系圖對數據進行訓練。

該方法的測試結果顯示在短時間的專注度下降情況下，檢測效果好，準確率達到0.753，但是在長時間的維持低專注度姿勢時檢測準確度只有0.55。

3 ?結論

在教育方面，前人的研究大多只是專注于提高學生的學習效率，而沒有更多地將注意力集中于識別學生的專注度，將人臉專注度識別技術與教育相結合，將課堂上學生是否認真判斷從老師主觀判斷中解放出來，將專注程度數據化、直觀化、客觀化，這是一種新型的創新領域。這種專注度的研究讓老師更加了解學生的學情，能更高效地利用教師資源，更容易達到因材施教的目的，讓每個學生都能得到最符合自身情況的教學，讓老師可以更科學地授課，調動每個學生上課的積極性，提高學習效率。

人臉專注度識別是建立在人臉表情識別的基礎上的，高速發展的人臉表情識別技術帶動了專注度識別的發展，盡管經過幾十年的努力，在人臉專注度識別方面已經取得了許多成果，但是各種算法仍還在摸索當中，還有許多需要改進的地方值得我們深究。

3.1 對于表情分辨的準確度和精細程度有待提高

人臉表情識別區別于人臉識別的地方是人臉識別注重于區別不同人臉的不同特征，面部表情是作為干擾信號存在，而人臉表情識別則是分辨一張人臉上的不同情緒導致面部的細微區別，個體差異反而變成了干擾因素。專注度是在表情識別的基礎上再結合實際情況，對每個人的認真程度進行區分，這對于表情的分辨要求更高。對于人臉的情緒特征表示方法還需要進一步改進。

（2）降低外界對于圖像識別準確率的干擾。在拍攝圖像時，很難保證每張臉都是正對攝像頭，總會存在偏轉、被遮擋、光線干擾、與背景相似度過高等問題，需要在對圖像進行預處理之前就先進行篩選，選出有效的圖像進行識別，以降低計算機的計算量。

本文對人臉專注度識別進行了歸納與探討，闡述了專注度識別中各步驟所采用的方法、原理和特點。研究了課堂情況下的學生的專注程度，介紹了幾種不同基準下的識別學生專注程度的方法，并分析了幾種方法的優缺點，為該領域的研究人員繼續研究提供參考。

參考文獻

[1] 何秀玲，高倩，李洋洋，等.基于深度學習模型的自發學習表情識別方法研究[J].計算機應用與軟件，2019，36（3）：180-186.

[2] 唐康.人臉檢測和表情識別研究及其在課堂教學評價中的應用[D].重慶師范大學，2019.

[3] 郭曉旭. 基于微表情識別的學生課堂專注度分析系統研究[D].云南師范大學，2019.

[4] Chang W Y， Hsu S H， Chien J H.Fatauva-net： An integrated deep learning framework for facial attribute recognition， action unit （au） detection， and valence-arousal estimation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshop.2017.

[5] 徐振國.智慧學習環境中學習畫面的情感識別及其應用[D].山東師范大學，2019.

[6] 孫亞麗.基于人臉檢測的小學生課堂專注度研究[D].湖北師范大學，2016.

[7] 段巨力.基于機器視覺的學生上課專注度的分析評測系統[D].浙江工商大學，2018.

[8] 左國才，王海東，陳林書，等.基于人臉識別技術的現代學徒制學習效果評價研究[J].智能計算機與應用， 2019，9（2）：116-118.

[9] Zaletelj J ， Koir A . Predicting students' attention in the classroom from Kinect facial and body features[J]. Eurasip Journal on Image & Video Processing， 2017， 2017（1）：80.

①作者簡介：孫帥成（1995—），男，碩士在讀，研究方向為模式識別。

通信作者：劉瑞明（1975—），男，博士，教授，研究方向為模式識別與智能系統、智能控制、圖像處理等方面， ?E-mail：raymondrmliu@126.com。