姿態(tài)識別在線上教學中的應(yīng)用

鄭州科技學院 徐少欽 任子童 盧明柱 周 麗 王玉萍

隨著時代的發(fā)展，線上教學得到了迅猛地飛速發(fā)展，成為教育發(fā)展的有力補充，新冠肺炎的突然爆發(fā)，更是為線上教學提供了巨大的舞臺。在疫情的背景下，為了人民的健康，社會各行各業(yè)大幅度停擺，開學也變得遙遙無期。因此，為了使學生仍然能夠?qū)W習知識，各級各類院校積極響應(yīng)國家教育部提出的號召——停課不停學。但是在這種全面依托線上教學進行授課的過程中，現(xiàn)有的線上教學暴露出了其弊端，因為缺乏老師監(jiān)督和課堂氛圍，所以大多數(shù)學生很難和線下教學一樣集中精力認真聽講，老師也無法得知學生的學習狀態(tài)，教學效率極其低下。線上教學在這種大范圍、全面教學方面，存在著天然的缺陷，針對這種現(xiàn)象，在視覺處理和圖像識別愈來愈發(fā)達的今天，可以將姿態(tài)識別加入教學中，讓軟件監(jiān)督學生上課、分析學生上課的情況。即對學生上課時候姿態(tài)進行的不斷監(jiān)測，通過特征值分析出學生的動作，進而判斷出學生此時的狀態(tài)，如是否分神、是否在認真聽課等，并給學生一定的提示，對學生起到一個督促的作用，等到下課后軟件會將所有學生的學習狀態(tài)發(fā)送給老師，讓老師對這節(jié)課的教學成果有一定的了解。這樣可以很大程度上減少線上教學目前的弊端。

圖像識別的發(fā)展經(jīng)歷了三個階段：文字識別、數(shù)字圖像處理與識別、物體識別。數(shù)字圖像與模擬圖像相比具有存儲，傳輸方便可壓縮、傳輸過程中不易失真、處理方便等巨大優(yōu)勢，這些都為圖像識別技術(shù)的發(fā)展提供了強大的動力。圖像識別問題的數(shù)學本質(zhì)屬于模式空間到類別空間的映射問題。在圖像識別的發(fā)展中，主要有三種識別方法：統(tǒng)計模式識別、結(jié)構(gòu)模式識別、模糊模式識別。姿態(tài)識別作為圖像識別的一個分支，隨著深度學習技術(shù)的發(fā)展，狀態(tài)關(guān)鍵點的檢測效果也在不斷提升，且被廣泛應(yīng)用于計算機視覺相關(guān)領(lǐng)域，成為許多計算機視覺任務(wù)的基礎(chǔ)。

1 課題研究的意義

近幾十年計算機網(wǎng)絡(luò)的快速發(fā)展使得互聯(lián)成為現(xiàn)實，從最開始簡單的電信號的傳輸?shù)铰曇粜畔ⅲ谋拘畔ⅲ曨l信息的傳輸，在此背景下，1988年威爾史密斯教授第一個提出線上教學的概念。近年來隨著線上教學在我國的逐漸發(fā)展，線上教學的用戶量越來越多、發(fā)展越來越快。與此同時線上教學的問題也逐漸凸顯，如學生上課注意力不集中，學習效率低下，老師不能掌握學生的上課情況。即使在直播課程中老師也只能看學生扁平、單調(diào)的電子影像，并不知道學生的學習狀態(tài)和情況。姿態(tài)識別在線上教學中的應(yīng)用，對提升學生線上教學的學習效率和改善學習狀態(tài)有很大的作用，軟件對學生上課的狀態(tài)進行監(jiān)測，并自動對不認真聽講的學生進行提醒，而老師課堂上只需專心講課，課后可以通過軟件生成的數(shù)據(jù)了解到學生的學習情況。

2 姿態(tài)識別算法實現(xiàn)

2.1 算法介紹

常見的姿態(tài)識別方案主要有以下兩類：一種是基于自上而下的方案，即：針對采集的幀圖片先進行整體的人體識別然后再預測提取關(guān)鍵點，但此方案輸出結(jié)果與運行時間和人數(shù)成反比。另一種方案是基于自下而上的方案，識別過程則與之相反，自下而上的識別方法在運行識別前期具有很好的魯棒性，通過測試發(fā)現(xiàn)該算法識別準確率較高但識別效率比較一般。

結(jié)合實際需求最終選定了自下而上方案中的OpenPose算法。能夠基于該算法實現(xiàn)全身姿態(tài)識別、手部動作識別等多應(yīng)用場景識別，具有非常更好的適用性和擴展性。算法識別大致流程如下：基于已存在的幀圖像作為輸入數(shù)據(jù)，然后經(jīng)過10層的VGG19網(wǎng)絡(luò)轉(zhuǎn)化為圖像特征F，然后在經(jīng)過置信度網(wǎng)絡(luò)和親和度向量場網(wǎng)絡(luò)兩個分支網(wǎng)絡(luò)分別計算預測每個關(guān)鍵點的置信度和親和度向量。如圖1和公式所示。（其中S是置信度網(wǎng)絡(luò)，L是親和度向量場網(wǎng)絡(luò)）

圖1 網(wǎng)絡(luò)處理構(gòu)圖

在預測關(guān)鍵點置信度之后，利用NMS的方法獲取具體的坐標位置，最終匯聚成關(guān)鍵點集。然后根據(jù)親和度等依據(jù)判斷任意兩點是否連線配對，最終在依據(jù)Hungarian算法找出使得總親和度最高的一組配對方式作為結(jié)果輸出。

2.2 Openpose部署及測試

目前基于現(xiàn)階段的openpose算法，實現(xiàn)針對于圖像采集器視頻流式的實時動態(tài)全身姿態(tài)關(guān)鍵點的檢測、識別、輸出保存，以及針對于幀圖像式的全身、面部、手部等等更加多樣式的識別、輸出保存。

在部署方面，基于源算法，直接截取源輸出數(shù)集并保存。以此數(shù)據(jù)作為接下來應(yīng)用的主要依據(jù)，然后將此數(shù)集轉(zhuǎn)換成為數(shù)組。以全身識別為例：如圖2所示，將一張完整的全身照片圖2作為輸入數(shù)據(jù)，然后經(jīng)過OpenPose檢測運算得到姿態(tài)關(guān)節(jié)布局呈現(xiàn)如圖3、4所示，并在程序中直接截取源數(shù)集，保存或讀取建立成為25行3列的二維數(shù)組（圖5）。其中元素分別存對應(yīng)全身25個關(guān)鍵點的相對橫縱坐標以及置信度值。

3 基于日常教學的識別

3.1 前期流程

首先是基于算法部署過后數(shù)集數(shù)組做輸入操作，結(jié)合實際教學中大多數(shù)學生都是以坐的姿態(tài)進行聽課的基礎(chǔ)，所以對源輸入數(shù)組中的身體下部關(guān)節(jié)關(guān)鍵信息做屏蔽處理暫時不在考慮，主要針對肢體上半部分進行研究使用，所以經(jīng)過對源程序經(jīng)過調(diào)整形成如圖6所示的形式，然后基于此在進行下一步工作。

對于調(diào)整過的數(shù)組在經(jīng)過上方流程對數(shù)據(jù)篩選之后就進入了數(shù)據(jù)算法環(huán)節(jié)。這里以上課活動姿態(tài)為簡單分析示例。如圖7所示，這是正常情況下學生的上課姿態(tài)圖示，然后鎖定相對的前一幀中的0點、1點、2點、5點的坐標值，分別定義0點1點連線、1點5點連線、1點11點連線為A、B、C線，定義1點10點連線、1點2點連線為D、E線，定義2點8點連線、5點9點連線為F、G線，然后基于以上連線為基礎(chǔ)開始運算。如圖8所示。

圖2 原輸入圖片

圖3 識別后的關(guān)節(jié)標識圖

圖4 模型信息

圖5 識別后數(shù)據(jù)結(jié)果

圖6 肢體上半部局部識別

圖7 模型簡化示意圖

圖8 數(shù)據(jù)設(shè)定圖示

3.2 算法設(shè)定

如果線上學習過程中存在活動的行為姿態(tài)，就進行以下的角度式、距離式和關(guān)鍵點活動范圍式等方式聯(lián)合進行判斷。在角度判斷方面，通過大量實際數(shù)據(jù)測試發(fā)現(xiàn)在正常線上教學中A、B線之間的角度應(yīng)該在75°～125°活動范圍之間，AE線角度則為互補。所以當該幀識別數(shù)據(jù)結(jié)果檢測到相應(yīng)夾角不在此合理范圍之內(nèi)并且與前一幀差別大于15°時則就發(fā)出一個提示并標記為一項判定原因。

在距離方面。通過觀察發(fā)現(xiàn)學生在上課過程中的活動姿態(tài)既可能左右搖晃變化，也有可能上下浮動，是非常千奇百怪、各種各樣的，但都會造成關(guān)鍵線段距離的變化。取A、G、F三條線段為主要對象，分別鎖定計算這一幀圖像中三條線段的距離，如果與前一幀相較A長度變化范圍大于10個單位、G或F長度變化范圍大于17個單位就認為此時姿態(tài)發(fā)生了變化，然后就發(fā)出提示并標記為一項判定原因。

在活動范圍方面，基于所需要的關(guān)鍵的關(guān)節(jié)點進行鎖定，然后基于此點為圓心取7個單位為半徑劃定范圍進行判斷（如圖9所示）。此項判斷只是一個輔助條件判斷，此項判定的影響因子設(shè)定較小但必不可少，一方面如果滿足上方兩個條件必然會造成此項的成立，如果上方條件不滿足或不完全滿足則就在判斷此項。

圖9 活動范圍判斷圖示

基于以上流程和條件即可簡單判斷此時的姿態(tài)是否發(fā)生了變化，然后將發(fā)生變化的信息記錄、反饋給使用者并把變化的證據(jù)保存下來。教師使用無論是錄播授課或者是直播課堂都可以進行實時或過后查看學生姿態(tài)變化情況及記錄，極大地減輕了工作量。

4 結(jié)論及展望

4.1 結(jié)論

綜上所述，在當前線上教育系統(tǒng)中，還存在很多弊端，線下教育可以實時關(guān)注到學生出勤情況、聽課效率，但線上教育中則存在學生考勤、聽課效率等問題，本篇文章結(jié)合了姿態(tài)識別算法以及當前線上教學軟件系統(tǒng)，在現(xiàn)有線上教學軟件的基礎(chǔ)上運用姿態(tài)識別算法，通過學生的面部以及手部姿態(tài)進行分析，當檢測到學生頻繁地發(fā)生較大的姿態(tài)變換時，系統(tǒng)發(fā)出警告，課程結(jié)束后系統(tǒng)自動返回學生課上狀態(tài)，使教師能夠更加詳細的了解學生的學習狀況，從而加大對學生的監(jiān)督與督促作用，顯著的提高學生的學習效率，增強線上教育的教學效果。本項技術(shù)運用到線上教學中，可以有效的縮小線上、線下教學的差距，使線上教學即擁有其本來的便利性，也擁有線下教學的效果，使得教師或?qū)W生不會再出現(xiàn)因突發(fā)情況而造成影響教學的情況，亦可以極大的方便及加強一些偏遠山區(qū)的教育。

4.2 展望

雖然，將姿態(tài)識別加入線上教學中對線上教學的教學效果有顯著提高，但是目前為止，姿態(tài)識別在線上教學中的應(yīng)用還存在很多問題。首先，學生在上課時不可能是一直保持一個姿態(tài)的，那么如何準確的區(qū)分出學生的哪些情況屬于正常聽講，哪些情況屬于不認真聽講就非常重要；其次，由于每個學生的聽課習慣不同，如果依照一個標準對所有學生進行檢測，得出的結(jié)果必然是不夠準確的。因此，如何根據(jù)課堂上的實時狀況及每個學生的習慣準確的、智能的檢測出學生是否在認真聽課是目前所面臨的一個重要難題。