姿態識別在線上教學中的應用

鄭州科技學院 徐少欽 任子童 盧明柱 周 麗 王玉萍

隨著時代的發展，線上教學得到了迅猛地飛速發展，成為教育發展的有力補充，新冠肺炎的突然爆發，更是為線上教學提供了巨大的舞臺。在疫情的背景下，為了人民的健康，社會各行各業大幅度停擺，開學也變得遙遙無期。因此，為了使學生仍然能夠學習知識，各級各類院校積極響應國家教育部提出的號召——停課不停學。但是在這種全面依托線上教學進行授課的過程中，現有的線上教學暴露出了其弊端，因為缺乏老師監督和課堂氛圍，所以大多數學生很難和線下教學一樣集中精力認真聽講，老師也無法得知學生的學習狀態，教學效率極其低下。線上教學在這種大范圍、全面教學方面，存在著天然的缺陷，針對這種現象，在視覺處理和圖像識別愈來愈發達的今天，可以將姿態識別加入教學中，讓軟件監督學生上課、分析學生上課的情況。即對學生上課時候姿態進行的不斷監測，通過特征值分析出學生的動作，進而判斷出學生此時的狀態，如是否分神、是否在認真聽課等，并給學生一定的提示，對學生起到一個督促的作用，等到下課后軟件會將所有學生的學習狀態發送給老師，讓老師對這節課的教學成果有一定的了解。這樣可以很大程度上減少線上教學目前的弊端。

圖像識別的發展經歷了三個階段：文字識別、數字圖像處理與識別、物體識別。數字圖像與模擬圖像相比具有存儲，傳輸方便可壓縮、傳輸過程中不易失真、處理方便等巨大優勢，這些都為圖像識別技術的發展提供了強大的動力。圖像識別問題的數學本質屬于模式空間到類別空間的映射問題。在圖像識別的發展中，主要有三種識別方法：統計模式識別、結構模式識別、模糊模式識別。姿態識別作為圖像識別的一個分支，隨著深度學習技術的發展，狀態關鍵點的檢測效果也在不斷提升，且被廣泛應用于計算機視覺相關領域，成為許多計算機視覺任務的基礎。

1 課題研究的意義

近幾十年計算機網絡的快速發展使得互聯成為現實，從最開始簡單的電信號的傳輸到聲音信息，文本信息，視頻信息的傳輸，在此背景下，1988年威爾史密斯教授第一個提出線上教學的概念。近年來隨著線上教學在我國的逐漸發展，線上教學的用戶量越來越多、發展越來越快。與此同時線上教學的問題也逐漸凸顯，如學生上課注意力不集中，學習效率低下，老師不能掌握學生的上課情況。即使在直播課程中老師也只能看學生扁平、單調的電子影像，并不知道學生的學習狀態和情況。姿態識別在線上教學中的應用，對提升學生線上教學的學習效率和改善學習狀態有很大的作用，軟件對學生上課的狀態進行監測，并自動對不認真聽講的學生進行提醒，而老師課堂上只需專心講課，課后可以通過軟件生成的數據了解到學生的學習情況。

2 姿態識別算法實現

2.1 算法介紹

常見的姿態識別方案主要有以下兩類：一種是基于自上而下的方案，即：針對采集的幀圖片先進行整體的人體識別然后再預測提取關鍵點，但此方案輸出結果與運行時間和人數成反比。另一種方案是基于自下而上的方案，識別過程則與之相反，自下而上的識別方法在運行識別前期具有很好的魯棒性，通過測試發現該算法識別準確率較高但識別效率比較一般。

結合實際需求最終選定了自下而上方案中的OpenPose算法。能夠基于該算法實現全身姿態識別、手部動作識別等多應用場景識別，具有非常更好的適用性和擴展性。算法識別大致流程如下：基于已存在的幀圖像作為輸入數據，然后經過10層的VGG19網絡轉化為圖像特征F，然后在經過置信度網絡和親和度向量場網絡兩個分支網絡分別計算預測每個關鍵點的置信度和親和度向量。如圖1和公式所示。（其中S是置信度網絡，L是親和度向量場網絡）

圖1 網絡處理構圖

在預測關鍵點置信度之后，利用NMS的方法獲取具體的坐標位置，最終匯聚成關鍵點集。然后根據親和度等依據判斷任意兩點是否連線配對，最終在依據Hungarian算法找出使得總親和度最高的一組配對方式作為結果輸出。

2.2 Openpose部署及測試

目前基于現階段的openpose算法，實現針對于圖像采集器視頻流式的實時動態全身姿態關鍵點的檢測、識別、輸出保存，以及針對于幀圖像式的全身、面部、手部等等更加多樣式的識別、輸出保存。

在部署方面，基于源算法，直接截取源輸出數集并保存。以此數據作為接下來應用的主要依據，然后將此數集轉換成為數組。以全身識別為例：如圖2所示，將一張完整的全身照片圖2作為輸入數據，然后經過OpenPose檢測運算得到姿態關節布局呈現如圖3、4所示，并在程序中直接截取源數集，保存或讀取建立成為25行3列的二維數組（圖5）。其中元素分別存對應全身25個關鍵點的相對橫縱坐標以及置信度值。

3 基于日常教學的識別

3.1 前期流程

首先是基于算法部署過后數集數組做輸入操作，結合實際教學中大多數學生都是以坐的姿態進行聽課的基礎，所以對源輸入數組中的身體下部關節關鍵信息做屏蔽處理暫時不在考慮，主要針對肢體上半部分進行研究使用，所以經過對源程序經過調整形成如圖6所示的形式，然后基于此在進行下一步工作。

對于調整過的數組在經過上方流程對數據篩選之后就進入了數據算法環節。這里以上課活動姿態為簡單分析示例。如圖7所示，這是正常情況下學生的上課姿態圖示，然后鎖定相對的前一幀中的0點、1點、2點、5點的坐標值，分別定義0點1點連線、1點5點連線、1點11點連線為A、B、C線，定義1點10點連線、1點2點連線為D、E線，定義2點8點連線、5點9點連線為F、G線，然后基于以上連線為基礎開始運算。如圖8所示。

圖2 原輸入圖片

圖3 識別后的關節標識圖

圖4 模型信息

圖5 識別后數據結果

圖6 肢體上半部局部識別

圖7 模型簡化示意圖

圖8 數據設定圖示

3.2 算法設定

如果線上學習過程中存在活動的行為姿態，就進行以下的角度式、距離式和關鍵點活動范圍式等方式聯合進行判斷。在角度判斷方面，通過大量實際數據測試發現在正常線上教學中A、B線之間的角度應該在75°～125°活動范圍之間，AE線角度則為互補。所以當該幀識別數據結果檢測到相應夾角不在此合理范圍之內并且與前一幀差別大于15°時則就發出一個提示并標記為一項判定原因。

在距離方面。通過觀察發現學生在上課過程中的活動姿態既可能左右搖晃變化，也有可能上下浮動，是非常千奇百怪、各種各樣的，但都會造成關鍵線段距離的變化。取A、G、F三條線段為主要對象，分別鎖定計算這一幀圖像中三條線段的距離，如果與前一幀相較A長度變化范圍大于10個單位、G或F長度變化范圍大于17個單位就認為此時姿態發生了變化，然后就發出提示并標記為一項判定原因。

在活動范圍方面，基于所需要的關鍵的關節點進行鎖定，然后基于此點為圓心取7個單位為半徑劃定范圍進行判斷（如圖9所示）。此項判斷只是一個輔助條件判斷，此項判定的影響因子設定較小但必不可少，一方面如果滿足上方兩個條件必然會造成此項的成立，如果上方條件不滿足或不完全滿足則就在判斷此項。

圖9 活動范圍判斷圖示

基于以上流程和條件即可簡單判斷此時的姿態是否發生了變化，然后將發生變化的信息記錄、反饋給使用者并把變化的證據保存下來。教師使用無論是錄播授課或者是直播課堂都可以進行實時或過后查看學生姿態變化情況及記錄，極大地減輕了工作量。

4 結論及展望

4.1 結論

綜上所述，在當前線上教育系統中，還存在很多弊端，線下教育可以實時關注到學生出勤情況、聽課效率，但線上教育中則存在學生考勤、聽課效率等問題，本篇文章結合了姿態識別算法以及當前線上教學軟件系統，在現有線上教學軟件的基礎上運用姿態識別算法，通過學生的面部以及手部姿態進行分析，當檢測到學生頻繁地發生較大的姿態變換時，系統發出警告，課程結束后系統自動返回學生課上狀態，使教師能夠更加詳細的了解學生的學習狀況，從而加大對學生的監督與督促作用，顯著的提高學生的學習效率，增強線上教育的教學效果。本項技術運用到線上教學中，可以有效的縮小線上、線下教學的差距，使線上教學即擁有其本來的便利性，也擁有線下教學的效果，使得教師或學生不會再出現因突發情況而造成影響教學的情況，亦可以極大的方便及加強一些偏遠山區的教育。

4.2 展望

雖然，將姿態識別加入線上教學中對線上教學的教學效果有顯著提高，但是目前為止，姿態識別在線上教學中的應用還存在很多問題。首先，學生在上課時不可能是一直保持一個姿態的，那么如何準確的區分出學生的哪些情況屬于正常聽講，哪些情況屬于不認真聽講就非常重要；其次，由于每個學生的聽課習慣不同，如果依照一個標準對所有學生進行檢測，得出的結果必然是不夠準確的。因此，如何根據課堂上的實時狀況及每個學生的習慣準確的、智能的檢測出學生是否在認真聽課是目前所面臨的一個重要難題。