實現級聯形狀回歸方法對視線追蹤

崔強 田文泉

摘 要：網課的分心問題是網課中一個比較常見的缺點。在家上網課，學生往往會因為其他事情而分心，這會影響他們的學習效果和提高學習難度。有效地解決分心問題是提升在線學習效率的關鍵要素之一。針對這一問題，可以使用技術手段來解決，使用OpenCV對視線追蹤方法對視線追蹤在網課中具有廣泛的應用前景。隨著互聯網和智能設備的普及，越來越多的學生和教師選擇網課作為教學和學習的方式。而視線追蹤技術可以實現在線教學中的眼動跟蹤、情感分析、注意力監測等，以提高學生的參與度和教學效果。該方法還能夠根據學生的興趣愛好和學習進度，提供個性化、靈活和多樣化的學習資源和內容，以適應不同學生的需求和特點。

關鍵詞：分心問題；視線追蹤技術；OpenCV；在線學習效率

一、引言

普及網課的背景和動機主要是因為信息技術的發展和互聯網的普及。全球化和移動化的趨勢將人們從傳統的教育模式中解放出來，使他們能夠獲得更加自由、靈活和多樣化的學習體驗。在這種情況下，網課作為一種新的教學模式應運而生，具有時間靈活、地點無限、資源共享等優勢，已逐漸被廣泛采用。

但是網課教學仍然有不少的缺點，主要表現在缺乏互動性、技術要求高、容易分心和缺乏社交互動方面。實現視覺追蹤可以幫助網課解決以上問題，提高教育資源的利用效率，讓更多的學生受益。

二、視線追蹤

OpenCV中的級聯形狀回歸方法是一種基于機器學習的目標檢測算法，它可以用于人臉關鍵點檢測、手部姿態估計等任務。該方法的基本思想是通過訓練一個級聯回歸器，將目標的形狀從初始位置逐步回歸到真實位置。OpenCV提供了豐富的圖像處理和計算機視覺算法，可以用于實現視線追蹤功能。

級聯形狀回歸方法就是使用回歸模型，直接學習從人臉表征到人臉形狀的映射函數，進而建立從表觀到形狀的對應關系。這種方法的學習依賴于訓練集的選取，我們選擇從官方的數據庫選擇數據集，訓練集中包含了復雜的姿態變化，學習到的函數測試性能就會比較好。級聯方式：由粗到精一級一級的優化前一步得到的形狀，2個級聯結構，逐步細化特征點位置。人臉特征點檢測與形狀擬合方法，基于“特征提取”+“回歸坐標”的方法，把形狀擬合的坐標回歸問題，轉化為坐標PCA壓縮后系數與形狀整體仿射變換系數的回歸問題（相當于將傳統的SDM算法用于深度學習算法當中）。

（一）人眼檢測

級聯分類器：CascadeClassifier就是OpenCV下objdetect模塊中用來做目標檢測的級聯分類器的一個類，它可以幫助我們檢測人臉等物體。它的大概原理就是判別某個物體是否屬于某個分類。以人臉為例，我們可以把眼睛、鼻子、眉毛、嘴巴等屬性定義成一個分類器，如果檢測到一個模型符合定義人臉的所有屬性，那么就認為它是一個人臉。分類器對人臉數據集進行訓練，生成人臉分類器。用分類器對人臉檢測。從攝像頭讀取數據，將原彩色圖轉化為灰度圖，檢測圖像resize，調節minNeighbors類似于調節一個閾值，開始在灰度圖上檢測人臉。根據給定的人臉（x，y）坐標和寬度高度在圖像上繪制矩形，輸出是人臉區域的外接矩陣框。

對人眼數據集進行訓練，從而得到人眼分類器。在人臉檢測的基礎上，將人臉特征點檢測與形狀擬合方法，基于“特征提取”+“回歸坐標”的方法，對臉上再進行特征值提取，對人眼數據的進行標記，從而達到人眼識別的效果。根據給定的人臉（x，y）坐標和寬度高度在圖像上繪制矩形，輸出是人臉區域的外接矩陣框和人眼區域的外接矩陣框。

（二）PCA降維

PCA（Principal Component Analysis）是一種常用的數據降維方法，它可以將高維數據映射到低維空間中，同時保留數據的主要特征。PCA的降維過程為，將原始數據進行標準化處理，使得每個特征的均值為0，方差為1。計算標準化后的數據的協方差矩陣。對協方差矩陣進行特征值分解，得到特征值和對應的特征向量。根據特征值的大小，選擇前k個特征向量作為主成分。將原始數據投影到主成分上，得到降維后的數據。具體來說，數據映射的過程可以通過以下公式實現：

Y=X*W

其中，X是原始數據矩陣，W是由前k個特征向量組成的矩陣，Y是降維后的數據矩陣。

（三）視線檢測方法

再從人眼外接矩陣框中，對特征值進行提取。通過圖片對瞳孔和眼角點進行標記，得到瞳孔識別分類器，對人眼中的瞳孔進行坐標化定位。

將眼睛的注視方向歸結為十類，上、下、左、右、左上、右上、左下、右下、中間和閉眼狀態。以瞳孔中心為動點，眼角為定點，通過分析兩者的相對位置來確定視線方向。并與待觀測目標（比如電腦顯示屏上的某移動的點）所在平面建立對應坐標變換關系，從而獲得視線方向。形成射線來模擬人眼的視線效果。通過算法來預測在屏幕上的位置得到具體的坐標。

采集這十類眼睛的樣本，利用PCA等方法將得到的圖片向量降維，訓練出十類分類器。測試時，通過攝像頭采集圖像先進行人臉檢測然后是眼睛檢測，將檢測到的眼睛歸一化到樣本的尺寸，同樣方法降維后送入到訓練好的多類分類器中，輸出屬于哪類就認為眼睛就注視著哪個方向。根據這一思路可以檢測工作效率。

三、小結

眼動追蹤應用于網課可以提供更多的教學策略和評估方法，例如通過眼動數據分析學生的注意力、認知負荷、情緒狀態等，從而調整教學內容和難度。可以增強教師和學生之間的溝通和互動，例如通過眼動數據實現同步或異步的視線共享，讓教師和學生能夠更好地理解對方的視覺焦點和思維過程。可以促進網課的創新和發展，例如通過眼動數據結合人工智能、虛擬現實、增強現實等技術，實現更高效、更個性化、更沉浸式的網課體驗。

當然，眼動追蹤技術在網課中的應用也面臨著一些挑戰和難題，例如如何保證眼動數據的質量和有效性、如何保護眼動數據的隱私和安全性、如何降低眼動追蹤設備的成本和復雜度等。這些問題需要未來的研究和實踐來不斷探索和解決。

參考文獻：

[1].胡宇鵬.時間序列數據挖掘中的特征表示與分類方法的研究[D].山東大學，2018.

[2].胡瀟魚.基于深度學習的視覺跟蹤及應用[D].電子科技大學，2021

[3].李鈺卿. 基于深度學習的視線追蹤技術研究[D].廣東工業大學，2021

[4].李生武. 基于卷積神經網絡的單目標視覺追蹤算法研究[D].陜西科技大學，2021.

[5].屠增輝，劉淼，陳小麗.基于DataX的異構教學數據同步研究和應用[J].中國現代教育裝備，2021（19）：114-115+118.

[6].楊金英，李延娟.疫情期間網課對教育信息化影響的初步分析[J].中國教育信息化，2020（17）：62-65.