基于人眼專注度檢測(cè)的智能臺(tái)燈設(shè)計(jì)

顏利宏，劉文華

（漳州職業(yè)技術(shù)學(xué)院 電子信息學(xué)院，福建漳州 363000)

在傳統(tǒng)線下授課模式中，教師、家長(zhǎng)可以通過面對(duì)面觀察學(xué)生的學(xué)習(xí)狀態(tài)，及時(shí)糾正學(xué)生不良的學(xué)習(xí)行為，但是在網(wǎng)絡(luò)學(xué)習(xí)環(huán)境中，由于受空間的限制，教師、家長(zhǎng)難以實(shí)時(shí)監(jiān)測(cè)學(xué)生的學(xué)習(xí)狀態(tài)，如果學(xué)生的專注力比較分散，學(xué)生就難以維持高效的學(xué)習(xí)狀態(tài)，無法獲取足夠的有效信息，從而學(xué)習(xí)效果不佳，所以如何提高學(xué)習(xí)者的專注度是當(dāng)下的一個(gè)重要研究課題[1-2]。此款設(shè)計(jì)的智能臺(tái)燈在前期設(shè)計(jì)基礎(chǔ)上主要為解決如何提高學(xué)生、辦公人員專注度，幫助其提高學(xué)習(xí)、工作效率而進(jìn)行優(yōu)化，同時(shí)增加人機(jī)交互智能語音控制功能，提升用戶體驗(yàn)感。主要?jiǎng)?chuàng)新點(diǎn)有：（1）專注度判斷。通過Open-MV 模塊檢測(cè)人眼位置，計(jì)算眼睛張合度來判斷專注度情況，從而幫助用戶提高學(xué)習(xí)辦公效率；（2）人機(jī)交互控制臺(tái)燈。產(chǎn)品不局限于按鍵控制臺(tái)燈，用戶可以通過語音功能控制臺(tái)燈的開關(guān)，使得產(chǎn)品更加智能。用戶在離開臺(tái)燈時(shí)或不便開關(guān)臺(tái)燈時(shí)，可以通過語音的方式控制臺(tái)燈，為用戶帶來更好的體驗(yàn)感。

1 系統(tǒng)設(shè)計(jì)方案

1.1 前期系統(tǒng)

系統(tǒng)以STM32G47RE 為控制芯片，通過串口、Ⅰ2C、中斷等接口連接外部血氧傳感器、人臉檢測(cè)攝像頭，在智能化照明的基礎(chǔ)上采用了快速傅里葉算法、人臉注冊(cè)、Haar-like 人臉檢測(cè)算法，實(shí)時(shí)計(jì)算用戶心率和人體姿態(tài)，對(duì)不正確的姿態(tài)和不健康的心率發(fā)出聲光報(bào)警信號(hào)，來實(shí)時(shí)進(jìn)行血氧監(jiān)測(cè)和坐姿矯正，為用戶健康保駕護(hù)航[3]。

1.2 系統(tǒng)升級(jí)方案

隨著智能照明設(shè)備的迭代更新，用戶對(duì)產(chǎn)品的要求越來越高，主要表現(xiàn)在智能輔助功能、語音控制、人體感應(yīng)等方面。此臺(tái)燈主要針對(duì)當(dāng)下關(guān)注的熱點(diǎn)——“專注度”進(jìn)行設(shè)計(jì)，可以實(shí)時(shí)監(jiān)測(cè)用戶專注情況并即時(shí)提醒，從而幫助用戶提高學(xué)習(xí)和辦公專注度，同時(shí)增加語音控制功能，提升用戶體驗(yàn)感。

系統(tǒng)主要針對(duì)“專注度”監(jiān)測(cè)提醒進(jìn)行設(shè)計(jì)，目的在于模擬再現(xiàn)線下課堂教師督促效果，實(shí)時(shí)監(jiān)測(cè)用戶專注情況，并通過語音進(jìn)行提醒，從而幫助用戶提高學(xué)習(xí)效率。在STM32G47RE 控制芯片上通過USART、Ⅰ2C、中斷擴(kuò)展接入專注度檢測(cè)模塊和語音模塊。專注度檢測(cè)模塊通過Open MV 識(shí)別人眼位置并計(jì)算眼睛張合度，對(duì)用戶專注度進(jìn)行實(shí)時(shí)監(jiān)測(cè)[4]。語音模塊用于接收專注度判定結(jié)果，對(duì)專注度不足情況進(jìn)行語音反饋提醒，從而幫助用戶提高學(xué)習(xí)和辦公效率，同步具備接受外部語音指令對(duì)臺(tái)燈亮度、開、關(guān)進(jìn)行控制，進(jìn)一步提升用戶體驗(yàn)感。系統(tǒng)設(shè)計(jì)圖如圖1 所示：

圖1系統(tǒng)硬件連接圖

2 專注度檢測(cè)算法

2.1 專注度判定流程

人眼是面部的重要特征之一，它可以反映一個(gè)人的情感、注意力情況等多種信息。人眼檢測(cè)可應(yīng)用于專注度判斷、疲勞駕駛判斷、視線追蹤等多個(gè)領(lǐng)域。人眼的張合是人體生理信號(hào)的一種表現(xiàn)，它與個(gè)體的神經(jīng)生理學(xué)反應(yīng)和視覺注意力等因素有關(guān)，當(dāng)人們處于注意力集中狀態(tài)時(shí)，交感神經(jīng)系統(tǒng)會(huì)使人眼的瞳孔擴(kuò)張，獲取更多的外部信息；當(dāng)人們處于疲勞狀態(tài)時(shí)，副交感神經(jīng)系統(tǒng)會(huì)使人眼的瞳孔收縮，獲取的外部信息相應(yīng)減少，這種表現(xiàn)與人們的日常經(jīng)驗(yàn)和觀察相符。因此，可通過計(jì)算人眼瞳孔大小（即張合度）來判定專注程度。采用張合度判定專注度相比腦電圖或眼動(dòng)追蹤等神經(jīng)科學(xué)研究算法，具有非侵入性，不需要在人體上安裝設(shè)備或試劑，更容易被接受和使用。并且通過人眼張合度計(jì)算，可以快速、簡(jiǎn)單地評(píng)估個(gè)體的專注度，具有實(shí)時(shí)性。段巨力[5]將人眼張合度用于線下課堂學(xué)生上課專注的判定，其專注度檢測(cè)準(zhǔn)確率達(dá)92%。左國(guó)才[6]也將人眼張合度用于課堂學(xué)習(xí)效果評(píng)價(jià)取得了較好的效果。該模塊主要采用OpenMV 進(jìn)行人臉識(shí)別，通過坐姿矯正模塊判斷用戶是否低頭、側(cè)臉，再檢測(cè)出眼睛位置并計(jì)算出眼睛張合度，最終將二者結(jié)果相結(jié)合來判斷用戶的專注程度。

2.2 張合度計(jì)算

OpenMV 模塊搭載STM32F427 芯片，集成了OV7725 攝像頭芯片，通過實(shí)時(shí)獲取圖片定位人臉位置。該模塊中的Haar 分類器是基于Adaboost 算法的基礎(chǔ)上，結(jié)合Haar-like 特征進(jìn)行人眼檢測(cè)[7-9]。通過find_features()函數(shù)尋找與Haar-like 特征相匹配的區(qū)域，并輸出一個(gè)符合特征的邊界框矩形元組(x,y,w,h)的列表，從而提取出眼睛位置[10-11]。

其中，H表示眼睛張開的高度，W表示眼睛張開的寬度。由于人眼張合度是一個(gè)連續(xù)變量，且不同用戶在專注情況下的眼睛張開程度存在個(gè)體差異，因此為簡(jiǎn)化計(jì)算，將公式(2)進(jìn)行歸一化：

其中，0 ≤ZHDnor≤1,ZHDmax表示當(dāng)前用戶在清醒狀態(tài)下眼睛的最大張開度，代表最專注的狀態(tài)，ZHDmax通過人臉注冊(cè)模塊計(jì)算得到。因此，可設(shè)定一個(gè)閾值p=0.28來判定專注程度：當(dāng)被測(cè)目標(biāo)的ZHDnor小于p時(shí)，認(rèn)為學(xué)習(xí)專注度較低，即判定為不專注，并通過語音提醒用戶，其程序設(shè)計(jì)流程圖如圖2所示：

圖2 專注度判斷程序流程圖

3 語音模塊

3.1 硬件設(shè)計(jì)

語音交互模塊以SYN7318 為語音交互核心，它集成了語音識(shí)別、語音合成和語音喚醒等功能[13-14]。該語音模塊通過UART 與主控芯片STM32G47RE 進(jìn)行通信，通信方式采用異步串行通訊方式來接收命令幀從而實(shí)現(xiàn)文本到語音、語音到文本的轉(zhuǎn)換以及語音控制功能,命令幀包括控制命令幀、待合成的文本數(shù)據(jù)等內(nèi)容。

3.2 語音識(shí)別流程

該智能臺(tái)燈使用單片機(jī)作為上位機(jī)控制語音模塊來實(shí)現(xiàn)各種控制功能，通過命令幀和回傳幀實(shí)現(xiàn)上位機(jī)與SYN7318 模塊之間的信息傳輸[15-17]。具體流程如下：首先，上位機(jī)向SYN7318 模塊發(fā)送查詢指令，查詢SYN7318 模塊當(dāng)前狀態(tài)。SYN7318 模塊在成功接收指令后向上位機(jī)回傳狀態(tài)指令。然后，上位機(jī)繼續(xù)發(fā)送語音識(shí)別指令啟動(dòng)語音模塊，語音模塊從麥克風(fēng)采集到語音數(shù)據(jù)并將識(shí)別結(jié)果通過UART 回傳至上位機(jī)。

4 實(shí)驗(yàn)與結(jié)果分析

4.1 專注度測(cè)試分析

本設(shè)計(jì)使用NUCLEO-STM32G47RE 開發(fā)板結(jié)合OpenMV 攝像頭模塊進(jìn)行專注度檢測(cè)實(shí)驗(yàn)，通過低頭、側(cè)臉檢測(cè)和計(jì)算被測(cè)目標(biāo)眼睛張合度來判定專注程度。該模塊每秒獲取5 次人眼數(shù)據(jù)并進(jìn)行張合度計(jì)算，當(dāng)連續(xù)30s 的張合度平均值低于設(shè)定閾值p=0.28 時(shí)，系統(tǒng)會(huì)進(jìn)行語音提醒。實(shí)驗(yàn)隨機(jī)選取3 名測(cè)試者，被測(cè)目標(biāo)分別在連續(xù)專注學(xué)習(xí)狀態(tài)、正常學(xué)習(xí)狀態(tài)、微閉眼狀態(tài)、瞌睡狀態(tài)測(cè)得的專注結(jié)果如圖3 所示。

圖3 不同學(xué)習(xí)狀態(tài)下專注度檢測(cè)結(jié)果圖

系統(tǒng)在四組不同測(cè)試視頻下的專注狀態(tài)檢測(cè)結(jié)果如表1 所示，四組視頻時(shí)長(zhǎng)均為120s 且為不同測(cè)試者，預(yù)設(shè)檢測(cè)次數(shù)共240 次，其中，視頻1 為專注場(chǎng)景，視頻2 為微閉眼場(chǎng)景，視頻3 為瞌睡場(chǎng)景，視頻4 包含專注、微閉眼、瞌睡三種場(chǎng)景。專注度檢測(cè)算法精準(zhǔn)率如表2 所示，其中精準(zhǔn)率（Precision）=TP/(TP+FP)。

表1 專注狀態(tài)檢測(cè)結(jié)果

表2 專注度檢測(cè)算法精準(zhǔn)率

根據(jù)上述實(shí)驗(yàn)結(jié)果證明該模塊根據(jù)人眼數(shù)據(jù)計(jì)算得出的張合度大小符合預(yù)期，學(xué)習(xí)越專注張合度值越大，并且在專注和閉眼場(chǎng)景下檢測(cè)效果明顯，其精準(zhǔn)率達(dá)93.5%。因此能夠有效監(jiān)督用戶學(xué)習(xí)專注情況，達(dá)到輔助提升學(xué)習(xí)效率的目的。

4.2 語音控制測(cè)試分析

本實(shí)驗(yàn)采用一個(gè)面積約22m2的房間作為測(cè)試場(chǎng)地，測(cè)試以“Hi 百靈”為喚醒詞開啟語音識(shí)別功能，SYN7318 模塊通過麥克風(fēng)采集到語音數(shù)據(jù)并將識(shí)別結(jié)果回傳至單片機(jī)，單片機(jī)根據(jù)接收的指令結(jié)果進(jìn)行相應(yīng)的操作，如打開臺(tái)燈、調(diào)節(jié)燈的亮度。使用手機(jī)以相同的音量在不同距離條件下分別循環(huán)播放關(guān)鍵詞“Hi 百靈”“開燈”“關(guān)燈”“變亮”“變暗”來控制臺(tái)燈，并記錄測(cè)試結(jié)果如表3 所示：

表3 語音指令識(shí)別率

根據(jù)上述實(shí)驗(yàn)數(shù)據(jù)得出語音指令的正確識(shí)別率隨著距離的增加而降低，但本設(shè)計(jì)在2m 距離內(nèi)的正確識(shí)別率可達(dá)85.3%，由于臺(tái)燈主要用于桌面學(xué)習(xí)辦公使用，因此能夠有效滿足用戶實(shí)現(xiàn)語音控制臺(tái)燈的需求。

5 結(jié)語

本文采用OpenMV 攝像頭采集人像數(shù)據(jù)，結(jié)合Haar-like 人眼檢測(cè)算法和計(jì)算眼睛張合度來判定專注程度并通過SYN7318 語音模塊實(shí)現(xiàn)語音提醒、亮度調(diào)節(jié)功能，提升系統(tǒng)在效率提升上的輔助作用以及用戶整體體驗(yàn)感。實(shí)驗(yàn)結(jié)果表明專注度判定算法能夠準(zhǔn)確判斷用戶專注程度，實(shí)時(shí)性高，能有效幫助用戶提高學(xué)習(xí)、辦公效率；語音正確識(shí)別率良好，適合在智能化市場(chǎng)推廣應(yīng)用。