基于樹莓派和聲紋識別算法的課堂考勤系統(tǒng)

摘 要：由于全國各地高校管理模式寬松，學(xué)生的自控意識又較為淡薄，導(dǎo)致許多大學(xué)生的到課率得不到保障。其中一個較大的影響因素就是目前課堂考勤仍采用傳統(tǒng)的點名方式，此方式不僅會耗費課堂時間還極易被他人假冒簽到。于是本文提出設(shè)計一種新型課堂考勤系統(tǒng)，該系統(tǒng)以樹莓派為核心，通過麥克風(fēng)獲取音頻信息，通過訓(xùn)練時延神經(jīng)網(wǎng)絡(luò)說話人模型（即ECAPA-TDNN模型）來實現(xiàn)聲紋識別，最終通過電阻屏完成顯示和交互。經(jīng)測試，發(fā)現(xiàn)該系統(tǒng)具有較高的穩(wěn)定性和實用性，可以提高課堂考勤準確率、節(jié)省課堂時間。

關(guān)鍵詞：樹莓派；聲紋識別；ECAPA-TDNN；機器學(xué)習(xí)；考勤簽到；Python

中圖分類號：TP391 文獻標識碼：A 文章編號：2095-1302（2024）02-00-04

0 引 言

盡管市面上的考勤系統(tǒng)豐富多樣，但適用于高校課堂的系統(tǒng)卻不多，由于高校課堂空間小，設(shè)備需求量較大，所以空間和成本就成為了必須要考慮的問題。聲紋識別技術(shù)已有多年的發(fā)展歷史，但由于種種因素的限制，近年來才進入應(yīng)用落地階段，但該技術(shù)在各領(lǐng)域的應(yīng)用中已經(jīng)獲得了許多認可。相較于其他生物識別設(shè)備，該聲紋識別設(shè)備造價低、維護成本低，所占空間小，造假難，識別方式簡便，識別速度快，無需與外界接觸，完全可滿足高校課堂的考勤需求。本文便創(chuàng)造性地將該技術(shù)應(yīng)用在課堂考勤中，研發(fā)制作了基于樹莓派的高校課堂聲紋考勤系統(tǒng)，該系統(tǒng)不僅能極大地提高考勤效率，還減少了教師點名所花費的時間，大大提高了課堂質(zhì)量，同時也解決了可能有學(xué)生假冒簽到的問題[1-2]。

1 系統(tǒng)總體設(shè)計

在系統(tǒng)軟件部分，本文采用模塊化分布式設(shè)計思路，在程序中共設(shè)計了3個主要模塊。首先，建立了聲紋識別簽到模塊，將獲取的聲紋特征與聲紋庫中的用戶對比，識別出說話人的身份完成簽到；其次，建立聲紋注冊模塊，將用戶的聲紋信息以及身份信息（如姓名、學(xué)號等）綁定，存入聲紋庫，完成用戶注冊；然后，又在聲紋識別的基礎(chǔ)上加入記錄模塊，將用戶的打卡信息及時間存入特定文件中，可隨時導(dǎo)出該記錄文件。其還包括其他輔助功能，該部分由多組函數(shù)構(gòu)成，包括用戶聲音處理、聲紋庫建立、簽到結(jié)果顯示、簽到結(jié)果播報、錯誤反饋等，這些功能的目的在于聯(lián)系其他模塊以及完成信息的采集和傳遞。最后，為每一個功能都設(shè)計相關(guān)圖形界面，使系統(tǒng)使用起來更加便利[3-4]。

在硬件部分，本文主要以樹莓派為主體，將麥克風(fēng)、揚聲器、電阻觸摸屏與之相連，安裝相關(guān)驅(qū)動，設(shè)置輸入輸出端口。系統(tǒng)總體結(jié)構(gòu)如圖1所示。

2 系統(tǒng)硬件設(shè)計

本文采用的樹莓派型號是Raspberry Pi 4B，由于樹莓派自身架構(gòu)和配置限制，導(dǎo)致在許多系統(tǒng)版本里某些所需的package無法正常下載或使用。經(jīng)過多次測試，發(fā)現(xiàn)bullseye（64位）系統(tǒng)可以解決這些問題，同時64位系統(tǒng)的運行速度和計算能力也優(yōu)于32位系統(tǒng)，不僅提升了程序執(zhí)行的速率，更減少了內(nèi)存的占用[5-6]。

采用的錄音設(shè)備為USB免驅(qū)樹莓派專用型麥克風(fēng)，該麥克風(fēng)免驅(qū)動即插即用，其體型小重量輕，使用方便，同時具有較高的靈敏度，有效距離超2 m，其錄制的音頻清晰度平坦，具有寬闊的頻率響應(yīng)，便于后續(xù)處理，可提高識別準確率[6]。

采用的播放器是樹莓派免驅(qū)揚聲器，該揚聲器配備了

3.5 mm音頻接口和USB電源接口，無需驅(qū)動，可通過該設(shè)備完成相關(guān)信息的語音播報。

采用的顯示器是一款3.5英寸的電阻觸摸TFT屏，具有觸摸功能，而且該屏幕支持SPI接口和HDMI接口，可以直接連接到樹莓派上使用。

3 系統(tǒng)軟件設(shè)計

3.1 聲紋識別簽到模塊

3.1.1 創(chuàng)建數(shù)據(jù)及數(shù)據(jù)集預(yù)處理

本文選用主流ECAPA-TDNN模型。首先創(chuàng)建數(shù)據(jù)，然后對模型進行訓(xùn)練，對訓(xùn)練好的模型評估測試其準確率，然后將數(shù)據(jù)導(dǎo)出。進行識別時，訓(xùn)練好的模型會預(yù)測錄取聲紋的特征值，然后將其與聲紋庫中的聲紋信息對比，最終完成識別。聲紋識別模塊結(jié)構(gòu)流程如圖2所示。

3.1.2 ECAPA-TDNN模型訓(xùn)練過程

（1）創(chuàng)建數(shù)據(jù)及數(shù)據(jù)集預(yù)處理

使用的數(shù)據(jù)集為開源的語音語料數(shù)據(jù)集，共有3 000個人的語音數(shù)據(jù)，我們使用Python工具模塊Aukit處理音頻，可以很好地降低噪聲影響并去除沒有聲音的情況。由于MP3格式在處理過程中讀取速度慢，所以本文將其轉(zhuǎn)換為WAV格式，可以大大提高處理數(shù)據(jù)的速率，并且在創(chuàng)建數(shù)據(jù)列表之后，需檢查是否有錯誤數(shù)據(jù)，將錯誤數(shù)據(jù)刪除[7]。

（2）訓(xùn)練模型

編寫機器學(xué)習(xí)代碼訓(xùn)練模型。本項目音頻預(yù)處理指定Mel Spectrogram方式。在訓(xùn)練過程中，保存程序日志，可隨時查詢訓(xùn)練結(jié)果，也可以指定其他增強方式。

（3）評估模型

訓(xùn)練結(jié)束后程序會保存預(yù)測模型，我們將預(yù)測模型導(dǎo)出，并且通過該模型預(yù)測測試集中的特征值，將其與測試集真值比較，觀察模型的預(yù)測情況，設(shè)置閾值進行梯度運算，直到找到最佳閾值并計算其準確率。

3.1.3 聲紋對比及識別過程

讀取聲紋庫里的兩個音頻文件，加載文件后分別對二者做傅里葉變換，計算它們的短時傅里葉變換，然后再將音頻數(shù)據(jù)裁剪到特定長度，對其進行歸一化處理。之后將數(shù)據(jù)放入預(yù)測模型中預(yù)測其聲紋特征，最后計算兩個聲紋特征的對角余弦值，即可得到二者的相似度。

在上述聲紋對比的基礎(chǔ)上，加入一個聲紋庫用來存儲用戶聲紋特征，識別時，通過錄音函數(shù)獲得該條音頻文件并進行處理，然后通過預(yù)測模型得到其聲紋特征值，將其與聲紋庫中的音頻一一進行對比，計算二者之間的相似度。當(dāng)計算到某一值與其相似程度達到設(shè)定的閾值，即認定二者是同一人，然后通過其他模塊獲得該用戶的身份信息，完成簽到。

3.2 學(xué)生注冊模塊

該模塊的功能是保存用戶的聲紋信息及其身份信息，用于日后聲紋識別簽到。先將用戶的注冊信息保存到一個文件夾里，通過錄音功能有效捕捉用戶的語音數(shù)據(jù)，之后對音頻文件進行剪裁、降噪和預(yù)處理等，以確保其質(zhì)量和可用性。在處理完音頻數(shù)據(jù)后，通過模型預(yù)測其特征值，再將其與用戶信息（如姓名、學(xué)號等）綁定，便于管理和查詢。模塊結(jié)構(gòu)如圖3所示。

3.3 簽到記錄模塊

該模塊用于記錄用戶的簽到狀態(tài)及時間，便于管理者查看和導(dǎo)出。當(dāng)用戶完成一次簽到時，需要讀取用戶的信息，包括學(xué)生姓名、學(xué)號等身份特征，用來記錄用戶簽到的情況。為了記錄簽到時間，可以使用Python中的Datetime工具。

當(dāng)用戶簽到時，程序可以自動獲取當(dāng)前時間，并將用戶信息和簽到時間一同存入一個文本文件中，在該文本文件中，每行記錄一個用戶的簽到信息。例如，每一行包括用戶的姓名、學(xué)號、簽到時間。每次簽到后，新的一行會被追加到文件末尾，還提供導(dǎo)出功能，用戶可以隨時導(dǎo)出簽到記錄文件，以便查看歷史簽到記錄。導(dǎo)出功能可以將文件中的所有簽到信息導(dǎo)出為多種格式，方便用戶查看和分析[8]。模塊工作流程如圖4所示。

3.4 輔助功能

3.4.1 操作提示語音播報

該功能依靠pyttsx3庫，通過Python語言配合音頻輸出設(shè)備和語音合成工具完成。安裝所需的音頻驅(qū)動和語音合成工具，使用Python編寫語音播報腳本，腳本中需要導(dǎo)入所需的庫和依賴項，并進行必要的配置。接著，腳本可以讀取需要播報的文本，調(diào)用語音合成工具將其轉(zhuǎn)化為語音，并通過音頻輸出設(shè)備播放。需要注意的是，在使用樹莓派進行語音播報時，還需要考慮音頻輸出設(shè)備的連接方式和設(shè)置，通常情況下，可以通過3.5 mm音頻接口或HDMI接口連接音頻輸出設(shè)備，可在系統(tǒng)設(shè)置中進行相應(yīng)配置。

3.4.2 簽到記錄一鍵清除

該功能是為了清除已經(jīng)報廢的簽到記錄，可在簽到系統(tǒng)中點擊“清除記錄”，然后程序打開文件執(zhí)行清除操作。

3.4.3 錯誤彈窗

當(dāng)出現(xiàn)錯誤時系統(tǒng)會自動彈窗，跳回上一步，避免程序出錯導(dǎo)致系統(tǒng)卡頓或程序停止運行。

4 GUI設(shè)計

關(guān)于圖形用戶界面（GUI）的設(shè)計，本文采用Python自帶的Tkinter工具進行GUI開發(fā)。共設(shè)計了以下4個頁面：

（a）主菜單：該頁面包含4個按鈕，各自對應(yīng)簽到、注冊、查看簽到記錄、清空記錄。點擊“簽到”會執(zhí)行聲紋錄制程序，并識別；點擊“注冊”跳到頁面（b）；點擊“查看簽到記錄”跳到頁面（c）；點擊“清空記錄”則清空記錄文件。

（b）注冊錄音頁面：該頁面包含2個按鈕，分別對應(yīng)開始錄音和返回。點擊“開始錄音”執(zhí)行聲紋錄制程序并保存音頻，隨即跳到頁面（c）；點擊“返回”跳回頁面（a）。

（c）注冊信息頁面：該頁面包含2個按鈕，分別對應(yīng)確認和返回，同時存在2個文本框，在文本框內(nèi)輸入姓名、學(xué)號等信息，點擊“確認”后將文本框內(nèi)的數(shù)據(jù)與之前錄好的音頻綁定保存到聲紋庫，完成注冊，隨即跳回頁面（a）；點擊“返回”跳回頁面（b）。

（d）簽到記錄：該頁面包含一個按鈕，對應(yīng)返回，還包含一個大的文本框用來顯示簽到記錄數(shù)據(jù)。點擊“返回”會跳回頁面（a）。

軟件菜單界面如圖5所示。

5 課堂考勤系統(tǒng)的實現(xiàn)

5.1 打卡簽到

當(dāng)用戶按下簽到按鍵后，用戶發(fā)出語音，系統(tǒng)錄音3 s，開始識別。系統(tǒng)將該條語音送入聲紋識別簽到模塊，經(jīng)過處理和模型預(yù)測得到該條語音的聲紋特征，再將其與語音庫的聲紋特征逐一比較，若判定識別成功則播報“成功”并且彈窗顯示簽到者的姓名，然后返回主菜單，繼續(xù)下一次識別簽到；若識別失敗，則彈窗提示聲紋庫中未注冊此人[9-10]。簽到成功彈窗如圖6所示。

5.2 學(xué)生注冊

當(dāng)按下注冊按鍵后，開始錄音3 s，用戶發(fā)出語音，系統(tǒng)處理并保存音頻文件，然后用戶填寫身份信息，填寫完成后點擊“確認”，若注冊成功則彈窗提示[11]。注冊界面如圖7所示。

5.3 查看簽到記錄

當(dāng)按下查看簽到記錄按鍵后，系統(tǒng)便會跳轉(zhuǎn)到存有簽到記錄的頁面，用戶可以看到簽到的人員信息以及簽到時間，用戶還可以通過后臺文件查找該記錄，或直接導(dǎo)出簽到名單[12-13]。簽到記錄頁面如圖8所示。

6 結(jié) 語

本文以樹莓派為中心連接相關(guān)外部設(shè)備，運用聲紋識別技術(shù)，設(shè)計研發(fā)了高校課堂聲紋考勤系統(tǒng)。實際測試表明，該系統(tǒng)功能完善，具有實用的人機交互界面和便捷的打卡簽到方式。此外，該系統(tǒng)的耐用性好，維護成本低，安全性強。該系統(tǒng)的投入使用不僅可以督促學(xué)生的日常通勤，從而更好地保障課堂教學(xué)質(zhì)量，還可以提高課堂管理效率，減輕教師的工作負擔(dān)。其具有重要的實際意義和廣闊的應(yīng)用前景，有望成為未來高校課堂管理的重要工具之一。

注：本文通訊作者為邢雅瓊。

參考文獻

[1]袁曉波. MP3音頻壓縮對聲紋識別的影響分析[J].廣播與電視技術(shù)，2021，48（10）：127-131.

[2]郭子芊，陳江濤，麥偉健，等.基于聲紋識別的可分配權(quán)限智能家居終端設(shè)計[J].物聯(lián)網(wǎng)技術(shù)，2021，11（8）：117-120.

[3]曾桂南，吳戀，何燕琴，等.基于聲紋識別技術(shù)的常見模型與發(fā)展應(yīng)用[J].現(xiàn)代計算機，2021，38（21）：72-75.

[4]劉凱.基于深度學(xué)習(xí)的語音喚醒研究及其應(yīng)用[D].廈門：廈門大學(xué)，2018.

[5]曾劍飛.低信噪比條件下的語音端點檢測算法研究[D].廣州：華南理工大學(xué)，2019.

[6]邊蓓蓓，張曉賢.多關(guān)鍵詞離線語音喚醒模塊的實現(xiàn)[J].現(xiàn)代信息科技，2020，4（8）：22-23.

[7]王正創(chuàng).基于MFCC的聲紋識別系統(tǒng)研究[D].無錫：江南大學(xué)，2014.

[8]王華朋，楊洪臣.聲紋識別特征MFCC的提取方法研究[J].中國人民公安大學(xué)學(xué)報（自然科學(xué)版），2008，14（1）：28-30.

[9]盧一男，單寶鈺，關(guān)超.聲紋識別技術(shù)現(xiàn)狀與發(fā)展應(yīng)用[J].信息系統(tǒng)工程，2017，30（2）：11.

[10]楊陽.聲紋識別技術(shù)及其在司法鑒定中的應(yīng)用[D].廈門：廈門大學(xué)，2007.

[11] SILNOVA A，BRUMMER N，GARCIA ROMERO D，et al. Fast variational Bayes for heavy tailed PLDA applied to i vectors and x vectors [C]// 2018 Interspeech. [S.l.：s.n.]，2018：72-76.

[12] SRIVASTAVA R K，GREFF K，SCHMIDHUBER J. Training very deep networks [C]// Advances in Neural Information Processing Systems. [S.l.：s.n.]，2015：2377-2385.

[13] MUKHERJEE H，DUTTA M，OBAIDULLAH S M，et al. A speaker identification system from short utterances [C]// International Conference on Recent Trends in Image Processing and Pattern Recognition. Singapore：Springer，2018：438-448.