基于視覺(jué)大模型的個(gè)性化反饋在大學(xué)生面試能力培養(yǎng)中的創(chuàng)新應(yīng)用

摘要：本文介紹了一種基于視覺(jué)大模型的大學(xué)生就業(yè)面試多模態(tài)測(cè)評(píng)與訓(xùn)練系統(tǒng)。該系統(tǒng)通過(guò)多模態(tài)數(shù)據(jù)捕捉與分析，提供個(gè)性化的面試反饋，旨在提升大學(xué)生的面試技能。研究?jī)?nèi)容包括多模態(tài)數(shù)據(jù)采集、視覺(jué)大模型訓(xùn)練和系統(tǒng)功能設(shè)計(jì)。初步應(yīng)用顯示，該系統(tǒng)能夠有效識(shí)別和分析面試者的非言語(yǔ)行為，如面部表情和肢體動(dòng)作，為學(xué)生面試能力的提升提供了科學(xué)、個(gè)性化的支持。

關(guān)鍵詞：大學(xué)生面試；多模態(tài)識(shí)別；視覺(jué)大模型；個(gè)性化反饋；面試訓(xùn)練系統(tǒng)

中圖分類號(hào)：G434" 文獻(xiàn)標(biāo)識(shí)碼：A" 論文編號(hào)：1674-2117（2025）08-0101-05

隨著每年大學(xué)畢業(yè)生人數(shù)的不斷增長(zhǎng)，就業(yè)市場(chǎng)的競(jìng)爭(zhēng)愈發(fā)激烈。在這種背景下，面試技能越來(lái)越受到畢業(yè)生的關(guān)注。本研究旨在通過(guò)構(gòu)建基于視覺(jué)大模型的多模態(tài)測(cè)評(píng)與訓(xùn)練系統(tǒng)，為大學(xué)生提供科學(xué)、個(gè)性化的面試訓(xùn)練工具，提升其面試表現(xiàn)和就業(yè)競(jìng)爭(zhēng)力。

研究綜述

多模態(tài)識(shí)別技術(shù)通過(guò)綜合利用文本、視覺(jué)、聽(tīng)覺(jué)等多種信息來(lái)源，能夠全面、準(zhǔn)確地理解和處理復(fù)雜任務(wù)。該技術(shù)在情感計(jì)算、人機(jī)交互、視頻監(jiān)控等多個(gè)領(lǐng)域中都有廣泛的應(yīng)用。其基本原理在于綜合使用多種信息來(lái)源，以提高信息處理的效果和可靠性。[1]

深度學(xué)習(xí)（Deep Learning）是由Hinton等提出的，是一種具有自動(dòng)化、高效性、精確性和高靈活性的機(jī)器學(xué)習(xí)方法。深度學(xué)習(xí)模型擁有多種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，包括卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）、長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)（Long Short-Term Memory Networks，LTSM）等。其中，卷積神經(jīng)網(wǎng)絡(luò)主要被應(yīng)用于圖像處理和人臉識(shí)別。[2]

隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展，當(dāng)前，基于多模態(tài)識(shí)別的方法被廣泛應(yīng)用但存在一定的局限性：一是模態(tài)間關(guān)聯(lián)性考慮不夠，現(xiàn)有方法在處理多模態(tài)數(shù)據(jù)時(shí)，往往沒(méi)有充分利用不同模態(tài)間的關(guān)聯(lián)，導(dǎo)致信息的片面利用，降低了模型對(duì)整體數(shù)據(jù)的挖掘能力；二是個(gè)體間差異性考慮不足，每個(gè)人都具有獨(dú)特的表情等非語(yǔ)言行為，這些個(gè)體差異對(duì)于精準(zhǔn)識(shí)別至關(guān)重要，然而目前的方法個(gè)體差異性不強(qiáng)，導(dǎo)致個(gè)性化反饋機(jī)制不完善。

理論基礎(chǔ)

1.多模態(tài)識(shí)別理論

多模態(tài)識(shí)別技術(shù)綜合視覺(jué)、聽(tīng)覺(jué)等多模態(tài)信息，通過(guò)特征拼接、特征加權(quán)等方式將不同模態(tài)的特征合并，通過(guò)投票機(jī)制、加權(quán)平均等方式將不同模態(tài)的分類結(jié)果融合，通過(guò)集成學(xué)習(xí)方法將多個(gè)模型的輸出結(jié)果融合，從而實(shí)現(xiàn)多模態(tài)融合識(shí)別。

2.教育心理學(xué)理論

情緒狀態(tài)和非言語(yǔ)行為在面試過(guò)程中起著至關(guān)重要的作用，它們不僅影響面試者的表現(xiàn)，還會(huì)影響面試官的判斷。積極的面部表情（如微笑、點(diǎn)頭）、開(kāi)放的肢體語(yǔ)言（如手勢(shì)自然、坐姿端正）和堅(jiān)定的眼神交流等非言語(yǔ)行為可以傳達(dá)自信和誠(chéng)實(shí)，反之則可能傳遞緊張和不安，影響面試官的評(píng)價(jià)。

3.社會(huì)呈現(xiàn)理論

Erving Goffman在其著作《日常生活中的自我呈現(xiàn)》中提出了社會(huì)呈現(xiàn)理論。該理論認(rèn)為，人們會(huì)根據(jù)不同的社會(huì)場(chǎng)合和觀眾，調(diào)整自己的語(yǔ)言和非言語(yǔ)行為，以達(dá)到特定的社交目的。在面試過(guò)程中，面試者的行為一致性不僅影響其自身的表現(xiàn)，還會(huì)影響面試官的判斷。面試中行為一致性的重要性在于它能夠幫助面試者更好地管理自己在面試官心中的印象。根據(jù)Goffman的社會(huì)呈現(xiàn)理論，面試者需要在情緒狀態(tài)和非言語(yǔ)行為上保持一致，以展示自己的自信、專業(yè)能力和良好態(tài)度，從而更容易獲得面試官的認(rèn)可和信任。因此，面試者在準(zhǔn)備面試時(shí)，不僅要關(guān)注自己的言語(yǔ)內(nèi)容，還要注意自己的情緒管理和非言語(yǔ)行為的表現(xiàn)。

研究方法

1.研究設(shè)計(jì)

本研究的對(duì)象是面臨就業(yè)的大學(xué)生。通過(guò)公開(kāi)數(shù)據(jù)集、招募志愿者等參與實(shí)驗(yàn)，收集在模擬面試中的表現(xiàn)數(shù)據(jù)，以便對(duì)系統(tǒng)進(jìn)行測(cè)試和優(yōu)化。項(xiàng)目研究思路從理論研究、模型構(gòu)建與優(yōu)化、實(shí)驗(yàn)數(shù)據(jù)收集、軟件開(kāi)發(fā)到實(shí)際應(yīng)用，逐步推進(jìn)，確保研究的科學(xué)性和實(shí)用性，研究思路如圖1所示。系統(tǒng)應(yīng)用設(shè)計(jì)了多種典型的面試情境，如壓力面試、行為面試、案例分析等，以覆蓋不同類型的面試需求。

2.數(shù)據(jù)收集

（1）數(shù)據(jù)來(lái)源

①學(xué)院內(nèi)部數(shù)據(jù)。利用學(xué)院已有的教學(xué)資源，如大小面試錄像等，這些數(shù)據(jù)涵蓋了不同專業(yè)、不同年級(jí)的學(xué)生在面試中的表現(xiàn)，具有較高的多樣性和代表性。

②公開(kāi)數(shù)據(jù)集。從公開(kāi)的數(shù)據(jù)集中獲取部分?jǐn)?shù)據(jù)，如AffectNet（人臉表情識(shí)別數(shù)據(jù)集）、Kinetics（視頻動(dòng)作識(shí)別數(shù)據(jù)集）等，這些數(shù)據(jù)集提供了豐富的多模態(tài)數(shù)據(jù)，有助于模型的預(yù)訓(xùn)練和驗(yàn)證。

③志愿者數(shù)據(jù)。通過(guò)校園公告、社交媒體等方式招募志愿者，邀請(qǐng)他們參與模擬面試實(shí)驗(yàn)，利用高清攝像頭和麥克風(fēng)采集志愿者在模擬面試中的多模態(tài)數(shù)據(jù)，采集流程如圖2所示。

另外，在歸檔存儲(chǔ)前，對(duì)上述三類來(lái)源的數(shù)據(jù)，統(tǒng)一使用Python等工具進(jìn)行預(yù)處理，包括去噪、格式轉(zhuǎn)換等，確保數(shù)據(jù)的一致性和可用性。

（2）數(shù)據(jù)類型

①視頻數(shù)據(jù)。記錄面試者的面部表情、肢體動(dòng)作等視覺(jué)信息。視頻數(shù)據(jù)的分辨率設(shè)定為1080p，幀率為30fps，以確保數(shù)據(jù)的質(zhì)量和清晰度。

②音頻數(shù)據(jù)。記錄面試者的語(yǔ)音信息，包括語(yǔ)音內(nèi)容、語(yǔ)速、音調(diào)等。音頻數(shù)據(jù)的采樣率為44.1kHz，應(yīng)用噪聲減少功能，優(yōu)化音頻清晰度。

③文本數(shù)據(jù)。記錄面試過(guò)程中的問(wèn)題和答案，以及面試者的自我介紹等文本信息。

④標(biāo)注數(shù)據(jù)。由心理學(xué)專業(yè)人士對(duì)面試者的非言語(yǔ)行為進(jìn)行標(biāo)注，包括表情、肢體動(dòng)作、眼神交流等，用于訓(xùn)練和驗(yàn)證模型。

（3）數(shù)據(jù)管理

使用文件系統(tǒng)存儲(chǔ)采集到的數(shù)據(jù)，包括視頻數(shù)據(jù)、音頻數(shù)據(jù)，使用數(shù)據(jù)庫(kù)存儲(chǔ)文本數(shù)據(jù)和標(biāo)注數(shù)據(jù)。數(shù)據(jù)庫(kù)設(shè)計(jì)應(yīng)確保數(shù)據(jù)的安全性和完整性。因此，要采取必要的安全措施，如數(shù)據(jù)加密、訪問(wèn)控制等，保護(hù)數(shù)據(jù)不被未經(jīng)授權(quán)的訪問(wèn)和泄露，并定期對(duì)數(shù)據(jù)庫(kù)進(jìn)行備份，防止數(shù)據(jù)丟失。

3.技術(shù)實(shí)現(xiàn)

（1）多模態(tài)捕捉識(shí)別技術(shù)

表情識(shí)別。①使用OpenCV庫(kù)讀取視頻流，對(duì)每一幀圖像進(jìn)行預(yù)處理，包括灰度化、歸一化等操作，以提高后續(xù)處理的效率和準(zhǔn)確性。②使用深度學(xué)習(xí)模型（MTCNN）檢測(cè)視頻幀中的面部區(qū)域，提取面部特征點(diǎn)。③利用預(yù)訓(xùn)練的表情識(shí)別模型（FER2013數(shù)據(jù)集訓(xùn)練的ResNet模型）對(duì)提取的面部特征點(diǎn)進(jìn)行表情分類，識(shí)別出高興、悲傷、憤怒、驚訝等基本表情。

肢體動(dòng)作識(shí)別。①使用OpenPose庫(kù)或MediaPipe庫(kù)對(duì)視頻幀中的肢體進(jìn)行姿態(tài)估計(jì)，提取關(guān)鍵點(diǎn)坐標(biāo)。②利用卷積神經(jīng)網(wǎng)絡(luò)（CNN）和循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）組合模型（LSTM）對(duì)提取的姿態(tài)關(guān)鍵點(diǎn)進(jìn)行時(shí)序分析，識(shí)別出不同的肢體動(dòng)作，如揮手、點(diǎn)頭等。通過(guò)預(yù)訓(xùn)練的動(dòng)作識(shí)別模型（Kinetics數(shù)據(jù)集訓(xùn)練的3D ResNet模型）對(duì)提取的肢體動(dòng)作進(jìn)行分類，識(shí)別出具體的動(dòng)作類別。

眼神交流識(shí)別。①使用深度學(xué)習(xí)模型（DeepGaze II）檢測(cè)視頻幀中的眼球位置，提取眼球特征點(diǎn)。②利用眼球特征點(diǎn)計(jì)算眼球的注視方向，判斷面試者是否與面試官保持良好的眼神交流。

語(yǔ)音識(shí)別。①使用Librosa庫(kù)讀取音頻數(shù)據(jù)，進(jìn)行預(yù)處理，包括降噪、分幀、加窗等操作。②提取音頻的Mel頻譜圖、MFCC等特征。③利用預(yù)訓(xùn)練的語(yǔ)音識(shí)別模型（Google的Speech-to-Text API）將音頻轉(zhuǎn)換為文本，提取面試者的口頭表達(dá)內(nèi)容。

（2）LLM agent模型

利用LLM agent模型提高傳統(tǒng)動(dòng)作識(shí)別的準(zhǔn)確度，實(shí)現(xiàn)多方面、立體化的多模態(tài)輸入。選擇預(yù)訓(xùn)練的大型語(yǔ)言模型（LLM），本研究選擇通義千問(wèn)的開(kāi)源模型，該模型具有強(qiáng)大的語(yǔ)言理解和生成能力。利用LLM agent模型的生成能力可以生成更多的訓(xùn)練數(shù)據(jù)，增強(qiáng)模型的泛化能力，生成多樣化的面試場(chǎng)景，包括不同類型的面試問(wèn)題、面試官的反饋等，將生成的面試場(chǎng)景應(yīng)用于系統(tǒng)中，為用戶提供更加真實(shí)和多樣化的面試訓(xùn)練環(huán)境；利用其語(yǔ)言理解能力可以對(duì)面試者的動(dòng)作進(jìn)行深入理解，識(shí)別出動(dòng)作背后的情感和意圖，對(duì)面試者的動(dòng)作進(jìn)行更準(zhǔn)確的分類和評(píng)估，識(shí)別出積極、消極、中性等情感狀態(tài)，生成個(gè)性化的反饋報(bào)告，指出面試者在情感表達(dá)方面的優(yōu)點(diǎn)和不足，并提供改進(jìn)建議。其在本系統(tǒng)中的作用如圖3所示。

4.系統(tǒng)架構(gòu)

本系統(tǒng)是一個(gè)基于多模態(tài)數(shù)據(jù)捕捉與分析技術(shù)的大學(xué)生就業(yè)面試模擬訓(xùn)練系統(tǒng)，采用B/S架構(gòu)，旨在通過(guò)科學(xué)、個(gè)性化的訓(xùn)練和反饋提升大學(xué)生的面試技能。系統(tǒng)主要由前端、后端和數(shù)據(jù)庫(kù)三部分組成，各部分之間的交互和數(shù)據(jù)流如下頁(yè)圖4所示。

結(jié)果與討論

1.應(yīng)用結(jié)果

（1）數(shù)據(jù)收集與預(yù)處理

目前，本研究已經(jīng)整合了筆者所在學(xué)院內(nèi)部的教學(xué)資源數(shù)據(jù)和公開(kāi)數(shù)據(jù)集，使用了大小面試錄像等內(nèi)部數(shù)據(jù)，以及AffectNet、Kinetics等公開(kāi)數(shù)據(jù)集，并對(duì)數(shù)據(jù)進(jìn)行了去噪、格式轉(zhuǎn)換等預(yù)處理工作，確保了數(shù)據(jù)的一致性和可用性。

（2）模型訓(xùn)練與驗(yàn)證

利用處理后的多模態(tài)數(shù)據(jù)訓(xùn)練了深度學(xué)習(xí)模型，該模型能夠準(zhǔn)確地識(shí)別面試者的非言語(yǔ)行為，并對(duì)其面試表現(xiàn)進(jìn)行評(píng)估。本項(xiàng)目在大模型的訓(xùn)練中將面試中常見(jiàn)的肢體動(dòng)作概括為中性動(dòng)作、指向性動(dòng)作、雙臂交叉、雙手合攏、雙臂張開(kāi)、未知?jiǎng)幼髁N。

在表情的訓(xùn)練中，本項(xiàng)目按照心理學(xué)上常用的情緒分類將面試者的情緒檢測(cè)分為憤怒、厭惡、恐懼、開(kāi)心、悲傷、驚訝、中性、緊張八種。

此外，本項(xiàng)目還增加了對(duì)語(yǔ)音識(shí)別的處理及自動(dòng)標(biāo)注功能，包括但不限于語(yǔ)義及表達(dá)情感的識(shí)別。模型訓(xùn)練采用了端到端的多模態(tài)學(xué)習(xí)框架，結(jié)合了視覺(jué)、音頻和文本數(shù)據(jù)，提高了模型的綜合評(píng)估能力。具體成果如圖5所示。

（3）系統(tǒng)實(shí)現(xiàn)

本研究實(shí)現(xiàn)了面試場(chǎng)景模擬、自動(dòng)評(píng)分、個(gè)性化建議等功能的開(kāi)發(fā)。此外，系統(tǒng)在管理端還增加了訓(xùn)練數(shù)據(jù)管理和測(cè)試數(shù)據(jù)管理的功能，允許管理員上傳和管理訓(xùn)練數(shù)據(jù)，確保數(shù)據(jù)的多樣性和質(zhì)量，允許用戶上傳自己的面試錄像或音頻，用于測(cè)試系統(tǒng)的評(píng)估能力。

2.系統(tǒng)功能

系統(tǒng)由前端和管理端兩大模塊組成，其具體內(nèi)容如下頁(yè)圖6所示。

①面試場(chǎng)景模擬。系統(tǒng)能夠根據(jù)用戶選擇的職業(yè)方向和崗位要求，模擬真實(shí)的面試環(huán)境。

②實(shí)時(shí)反饋。在模擬面試過(guò)程中，系統(tǒng)能夠?qū)崟r(shí)捕捉用戶的非言語(yǔ)行為（如面部表情、肢體語(yǔ)言）和言語(yǔ)行為（如語(yǔ)音內(nèi)容、語(yǔ)速、音調(diào)），并給出即時(shí)反饋。

③自動(dòng)評(píng)分與報(bào)告生成。在面試結(jié)束后，系統(tǒng)將根據(jù)用戶的整體表現(xiàn)自動(dòng)生成評(píng)分報(bào)告，報(bào)告中包含對(duì)面試技巧的具體評(píng)價(jià)和改進(jìn)建議。

④個(gè)性化輔導(dǎo)。基于用戶的面試報(bào)告，系統(tǒng)提供針對(duì)性的學(xué)習(xí)資料和練習(xí)建議，幫助用戶進(jìn)一步提升面試能力。

⑤訓(xùn)練數(shù)據(jù)管理。管理員可以通過(guò)用戶界面上傳和管理訓(xùn)練數(shù)據(jù)，確保數(shù)據(jù)的多樣性和質(zhì)量。

⑥測(cè)試數(shù)據(jù)管理。管理員可以上傳自己的面試錄像或音頻，用于測(cè)試系統(tǒng)的評(píng)估能力。

⑦測(cè)試結(jié)果糾錯(cuò)。管理員可以對(duì)系統(tǒng)的評(píng)估結(jié)果進(jìn)行人工校正，系統(tǒng)會(huì)根據(jù)這些反饋不斷優(yōu)化模型，提高評(píng)估準(zhǔn)確性。

3.用戶反饋

在系統(tǒng)開(kāi)發(fā)完成后，項(xiàng)目組向所在高校學(xué)生投放了問(wèn)卷調(diào)查清單，有97人次參與了此次問(wèn)卷調(diào)查，收到了以下反饋：81%的用戶普遍認(rèn)為系統(tǒng)的模擬面試功能非常接近真實(shí)面試場(chǎng)景，有助于減輕實(shí)際面試時(shí)的壓力；66%的用戶認(rèn)為實(shí)時(shí)反饋和自動(dòng)評(píng)分功能是非常有用的工具，能夠幫助用戶及時(shí)發(fā)現(xiàn)并改正不足之處；40%的用戶提出希望增加更多職位類型的面試場(chǎng)景選項(xiàng)。

4.結(jié)果分析

系統(tǒng)通過(guò)現(xiàn)有的多模態(tài)數(shù)據(jù)分析技術(shù)，特別是在加入了語(yǔ)音識(shí)別和情感分析后，能夠更全面地評(píng)估用戶的面試表現(xiàn)。模型在非言語(yǔ)行為和言語(yǔ)行為的理解上都展現(xiàn)出了較高的準(zhǔn)確率，這對(duì)于提升面試官的好感度和溝通效果至關(guān)重要。目前，模型的準(zhǔn)確率已經(jīng)從65%提升到了73%左右。

結(jié)語(yǔ)

本研究初步證明了利用多模態(tài)數(shù)據(jù)支持下的模擬面試訓(xùn)練對(duì)提高大學(xué)生面試技能具有有效性。系統(tǒng)在以下幾個(gè)方面展現(xiàn)了創(chuàng)新性和實(shí)用性：①系統(tǒng)將視頻、音頻和文本數(shù)據(jù)進(jìn)行了多模態(tài)融合，提供了更全面的評(píng)估視角。②建立實(shí)時(shí)反饋機(jī)制，幫助用戶及時(shí)調(diào)整和改進(jìn)。③基于用戶的面試報(bào)告和自動(dòng)評(píng)分報(bào)告，進(jìn)行個(gè)性化的輔導(dǎo)。④系統(tǒng)能夠根據(jù)用戶選擇的職業(yè)方向和崗位要求，模擬真實(shí)面試場(chǎng)景，幫助用戶提前適應(yīng)實(shí)際面試場(chǎng)景，從而可以有效服務(wù)當(dāng)前大學(xué)生就業(yè)困難的社會(huì)問(wèn)題，為高校在就業(yè)方面的工作提供了一個(gè)智能化的教學(xué)方案。當(dāng)然，本項(xiàng)目在取得初步成功的同時(shí)，也仍存在一些限制，如數(shù)據(jù)量有限、模型泛化能力不夠、用戶經(jīng)驗(yàn)局限、系統(tǒng)功能需進(jìn)一步驗(yàn)證等。后續(xù)，筆者將在數(shù)據(jù)收集、優(yōu)化模型、增加場(chǎng)景和職位類型、長(zhǎng)期跟蹤研究等方面展開(kāi)進(jìn)一步研究與實(shí)踐。

參考文獻(xiàn)：

[1]翟雪松，許家奇，王永固.在線教育中的學(xué)習(xí)情感計(jì)算研究——基于多源數(shù)據(jù)融合視角[J].開(kāi)放教育研究，2022，28（09）：43-54.

[2]楊婷婷.基于視頻圖像的人臉面部表情快速識(shí)別研究[J].計(jì)算機(jī)仿真，2024，41（04）：67-72.

作者簡(jiǎn)介：陸蘇于，研究方向?yàn)橹悄芙逃夹g(shù)、人工智能教育應(yīng)用、多模態(tài)數(shù)字人；王永固，通訊作者，博士，教授，研究方向?yàn)閷W(xué)習(xí)科學(xué)與技術(shù)、智能教育。

基金項(xiàng)目：2024年國(guó)家級(jí)大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃項(xiàng)目“基于視覺(jué)大模型的大學(xué)生就業(yè)面試多模態(tài)測(cè)評(píng)與訓(xùn)練系統(tǒng)研究”（項(xiàng)目編號(hào)：202410337038）。