基于場景多模態數據的學生堅毅力智能化測評研究

一、問題提出

堅毅力是指個體在學習、生活的一定過程中制定并追求目標實現，策略性地保持持續努力、情感積極度以及心理努力的一種能力，具有行為、情感以及認知3個屬性特征[1]。研究表明，堅毅力來源于積極心理學，對人們的生產、生活、學習等產生了重要作用[23]。目前，堅毅力作為學生綜合素質的重要組成部分，重要性日益明顯，其已然成為我國未來人才培養的核心目標之一[4。因此，對學生堅毅力的測評分析研究十分有意義。研究者們在這一領域開展了諸多探索，比如探究測評要素、開發測評工具、開展面向基礎教育至高等教育領域的測評應用等。然而，可以看到的是，測評主要通過自陳式量表實現，學生在測評過程中難免會受社會稱許性影響[5，不能得到較為客觀與真實的測評結果。盡管已有研究借助智能技術以及腦科學研究成果開始對學生堅毅力測評的客觀量化與內隱機制進行探索，但大部分是基于單一模態數據[，鮮有研究基于場景融合真實表現的多模態數據開展對學生堅毅力的智能化測評。

為了解決這一問題，本研究團隊前期以多模態學習分析技術的支持和面向場景真實表現的測評思想為切入點，構建了學生堅毅力測評的理論模型，開發了基于科學探究活動場景的學生堅毅力測評工具（即數據采集工具），并設計了學生堅毅力測評的多模態數據表征。前期研究解決了學生堅毅力測評的理論模型、測評工具、多模態數據表征是什么的問題，但尚未解決多模態數據如何計算的問題。

本研究是前期研究的深入實踐應用，核心研究問題為“如何對學生堅毅力測評的多模態數據進行計算？”。具體細分為以下四個子研究問題：（1）學生堅毅力測評的多模態數據特征如何提取？ （2）學生堅毅力測評的多模態數據如何融合并計算？ （3）如何構建基于多模態數據的學生堅毅力測評可計算模型，并計算結果？ （4）可計算模型的實踐有效性如何？本研究以前期的理論體系、工具體系以及數據體系為基礎，采用自上而下的研究范式展開對上述研究問題的探究，以期為學生堅毅力測評提供一種智能化測評方法體系，突破傳統學習評價技術所帶來的學生堅毅力測評現實問題，同時也期望能為未來學生高階能力集的測評提供借鑒與參考。

二、研究設計

（一）理論模型

研究采用NVivo11軟件對國內外堅毅力研究的權威期刊文獻與報告進行分析，批判性構建學生堅毅力測評的初始理論模型。在初始理論模型之上，研究采用德爾菲法，設計專家函詢問卷，邀請15位專家（心理測量領域、教育技術領域以及一線教學實踐領域各5位）進行三輪論證。最終，通過三輪專家論證的數據結果分析，研究構建包含堅毅的行為性、堅毅的情感性、堅毅的認知性等3個一級指標，專注性、堅持性、積極情感、消極情感、目標意識、自我監控等6個二級指標的學生堅毅力測評理論模型①。

（二）采集工具

借鑒基于在線的能力測評思路，本著學評融合的新理念，以科學探究活動為場景，以理論模型為指導，研究對學生堅毅力測評工具（即數據采集工具）進行設計（線上線下相結合形式）。為了評估工具內容設計的科學性與工具表現性任務質量的可靠性，研究采用自上而下的專家咨詢方式進行工具的第一輪修訂；為了用數據驗證工具可靠性的論證結果，研究采用自下而上的方式采集試測學生在科學探究活動場景下的堅毅力多模態數據進行分析，并結合學生、家長、教師與專家咨詢結果對工具進行第二輪的修改。最后，研究開發形成了由“目標信息 + 學習視頻 + 學習任務單”三部分組成的數據采集工具，由12道題構成（觀看學習視頻、任務的情境性信息除外），在線呈現共10頁②。

（三）研究對象

研究選擇四年級學生作為數據采集的對象。主要有如下緣由：第一，中小學階段是堅毅力形成和發展的關鍵時期。第二，研究借鑒了國內義務教育質量監測與OECD（Organization for Economic Co-operation andDevelopment）社會與情感能力測評的對象選擇經驗，并考慮了數據采集工具的情境適應性、內容匹配度和任務難易度。在綜合考慮經濟發展水平、地域分布、參與積極性等因素后，研究最后采用方便抽樣方法進一步選擇B大學附屬學校參與測評的四年級學生作為數據采集對象。

（四）特征設計

基于學生堅毅力測評理論模型與數據采集工具，研究設計了理論模型每個二級指標的初始數據表征，并邀請8位領域專家（心理測量領域、教育技術領域）進行論證，得到修訂后的數據特征共22個（如表1所示），以指導多模態數據采集。需要說明的是，結合對工具試測的前期實踐總結與測評工具、測評場景（科學探究活動場景）的分析，研究中所有數據特征均與場景密切相關。

（五）數據采集

科學探究活動是本研究多模態數據采集的場景，具體數據采集技術路線如下頁圖1所示。

研究將數據采集工具部署在自主研發的學生綜合評價與發展平臺（StudentEvaluation Enhancing Development，SEED）上，然后學生在家里使用手機或者電腦登錄平臺在規定的時間內完成測評任務。單次連續性完成測評任務的平均時間為40分鐘。需要說明的是，學生在完成測評任務的過程中，可以隨時退出與進入。在這一過程中，研究通過學生端的攝像頭通道采集學生完成測評任務的相關視頻數據（頭部姿態、行為動作序列、面部表情）、圖像數據（自我反思報告），通過在線平臺通道采集學生完成測評任務的相關文本數據（自我反思報告、目標信息題項答案）、平臺日志數據（系統行為日志）。

數據采集時間從2022年12月1日8：00開始至2023年8月4日18：00結束。經統計，共有B大學附屬學校的31所學校、3534名四年級學生完整完成了（不含自愿放棄）測評，涵蓋我國東部、中部、西部以及東北地區17個省（自治區、直轄市）。整體而言，研究共采集到3534名四年級學生有關堅毅力表現的作答數據，包括目標信息題項答案、實驗操作視頻、自我反思報告，以及514029條行為日志數據，包括發生時間（點擊事件時的時間）、事件持續時間（毫秒）等。

高質量的數據是構建可計算模型的基礎。因此，研究通過學生上傳視頻與圖片質量的雙保證來進行數據篩選。實驗操作視頻篩選的原則為：（1）畫質清晰、無遮擋、采光好；（2）視頻時長至少1分鐘；（3）視頻中最多2人（2人時，人物須為家長和學生）；（4）視頻中學生畫面完整，基本處于畫面中間，但不過多充滿整個畫面；（5）視頻中主要是學生進行動手實驗（家長過多輔助不要）;（6）視頻不進行倍速處理。圖片篩選的原則為： （1）圖片清晰、不模糊，可以看清字體、字形、字跡；（2）圖片內容與要求的自我反思內容有關，而非語文作文、風景畫等。基于以上原則，研究對上述3534名四年級學生的實驗操作視頻和自我反思報告圖片進行了逐一審核，最終篩選出511名學生的原始作答數據（目標信息題項答案、實驗操作視頻、自我反思報告）。每名學生每類數據均以一條記錄存儲在數據表中。進一步地，研究篩選出80421條行為日志數據。

三、學生堅毅力測評數據特征提取

從表1中可以看出，22個數據特征歸屬于日志數據、文本數據以及視頻數據等三類數據中。為了從原始數據中提取到相應的數據特征，研究針對不同數據類型選擇不同的特征提取方法，但是同類型數據的不同特征提取方法有類似之處，具體如表2所示。

（-） 日志數據特征提取

研究中日志數據特征提取采用統計計算方法即可得到。具體而言：應對不同的特征提取需求，有些可以直接統計得到，有些需要經過一定的計算方式轉換才能得到。基于此，研究得到日志數據6個特征的具體計算公式或方法，具體如表3所示。

基于以上方式，研究計算得到了511名學生的日志數據特征，示例如下頁圖2所示。

文本數據特征提取

當前，成熟的自然語言處理技術能夠解決絕大部分教育場景下的文本數據特征提取問題，包括關鍵詞提取、文本分類、情感分析等[][]。這為本研究文本數據特征提取提供了解決方案。結合實際，研究中文本數據特征提取分為三類：基于答案的直接賦分、基于模型分類的評分以及基于明確關鍵詞的評分。

1.基于答案的直接賦分

UGS的特征值通過基于答案的直接賦分得到，依據學生選擇的不同目標信息答案賦予不同的分值。以10分為該題的滿分，每個選項以2.5分為等差進行累加。結合4個目標選項實現周期的長短，研究分別賦予2.5分、5分、7.5分、10分。

2.基于模型分類的評分

PTS、NTS、RSCS的特征值通過基于模型分類的評分得到。基本思路是先設計評分框架，然后依據評分框架人工標注樣本，最后是訓練與應用分類模型，自動輸出類別或者類別概率，進而轉換成相應分值。一般而言，訓練樣本是總樣本的約2/3一4/5。但是，為了使分類模型對511名學生文本數據中的自我監控水平、情感傾向類型具有更好地識別力，研究先以采集的所有學生數據為基礎構建預訓練模型，再將訓練好的模型應用于511條數據中。

經過人工標注數據后（自我監控水平標注一致性的QWK系數為0.9175，情感傾向標注一致性的QWK系數為0.9238），研究采用支持向量機（SupportVectorMachines，SVM）、決策樹（DecisionTree，DT）、隨機森林（RandomForest，RF）、梯度提升決策樹（GradientBoostingDecisionTree，GBDT）、BERT等經典算法進行模型訓練，并使用5折交叉驗證法進行模型評估，最后發現BERT算法的表現性能更優，即自我監控水平分類的準確率達到 76.9% ，精確率達到 73.8% ，召回率達到 77.2% ，AUC面積為0.793，情感傾向分類的準確率達到 81.4% ，精確率達到 77.1% ，召回率達到 74.3% ，AUC面積為0.808，均達到性能評估要求。因此，研究采用BERT模型對PTS、NTS、RSCS進行自動分類，并將類別轉換為分值（即特征值）。

3.基于明確關鍵詞的評分

SRPS、SRGS的特征值通過基于明確關鍵詞的評分得到。基于明確關鍵詞的評分基本思路是先制定人工評分規則進行評分，再將人工評分規則轉換為機器評分規則，利用關鍵詞進行自動評分。

具體而言：第一，制定人工評分規則進行評分。針對SRPS、SRGS的含義，先分別制定了特征計算的人工評分規則，再邀請2位領域專家（教育技術領域、心理與教育測評領域）進行了科學性與可行性評估，最后開展了基于典型真實數據（SRPS代表性數據65條、SRGS代表性數據50條）的人工評分一致性檢驗（SRPS的QWK系數為0.9175，SRGS的QWK系數為0.9856）；其中SRPS的人工評分規則分為4條，對應評分分值為0分、1分、2分、3分，SRGS的人工評分規則分為3條，對應評分分值為0分、1分、2分。第二，利用關鍵詞對文本進行自動評分，包括輸入文本、全樣本關鍵詞提取、典型樣本機器自動評分、人機評分一致性檢驗 （QWKgt;0.70） 、全樣本機器自動評分等五個階段。首先，研究采用Python軟件中的結巴（jieba）庫，通過加入停用詞、專家詞的方式對511條數據進行分詞，并結合使用TF-IDF、TextRank、Word2vec（以0.6為閾值進行相似度擴充）算法輸出用于計算SRPS、SRGS的關鍵詞與關鍵短語集（各3組）；然后，研究將前述人工評分規則轉換為機器可理解的規則，并綜合采用TextRank、Sentence2vec算法依據規則對代表SRPS、SRGS的典型樣本數據進行自動評分。最后，經過兩輪的關鍵詞與評分規則修訂，SRPS人機評分的QWK系數達到0.7660，SRGS人機評分的QWK系數達到0.8532，均大于0.70，說明修訂后的關鍵詞、關鍵短語集與機器評分規則可靠（各4組）。因此，研究采用修訂后的關鍵詞、關鍵短語集與機器評分規則進行全樣本數據的自動評分。

總體而言，基于以上三種方式，研究計算得到了511名學生的文本數據特征，示例如下頁圖3所示。

（三）視頻數據特征提取

視頻數據的特征提取問題依賴于先進的計算機視覺技術，比如Yolov7、VGG（Visual Geometry Group Network）等神經網絡算法，可以比較準確地自動實現目標檢測、行為識別與分類等[12][13]，為本研究視頻數據的人物識別、頭部姿態估計、行為特征提取、情感特征提取等提供了有益的借鑒。結合實際，本研究中的視頻數據特征提取分為三個階段：模型構建階段、模型融合階段以及特征輸出階段，具體的技術路線如圖4所示。

習，本研究以3534個視頻為基礎，結合視頻篩選原則，共挑選出785個視頻作為預訓練模型的樣本。研究采用Yolov7算法對抽取的視頻幀進行人物自動檢測，并進行模型訓練。結果表明，識別出學生的精確率達到 92.4% ，召回率達到 91.6% ，平均精度均值為0.95，識別出家長的精確率達到 87.8% ，召回率達到89.6% ，平均精度均值為0.939，整體的精確率達到 90.1% ，召回率達到 90.6% ，平均精度均值為0.945。這說明研究所構建的人物識別模型具有較好的識別力。

第二，頭部姿態模型構建。

研究采用成熟的SynergyNet模型進行學生頭部姿態自動識別，因為該模型在公開數據集上識別Pitch（俯仰角，指上下點頭）、Yaw（偏航角，指左右搖頭）、Roll（翻滾角，指歪頭）三個頭部姿態的平均絕對誤差值較小，遠低于SADRNet、img2pose等頭部姿態識別模型[14]。基于此，研究通過自編Python程序將人物身份識別模型與SynergyNet模型進行融合，統計Pitch值、Yaw值、Roll值范圍，制定學生高專注、低專注的判斷規則。通過修

訂，研究按照“1幀/秒抽取圖片；每個視頻每5s統計一次Pitch值、Yaw值、Roll值，每個視頻均統計前18次（即每個視頻統計前1分30秒內容的頭部姿態變化），每個視頻均從第0秒（初始值）開始計數”的規則進行統計。最終，研究在專家的指導下定義 且 且 -30^° ≤Roll ?70^° 為

第一，人物識別模型構建。為了讓模型能夠充分學

依據需要提取的特征，結合研究場景及實際數據，人物識別模型、頭部姿態識別模型、行為動作識別模型均需要基于場景實際數據構建預訓練模型，進而提高模型的泛化能力。

1.模型構建階段

高專注，否則為低專注。

第三，行為動作識別模型構建。該模型的構建旨在提取HCT、LCT的特征值。HCT、LCT的特征值依賴于學生實驗操作的行為序列。在本研究場景下，實驗操作具有5個關鍵行為：稱重、測高度、放球、測大小、記錄。為了比較精確地獲取行為，研究通過設計行為標注框架（人工標注行為一致性的Kappa系數達到0.9135），并采用Yolov7算法的方式進行模型訓練（研究從785個視頻中選擇417個視頻進行人工標注，得到18308幀有效圖片，總標簽數量為20331個，其中稱重行為標簽數1479個，測高度行為標簽數4157個，放球行為標簽數4850個，測大小行為標簽數3887個，記錄行為標簽數5958個），進而自動識別樣本視頻行為動作。結果表明模型在測試集上的表現較好，具體性能參數如表4所示。

2.模型融合階段

針對同一視頻的諸如人物、頭部姿態、行為動作、面部表情等多類別識別，需要將多個不同的模型進行融合。由上述內容可知，研究已構建人物識別模型、頭部姿態識別模型、行為動作識別模型。由于目前面部表情識別模型已經比較成熟，并且通用，因此研究采用PyTorch框架下的面部表情識別模型（FacialExpressionRecognition，FER）對學生的面部表情進行識別與分類，包括生氣、厭倦、害怕、開心、悲傷、驚訝、中性等七種基本情感。已有研究表明，FER利用VGG神經網絡算法在公開數據（視頻）集FER2013、 CK+ 上的表情識別準確率分別能夠達到 、 94.649%^[16] ，這說明該模型是可靠的，可以進行遷移應用。最終，研究通過自編Python程序將人物身份識別模型與頭部姿態識別模型、行為動作識別模型、面部表情識別模型進行融合，進而區分出學生、家長的頭部姿態、行為動作以及面部表情，為后續特征輸出奠定基礎。

3.特征輸出階段

研究中視頻數據特征輸出包括三類：一是基于頭部姿態判斷學生高、低專注性，進而輸出高、低專注出現的次數（HCC、LCC）；二是基于行為動作序列判斷學生高、低專注性，進而輸出高、低專注的行為動作序列時長（秒）（HCT、LCT）；三是基于學生面部表情識別，輸出相應情感類型，進而統計相應情感出現持續的時長（秒）（ST、HT、FT、SaT、AT、DT）。具體地，研究先按照1幀/秒的方式對511個樣本視頻進行圖片抽取，然后應用融合后的模型對視頻中的人物、頭部姿態、行為動作、面部表情進行識別，最后再進行相應特征的統計分析。

針對 HCC 、LCC，研究先應用模型自動識別每幀圖片中學生的Pitch值、Yaw值、Roll值范圍，再用判斷規則‘ 且 且 為高專注，否則為低專注”去判定學生的高低專注類別，最后利用簡單統計分析自動計算出高專注出現的次數、低專注出現的次數。

針對HCT、LCT，研究先應用模型自動識別每幀圖片中學生的行為動作，然后分別輸出學生行為動作原始序列、行為動作合并序列，最后以專家定義的行為動作序列庫及每條序列代表的專注水平為基礎，將學生行為動作合并序列與專家序列庫進行匹配，得到學生行為最佳匹配序列。學生行為最佳匹配序列采用Python軟件自帶庫difflib中的SequenceMatcher計算相似度得到。之所以這樣做是因為學生實驗操作視頻中環境的復雜性、實驗器材的多樣性以及家長適當的實驗操作輔助等因素的存在，導致學生行為動作合并序列很難與專家序列庫進行完全匹配，只能找到相似度比較高的最佳匹配序列。基于此，研究以學生行為動作合并序列、行為最佳匹配序列的公共子序列（公共子行為除外，必須是行為序列）為橋梁，計算高專注與低專注的行為序列持續時長。具體而言：首先找出學生行為最佳匹配序列與學生行為動作合并序列的公共子序列。假如存在這樣一個公共子序列，那么在學生行為動作原始序列中，公共子序列的持續時長為高專注的行為序列持續時長（HCT），非公共子序列的持續時長為低專注的行為序列持續時長（LCT）；假如不存在這樣一個公共子序列，那么低專注的行為序列持續時長用學生行為動作原始序列時長表示，高專注的行為序列持續時長就為0秒。

針對ST、HT、FT、SaT、AT、DT，研究先應用模型自動識別每幀圖片中學生的面部表情，然后輸出情感類型，最后再利用簡單統計分析自動計算出每種面部表情出現持續的時長（秒）。

基于以上三個階段，研究計算得到了511名學生的視頻數據特征，示例如下頁圖5所示。

四、多模態數據融合與指標計算

（-） 多模態數據融合

一般而言，多模態數據融合的方法有特征融合、決策融合以及混合融合[]，三種融合方法各有優缺點。由于本研究中各模態時序不同步的問題，綜合考慮上述三種融合方式的優缺點和時間尺度，研究決定采用決策融合的方法進行多模態數據的融合。本研究中表征學生堅毅力測評理論模型二級指標的數據特征具有多源多維特征屬性，每一個指標的融合因素均可以分為2層。

基于以上研究，對學生堅毅力測評理論模型二級指標的多模態數據融合作以下定義：假設表征每個堅毅力測評理論模型二級指標的數據集由多個特征構成，特征總個數用m表示，那么表征每個二級指標數據集的特征值集合可以表示為 ，相對應特征的權重值集合可以表示為 ，其中 ，研究可以得到每一個二級指標的數據計算形式化表達可以定義為：

那么每一個二級指標多模態數據融合的結果由公式轉換可得到：

S_k=Σ_i=1^mE_ki^'W_ki

式（2）中，E∈[0，1]，為線性歸一化后的值，W =1

由上可知，要計算學生堅毅力測評理論模型的二級指標，表征每個指標各數據模態下的特征值權重尤其重要，直接影響了多模態數據融合后的指標計算結果。通常來講，權重既可以由人為主觀賦權，也可以由實際數據客觀賦權。為了排除人為經驗的主觀干擾，研究采用熵權法對表征每個指標各數據模態下的特征值進行客觀賦權。

（二）二級指標值計算

由表1可知，表征“專注性”指標的多模態數據集由6個特征構成，表征“堅持性”指標的多模態數據集由3個特征構成，表征“積極情感”指標的多模態數據集由3個特征構成，表征“消極情感”指標的多模態數據集由5個特征構成，表征“目標意識”指標的多模態數據集由2個特征構成，表征“自我監控”指標的多模態數據集由3個特征構成。進一步地，基于上述多模態數據融合思路，研究對表征每一個二級指標的多模態數據進行加權融合，進而計算其具體值，具體如下所述。

1.特征權重計算

結合上述數據采集、特征提取，研究根據特征表征的指標指向，先將22個特征分成6組，其中每一組的每一個特征均具有511條數據，每一個特征數據分布較為均勻；然后采用熵權法計算得到了每一個特征的權重，具體如表5所示。

2.指標值計算

專注性、堅持性、積極情感、消極情感、目標意識以及自我監控分別為學生堅毅力測評理論模型的二級指標1、指標2、指標3、指標4、指標5以及指標6。結合每個二級指標的特征值集合以及對應特征的權重，依據公式（2），研究分別計算得到其具體值： S₁ 、S₂ 、 S₃ 、 S₄ 、 s_s 、 s₆ 。因此，研究計算得到了每位學生堅毅力測評理論模型二級指標的值，具體示例如下頁表6所示。

五、可計算模型生成與結果計算

基于以上基礎，研究通過加權求和的方式逐級往上聚合，自動計算出每一個學生堅毅的行為性得分、堅毅的情感性得分、堅毅的認知性得分，乃至最后的學生堅毅力指數 （S_grit） ，具體模型生成思路如下頁圖6所示。

從圖6中可以看出，模型生成與結果計算的一個關鍵數據就是學生堅毅力測評理論模型的每一級指標的理論權重。在前期研究過程中，本研究團隊綜合采用德爾菲法和層次分析法對每一級指標都進行了賦權，其中堅毅的行為性、堅毅的情感性、堅毅的認知性指標的同級權重分別為：0.616、0.193、0.191；專注性、堅持性、積極情感、消極情感、目標意識、自我監控指標的同級權重分別為：0.4796、0.5204、0.792、0.208、0.4368、0.5632，其組合權重分別為：0.2955、0.3205、0.1529、0.0401、0.0834、0.1076。因此，可得：

a=（a₁，a₂，a₃，a₄，a₅，a₆）=（0.2955，0.3205，0.1529，0.0401， 0.0834，0.1076），結合公式（3），那么基于多模態數據的學生堅毅力測評可計算模型為：

其中， k=1，2，3，4，5，6°

最后，研究將各級指標計算結果等比例映射至[1，5]

區間內，以便于表征、比較與分析。

基于模型生成思路，研究通過向上逐級加權聚合的方式計算得到每一位學生的堅毅力指數，具體示例如表7所示。

六、可計算模型實踐有效性檢驗

研究所構建模型計算得出來的學生堅毅力指數與客觀真值（具體為學生堅毅力自評結果、他評結果）是否接近，是驗證模型實踐有效性的適切方式，一般采用相關分析、回歸分析進行分析。

（一）客觀真值的確定

研究者們目前常用原始堅毅力測評量表（OriginalGritScale，Grit-O）、簡版堅毅力測評量表（ShortGritScale，Grit-S）讓學生通過自我報告的方式來獲得其堅毅力自評結果。理論上本研究應該以這種客觀真值作為比較，但是Grit-O、Grit-S所構建的努力持續性、興趣穩定性兩個測評維度與本研究構建的測評維度存在差別，并且脫離科學探究活動場景，整體偏差較大，因而這種客觀真值無法在本研究場景下被采納。因此，考慮將他評結果作為客觀真值。以往的研究中有研究者采用他評法來測評個體的堅毅力結果。比如，由被評價者推薦其朋友以及家人填寫Grit-S（量表中所有第一人稱都改成第三人稱），事實證明堅毅力結果能夠由他評比較可靠地獲得，家人、朋友對Grit-S評分的內部一致性系數分別達到 |0.84 /0.83，并且自評與家人、朋友評分之間具有顯著的中等相關性[8]。此外，有研究者通過2名專業的評價者對教師提供的簡歷信息（如參加過的活動并取得顯著的進步與成就、工作經歷等）進行打分的方式獲得其堅毅力結果，結果表明這種方法也比較可靠[19]

結合數據采集對象規模與數據采集組織的實際情況，第一種他評法所涉及的不同主體多，調動難度極大，不適宜大樣本；相反，第二種他評法面對大樣本時依舊具有可操作性。因而研究選擇第二種他評法獲得客觀真值。具體而言，研究結合每個學生的目標信息、實驗操作題目時長、實驗操作視頻以及學生日志數據來綜合判斷其在科學探究活動場景下的堅毅力結果，由2名教育測量方向的博士研究生基于這些信息的第一印象進行背靠背打分（評分范圍在1一5分內，可允許小數分存在），并由第三人在旁監督。打分的總體原則為：所選目標程度越長期，實驗操作題目時長越長，實驗行為越符合次數（3次）與序列要求（專家定義序列），分數越高；反之分數越低。最后，研究取2名博士研究生對每一個學生打分的平均分作為其堅毅力結果，以此作為客觀真值，為后續的分析奠定基礎。

（二）實踐有效性檢驗

1.相關分析

通過分析模型計算得到的511名學生堅毅力指數（S_grit） 和他評客觀真值（human_average_grit_score）兩組數據發現，整體呈正態分布，因而研究采用皮爾遜相關分析進行相關性分析。基于此，研究通過Python計算得到 r=0.965 ， p=0.000lt;0.01 ，變量 ?S_grit 和變量humanaverage_grit_score兩者之間呈顯著正相關關系，說明研究所構建的可計算模型具有實踐有效性。

2.回歸分析

為進一步提供深層次的實踐有效性證據，研究在相關性分析的基礎之上進行回歸分析，驗證自變量 ?S_grit 能否預測因變量human_average_grit_score。通過Python計算，研究首先得到變量間的線性關系（滿足顯著正相關的線性關系）、標準化殘差分布情況（整體呈正態分布）、殘差方差齊性滿足情況（均勻分布在 y=0 兩側，滿足方差齊性）以及DW（Durbin-Watson）值為1.937（接近2，殘差具有獨立性，模型不存在自相關性2；然后得到 F=6876.831 ，p=0.000lt;0.01 ， R²=0.931 ，調整后的 R²=0.931 ，這說明模型擬合很好。換言之，自變量 ?S_grit 能夠預測因變量human_average_grit_score，這為研究可計算模型的實踐有效性提供了更深層次的證據。

綜上所述，通過將模型計算的堅毅力指數與他評客觀真值進行相關性分析與回歸分析，驗證了研究所構建的基于場景多模態數據的學生堅毅力智能化測評模型的實踐有效性。

七、結語

結合前期研究的理論、工具以及數據表征基礎，通過“多模態數據采集、多模態數據特征提取、模態融合與指標計算、模型生成與結果計算、模型有效性驗證”的思路，研究實現了基于場景多模態數據的學生堅毅力的客觀化與智能化測評，一定程度上解決了當前學生堅毅力測評客觀性不足、真實性不夠的現實問題。

當然，研究是一項探索性研究，還存在一些不足。第一，學生堅毅力測評的次數還有待增加。對于中小學生而言，學生堅毅力發展具有動態變化性。研究對四年級學生堅毅力近乎一年的發展只進行了單次且跨長時間的測評，有可能會影響學生堅毅力指數的真正挖掘。第二，研究場景還存有一定的限制。考慮到研究對象的大樣本、規模化數據采集帶來的成本問題、測評的組織實施以及城鄉差異性等，研究采用的是線上線下相結合的科學探究活動場景，其中線下是學生家庭環境場景。這與常規面向課堂、面向場館的科學探究活動場景會有所不同，有可能會影響對學生堅毅力指數的測評。因此，后續研究將彌補上述不足，持續優化測評模型，并在此基礎上分析影響學生堅毅力發展的因素，為未來學生個性化堅毅力的培養與發展提供解決方案。

參考文獻：

[1]

[8]郭利明，鄭勤華等.學生堅毅力測評：理論模型、表現性評價工具與數 據指標[J].中國電化教育，2023.（7）：109-117.

[2]VonCulinKR，TsukayamaE，DuckworthAL.Unpackinggrit：Motivational correlates of perseverance and passion for long-term goals [J].The Journal of Positive Psychology，2014，9（4）：306-312.

[3] Wolters CA，Hussain M.Investigating grit and its relationswith college students’self-regulated learning and academic achievement [J]. Metacognition and Learning，2015，10（3）：293-311.

[4]教育部.教育部關于印發義務教育課程方案和課程標準（2022年 版）的通知[EB/OL].http：//www.moe.gov.cn/srcsite/A26/s8001/202204/ W020220420582343217634.pdf，2024-10-09.

[5] Credé M.What shall we do about grit？A critical review of what we know and what we don't know [J].Educational Researcher，2018，47（9）：606-611.

[6]MyersCA，WangC，etal.Thematterof motivation：Striatal resting-state connectivity is dissociable between grit and growth mindset [J].Social cognitive and affective neuroscience，2016，11（10）：1521-1527.

[7]周文葉.促進深度學習的表現性評價研究與實踐[J].全球教育展望，2019， 48（10）：85-95.

[9]鄭勤華，郭利明.人機協同的敏捷教育建模及實踐應用[J].現代遠程教 育研究，2021，33（4）：43-50.

[10]Lauriola I，Lavelli A，Aiolli F.An introduction to deeplearningin natural language processing：Models，techniques，and tools [J].Neurocomputi ng，2022，470：443-456.

[11] Chaturvedi I，Cambria E，et al.Distinguishing between facts and opinions for sentiment analysis：Survey and challenges[J].Information Fusion，2018，44：65-77.

[12]WangCY，BochkovskiyA，LiaoHYM.YOLOv7：Trainablebag-offreebies sets new state-of-the-art for real-time object detectors [C]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.Vancouver：IEEE，2023：7464-7475.

[13]Shri SJ，Jothilakshmi S.Crowd video event classificationusingconvolutional neural network [J].Computer Communications，2019，147：35-39.

[14] Wu C Y，Xu Q，Neumann U.Synergy between 3dmm and 3d landmarks foraccurate 3d facial geometry [C].Proceedings of the 2O21 International Conference on 3D Vision （3DV）.London：IEEE，2021.453-463.

[15] Pramerdorfer C，Kampel M.Facial expression recognition using convolutional neural networks：state of the art [J].arXiv preprint arXiv，2016：1-6.

[16] Sun Y，Wu C，Zheng K，etal.Adv-emotion：The facial expressionadversarial attack[J].International Journal of Pattern Recognition and Artificial Intelligence，2021，35（11）：1-25.

[17]任澤裕，王振超等.多模態數據融合綜述[J].計算機工程與應用，2021，57 （18）：49-64.

[18]DuckworthAL，QuinnPD.DevelopmentandvalidationoftheShort Grit Scale （GRIT-S）[J].Journal of personality assessment，20o9，91（2）：166-174.

[19]Robertson-KraftC，DuckworthAL.True grit：Trait-level perseverance and passion for long-term goals predicts effectiveness and retention among novice teachers[J].Teachers College Record，2014，116（3）：1-27.

[20]Durbin J，Watson G S.Testing for serial correlation in least squares regression.II[J].Biometrika，1951，38（1/2）：159-177.

作者簡介：

鄭勤華：教授，博士，博士生導師，研究方向為在線教育、人工智能教育、教育大數據、學習分析。郭利明：講師，博士，研究方向為學習分析、教育大數據、教育測量與評價。齊欣：研究員，碩士，副館長，研究方向為科學教育。