開放式情境判斷測驗的自動化評分

摘 "要 "受限于評分成本， 開放式情境判斷測驗難以廣泛使用。本研究以教師勝任力測評為例， 探索了自動化評分的應用。針對教學中的典型問題場景開發了開放式情境判斷測驗， 收集中小學教師作答文本， 采用有監督學習策略分別從文檔層面和句子層面應用深度神經網絡識別作答類別， 卷積神經網絡（Convolutional Neural Network， CNN）效果理想， 各題評分準確率為70%～88%， 與人類評分一致性高， 人機評分的相關系數r為0.95， 二次加權Kappa系數（Quadratic Weighted Kappa， QWK）為0.82。結果表明， 機器評分可以獲得穩定的效果， 自動化評分研究能夠助力于開放式情境判斷測驗的廣泛應用。

關鍵詞 "情境判斷測驗， 自動化評分， 教師勝任力， 開放式測驗， 機器學習

分類號 "B841

1 "引言

在人事測評領域， 情境判斷測驗（Situational Judgment Test， SJT）因其測驗內容的獨特性和較高的表面效度而廣為流行， 常用于人員選拔與評估。題干通常呈現一系列與工作相關的情境， 選項則是若干典型行為反應， 要求受測者選擇最符合自己實際做法的一項或對選項排序（漆書青， 戴海琦， 2003）。情境判斷測驗是測量勝任力的良好工具， 比面試成本更低， 比自陳式量表更生動， 在預測工作績效方面比一般認知能力測驗、人格測驗表現更佳（Burrus et al.， 2012; McDaniel et al.， 2007; McDaniel et al.， 2011; Oostrom et al.， 2012; Slaughter et al.， 2014; Weekley amp; Ployhart， 2005）。

按照開放程度的不同， 情境判斷測驗作答形式總體可分為封閉式（Closed Response Formats）和開放式（Open-ended Formats）。封閉式即傳統的多項選擇式（Multiple Choice， MC）; 開放式即構答反應式（Constructed Response， CR）， 題目不呈現選項， 被試可自由作答， 主要包括書面回答式（Written- constructed）、視聽構建式（Audio-visual Constructed）、情景面試（Situational Interview）等。其中， 書面回答式要求受測者寫出做法; 視聽構建式一般用多媒體呈現情境， 要求受測者口頭回答或表演， 并進行錄制（Oostrom et al.， 2010， 2011）; 情景面試則是主考官與受測者在面對面（或線上）的情況下問答。

封閉式是目前主流的測驗形式， 方便標準化處理和快速計分。然而這種形式也易受個體作答態度、猜測和應試策略的影響， 受測者易從選項中獲取提示， 在高利害場景中存在擇優作答情況， 難以有效區分高勝任力個體（McDaniel et al.， 2001; Robson et al.， 2007）。此外， 對受測者而言， 選項本身含有額外的認知負荷， 需閱讀完所有選項并辨析含義、做比較判斷， 這一過程中認知能力等額外變量會對測驗結果產生影響（Lievens et al.， 2015; Marentette et al.， 2012）。

開放式作答一定程度上可以解決這些問題， 這種形式不局限于固定答案， 能夠給予受測者更多自由表達的空間（Finch et al.， 2018）， 促進受測者對主題材料的深入理解（Bacon， 2003; Kastner amp; Stangla， 2011; Rogers amp; Harley， 1999）， 使其有更高的參與動機、更沉浸地做出反應（Arthur et al.， 2002; Edwards amp; Arthur， 2007）。開放性SJT題項認知負荷較小， 猜測被最小化， 與傳統多項選擇式相比， 具有更理想的效標關聯效度（Funke amp; Schuler， 1998）和預測效度（Arthur et al.， 2002; Funke amp; Schuler， 1998; Lievens et al.， 2019）， 更接近現實生活中的思考與行為過程， 具有更高的生態效度和表面效度（Kjell et al.， 2019）。

盡管隨著技術的進步， 越來越多的研究者開始探索開放式SJT， 但目前研究仍處于起步階段（Cucina et al.， 2015）。有研究者對書面回答式（Lievens et al.， 2019）和視聽構建式（Oostrom et al.， 2010， 2011）的測驗形式進行了探索， 是富有創新性的嘗試， 然而評分環節仍采用人工評分方式。人工評分的時間和人力成本高（Downer et al.， 2019; Edwards amp; Arthur 2007; Iliev et al.， 2015）， 易受評分者效應（Rater Effects）影響（Edwards amp; Arthur， 2007; Lievens et al.， 2019）。在Lievens等（2019）的研究中， 評分員在每個受測者上平均花費約35分鐘， 在Funke和Schuler （1998）的研究中， 使用了3人評分以保證評分質量。因此， 在對效率要求高的大規模施測中， 這類開放式測驗往往會被謹慎選用。評分問題已成為阻礙開放式SJT發展的重要因素（Iliev et al.， 2015）， 迫切需要解決自動化評分問題。

相較于人工評分， 自動化評分（Automated Scoring）適用于更多元的測評任務， 成本更低且能夠實現即時反饋。而如何實現開放式SJT的自動化評分， 相關研究甚少， 尚未有明確的做法和系統的研究范式。Guo等（2021）使用自然語言處理（Natural Language Processing， NLP）技術分析了5個開放式SJT的公開數據， 采用Doc2Vec將文本轉換為向量， 使用嶺回歸來預測人格得分， 其平均相關系數為0.28 （r = 0.22～0.38）， 相關性較低， 也并未報告該方法的可靠性和有效性。Tavoosi （2022）設計了包含4道題目的反生產工作行為（Counterproductive Work Behavior， CWB）開放式SJT， 并采用N-gram方法進行主題建模， 抽取了主題詞， 但并未實現評分。

雖無明確的研究范式， 但相關研究可以提供方法上的借鑒。第一， 開放式SJT的評分標準， 可以參考人工評分標準來設定。人工評分一般有簡單的評分要點， 再由兩名以上的評分員評分， 在Lievens等（2019）的研究中， 人工評分參照了行為錨定評分表（Behavioral Anchored Rating， BAR）， 評分標準更加具體、客觀， 該表是Smith和Kendall在1963年提出的， 它是一種用于員工績效評級的行為測量工具。第二， 自動化評分算法。按照文本長度可以將自動化評分問題分為兩類， 長文本類型如作文自動化評分（Automated Essay Scoring， AES）， 短文本類型如簡答題自動評分（Automatic Short-answer Grading， ASAG）， 開放式SJT自動化評分問題介于此兩類之間。第三， 自動評分的解釋性和效度驗證。心理測量學更加關注評分的可靠性、有效性和公平性， 僅評分模型準確率高并不能充分說明機器評分的效果。機評效果的評估指標還包括與人工評分的相關系數、完全一致率、一致率系數（Kappa）、評分分布的一致性、相關樣本評分差異t檢驗等（Ramineni et al.， 2012）， Williamson等（2012）提出機器評分的效度驗證框架， 包括評分結果的解釋、評估、外推、概化和使用5個方面。

其中， 上述第二點自動化評分算法是本研究的核心， 以下詳細介紹。AES和ASAG適用的問題場景和評估重點皆不同， AES側重于評估文本的立意、結構、寫作風格、語法和連貫性等， 開放程度高， 評分核心是文本特征抽取（Rudner amp; Liang， 2002; Yang et al.， 2022）。而ASAG的文本一般有若干單詞或小短句， 題目有參考答案， 開放程度較低， 是圍繞標準答案的有限開放， 簡答題考察特定知識點， 因此評分核心側重于評估語義內容（Burrows et al.， 2015）， 常見方法有關鍵詞匹配法， 即作答文本的關鍵詞越多則分數越高， 或采用相似度算法， 即作答文本與標準答案的相似度越高則分數越高。

不同于以上兩類， 開放式SJT的自動化評分是一個新的問題類型。主要表現為：（1）開放程度不同。既不是完全發散式（SJT的回答可以被歸類為有限的類別）， 亦不存在標準答案， 在相同問題情境下不同個體有著獨特的解決方案， 并不存在明確的、基于專業知識的“正確”答案（Whetzel amp; McDaniel， 2009）。（2）評分標準不同。開放式SJT中， 文本挖掘的重點在于自然語言文本與所測心理特質的關系， 某一情境下的不同做法代表著受測者不同的能力水平及特質傾向， 而這種傾向的差異正是評估的重點。因而， 開放式SJT的自動化評分很難直接參考既有算法：文本風格辨析與所測心理特質之間難以建立實際聯系; 關鍵詞法更關注表層語義的相似程度， 并不適用于語義更加豐富的SJT作答文本; 相似度算法亦不適合， 開放式SJT邏輯上并無標準答案， 若采用此方法， 則背離了SJT題目設計的初衷。

考慮到作答文本中包含不同類型的做法， 可以從文本語義內容入手， 嘗試將評分問題轉化為文本分類任務（Lubis et al.， 2021; Ramesh amp; Sanampudi， 2022; Süzen et al.， 2020）。自動文本分類（Automated Text Classification）是將文本自動劃分到某些預定義類別中的過程（Basu amp; Murthy， 2013）。文本分類的流程主要包括：文本預處理、特征提取、模型訓練、模型評估、模型優化與應用等部分。這種有監督的文本分類流程如圖1所示， 包括兩個階段， 第一個階段是在有標簽的訓練數據上進行模型訓練， 第二個階段是應用訓練好的模型對測試數據預測并作性能評估。在兩個階段中， 文本數據需要進行相同的預處理和特征提取操作， 例如去停用詞、統計詞頻等， 從而獲取計算機可直接計算的數值型文本表征。所訓練的分類模型可以看作從文本表征到分類標簽的映射函數， 通過指定的機器學習算法訓練得到， 并實現對分類文本所關聯的標簽做出預測。

機器學習特別是深度學習模型在文本分類（Yang et al.， 2022）任務中能夠取得較好的結果。常用的機器學習分類算法有支持向量機（Support Vector Machines， SVM）、K近鄰（k-Nearest Neighbor， KNN）、樸素貝葉斯（Naive Bayes）、決策樹（Decision Tree）等。近幾年， 基于深度神經網絡的文本分類方法有了極大突破， 展現出了更強大的性能。深度學習的方法是基于預訓練的詞向量模型， 使用如卷積神經網絡（Convolutional Neural Network， CNN）、循環神經網絡（Recurrent Neural Network， RNN）等深度神經網絡實現文本分類任務， 在語料足夠的情況下， 可以表現出極佳的性能， 執行文本評分任務可以達到接近人的水平， 甚至比人工評分表現出更強的穩定性。

綜上而言， 開放式情境判斷測驗具有不可替代的優勢， 適用于需對個體進行細粒度刻畫的場景中， 且這類自由式作答文本中蘊含著豐富的情緒情感信息、表征著人格特質與行為偏向， 對文本內容進行挖掘， 可以更全面地測量個體心理， 實現個性化評價。但評分問題目前存在一定困難， 主要有：（1）評分標準的制定。目前評分多依賴于專家經驗。（2）自動化評分的實現。評估自由文本本身就具有挑戰性， 在心理測評應用場景中， 更是由于計算機不理解作答真實含義， 使得自動化評分難以實現（Kastner amp; Stangla， 2011; Zhang et al.， 2020）。（3）自動化評分的解釋與效度驗證。開放式測驗的自動化評分研究較少， 且難以解釋評分模型輸出的預測分數的含義， 評分的效度驗證等問題仍有待研究。

本文探索了開放式SJT在教師勝任力測評任務上的應用， 以中小學教師為研究對象， 基于心理測量學的框架開發一套開放式SJT， 結合典型行為反應設計評分標準， 采用深度學習模型實現自動化評分。自動評分過程總體分為三個環節：（1）設定評分規則， 在人工編碼的基礎上基于該情境下的關鍵行為， 逐題確定評分規則， 評分規則中包含行為反應項與對應分值; （2）自動文本分類。分別采用文檔層面和句子層面的思路建模， 通過實驗比較多種模型的分類效果， 選用簡單有效的分類模型對全部題目評分; （3）評分性能驗證。從模型性能、機評信效度等多方面驗證評分效果。具體流程如圖2所示。

研究預期：（1）自主開發的開放式教師勝任力SJT信效度較好， 能有效區分教師勝任水平; （2）基于深度學習的文本分類模型可應用在此類無標準答案的主觀題評分任務上， 機評準確性高; （3）機器評分具有較好的信效度， 人機評分存在正向的強相關。

2 "研究過程

2.1 "被試

深圳市627名中小學教師參與測試（年齡：26～40歲， M = 31.52歲， SD = 2.2歲）， 其中女性463人， 男性164人， 語數英三科教師占42.9%， 其余學科占57.1%。

2.2 "研究工具

2.2.1 "開放式教師勝任力情境判斷測驗

編制過程如下。

確定測驗維度。采用經典流程（徐建平， 2004）構建中小學教師勝任特征， 采取行為事件訪談法（Behavioral Event Interview， BEI）對北京市8所中小學的12名一線教師進行半結構化訪談， 其中女性7人， 男性5人， 骨干教師6人。引導受訪者回顧生涯中最成功與最遺憾的事件， 每人訪談2～3小時。對訪談錄音和文本整理后， 歸類匯總頻次較高的關鍵勝任特征。最終確定勝任力模型如下， 包含4項一級維度和10項二級維度：（1）學生導向：關愛學生、發展他人; （2）問題解決：動態決策、靈活應變; （3）情緒智力：理解他人、情緒控制、人際溝通; （4）成就動機：責任心、挑戰困難、堅毅。

編制題目。基于文獻和訪談， 確定教學中的五類典型問題情境：學生管理、課堂教學、同事相處、學生輔導、家校溝通。依據四項一級維度， 選取有代表性的54個問題情境編制成題干與選項， 統一采用指導語“在這樣的情況下， 你會怎么做？”。

專家評定與題目修訂。向河南省54名教學經驗豐富的小學教師發布專家評定問卷， 教齡10年以上的占88.24%， 收回有效問卷34份。此版本題目為包含4個選項的單選題， 除了完成測驗， 還需完成評價問卷， 包括：對情境真實程度（5點計分）做出評價; 評定選項， 回答實際、最優、最差、補充做法， 并提出修改建議。經統計， 情境真實度均值為3.61 （滿分5分）。對選項分布進行分析， 發現存在明顯的優勢作答傾向。根據專家意見， 對試題進行修訂， 最終確定包含20道題目的開放式SJT， 分為4個維度：學生導向（題目號為1、8、9、10、12、16、20）， 問題解決（題目號為3、4、6、7、17、18）， 情緒智力（題目號為2、5、11、19）， 成就動機（題目號為13、14、15）。

2.2.2 "效標工具

工作滿意度問卷。采用馮伯麟（1996）編制的教師工作滿意量表， 共26道題， 包含自我實現、工作強度、工資收入、領導關系、同事關系5個維度。使用本次收集的數據作信效度檢驗， 整體α系數為0.89 （N = 627）， 5個維度的α系數分別是：自我實現0.84、工作強度0.76、工資收入0.77、領導關系0.79、同事關系0.73。驗證性因子分析結果如下：χ2 = 1055.595， df = 289， χ2/df = 3.65， RMSEA = 0.065， CFI = 0.868， TLI = 0.851， SRMR = 0.063。

公用教學理念與學科教學理念問卷。其中， 公用教學理念問卷12道題， 對問卷進行驗證性因子分析， 刪去2個因子負荷低于0.3的題目（題目號為2、12）， 保留10道題。經分析， 整體α系數是0.88 （N = 627）， 模型擬合良好（χ2 = 131.363， df = 35， χ2 /df = 3.75， RMSEA = 0.066， CFI = 0.964， TLI = 0.954， SRMR = 0.029）。學科教學理念分為語文、數學、英語三科， 各部分的α系數分別是0.93 （n = 99）、0.68 （n = 86）、0.78 （n = 84）。

綜合教學水平評估材料。共181人提交了完整材料， 由6名教學專家評分， 每個維度滿分3分。評估材料涵蓋了教學的前中后期工作， 具體包括：（1）教學設計：教師依據統一的要求提供一課時的教學設計， 評價標準包括教學依據、目標、重點、難點、方法、過程6個方面; （2）教學視頻：一個完整的30分鐘以上的課堂教學錄像， 依據課堂觀察量表（凌晨， 2020）， 從課堂管理、教學內容、思維培養、情感關注4個維度對視頻進行評分， 量表的α系數為0.83， 4個維度的α系數依次為0.67、0.65、0.41、0.69， 驗證性因子分析結果為：χ2 = 150.12， df = 82， χ2 /df = 1.83， RMSEA = 0.075， CFI = 0.897， TLI = 0.868， SRMR = 0.060。（3）學生作業：布置作業并按照優良差各3份提交共9份具有代表性的學生作業; 由教學專家對教師的作業內容設計、作業評價標準設計以及對學生作業的分析3個部分進行評分。

2.3 "數據分析

使用SPSS 26.0和Mplus 8.3做測驗質量分析， 使用Nvivo 11軟件進行人工編碼， 使用Python 3.8進行數據訓練和預測。

2.4 "確立評分標準

2.4.1 "問題界定

文本評分首先要考慮的是評分標準問題。開放式SJT作答文本的特點為：一個問題的回答中包含若干種做法， 且含解決問題的步驟、邏輯與順序等， 不具有單一的、明確的答案。評分的核心不是該情境下的做法是否正確， 而是文本中的典型行為反應模式與教師勝任力模型的契合程度。在本研究中， 不設定答案模板， 依據行為錨定（Behavioral Anchored）評分思路， 關注情境中的特定刺激引發的關鍵行為， 由編碼員為文本中的所有回答分類， 并將類別進一步聚類為典型行為反應集， 并為反應項賦予分值。由于不同場景下的關鍵行為不同， 每道題需單獨設定評分規則。

2.4.2 "人工編碼

選取300人的作答文本進行人工編碼， 剔除作答時間少于1000秒與明顯不認真作答（重復或無關文字）的10人， 保留290份文本。選用4名心理學專業的研究生編碼， 編碼前統一接受半天培訓， 培訓內容包括測評維度、編碼標準、軟件操作、遇爭議項的處理原則等， 題目被隨機分配。

編碼流程包括兩部分：第一， 確定行為反應項。具體地， 每道題由兩名編碼員先通讀文本， 獨立梳理被試所有的行為反應項， 再一同修改合并， 為反應項聚類， 以確立典型行為反應項（10～30類， 多為十幾類）。第二， 人工編碼標注（打標簽）。一名編碼員在Nvivo軟件中逐句標注， 另一名編碼員對編碼結果核查， 過程中可以提出不同意見， 也可繼續對編碼規則合并完善; 每道題編碼完成后導出結果， 按照ID整理句子標注數據集。

2.4.3 "制定評分規則

由上一步驟得到評分規則中的行為反應項， 接下來， 為反應項賦予分值。依據作答結果與勝任力特征的匹配程度， 為更貼近勝任特征的反應項賦予更高分值， 同時關注行為的豐富度、具體性、全面性、邏輯性等所體現的思維水平和能力的差異， 對各個反應項賦分， 分值即為權重分數， 權重分數需能夠有效地體現行為反應的差異。采用3分制（0～3分）， 1 = 差， 3 = 優秀， 0 = 偏題或無效作答。每道題的賦分皆由兩名評分員討論后確定， 直至達成一致。

2.4.4 "分數合成

基于人工編碼環節得到的每個ID的行為反應項， 依據制定評分規則環節得到的反應項對應的分值， 逐題將每個ID的各行為反應項轉為分數。一段作答中一般包含多個行為反應項， 將其分數加和后合成單道題原始總分， 根據百分位數換算成等級分數， 前27%等級分數為3分， 后27%為1分， 得到每道題的得分。除此之外， 還計算了維度分數和測驗總分（即20道題的分數加和）。題目采取3分制（1～3分）， 滿分60分。

2.5 "自動化評分的實現

2.5.1 "數據集和評價指標

選定ID為1～300的已標注文本作為數據集， 共20道題目， 6000道回答。每道題的文本中， 按照300人的2 ： 1劃分訓練集和測試集。在機器學習領域， 對分類任務的評價一般采用準確率（Accuracy， Acc）、精確率（Precision， P）、召回率（Recall， R）、F1值等評價指標。下面以二分類為例， 對4個指標的計算過程進行說明。假設二分類包括正類和負類， 表1為二分類情況下的混淆矩陣， 矩陣中的元素定義為：1） TP （True Positive）：實際為正類且預測為正類的樣本個數; 2） TN （True Negative）：實際為負類且預測為負類的樣本個數; 3） FP （False Positive）：實際為負類且預測為正類的樣本個數; 4） FN （False Negative）：實際為正類且預測為負類的樣本個數。

準確率反映模型在所有樣本上的預測性能， 等于分類正確的樣本數除以總體樣本數， 即混淆矩陣中的對角線元素之和除以矩陣中所有元素之和， 即準確率Acc = （TP + TN） / （TP + FN + FP + TN）。精確率、召回率和F1值三個指標在每個類別上需單獨計算。以二分類中的正類為例， 精確率等于將正類樣本預測為正類的數量除以所有預測為正類的樣本數量， 即P = TP / （TP + FP）; 召回率等于將正類樣本預測為正類的數量除以真實的正類樣本數量， 即R = TP / （TP + FN）; F1值為精確率和召回率的調和平均值， 即F1 = 2PR / （P + R）。本文中的文本分類主要為多分類任務， 在計算評價指標時先分別在每個類別上計算P、R、F1， 然后根據每個類別的樣本數量計算加權平均值得到最終的精確率、召回率和F1值的評估結果。

2.5.2 "文檔層面多標簽文本分類

傳統的文本分類任務多是單標記學習， 每個文本只隸屬于一個類別標簽， 在一個類別上標記互斥， 用0或1來標記， 但實際許多樣本同時屬于多個類別的多個標簽。Schapire于1999年提出了多標記學習， 從標簽集合中為每個實例分配最相關的類標簽子集。根據數據集一段作答文本中同時包含多類行為反應項的特點， 首先基于文檔層面嘗試多標簽（Multi-label）分類方法。

選用第一題作為實驗， 使用深度學習算法進行分類建模， 從而實現從作答文本到標簽體系的自動化映射。在具體操作中， 先進行數據預處理， 去除停用詞， 輸入文本， 通過Jieba分詞和Word2vec預訓練詞向量轉化為數字矩陣形式， 再連接具有可訓練參數的神經網絡層、全連接層和SoftMax層， 最終輸出文本所屬各個標簽的概率。其中， 在神經網絡層應用了多種深度學習方法， 包括卷積神經網絡（Convolution Neural Network， CNN） （Kim， 2014）、循環神經網絡（Recurrent Neural Network， RNN） （Zhao et al.， 2019）、循環神經網絡串聯卷積神經網絡（Recurrent Convolution Neural Network， R-CNN） （Lai et al.， 2015）和循環神經網絡串聯注意力網絡（RNN + Attention） （Pang et al.， 2021）。其中， CNN主要通過卷積核參數來捕捉各類標簽的文本局部深度特征; RNN通過循環單元結構來捕捉各類標簽的文本全局深度特征; R-CNN同時發揮兩者的優勢將RNN和CNN進行串聯使用; Attention則通過神經網絡計算文本中每個詞的權重來優化文本深度表征， 通常與RNN進行串聯使用。

2.5.3 "句子層面文本多分類

多標簽分類任務是在文檔層面對整段作答文本直接輸出多個標簽， 如果將文檔拆分， 可以在句子層面輸出每句話單獨的標簽。在人工編碼環節， 已得到逐句編碼的標注集。

隨機選取4道題目， 首先進行數據預處理， 通過“。.！？; ;”等標點符號和“一（一）1（1）①”等序號來分割句子， 去除停用詞， 通過Jieba分詞和Word2vec預訓練詞向量將文本轉化為數字矩陣， 使用卷積神經網絡（CNN）、長短時記憶網絡（Long Short-Term Memory Neural Network， LSTM）、卷積神經網絡串聯長短時記憶網絡（C-LSTM）、長短時記憶網絡串聯注意力網絡（LSTM+attention）四種深度學習模型進行訓練， 分別做分數預測和行為反應項預測。其中LSTM能夠有效應對梯度消失、梯度爆炸問題， 它是RNN的結構變種; C-LSTM是CNN與LSTM的結合，既能獲得句子的局部特征， 也可以獲取全文中的時態句子語義。模型通過學習標注集中每種反應項或分數對應的句子集合， 找到文本之間的深層語義關系， 以此完成模型訓練。每個句子皆輸出兩種預測結果， 一是分數預測， 即輸出句子的分值（0～3分）， 二是標簽預測（行為反應項）， 可以幫助更細致地評估作答者的思想和能力。

3 "結果

3.1 "評分規則

原始作答數據集中， 每道題作答文本100～300字， 20道題共1353365字。取前300份進行編碼， 已編碼647322字， 單題標注724～1453句， 總計標注19368個句子。選取第一道題做編碼一致性檢驗， 兩個評分者的人工編碼一致性r = 0.84， 二次加權Kappa系數為0.78。每道題的評分規則在人工編碼后產生， 主要包含兩大部分——此情境下的典型行為反應項以及分值， 每個反應項有唯一的編號， 共形成20個評分規則。

3.2 "測驗質量分析

以多種信度指標來考察多維測驗信度（顧紅磊， 溫忠麟， 2017）。經計算， 在雙因子結構下， 即把勝任力作為全局因子， 4個維度作為4個局部因子， 同質性系數（Homogeneity Coefficient， HC）和總合成信度分別為0.88和0.96。測驗整體的Cronbach’s α系數為0.91， 各維度的α系數為：學生導向0.79， 問題解決0.76， 情緒智力0.66， 成就動機0.60。

為檢驗測驗的結構效度， 設定并比較了4種驗證性因子分析模型：M1為單因子模型， 即所有題目負載于一個因子; M2為四因子模型; M3為雙因子模型（Bi-factor Model， BFM）， 即在M2基礎上， 所有題目還負載于一個全局因子， 全局因子與局部因子互不相關; M4為雙因子模型， 全局因子與局部因子不相關， 局部因子兩兩相關。結果見表2， M4明顯優于其他模型， 因此選定M4為最佳模型， 測驗具有較清晰的雙因子結構， 具有1個勝任力全局因子和4個維度。

采用工作滿意度、教學理念、教學能力作為效標來檢驗效標關聯效度， 結果見表3， 勝任力總分與工作滿意度（r1 = 0.20， p = 0.001）、公用教學理念（r2 = 0.21， p lt; 0.001）、學科教學理念（r3 = 0.22， p lt; 0.001）、教學能力中的教學設計（r4 = 0.26， p lt; 0.001）、課堂評價（r5 = 0.20， p = 0.007）、學生作業（r6 = 0.22， p = 0.003）皆呈顯著相關。

3.3 "自動化評分模型性能

3.3.1 "文檔層面文本多分類

使用多標簽標記方法， 將整段回答輸出多標簽結果。實驗結果如表4所示， 各模型在測試集上的表現皆不夠理想， 準確率為46%～55%。研究者推測， 一方面是受限于樣本數量， 另一方面， 是由于分類類別過多， 題目類別平均包含20類左右， 且大多數標簽是僅有少數標注數量的尾標簽。

3.3.2 "句子層面文本多分類

將作答文本拆分為句子單元， 在隨機選取的4道題目上進行模型訓練。實驗結果表明：（1）對于分數預測任務， 在題20上， 4種算法的準確率、F1值差距較小， CNN的精確率最高， C-LSTM的召回率最高; 在題6和題7上， 4種算法的4個指標差異較小， 題6中C-LSTM略好， 題7中LSTM略好; 在題3上， CNN明顯優于其他模型。（2）對于反應項預測任務， 在題20上， 4種算法的準確率、F1值差距較小， CNN的精確率較高， LSTM的召回率較高; 在題6上， 4種算法的F1值、召回率差距較小， CNN和LSTM的準確率較高， CNN的精確率最高; 在題7、題3上， CNN的4項指標皆最佳。綜合來看， CNN表現最好， 4道題目的預測分數準確率為79%～92%， 預測反應項準確率為75%～80%。具體如圖3所示。

3.3.3 "整體性能

句子層面的準確率高于文檔層面， 因此采用句子層面文本多分類的方法， 選定綜合表現最佳的CNN模型對所有題目進行自動評分。結果如圖4

所示， 計算機在20道題上預測分數的準確率為70%～88%， 結果較好; 預測行為反應項的準確率為58%～81%， 考慮到數據集訓練語料量較少而語義又具有豐富性的特點， 以及分類類別較多， 為十幾至二十幾類， 故此準確率仍屬較不錯的結果。

3.4 "自動化評分的效度驗證

將標注集前200人的數據作為訓練集， 后100人的數據作為測試集。100人的機器評分結果中， 刪去數據不完整及作答時間過短的6人， 對94人的1880道作答的人機評分結果進行對比分析， 檢驗機器評分的信效度。

3.4.1 "人機評分一致性

人機評分的數據分布。人工評分與機器評分的總體數據分布形態接近， 人工評分總分（36.36 ± 7.99）的峰度為?0.592， 偏度為0.175， 機器評分總分（37.23 ±7.83）的峰度為?0.345， 偏度為0.151， 如圖5所示。

相關性。采用相關系數作為評價標準， 有研究者指出機器評分與人工評分的相關系數至少達到0.7才可用于大規模、高權重考試（Ramineni et al.， 2012）。經計算， 人工評分總分（36.36 ± 7.99）與機器評分總分（37.23 ± 7.83）呈高度正相關（r = 0.95， p lt; 0.001）， 且在學生導向、問題解決、情緒智力、成就動機這4個維度人評（1.81 ± 0.45、1.82 ± 0.49、1.87 ± 0.49、1.78 ± 0.54）與機評（1.89 ± 0.44、1.84 ± 0.47、1.87 ± 0.47、1.82 ± 0.53）皆為高度正相關 " "（r學生導向 = 0.91， r問題解決 = 0.90， r情緒智力 = 0.81， r成就動機 = 0.89， p lt; 0.001）， 達到大規模考試的使用要求。在20道題目上， 人機評分的相關系數r依次為0.88、0.64、0.80、0.71、0.78、0.60、0.88、0.63、0.48、0.82、0.84、0.54、0.84、0.81、0.85、0.74、0.68、0.75、0.65、0.90， p lt; 0.001。

一致率系數（Kappa）。采用二次加權Kappa系數（QWK）作為評價標準， Williamson等（2012）認為自動評分的QWK應至少為0.7才能用于高風險測試情況。本研究中人工評分與機器評分的QWK——總分（0.82）和各維度（學生導向0.89、問題解決0.90、情緒智力0.81、成就動機0.89）皆已達到用于高風險測驗的標準。

3.4.2 "機器評分的信度與效度

采用Cronbach’s α系數來衡量測驗內部一致性信度， 使用機評結果計算得出， 測驗整體α系數為0.87， 各維度為：學生導向0.66， 問題解決0.73， 情緒智力0.55， 成就動機0.55。驗證性因子分析（n = 94）結果顯示， χ2 = 210.896， df = 164， χ2 /df = 3.75， RMSEA = 0.055， CFI = 0.884， TLI = 0.866， SRMR = 0.029， 各項目在各因子上的因子載荷在0.412～ 0.659之間， 結構效度不如人工評分。機器評分的總分與各維度的相關系數如表5所示， 各維度與總分存在較高相關， 各維度間存在中等水平相關。效標關聯效度如表5所示， 勝任力總分與公用教學理念呈顯著相關（r = 0.22， p = 0.036）。

4 "討論

本研究試圖探索一種以心理測量學理論為基礎的開放式情境判斷測驗自動化評分范式， 為了驗證自動評分的有效性， 聚焦具體的研究問題——教師勝任力測評， 開發了開放式SJT， 設置細粒度的評分規則， 使用NLP技術進行文本特征識別和分類， 分別在文檔和句子層面使用CNN、RNN、R-CNN、RNN+Attention、LSTM、C-LSTM、LSTM +Attention等多種深度學習模型對開放式SJT的自動化評分方法進行了探索。結果顯示， 句子層面的分類效果優于文檔層面， 其中， CNN表現較好， 模型預測分數的準確率達到了70%～88%， 預測反應項的準確率為58%～81%， 模型性能較好， 能夠對文本進行較準確的自動評分， 下面進行具體討論。

4.1 "評分標準的設計

確立評分標準前需進行問題界定， 根據測驗的內容和類型、作答文本的特點來確定評分策略。比如有無標準答案決定著評分邏輯和算法設計， 作答文本的長度與語義豐富度決定著是否需要人工編碼的參與， 也決定著計分策略。評分規則應盡可能體現作答者個人特質層面的信息， 重點考慮兩個問題：（1）合理分類。行為反應項全面、具體、有代表性， 盡可能涵蓋所有類型。類別既需充分體現差異， 又要避免分類過細帶來的隨機性。反應項若細致具體， 則更能體現差異和區分性， 但由于類別過多， 評分的準確率會降低; 若行為反應項少， 則有利于提高預測準確率， 但會導致區分度降低。（2）合理賦分。通過分數高低體現作答者水平高低， 各行為反應項的賦分是較困難的過程， 需反復斟酌對比， 綜合考量。

另一方面， 測驗質量對評分效果有著直接的影響。測驗開發與自動評分這兩個環節并不是獨立的， 本文探索的自動評分方法， 關鍵不在于分類模型的復雜或先進， 并不著重于追求更完美的模型， 而在于設計一套可行的開放式SJT自動評分方法， 設定合理的評分規則、選取合適的評分模型， 在此基礎上逐步提高模型評分的準確率。開放作答并不意味著測驗開發過程的隨意和自由， 不可隨意設置題目， 而是應該依據規范的測驗開發標準， 在一套合格的、信效度較好的測驗基礎上實現評分自動化。測驗開發者需對測評維度有深刻理解， 在大量的調研、訪談中把握所測特質的內涵和行為表現， 在此基礎上才能設計良好的評分規則。此外， 題目需注意用詞， 避免出現歧義、過多的額外或干擾信息， 影響測驗質量。

4.2 "自動化評分過程

研究中使用了多種方法、選用多種模型進行實驗對比， 以選擇最優模型。根據具體任務的輸入輸出形式， 自動化評分有多種建模思路， 在實踐中一般需進行多種嘗試并選取更簡單有效的建模方法。本研究中， 輸入為被試的作答文本， 輸出為該文本涉及的多個反應項或多級評分， 這種輸入輸出形式可以直接對應機器學習領域的多標簽分類任務， 因此首先嘗試了文檔層面的多標簽文本分類， 這種建模方法沒有引入句子級別的標注信息， 如果能夠達到可用的性能可優先使用。然而， 在實踐中， 多標簽分類結果欠佳， 文章僅以第一題為例說明了這個過程， 而句子層面的自動化評分能夠取得更有效的結果， 因而采用了這種思路。

不同類型的深度學習模型在處理文本分類任務時， 具有獨特的優勢和限制， 這些特點會在自動化評分性能方面產生不同的影響。例如， 卷積神經網絡（CNN）在文本中主要捕獲局部特征， 如詞組、短語等， 對于需要考慮長程依賴關系的任務， CNN可能表現較差， 因為它無法有效地處理長文本序列中的全局信息; 循環神經網絡（RNN）及其變體， 如長短時記憶網絡（LSTM）和門控循環單元（GRU）， 在處理序列數據時能夠捕捉上下文信息， 適用于對文本中長期依賴關系較強的任務。然而， 傳統的RNN難以處理長序列， 雖然LSTM和GRU在一定程度上緩解了這些問題， 但仍受到文本長度的限制而在一些文本分析任務上表現較差; 注意力機制（Attention）使模型能夠在處理文本時聚焦于關鍵部分， 有助于更好地捕捉重要信息， 但早期的注意力機制通常與RNN綁定使用， 容易受到RNN模型的限制。本研究中， 由于句子層面的反應項分類任務通常與特定的詞組、短語等相關聯， 因此CNN在本研究上的性能最優是可以理解的。在廣泛的研究任務中， 不同類型的深度學習模型在自動化評分中具有各自的特點， 模型的選擇將對評分性能產生顯著影響。根據任務的特殊要求， 結合模型的優勢和限制， 選擇合適的模型有助于提高自動化評分的準確性。此外， 在預訓練語言模型（Pre-trained Language Model）、大語言模型（如ChatGPT）等被提出后， 自動化評分模型也有了更豐富的選擇， 但考慮到場景的特異性， 仍然需要經過嚴謹的性能評估、信效度檢驗才能確定評分模型的可用性。

自動評分的效果亦受多種人工因素影響。在評分前需做好數據預處理， 注意分句方式。句子的分割效果直接影響著分數， 對于機器來說， 區分一段文本中的不同語義單元較為困難， 數據集中標點符號使用不規范的現象越多， 分句質量越差。因此， 在機器分句之后增加一個對分割數據集的校驗工作， 會有助于后續獲得更好的評分效果。在更廣泛的測驗類型中， 應根據文本長短、語義復雜度， 選用合適的分句標志或符號。此外， 也應采用多種方式保障人工編碼的質量， 優化評分規則的設置。

4.3 "自動化評分的效度和可解釋性

人工評分和機器評分在心理測驗的使用中表現出了不同的特點。王妍和彭恒利（2019）對比了人機評分的特點， 在辨別考生作答偏題、背誦模板、對考生的作答進行語意判斷、識別作答語序和邏輯順序這幾個方面人類表現得較好， 而機器評分具有更少的評分趨中現象， 對考生作答的整體把握能力和識別異型卷的能力都更強。機器評分的結果能否輔助甚至代替人工， 除了關注預測準確率等一系列模型評價指標， 也需關注評分信效度， 尤其要做評分的效度驗證。本研究中， 在測驗總分和4個維度分上， 人機評分的r和QWK皆大于0.8， 在部分題目上機器評分比人工評分具有更強的穩定性， 如第一題人機評分一致性高于兩個評分員之間的一致性（r人-機 = 0.88， r人-人 = 0.78）。因此， 自動化評分系統是有效的， 在閱卷過程中可以至少替代一位評分員進行評分， 實現人機結合評分或自動化評分。

效度研究被視為一種對測驗分數作出可接受的（Plausible）解釋的過程（謝小慶， 2013）， 自動化評分的可解釋性問題更是研究的難點。機器學習的過程通常建立一個可解釋性不強的黑盒模型， 難以滿足一個心理測驗對測評要素的描述需求， 僅從數據本身、文本表征的距離遠近來實現機器評分是不夠的。本研究中， 構建評分模型時引入了專家知識， 這也是將機評過程轉換成“白盒”模型的關鍵， 將不可見的評分過程， 轉化為先將文本分類到評分規則里對應的行為反應項上， 不僅能得到分數， 也能得到作答者的行為反應項， 基于這些行為項， 還可對作答者的行為模式、思維方式、人格特點等作進一步挖掘。這種關注到具體行為的評分能夠更細致地刻畫被試的行為差異， 是更細粒度的評分模型， 也更具有可解釋性。

4.4 "實踐啟示

研究具有廣闊的應用前景和實際意義， 主要體現在以下幾個方面：第一， 對SJT的開放式作答形式進行探索， 減少選擇題形式SJT的被試猜測和作假行為， 實現對個體更個性化的評估。第二， 是對中文無標準答案主觀題自動化評分技術的探索， 搭建了開放式測驗開發——分類歸集——標定編碼——專家賦分——自動評分——效果驗證這樣一個完整的范式。不再局限于簡單語義計算和相似度計算， 而更注重文本與所測心理特質的對應關系， 通過人工編碼和細粒度的評分規則， 增強了自動化評分過程的可解釋性。第三， 自動化評分模型的準確率高、效果較好， 在實踐中， 評分更高效、節省人力和時間， 是準確、可靠的評估工具。第四， 拓展開放式SJT的應用， 也為其他類型開放式題目的自動化評分提供參考和指導， 有助于將開放式題型應用在更廣泛的測驗場景中。

4.5 "研究局限和展望

研究也存在著一些局限。具體表現在：第一， 樣本代表性， 被試選取的是深圳市中小學各科教師， 屬于教育資源優質地區的青年教師， 同質性較強， 不能代表更一般化的教師群體。第二， 標注數量有限， 對于機器評分來說， 評分精度受限于標注樣本數量， 由于時間及人力等限制條件， 每題的句子標注數量在1000句左右， 且有標簽不均勻的情況， 影響機器學習的效果。第三， 評分規則中的行為反應項還可以嘗試進一步的分類概括和調整。第四， 效標選取， 應選取更貼合的效標， 多方面、多證據驗證評分效度。

未來研究中， 將考慮繼續擴充題目庫， 不斷更新時代背景下教學中出現的新問題情境， 同時增強題目的針對性。同時， 使用AI自動編碼的方式來輔助歸類反應項， 提高效率。在評分算法上嘗試更多小樣本學習的方法， 進一步提高機評準確率。此外， 對于更豐富的開放式構答形式如語音、肢體動作等， 可參考AI面試系統（Lee amp; Kim， 2021）的技術思路， 探索開放式SJT更廣闊的應用空間。

5 "結論

在本研究條件下， 主要得出如下結論：（1）開放式情境判斷測驗可從關鍵行為反應項上設定評分規則， 自動化評分的步驟包括：行為反應項分類歸集——標定編碼——專家賦分——自動評分——效果驗證; （2）評分算法可從文檔層面和句子層面分別設計， 本研究中句子層面的文本分類效果優于文檔層面， 其中卷積神經網絡的分類準確率較高， 能對關鍵行為反應項的字詞特征進行更好的捕捉; （3）所開發的評分模型具有穩定的效果， 機器評分與人工評分一致性高， 具有較好的信效度， 在實踐中可部分代替人工完成評分任務。

參 "考 "文 "獻

Arthur， W.， Edwards， B. D.， amp; Barrett， G. V. （2002）. Multiple- choice and constructed response tests of ability： Race-based subgroup performance differences on alternative paper- and-pencil test formats. Personnel Psychology， 55（4）， 985?1008.

Bacon， D. R. （2003）. Assessing learning outcomes： A comparison of multiple-choice and short-answer questions in a marketing context. Jounal of Marketing Education， 25（1）， 31?36.

Basu， T.， amp; Murthy， C. A. （2013， December）. Effective text classification by a supervised feature selection approach. IEEE 12th International Conference on Data Mining Workshops （ICDM） （pp. 918?925）. Brussels， Belgium.

Burrows， S.， Gurevych， I.， amp; Stein， B. （2015）. The eras and trends of automatic short answer grading. International Journal of Artificial Intelligence in Education， 25（1）， 60?117.

Burrus， J.， Betancourt， A.， Holtzman， S.， Minsky， J.， MacCann， C.， amp; Roberts， R. D. （2012）. Emotional intelligence relates to well-being： Evidence from the situational judgment test of emotional management. Applied Psychology： Health and Well-Being， 4（2）， 151?166.

Cucina， J. M.， Su， C.， Busciglio， H. H.， Thomas， P. H.， amp; Peyton， S. T. （2015）. Video-based testing： A high-fidelity job simulation that demonstrates reliability， validity， and utility. International Journal of Selection and Assessment， 23（3）， 197?209.

Downer， K.， Wells， C.， amp; Crichton， C. （2019）. All work and no play： A text analysis. International Journal of Market Research， 61（3）， 236?251.

Edwards， B. D.， amp; Arthur， W.， Jr. （2007）. An examination of factors contributing to a reduction in subgroup differences on a constructed-response paper-and-pencil test of scholastic achievement. Journal of Applied Psychology， 92（3）， 794?801.

Finch， W. H.， Finch， M. E. H.， Mcintosh， C. E.， amp; Braun， C. （2018）. The use of topic modeling with latent dirichlet analysis with open-ended survey items. Translational Issues in Psychological Science， 4（4）， 403?424.

Funke， U.， amp; Schuler， H. （1998）. Validity of stimulus and response components in a video test of social competence. International Journal of Selection and Assessment， 6（2）， 115?123.

Gu， H. L.， amp; Wen， Z. L. （2017）. Reporting and interpreting multidimensional test scores： A bi-factor perspective. Psychological Development and Education， 33（4）， 504?512.

[顧紅磊， 溫忠麟. （2017）. 多維測驗分數的報告與解釋： 基于雙因子模型的視角. 心理發展與教育， 33（4）， 504?512.]

Guo， F.， Gallagher， C. M.， Sun， T.， Tavoosi， S.， amp; Min， H. （2021）. Smarter people analytics with organizational text data： Demonstrations using classic and advanced NLP models. Human Resource Management Journal. https：//doi.org/10.1111/1748-8583.12426

Iliev， R.， Dehghani， M.， amp; Sagi， E. （2015）. Automated text analysis in psychology： Methods， applications， and future developments. Language and Cognition， 7（2）， 265?290.

Kastner， M.， amp; Stangla， B. （2011）. Multiple choice and constructed response tests： Do test format and scoring matter？ Procedia-Social and Behavioral Sciences. 12， 263?273.

Kim， Y. （2014）. Convolutional neural networks for sentence classification. Proceedings of the 19th Conference on Empirical Methods in Natural Language Processing， 1746?1751.

Kjell， O. E.， Kjell， K.， Garcia， D.， amp; Sikstrom， S. （2019）. Semantic measures： Using natural language processing to measure， differentiate， and describe psychological constructs. Psychological Methods， 24（1）， 92?115.

Lai， S.， Xu， L.， Liu， K.， amp; Zhao， J. （2015）. Recurrent convolutional neural networks for text classification. Proceedings of the 29th AAAI Conference on Artificial Intelligence， 2267?2273.

Lee， B. C.， amp; Kim， B. Y. （2021）. Development of an AI-based interview system for remote hiring. International Journal of Advanced Research in Engineering and Technology， 12（3）， 654?663.

Lievens， F.， de Corte， W.， amp; Westerveld， L. （2015）. Understanding the building blocks of selection procedures： Effects of response fidelity on performance and validity. Journal of Management， 41（6）， 1604?1627.

Lievens， F.， Sackett， P. R.， Dahlke， J. A.， Oostrom， J. K.， amp; de Soete， B. （2019）. Constructed response formats and their effects on minority-majority differences and validity. Journal of Applied Psychology， 104（5）， 715?726.

Ling， C. （2020）. Development of Classroom Observation Scale to Promote the Professional Development of New Teachers （Unpublished master's thesis）. Beijing Normal University.

[凌晨. （2020）. 課堂觀察量表的開發——促進初任教師專業發展 （碩士學位論文）. 北京師范大學.]

Lubis， F. F.， Mutaqin， Putri， A.， Waskita， D.， Sulistyaningtyas， T.， Arman， A. A.， amp; Rosmansyah， Y. （2021）. Automated short-answer grading using semantic similarity based on word embedding. International Journal of Technology. 12（3）， 571?581.

Marentette， B. J.， Meyers， L. S.， Hurtz， G. M.， amp; Kuang， D. C. （2012）. Order effects on situational judgment test items： A case of construct-irrelevant difficulty. International Journal of Selection and Assessment， 20（3）， 319?332.

McDaniel， M. A.， Hartman， N. S.， Whetzel， D. L.， amp; Grubb， W. L. （2007）. Situational judgment tests， response instructions， and validity： A meta‐analysis. Personnel Psychology， 60（1）， 63?91.

McDaniel， M. A.， Morgeson， F. P.， Finnegan， E. B.， Campion， M. A.， amp; Braverman， E. P. （2001）. Use of situational judgment tests to predict job performance： A clarification of the literature. Journal of Applied Psychology， 86（4）， 730?740.

McDaniel， M. A.， Psotka， J.， Legree， P. J.， Yost， A. P.， amp; Weekley， J. A. （2011）. Toward an understanding of situational judgment item validity and group differences. Journal of Applied Psychology， 96（2）， 327?336.

Oostrom， J. K.， Born， M. P.， Serlie， A. W.， amp; van der Molen， H. T. （2010）. Webcam testing： Validation of an innovative open-ended multimedia test. European Journal of Work and Organizational Psychology， 19（5）， 532?550.

Oostrom， J. K.， Born， M. P.， Serlie， A. W.， amp; van der Molen， H. T. （2011）. A multimedia situational test with a constructed-response format： Its relationship with personality， cognitive ability， job experience， and academic performance. Journal of Personnel Psychology， 10（2）， 78?88.

Oostrom， J. K.， Born， M. P.， Serlie， A. W.， amp; van der Molen， H. T. （2012）. Implicit trait policies in multimedia situational judgment tests for leadership skills： Can they predict leadership behavior？ Human Performance， 25（4）， 335?353.

Pang， N.， Zhao， X.， Wang， W.， Xiao， W.， amp; Guo， D. （2021）. Few-shot text classification by leveraging bi-directional attention and cross-class knowledge. Science China Information Sciences. 64（3）， 130103.

Qi， S. Q.， amp; Dai， H. Q. （2003）. The property， function and the development of situational judgment tests. Psychological Exploration， 23（4）， 42?46.

[漆書青， 戴海琦. （2003）. 情景判斷測驗的性質、功能與開發編制. 心理學探新， 23（4）， 42?46.]

Ramesh， D.， amp; Sanampudi， S. K. （2022）. An automated essay scoring systems： A systematic literature review. Artificial Intelligence Review， 55（3）， 2495?2527.

Ramineni， C.， Trapani， C. S.， Williamson， D. M.， David， T.， amp; Bridgeman， B. （2012）. Evaluation of the e-rater? scoring engine for the GRE? Issue and Argument Prompts. ETS Research Report Series， （1）， i?106.

Robson， S. M.， Jones， A.， amp; Abraham， J. （2007）. Personality， faking， and convergent validity： A warning concerning warning statements. Human Performance， 21（1）， 89?106.

Rogers， W. T.， amp; Harley， D. （1999）. An empirical comparison of three-and four-choice items and tests： Susceptibility to testwiseness and internal consistency reliability. Educational and Psychological Measurement， 59（2）， 234?247.

Rudner， L. M.， amp; Liang， T. （2002）. Automated essay scoring using Bayes’ theorem. The Journal of Technology， Learning and Assessment， 1（2）， 1?22.

Slaughter， J. E.， Christian， M. S.， Podsakoff， N. P.， Sinar， E. F.， amp; Lievens， F. （2014）. On the limitations of using situational judgment tests to measure interpersonal skills： The moderating influence of employee anger. Personnel Psychology， 67（4）， 847?885.

Süzen， N.， Gorban， A. N.， Levesley， J.， amp; Mirkes， E. M. （2020）. Automatic short answer grading and feed-back using text mining methods. Procedia Computer Science， 169， 726?743.

Tavoosi， S. （2022）. Development and validation of a counterproductive work behavior situational judgment test with an open-ended response format： A computerized scoring approach （Unpublished master’s thesis）. University of Central Florida.

Wang， Y.， amp; Peng， H. L. （2019）. Validation on automatic scoring for open-ended questions in Chinese oral tests. China Examinations， 9， 63?71.

[王妍， 彭恒利. （2019）. 漢語口語開放性試題計算機自動評分的效度驗證. 中國考試， 9， 63?71.]

Weekley， J. A.， amp; Ployhart， R. E. （2005）. Situational judgment： Antecedents and relationships with performance. Human Performance， 18（1）， 81?104.

Whetzel， D. L.， amp; McDaniel， M. A. （2009）. Situational judgment tests： An overview of current research. Human Resource Management Review， 19（3）， 188?202.

Williamson， D. M.， Xi， X.， amp; Breyer， F. J. （2012）. A framework for evaluation and use of automated scoring. Educational Measurement： Issues and Practice， 31（1）， 2?13.

Xie， X. Q. （2013）. Validation： From reasonable to plausible interpretation of test score. China Examinations， 7， 3?8.

[謝小慶. （2013）. 效度： 從分數的合理解釋到可接受解釋. 中國考試， 7， 3?8.]

Xu， J. P. （2004）. Research on teacher competency model and evaluation （Unpublished doctorial dissertation）. Beijing Normal University.

[徐建平. （2004）. 教師勝任力模型與測評研究 （博士學位論文）. 北京師范大學.]

Yang， L.， Xin， T.， Luo， F.， Zhang， S.， amp; Tian， X. （2022）. Automated evaluation of the quality of ideas in compositions based on concept maps. Natural Language Engineering， 28（4）， 449?486.

Zhang， Y.， Lin， C.， amp; Chi， M. （2020）. Going deeper： Automatic short-answer grading by combining student and question models. User Modeling and User-Adapted Interaction， 30（1）， 51?80.

Zhao， Y.， Shen， Y.， amp; Yao， J. （2019， August）. Recurrent neural network for text classification with hierarchical multiscale dense connections. Proceedings of the 28th International Joint Conference on Artificial Intelligence， 5450?5456.

Automated scoring of open-ended situational judgment tests

XU Jing1， LUO Fang1， MA Yanzhen2， HU Luming3， TIAN Xuetao1

（1 School of Psychology， Beijing Normal University， Beijing 100875， China）

（2 Collaborative Innovation Center of Assessment toward Basic Education Quality， Beijing Normal University， Beijing 100875， China）

（3 Department of Psychology， School of Arts and Sciences， Beijing Normal University at Zhuhai， Zhuhai 519085， China）

Abstract

Situational Judgment Tests （SJTs） have gained popularity for their unique testing content and high face validity. However， traditional SJT formats， particularly those employing multiple-choice （MC） options， have encountered scrutiny due to their susceptibility to test-taking strategies. In contrast， open-ended and constructed response （CR） formats present a propitious means to address this issue. Nevertheless， their extensive adoption encounters hurdles primarily stemming from the financial implications associated with manual scoring. In response to this challenge， we propose an open-ended SJT employing a written-constructed response format for the assessment of teacher competency. This study established a scoring framework leveraging natural language processing （NLP） technology to automate the assessment of response texts， subsequently subjecting the system's validity to rigorous evaluation. The study constructed a comprehensive teacher competency model encompassing four distinct dimensions： student-oriented， problem-solving， emotional intelligence， and achievement motivation. Additionally， an open-ended situational judgment test was developed to gauge teachers' aptitude in addressing typical teaching dilemmas. A dataset comprising responses from 627 primary and secondary school teachers was collected， with manual scoring based on predefined criteria applied to 6， 000 response texts from 300 participants. To expedite the scoring process， supervised learning strategies were employed， facilitating the categorization of responses at both the document and sentence levels. Various deep learning models， including the convolutional neural network （CNN）， recurrent neural network （RNN）， long short-term memory （LSTM）， C-LSTM， RNN+attention， and LSTM+attention， were implemented and subsequently compared， thereby assessing the concordance between human and machine scoring. The validity of automatic scoring was also verified.

This study reveals that the open-ended situational judgment test exhibited an impressive Cronbach's alpha coefficient of 0.91 and demonstrated a good fit in the validation factor analysis through the use of Mplus. Criterion-related validity was assessed， revealing significant correlations between test results and various educational facets， including instructional design， classroom evaluation， homework design， job satisfaction， and teaching philosophy. Among the diverse machine scoring models evaluated， CNNs have emerged as the top-performing model， boasting a scoring accuracy ranging from 70% to 88%， coupled with a remarkable degree of consistency with expert scores （r = 0.95， QWK = 0.82）. The correlation coefficients between human and computer ratings for the four dimensions—student-oriented， problem-solving， emotional intelligence， and achievement motivation—approximated 0.9. Furthermore， the model showcased an elevated level of predictive accuracy when applied to new text datasets， serving as compelling evidence of its robust generalization capabilities.

This study ventured into the realm of automated scoring for open-ended situational judgment tests， employing rigorous psychometric methodologies. To affirm its validity， the study concentrated on a specific facet： the evaluation of teacher competency traits. Fine-grained scoring guidelines were formulated， and state-of-the-art NLP techniques were used for text feature recognition and classification. The primary findings of this investigation can be summarized as follows： （1） Open-ended SJTs can establish precise scoring criteria grounded in crucial behavioral response elements; （2） Sentence-level text classification outperforms document- level classification， with CNNs exhibiting remarkable accuracy in response categorization; and （3） The scoring model consistently delivers robust performance and demonstrates a remarkable degree of alignment with human scoring， thereby hinting at its potential to partially supplant manual scoring procedures.

Keywords "situational judgment tests， automated scoring， teacher competency， open-ended tests， machine learning