提升研究生調(diào)查的教育質(zhì)量評(píng)估有效性：科研經(jīng)歷分析之經(jīng)驗(yàn)

DOI： 10.16750/j.adge.2023.12.010

摘要：基于陜西省高校科研經(jīng)歷調(diào)查數(shù)據(jù)，借助因子分析與多層模型分析方法，分析了所開(kāi)發(fā)的研究生科研經(jīng)歷調(diào)查工具在學(xué)生個(gè)體層次上和學(xué)校層次上的工具性能。分析結(jié)果顯示，學(xué)生個(gè)體層次上，研究生科研經(jīng)歷調(diào)查工具的因子結(jié)構(gòu)穩(wěn)定，具有良好信度和效度，是學(xué)生個(gè)體層次上的有效測(cè)量工具；學(xué)校層次水平上，研究生科研經(jīng)歷調(diào)查工具的信度不足；研究生個(gè)體對(duì)科研經(jīng)歷的感知評(píng)價(jià)存在較大差異。研究結(jié)果揭示了基于科研經(jīng)歷評(píng)估教育質(zhì)量所面臨的一些問(wèn)題，研究生視角的科研經(jīng)歷調(diào)查結(jié)果可用于學(xué)生個(gè)體層次水平上的研究生教育質(zhì)量分析，但不支持學(xué)校層次上的研究生教育質(zhì)量校際比較，科研經(jīng)歷存在一定程度個(gè)體差異。因此，在基于研究生調(diào)查的教育實(shí)踐過(guò)程中，應(yīng)注意分析單元問(wèn)題、外推分析結(jié)果的合理性、開(kāi)發(fā)適合校際比較的學(xué)生調(diào)查工具、關(guān)注學(xué)生個(gè)體差異和研究生培養(yǎng)過(guò)程同質(zhì)化問(wèn)題等。

關(guān)鍵詞：科研經(jīng)歷調(diào)查；研究生質(zhì)量；高等教育評(píng)估；多層模型；研究生教育

作者簡(jiǎn)介：劉秀英，西安交通大學(xué)公共政策與管理學(xué)院博士研究生，陜西 西安 710049。

基金項(xiàng)目：國(guó)家自然科學(xué)基金資助項(xiàng)目“大學(xué)生就業(yè)能力與創(chuàng)業(yè)意向：結(jié)構(gòu)、影響因素及發(fā)展策略研究”（編號(hào)：71573203）

一、問(wèn)題提出

隨著研究生教育規(guī)模不斷擴(kuò)大，面臨的教育質(zhì)量社會(huì)問(wèn)責(zé)的壓力增加。“十四五”以來(lái)，我國(guó)高等教育持續(xù)保持穩(wěn)中有升、研究生教育規(guī)模快速增長(zhǎng)的特征。2021年我國(guó)在學(xué)研究生規(guī)模達(dá)333.24萬(wàn)人，2022年增長(zhǎng)了9.64%，達(dá)365.36萬(wàn)人。在資源配置與市場(chǎng)需求能較好滿足的情況下，高校會(huì)對(duì)研究生教育擴(kuò)張政策“積極響應(yīng)”，并形成潛移默化的作用。社會(huì)上對(duì)研究生教育規(guī)模擴(kuò)張卻并非一直持支持態(tài)度，對(duì)研究生教育的評(píng)價(jià)除了以規(guī)模作為評(píng)價(jià)指標(biāo)外，還表達(dá)了由于規(guī)模擴(kuò)大導(dǎo)致教育質(zhì)量下降的擔(dān)憂[1]。如何在規(guī)模擴(kuò)張的同時(shí)保證教育質(zhì)量成為研究生教育的核心任務(wù)。

雖然政府主導(dǎo)的教育質(zhì)量評(píng)估與保障政策落實(shí)過(guò)程中，更青睞借助教育“輸入”或“輸出”端的客觀量化性指標(biāo)評(píng)估教育質(zhì)量，對(duì)教育過(guò)程和作為教育主體的學(xué)生關(guān)注不足。囿于經(jīng)驗(yàn)拒絕改變“教師為中心”模式下形成的教育實(shí)踐與評(píng)估慣習(xí)是國(guó)際范圍內(nèi)高等教育改革普遍面臨的問(wèn)題[2]。近些年來(lái)，建構(gòu)主義和社會(huì)認(rèn)知心理等理論不斷發(fā)展對(duì)人類認(rèn)知的客觀性挑戰(zhàn)，以及社會(huì)問(wèn)責(zé)高等教育質(zhì)量壓力的推動(dòng)下，國(guó)際范圍內(nèi)研究生教育的評(píng)價(jià)與保障體系越發(fā)重視“學(xué)生的聲音”[3]。自20世紀(jì)90年代以來(lái)，基于學(xué)生反饋的科研經(jīng)歷調(diào)查在澳大利亞、英國(guó)、加拿大等多個(gè)國(guó)家已成為研究生教育評(píng)估和問(wèn)題診斷的重要途徑[4]。同一時(shí)期，國(guó)內(nèi)高等教育質(zhì)量保障體系中，也越發(fā)重視來(lái)自學(xué)生的聲音，基于學(xué)生反饋的各種研究生科研經(jīng)歷的調(diào)查項(xiàng)目紛紛開(kāi)展，日益成為獲取研究生教育質(zhì)量信息的重要途徑和質(zhì)量保障的重要環(huán)節(jié)。

然而，基于學(xué)生調(diào)查評(píng)估研究生教育質(zhì)量的一些問(wèn)題亟需關(guān)注。基于學(xué)生反饋的科研經(jīng)歷調(diào)查結(jié)果具有教育數(shù)據(jù)的嵌套性特征，因此科研經(jīng)歷調(diào)查應(yīng)用于教育評(píng)估過(guò)程時(shí)，分析單元的選擇是一個(gè)需要重點(diǎn)關(guān)注的問(wèn)題。分析單元不同，分析結(jié)果的適用范圍也會(huì)不同。同樣，由于分析單元不同，需要考慮不同層次水平上的科研經(jīng)歷差異顯著性問(wèn)題，例如對(duì)科研經(jīng)歷在學(xué)校層次上或院系層次上比較分析是否有對(duì)應(yīng)的學(xué)校層次上或院系層次上的差異顯著性驗(yàn)證分析等。這些問(wèn)題在英語(yǔ)語(yǔ)言背景下開(kāi)展的科研經(jīng)歷調(diào)查應(yīng)用過(guò)程中得到一定程度的討論，在國(guó)內(nèi)開(kāi)展的各種研究生科研經(jīng)歷調(diào)查應(yīng)用過(guò)程中則缺乏對(duì)相應(yīng)問(wèn)題的深入探究。本研究擬借助一項(xiàng)中文語(yǔ)言背景下開(kāi)展的科研經(jīng)歷調(diào)查，探究學(xué)生調(diào)查應(yīng)用評(píng)估高等教育質(zhì)量過(guò)程中分析單元選擇的重要性問(wèn)題，分析此類調(diào)查在不同層次上（如個(gè)體層次和學(xué)校層次）的性能特征，驗(yàn)證科研經(jīng)歷在更高層次單位上進(jìn)行比較分析實(shí)踐的可靠性。

二、相關(guān)研究回顧

（一）分析學(xué)生調(diào)查涉及的分析單元問(wèn)題

面對(duì)學(xué)生群體開(kāi)展的學(xué)生調(diào)查所搜集的信息具有嵌套性質(zhì)，學(xué)生隸屬于不同班級(jí)、受教于不同教師、就讀于不同學(xué)校等，學(xué)生調(diào)查分析涉及的一個(gè)重要問(wèn)題是分析單元的選擇。在早期基于學(xué)生調(diào)查評(píng)估教學(xué)質(zhì)量的研究中，已有研究者關(guān)注到分析單元選擇的重要性。基于學(xué)生調(diào)查收集的反饋信息評(píng)估教學(xué)效果在高等教育調(diào)查實(shí)踐中由來(lái)已久，同時(shí)，學(xué)生評(píng)教反饋用于不同實(shí)踐活動(dòng)的適當(dāng)性和可信度作為一個(gè)重要研究課題和爭(zhēng)論焦點(diǎn)也伴隨而生[5-6]。學(xué)生評(píng)價(jià)教學(xué)效果的研究中，如何選擇合適的分析單位是個(gè)重要方法論問(wèn)題。基于學(xué)生調(diào)查反饋評(píng)估教學(xué)效果的研究中通常選擇的分析單元是班級(jí)或者單個(gè)教師。相應(yīng)地，在此基礎(chǔ)上計(jì)算得到的評(píng)價(jià)指標(biāo)的可信度及適用范圍是班級(jí)層次或教師個(gè)體。班級(jí)層次水平上的可信度受班級(jí)規(guī)模和班級(jí)內(nèi)個(gè)體評(píng)價(jià)一致程度影響：50人規(guī)模班級(jí)的信度最低標(biāo)準(zhǔn)是0.95，25人規(guī)模班級(jí)的信度最低標(biāo)準(zhǔn)是0.90，10人規(guī)模班級(jí)的信度最低標(biāo)準(zhǔn)是0.74，5人規(guī)模班級(jí)的信度最低標(biāo)準(zhǔn)是0.60。如果單個(gè)班級(jí)規(guī)模足夠（或者如果班級(jí)規(guī)模小于20，以教師為單位，對(duì)其所代課的所有班級(jí)進(jìn)行平均），班級(jí)層次的信度就會(huì)很好。同樣地，結(jié)構(gòu)效度的分析也應(yīng)在班級(jí)層次水平上進(jìn)行[7]。

馬什（Marsh）發(fā)現(xiàn)學(xué)生對(duì)教授同樣課程的不同教師教學(xué)效果的評(píng)價(jià)相關(guān)度為？0.05，對(duì)同一位教師教授的不同課程教學(xué)效果的評(píng)價(jià)相關(guān)度為0.61，對(duì)同一位教師負(fù)責(zé)的兩門課程的教學(xué)效果評(píng)價(jià)相關(guān)度為0.72。學(xué)生對(duì)教學(xué)的評(píng)價(jià)能區(qū)分不同教師個(gè)體的教學(xué)風(fēng)格（例如，課程組織良好，教學(xué)熱情高等），但是不能區(qū)分不同課程的特征[8]。也有研究發(fā)現(xiàn)學(xué)生對(duì)教學(xué)效果的評(píng)價(jià)能區(qū)分不同學(xué)科，（例如，人文社科類學(xué)生評(píng)教稍微偏高，科學(xué)類學(xué)生評(píng)教稍微偏低），不過(guò)，學(xué)生評(píng)教中的學(xué)科差異對(duì)學(xué)生評(píng)教變異的解釋有限，而且如何解釋學(xué)生評(píng)教的學(xué)科差異仍有很多爭(zhēng)論[9]。學(xué)生評(píng)價(jià)能有效區(qū)分教師個(gè)體，但在區(qū)分不同課程和不同學(xué)科上缺乏可信度。由此可見(jiàn)，對(duì)基于學(xué)生視角的教育教學(xué)評(píng)價(jià)反饋的相關(guān)研究中，分析單元選擇是個(gè)非常關(guān)鍵的問(wèn)題，多層線性模型因其具有允許不同分析單元共存的優(yōu)勢(shì)而受推崇。馬什等人的研究為后續(xù)提供非常有益的研究思路和方法指導(dǎo)。

（二）研究生科研經(jīng)歷調(diào)查及其在高等教育質(zhì)量評(píng)估中的應(yīng)用

1.國(guó)外科研經(jīng)歷調(diào)查及其在高等教育質(zhì)量評(píng)估中的應(yīng)用

在澳大利亞、英國(guó)和加拿大等英語(yǔ)語(yǔ)言國(guó)家中，對(duì)高校、政府和教育質(zhì)量監(jiān)管機(jī)構(gòu)而言，科研經(jīng)歷調(diào)查是研究生教育質(zhì)量的重要信息來(lái)源，是高等教育質(zhì)量保障的重要環(huán)節(jié)。

科研經(jīng)歷調(diào)查于20世紀(jì)90年代興起于澳大利亞，是澳大利亞全國(guó)范圍實(shí)施的一種研究生教育質(zhì)量評(píng)估項(xiàng)目。20世紀(jì)90年代初，澳大利亞已經(jīng)開(kāi)始借助針對(duì)本科生的課程學(xué)習(xí)經(jīng)歷調(diào)查問(wèn)卷（Course Experience Questionnaire，CEQ）收集畢業(yè)研究生的就讀經(jīng)歷反饋意見(jiàn)，對(duì)此高校持批評(píng)態(tài)度，認(rèn)為研究生教育與本科生教育存在較大差異，應(yīng)該采用針對(duì)研究生教育過(guò)程的調(diào)查工具。為此，澳大利亞畢業(yè)生職業(yè)委員會(huì)（the Graduate Careers Council of Australia）在1999年根據(jù)文獻(xiàn)研究和對(duì)教師和研究生的訪談，設(shè)計(jì)開(kāi)發(fā)了研究生科研經(jīng)歷調(diào)查問(wèn)卷（Postgraduate Research Experience Questionnaire，PREQ），對(duì)當(dāng)年業(yè)已畢業(yè)的研究生進(jìn)行調(diào)查[10]。研究生科研經(jīng)歷調(diào)查（PREQ）是1999—2015年澳大利亞高等教育績(jī)效評(píng)估的重要數(shù)據(jù)來(lái)源之一。通過(guò)對(duì)不同研究生培養(yǎng)機(jī)構(gòu)、不同院系部門、各年度的研究生科研經(jīng)歷進(jìn)行反饋評(píng)價(jià)。

面向在讀研究生的科研經(jīng)歷調(diào)查更多用于診斷和改善研究生培養(yǎng)過(guò)程，較少用作績(jī)效評(píng)估指標(biāo)，但不同機(jī)構(gòu)與單位間的對(duì)比與排行仍比較常見(jiàn)，例如高校外部機(jī)構(gòu)的科研經(jīng)歷比較與排行、高校內(nèi)部不同院系的科研經(jīng)歷對(duì)比分析，或者與特定常模基準(zhǔn)進(jìn)行對(duì)比分析。英國(guó)的科研經(jīng)歷調(diào)查（Postgraduate Research Experience Survey，PRES）和加拿大研究生及專業(yè)學(xué)生調(diào)查（Canadian Graduate And Professional Student Survey，CGPSS）就屬此類調(diào)查。英國(guó)的科研經(jīng)歷調(diào)查由英國(guó)高等教育學(xué)會(huì)（the Higher Education Academy）及參與項(xiàng)目的高等教育機(jī)構(gòu)共同管理，是在澳大利亞科研經(jīng)歷調(diào)查基礎(chǔ)上發(fā)展而來(lái)的。英國(guó)科研經(jīng)歷調(diào)查試行于2006年，于2007年在全國(guó)范圍內(nèi)推廣，至2023年該項(xiàng)調(diào)查的范圍已經(jīng)擴(kuò)展至澳大利亞和新西蘭的高等教育研究機(jī)構(gòu)。加拿大課程及專業(yè)研究生調(diào)查由加拿大研究生研究協(xié)會(huì)（Canadian Association for Graduate Studies）主持，已持續(xù)開(kāi)展了五輪調(diào)查（2007年、2010年、2013年、2016年、2019年），影響范圍逐年增加，在2019年有50所加拿大高校參與該項(xiàng)調(diào)查。

科研經(jīng)歷調(diào)查能夠在多大程度上用于識(shí)別校際差異是調(diào)查應(yīng)用涉及的一個(gè)重要議題。科研經(jīng)歷調(diào)查的目的在于為改進(jìn)研究生教育提供支持，一個(gè)能夠有效識(shí)別校際差異的科研經(jīng)歷調(diào)查有多種用途：可以為高校提供有效參照基準(zhǔn)，幫助高校明確自身優(yōu)勢(shì)和改進(jìn)方向；可以為準(zhǔn)備就讀研究生的人群提供擇校參考依據(jù)；還可以基于調(diào)查結(jié)果生成高校的績(jī)效指標(biāo)幫助高校應(yīng)對(duì)社會(huì)問(wèn)責(zé)。不同國(guó)家科研經(jīng)歷用于評(píng)估教育質(zhì)量過(guò)程中，對(duì)于分析單元、校際差異的區(qū)分程度關(guān)注不同。相對(duì)而言，澳大利亞科研經(jīng)歷調(diào)查應(yīng)用過(guò)程中對(duì)于分析單元問(wèn)題和不同分析單元對(duì)應(yīng)的工具性能較為關(guān)注。在調(diào)查項(xiàng)目啟動(dòng)之初，在分析調(diào)查工具的構(gòu)成維度，驗(yàn)證其結(jié)構(gòu)效度與信度時(shí)，還對(duì)科研經(jīng)歷調(diào)查結(jié)果作為績(jī)效指標(biāo)區(qū)分高校機(jī)構(gòu)的可靠性進(jìn)行討論。結(jié)果發(fā)現(xiàn)，不同高校在科研經(jīng)歷不同維度上評(píng)價(jià)得分的誤差區(qū)間存在較高程度重疊。也就是說(shuō)科研經(jīng)歷的校際差異并不明顯[11]，吉恩（Ginns）等人后來(lái)還發(fā)現(xiàn)科研經(jīng)歷無(wú)法有效區(qū)分用于區(qū)分院/系之間的差異[8]。為了方便比較分析，澳大利亞的研究生科研經(jīng)歷調(diào)查年度報(bào)告中，設(shè)定了特定的差異顯著判定標(biāo)準(zhǔn)（不同組別之間的科研經(jīng)歷評(píng)價(jià)得分差異超過(guò)五分之一的標(biāo)準(zhǔn)差以上，則視為是有實(shí)際意義的差異）。英國(guó)和加拿大開(kāi)展的研究生科研經(jīng)歷調(diào)查用于評(píng)估研究生教育質(zhì)量時(shí)面臨同樣的問(wèn)題，不過(guò)，對(duì)于分析單元的問(wèn)題、科研經(jīng)歷的校際差異的顯著性等討論的較少，報(bào)告內(nèi)容主要描述以學(xué)生個(gè)體作為分析單元的分析結(jié)果，科研經(jīng)歷各維度的評(píng)價(jià)直接簡(jiǎn)化為“同意”“不同意”二分類，簡(jiǎn)化后直接以各維度上的同意百分比均值進(jìn)行總體分析、年度變化趨勢(shì)分析、不同高校和不同學(xué)科間的比較分析等。簡(jiǎn)化后呈現(xiàn)的科研經(jīng)歷調(diào)查結(jié)果更簡(jiǎn)單和直觀，但同時(shí)也因數(shù)據(jù)簡(jiǎn)化處理喪失了部分關(guān)鍵信息，例如各維度上的學(xué)生評(píng)價(jià)的個(gè)體離散情況等[12-13]。

2.國(guó)內(nèi)研究生調(diào)查及其在高等教育質(zhì)量評(píng)估中的應(yīng)用

在面向中國(guó)高校研究生群體開(kāi)展的各項(xiàng)調(diào)查中，與澳大利亞、英國(guó)等國(guó)家開(kāi)展的科研經(jīng)歷調(diào)查項(xiàng)目性質(zhì)相似的有全國(guó)博士畢業(yè)生調(diào)查[14]、研究生滿意度調(diào)查[15-16]以及各省開(kāi)展的研究生質(zhì)量調(diào)查項(xiàng)目[17-18]和研究者獨(dú)立開(kāi)展的個(gè)別調(diào)查項(xiàng)目等[19-20]。其中全國(guó)博士畢業(yè)生調(diào)查自2007年實(shí)施，調(diào)查內(nèi)容包括培養(yǎng)過(guò)程與畢業(yè)結(jié)果。研究生滿意度調(diào)查由學(xué)位與研究生教育雜志社和北京理工大學(xué)研究生教育研究中心主持，自2011年開(kāi)始實(shí)施，主要從課程教學(xué)、科研訓(xùn)練、導(dǎo)師指導(dǎo)、管理與服務(wù)4個(gè)維度開(kāi)展調(diào)查。不同省份開(kāi)展的調(diào)查結(jié)果以各種年度報(bào)告的形式呈現(xiàn)。各種基于學(xué)生反饋的研究生調(diào)查項(xiàng)目開(kāi)展實(shí)施意味著“學(xué)生的聲音”在中國(guó)研究生教育質(zhì)量評(píng)估與保障體系中的重要性越來(lái)越受到關(guān)注。不過(guò)，這些調(diào)查項(xiàng)目應(yīng)用過(guò)程中更偏好基于反饋信息對(duì)研究生培養(yǎng)過(guò)程中的問(wèn)題進(jìn)行診斷和挖掘，或者熱衷于探究科研經(jīng)歷狀態(tài)的前因或結(jié)果。和英國(guó)及加拿大科研經(jīng)歷調(diào)查項(xiàng)目應(yīng)用過(guò)程中存在的問(wèn)題一樣，國(guó)內(nèi)開(kāi)展的各種研究生經(jīng)歷調(diào)查在應(yīng)用過(guò)程中同樣存在忽視分析單元選擇的問(wèn)題，對(duì)科研經(jīng)歷進(jìn)行比較和排行分析時(shí)，缺乏對(duì)應(yīng)層次水平上（學(xué)校層次或院系層次等）的可靠性論證。而且，編制年度報(bào)告時(shí)將數(shù)據(jù)簡(jiǎn)化為百分比的形式在簡(jiǎn)化分析結(jié)果，提升報(bào)告可讀性的同時(shí)，也損失了不同調(diào)查維度上個(gè)體離散程度的重要信息。

三、研究設(shè)計(jì)

（一）研究樣本

本文的樣本來(lái)自陜西省高校畢業(yè)生調(diào)查數(shù)據(jù)中的研究生調(diào)查數(shù)據(jù)。陜西省畢業(yè)生調(diào)查是受陜西省教育廳學(xué)生處委托，由西安交通大學(xué)評(píng)估中心主持的項(xiàng)目。調(diào)查工具是自主研制的“陜西省畢業(yè)生就業(yè)創(chuàng)業(yè)跟蹤調(diào)查問(wèn)卷”，其中包括本科生課程學(xué)習(xí)經(jīng)歷、研究生科研經(jīng)歷、畢業(yè)生就業(yè)與創(chuàng)業(yè)等子量表。調(diào)查對(duì)象是陜西省高校畢業(yè)生，包括專科、本科、碩士、博士畢業(yè)生，調(diào)查時(shí)間是畢業(yè)生離校半年之后，調(diào)查時(shí)間持續(xù)三個(gè)月左右，調(diào)查形式為網(wǎng)絡(luò)問(wèn)卷調(diào)查，被調(diào)查者自愿回答。本文聚焦于高校研究生的科研經(jīng)歷，因此樣本選擇限于當(dāng)年獲得碩士、博士學(xué)位的畢業(yè)生。陜西省高校畢業(yè)生調(diào)查中回收研究生反饋6533份，其中有效反饋2502份，問(wèn)卷反饋有效率為38%。調(diào)查樣本的基本情況見(jiàn)表1。

（二）調(diào)查內(nèi)容

科研經(jīng)歷子量表借鑒了澳大利亞研究生科研經(jīng)歷調(diào)查問(wèn)卷和英國(guó)研究生科研經(jīng)歷調(diào)查問(wèn)卷的內(nèi)容，主要調(diào)查在校期間學(xué)生感知的導(dǎo)師在科研過(guò)程中多方面的指導(dǎo)情況、學(xué)生在學(xué)術(shù)及科研相關(guān)技能方面的獲得的發(fā)展情況、學(xué)校的科研氛圍情況、學(xué)校在研究設(shè)施方面提供的支持、學(xué)位論文評(píng)審過(guò)程的公正性與程序合理性以及研究生對(duì)科研經(jīng)歷的整體滿意度等。共有32個(gè)測(cè)量題目，回答從“非常不同意”到“非常同意”共6個(gè)等級(jí)，分別賦值1～6分。

（三）分析過(guò)程

1.初步分析（學(xué)生個(gè)體層次）

首先將該年研究生樣本有效反饋數(shù)據(jù)拆分為兩個(gè)隨機(jī)數(shù)據(jù)樣本（n1=1267，n2=1235），在樣本1中借助SPSS進(jìn)行探索性因子分析，探索問(wèn)卷的因子構(gòu)成，然后在樣本2中利用AMOS中實(shí)施驗(yàn)證性因子分析，進(jìn)一步檢驗(yàn)問(wèn)卷的因子結(jié)構(gòu)效度。驗(yàn)證性因子分析結(jié)果以增值適配指標(biāo)TLI、比較適配指標(biāo)CFI、漸進(jìn)殘差均方和平方根RMSEA、卡方值（Chi-square）作為判定指標(biāo)。其中，TLI和CFI取值在0～1之間，其值大于0.9意味著模型適配良好。RMSEA取值越小則表明模型適配度越高，其值在0.8～0.1之間，表示模型適配尚可，其值小于0.05，表明模型適配良好。基于計(jì)算的組合信度（Composite Reliability，CR）、平均變異量抽取量（Average Variance Extracted，AVE）平方根與維度間相關(guān)系數(shù)，驗(yàn)證各維度的收斂效度與區(qū)分效度。組合信度大于0.6，表明驗(yàn)證模型收斂效度佳。平均變量抽取量平方根大于各維度相關(guān)系數(shù)絕對(duì)值的最大值，表明各維度間區(qū)分效度良好。

2.多層模型分析（學(xué)生個(gè)體層次與學(xué)校層次）

高等教育研究中，具有嵌套結(jié)構(gòu)特征的數(shù)據(jù)非常常見(jiàn)，例如學(xué)生個(gè)體隸屬于某個(gè)班級(jí)，班級(jí)之上是院系、學(xué)科、學(xué)校等。多層模型可以在同一分析中分析不同層次的數(shù)據(jù)。研究借助MLwiN3.01首先構(gòu)建以學(xué)校作為分類變量的二層次水平零模型，學(xué)生個(gè)體是最低層次水平，學(xué)校是最高層次水平，設(shè)定學(xué)生個(gè)體層次與學(xué)校層次的效應(yīng)隨機(jī)，以判定學(xué)校差異對(duì)因變量的解釋程度和重要性。然后在零模型基礎(chǔ)上增添預(yù)測(cè)變量（學(xué)生的個(gè)人特征），分析預(yù)測(cè)變量對(duì)校際差異的影響及預(yù)測(cè)變量的固定效應(yīng)。

正如因子分析中因子信度系數(shù)取決于因子內(nèi)的題目之間的一致程度（例如，題目之間的相關(guān)程度）和題項(xiàng)數(shù)量（基于傳統(tǒng)的Spearman-Brown方程）一樣，多層模型分析中每一層次水平上的群組均值的信度取決于群體內(nèi)的個(gè)體一致程度和人數(shù)。即如果學(xué)校內(nèi)的學(xué)生個(gè)體之間的一致性較差或者學(xué)生人數(shù)過(guò)少，則學(xué)校層次的群組均值的信度可能會(huì)比較低。多層模型分析中群組信度可以通過(guò)組內(nèi)相關(guān)系數(shù)ICC判定，組內(nèi)相關(guān)系數(shù)ICC是基于組內(nèi)和組間方差計(jì)算所得，計(jì)算公式為：組內(nèi)相關(guān)系數(shù)ICC=組間方差τ2/（組間方差τ2+組內(nèi)方差σ2），組內(nèi)相關(guān)系數(shù)ICC代表的是組間差異對(duì)總體差異的解釋比例。

也可以將組內(nèi)相關(guān)系數(shù)ICC視為基于單一學(xué)生反饋的信度指標(biāo)（也可稱為單頻信度Single-Rater Reliability），從而將組內(nèi)相關(guān)系數(shù)ICC和組內(nèi)人數(shù)N代入Spearman-Brown公式可以計(jì)算出高層次水平的群組平均信度。計(jì)算公式為：群組平均信度=組規(guī)模N×組內(nèi)相關(guān)系數(shù)ICC/[1+（組規(guī)模N？1）×組內(nèi)相關(guān)系數(shù)ICC]。可見(jiàn)，高層次水平的平均信度取決于組間差異比例ICC和組規(guī)模N。研究中首先計(jì)算出不同高校的組間相關(guān)系數(shù)ICC，然后基于調(diào)查樣本中各所高校的人數(shù)中位數(shù)計(jì)算學(xué)校層次的群組平均信度。

四、研究結(jié)果

（一）初步分析結(jié)果（學(xué)生個(gè)體層次）

1.因子分析及信度分析結(jié)果

探索性因子分析采用主成分分析方法，最大方差旋轉(zhuǎn)后，選擇特征值大于1的因子。探索生成五個(gè)因子，經(jīng)過(guò)對(duì)各因子對(duì)應(yīng)測(cè)量題目?jī)?nèi)容的甄別，剔除6個(gè)歸屬不當(dāng)?shù)念}目，五個(gè)因子對(duì)應(yīng)的題目共26個(gè)（將科研經(jīng)歷總體滿意度作為獨(dú)立題目，不納入探索因子分析），累計(jì)解釋方差82.96%。表2中列出探索性因子分析的結(jié)果，各因子對(duì)應(yīng)的測(cè)量題目的因子載荷均高于0.6。度量分析結(jié)果顯示各因子具有較高內(nèi)部一致性，信度系數(shù)（Cronbach a）均高于0.8。

探索性因子分析結(jié)果基礎(chǔ)上添加科研經(jīng)歷總體滿意度這一題項(xiàng)后，在隨機(jī)樣本2中驗(yàn)證六個(gè)因子的結(jié)構(gòu)效度。由于科研經(jīng)歷總體滿意度僅有一個(gè)測(cè)量題目，因此設(shè)定其誤差方差為0，因子載荷為1。驗(yàn)證性因子分析結(jié)果表明，各參數(shù)估計(jì)值顯著（0.05顯著性水平及以上）。模型適配指標(biāo)中，卡方值（Chi-square=2808.624）顯著，由于該指標(biāo)易受樣本容量影響，因此對(duì)驗(yàn)證因子模型的判別主要依據(jù)增值適配指標(biāo)TLI、比較適配指標(biāo)CFI和漸進(jìn)殘差均方和平方根指標(biāo)RMSEA。驗(yàn)證模型分析結(jié)果顯示，增值適配指標(biāo)（TLI=0.930）、比較適配指標(biāo)（CFI=0.942）和漸進(jìn)殘差均方和平方根（RMSEA= 0.076）均達(dá)到良好水平。

驗(yàn)證因子模型分析結(jié)果顯示，各因子對(duì)應(yīng)因子載荷在0.78～0.95之間。各因子對(duì)應(yīng)的組合信度CR高于0.6，其中導(dǎo)師指導(dǎo)的組合信度0.978，研究氛圍的組合信度0.937，技能發(fā)展的組合信度0.958，研究設(shè)施的組合信度0.884，論文評(píng)審的組合信度0.946，科研經(jīng)歷總體滿意度只有一個(gè)題項(xiàng)，信度為1。表明科研經(jīng)歷各維度有較好收斂效度。

表3中的平均方差抽取量（AVE）平方根與各維度間的相關(guān)系數(shù)數(shù)值表明，各維度對(duì)應(yīng)的AVE平方根均大于因子間相關(guān)系數(shù)絕對(duì)值的最大值，表明科研經(jīng)歷各維度之間有較好區(qū)分效度。可見(jiàn)，在學(xué)生個(gè)體層次水平上，研究生科研經(jīng)歷調(diào)查問(wèn)卷作為科研經(jīng)歷的測(cè)量工具，具有較好的收斂效度和區(qū)分效度。

2.科研經(jīng)歷基本情況及方差分析結(jié)果

研究生科研經(jīng)歷各維度的基本特征（見(jiàn)表4）顯示，整體而言，研究生對(duì)其科研經(jīng)歷的評(píng)價(jià)較高，其中導(dǎo)師指導(dǎo)、研究氛圍、技能發(fā)展、研究設(shè)施的平均得分都介于4.5～5.0之間，論文評(píng)審的平均得分還超過(guò)了5.0，研究生對(duì)其科研經(jīng)歷總體滿意度也接近于5.0分。這一結(jié)果說(shuō)明，研究生對(duì)其科研經(jīng)歷的各項(xiàng)陳述整體上持“比較同意”的態(tài)度。

為了確認(rèn)科研經(jīng)歷的校際差異情況，對(duì)研究生科研經(jīng)歷各維度進(jìn)行單因素方差分析。分析結(jié)果（見(jiàn)表5）顯示，19所高校的研究生對(duì)導(dǎo)師指導(dǎo)的評(píng)價(jià)得分差異不顯著，對(duì)科研氛圍的評(píng)價(jià)得分差異達(dá)到0.001的顯著水平，對(duì)技能發(fā)展的評(píng)價(jià)得分差異達(dá)到0.05顯著水平，對(duì)基礎(chǔ)設(shè)施的評(píng)價(jià)得分差異達(dá)到0.001顯著水平，對(duì)論文評(píng)審的評(píng)價(jià)得分差異達(dá)到0.05顯著水平，對(duì)科研經(jīng)歷總體滿意度的評(píng)價(jià)得分差異達(dá)0.05顯著水平。

不同高校的學(xué)生對(duì)科研氛圍、技能發(fā)展、基礎(chǔ)設(shè)施、論文評(píng)審的評(píng)價(jià)存在顯著差異，是否意味著可以依據(jù)這些維度上的學(xué)生評(píng)價(jià)作為評(píng)判各校研究生教育過(guò)程質(zhì)量高低的依據(jù)還有待進(jìn)一步確認(rèn)，還需要進(jìn)一步驗(yàn)證學(xué)校層次上的科研經(jīng)歷各維度的效度與信度，以確定對(duì)不同高校的研究生科研經(jīng)歷進(jìn)行校際比較的可行性與適切性。

（二）多層模型分析結(jié)果

多層模型分析結(jié)果顯示，19所高校科研經(jīng)歷評(píng)價(jià)得分的差異性不足以支撐科研經(jīng)歷的校際比較實(shí)踐。以學(xué)校作為分層變量構(gòu)建的零模型（模型1）主要是為了分析校際差異對(duì)變量方差的解釋程度。分析結(jié)果（見(jiàn)表6模型1）顯示，科研氛圍和基礎(chǔ)設(shè)施兩個(gè)維度上的校際差異達(dá)到0.05顯著水平的顯著性，校際差異分別解釋科研氛圍方差的1.8%，基礎(chǔ)設(shè)施方差的1.8%。同時(shí)科研氛圍、基礎(chǔ)設(shè)施的信度估計(jì)結(jié)果（0.621和0.629）略顯不足。導(dǎo)師指導(dǎo)、技能發(fā)展、論文評(píng)審、科研經(jīng)歷總體滿意度四個(gè)維度的校際差異均不顯著，被校際差異解釋的方差比例不足1%。導(dǎo)師指導(dǎo)、技能發(fā)展、論文評(píng)審、科研經(jīng)歷總體滿意度四個(gè)維度各自對(duì)應(yīng)的信度估計(jì)值也比較低（低于0.4）。鑒于零模型（模型1）對(duì)應(yīng)的組內(nèi)相關(guān)系數(shù)ICC均低于0.059，根據(jù)庫(kù)恩（Cohen）建議的判定原則（0.01～0.059代表低度關(guān)聯(lián)強(qiáng)度，0.059～0.138代表中度關(guān)聯(lián)強(qiáng)度，0.138～1代表高度關(guān)聯(lián)強(qiáng)度），19所高校的校際差異對(duì)科研經(jīng)歷各維度而言并不重要。

隨后，在零模型的基礎(chǔ)上嘗試添加學(xué)生性別和學(xué)歷兩個(gè)背景變量（模型2），即在模型中對(duì)學(xué)生性別和學(xué)歷兩類背景因素進(jìn)行控制。控制學(xué)生性別和學(xué)歷兩類背景變量后的分析結(jié)果（見(jiàn)表6模型2）顯示，控制學(xué)生背景特征情況下，導(dǎo)師指導(dǎo)、科研氛圍、技能發(fā)展、基礎(chǔ)設(shè)施、論文評(píng)審、科研經(jīng)歷總體滿意度的校際差異在0.05顯著性水平上均不顯著。相對(duì)而言，科研經(jīng)歷各個(gè)維度上存在顯著個(gè)體差異。

學(xué)生性別與學(xué)歷背景變量的固定效應(yīng)分析結(jié)果（見(jiàn)表6）顯示，性別對(duì)論文評(píng)審和科研經(jīng)歷總體滿意度兩個(gè)維度的評(píng)價(jià)得分存在顯著影響；學(xué)歷層次對(duì)科研經(jīng)歷的六個(gè)維度的得分評(píng)價(jià)均有顯著影響。其中，女生對(duì)科研經(jīng)歷總體滿意度和論文評(píng)審的評(píng)價(jià)得分顯著高于男生，女生對(duì)導(dǎo)師指導(dǎo)、科研氛圍、技能發(fā)展、基礎(chǔ)設(shè)施的評(píng)價(jià)得分與男生無(wú)顯著差異。而博士生對(duì)科研經(jīng)歷六個(gè)維度的評(píng)價(jià)得分均顯著高于碩士生。

五、結(jié)果與啟示

（一）研究結(jié)果

基于上述分析，主要研究結(jié)果總結(jié)如下：首先，在學(xué)生個(gè)體層次水平上，科研經(jīng)歷調(diào)查量表工具性能良好。在學(xué)生個(gè)體層次水平上，研究生科研經(jīng)歷調(diào)查量表具有良好的結(jié)構(gòu)效度與信度。表明該問(wèn)卷是個(gè)體層面上測(cè)量科研經(jīng)歷的有效工具。該結(jié)論與國(guó)際上其他研究者的研究發(fā)現(xiàn)相一致。從而也驗(yàn)證了中文語(yǔ)言背景下研究生科研經(jīng)歷調(diào)查量表的適用性。這一研究結(jié)果提升了科研經(jīng)歷調(diào)查研究結(jié)果的泛化能力，為中文語(yǔ)言背景下與英文語(yǔ)言背景下的研究生科研經(jīng)歷跨文化比較研究提供基礎(chǔ)。其次，學(xué)校層次水平上，研究生的科研經(jīng)歷的評(píng)價(jià)信度不足。在學(xué)校層次水平上，研究生科研經(jīng)歷量表缺乏應(yīng)有的信度支持。雖然固定效應(yīng)的方差分析結(jié)果中顯示19所高校在科研氛圍、基礎(chǔ)設(shè)施、技能發(fā)展、論文評(píng)審和科研經(jīng)歷總體滿意度維度上至少存在0.05水平上的顯著差異，但是零模型中科研氛圍和基礎(chǔ)設(shè)施兩個(gè)維度上也顯示存在少量顯著校際差異（0.05顯著水平），同時(shí)，科研氛圍和基礎(chǔ)設(shè)施對(duì)應(yīng)的信度估計(jì)值不足。最重要的是，控制學(xué)生背景因素情況下，所有維度均無(wú)顯著校際差異。這意味就科研經(jīng)歷的評(píng)價(jià)得分而言，參與調(diào)查的高校之間區(qū)分度不高。也就是說(shuō)，科研經(jīng)歷調(diào)查結(jié)果可能更適合個(gè)體層面上的問(wèn)題診斷與改善指導(dǎo)，應(yīng)謹(jǐn)慎用于高校排行與校際比較。再次，科研經(jīng)歷的個(gè)體差異較大。個(gè)體層次分析結(jié)果顯示，學(xué)生對(duì)科研經(jīng)歷的評(píng)價(jià)得分的校內(nèi)個(gè)體差異較大。多層模型分析結(jié)果表明，科研經(jīng)歷的院校差異相對(duì)較小，學(xué)生個(gè)體間差異較大。

（二）討論與啟示

一是從調(diào)查工具性能視角看，研究結(jié)果對(duì)于改進(jìn)調(diào)查工具具有啟示意義。科研經(jīng)歷調(diào)查工具雖然在個(gè)體層面上得以驗(yàn)證其有效性與可靠性，但學(xué)校層面上沒(méi)有得以驗(yàn)證，因此，從工具改進(jìn)視角看，有必要進(jìn)一步探究如何提升科研經(jīng)歷調(diào)查量表在學(xué)校層次上的工具性能，使其具備校際比較的可靠性，為評(píng)估不同院校研究生培養(yǎng)過(guò)程提供基準(zhǔn)工具，推進(jìn)研究生教育評(píng)估的發(fā)展。

二是從調(diào)查分析過(guò)程看，科研經(jīng)歷調(diào)查的信效度檢驗(yàn)應(yīng)與所選擇分析單元相一致。當(dāng)前，學(xué)生群體已經(jīng)成為高等教育質(zhì)量的重要評(píng)價(jià)主體。學(xué)生評(píng)價(jià)在學(xué)生個(gè)體層面和教師個(gè)體層次上的信效度已得到驗(yàn)證。然而，這并不意味著基于個(gè)體層次水平評(píng)價(jià)結(jié)果可以整合匯總用于其他的分析目的和用途（例如，高校排行或者院系對(duì)比）。應(yīng)當(dāng)根據(jù)分析目的和選擇的分析單元，對(duì)相應(yīng)分析單元上的可信度和適當(dāng)性進(jìn)行驗(yàn)證。正如本文研究結(jié)果所示，研究生科研經(jīng)歷在個(gè)體層次上具有良好信度和效度，然而，在學(xué)校層次上的科研經(jīng)歷各維度信度不足，表明科研經(jīng)歷的校際差異相對(duì)較小，不足以支持基于科研經(jīng)歷各維度對(duì)不同高校進(jìn)行等級(jí)排序和校際比較。鑒于不同層次水平上的調(diào)查工具性能分析已經(jīng)不再受技術(shù)限制，因此，學(xué)生評(píng)估高等教育實(shí)踐中應(yīng)與時(shí)俱進(jìn)，從不同層次了解高等教育的特征和規(guī)律。

三是從調(diào)查結(jié)果的應(yīng)用看，科研經(jīng)歷分析結(jié)果作為研究生教育過(guò)程的診斷手段，應(yīng)注意其分析結(jié)果外推的適切性。高等教育研究領(lǐng)域中，分層數(shù)據(jù)結(jié)構(gòu)是研究數(shù)據(jù)的常態(tài)。但常用的研究方法通常會(huì)忽略數(shù)據(jù)的嵌套屬性，混淆分析單元與推論單元，從而產(chǎn)生推論謬誤。例如，如果進(jìn)行的數(shù)據(jù)分析是以個(gè)體作為分析單元，而分析結(jié)果卻推論至群體，這種以個(gè)體層次水平的分析結(jié)果推論群體層次的做法，觸犯了“原子謬誤”（atomistic fallacy），反之，如果分析單元是群組層次，卻以樣本群體層次分析結(jié)果推論至個(gè)體層次水平，則會(huì)觸犯“生態(tài)謬誤”（ecological fallacy）。鑒于科研經(jīng)歷調(diào)查數(shù)據(jù)的嵌套性質(zhì)，這就要求在科研經(jīng)歷調(diào)查結(jié)果的應(yīng)用過(guò)程中，需要謹(jǐn)慎對(duì)待分析結(jié)果的推論范圍，防止因?yàn)橥普摲秶贿m當(dāng)而產(chǎn)生推論謬誤問(wèn)題。推論謬誤不僅關(guān)系研究生培養(yǎng)過(guò)程診斷結(jié)果的準(zhǔn)確性，還關(guān)系到基于診斷結(jié)果做出的改進(jìn)建議的有效性。

四是從研究生教育管理優(yōu)化視角看，科研經(jīng)歷的校際差異較小，意味著不同院校的研究生培養(yǎng)過(guò)程具有同質(zhì)性。其背后原因可能與課程設(shè)置與教學(xué)方法標(biāo)準(zhǔn)化、市場(chǎng)需求與學(xué)院競(jìng)爭(zhēng)導(dǎo)致不同院校培養(yǎng)方案趨同、教師傳統(tǒng)和學(xué)科慣例限制多樣化、學(xué)術(shù)評(píng)價(jià)標(biāo)準(zhǔn)和就業(yè)機(jī)會(huì)要求促使研究生與導(dǎo)師追求目標(biāo)趨同等因素相關(guān)。因此需要高等教育管理機(jī)構(gòu)從多方面入手，提供更廣泛的研究選擇和探索多樣化的研究生培養(yǎng)模式，優(yōu)化研究生教育管理。

五是從學(xué)生學(xué)習(xí)與發(fā)展視角看，科研經(jīng)歷的校內(nèi)個(gè)體差異較大，意味著高校研究生群體構(gòu)成具有多樣性。隨著高等教育規(guī)模不斷擴(kuò)大，包括研究生在內(nèi)的高校學(xué)生群體愈發(fā)多元化和個(gè)性化。學(xué)生群體多樣化意味著學(xué)生在學(xué)習(xí)需求、學(xué)習(xí)能力、學(xué)習(xí)興趣、學(xué)習(xí)風(fēng)格等方面會(huì)存在較大差異，需要學(xué)校提供靈活多樣的培養(yǎng)模式，為學(xué)生提供個(gè)性化發(fā)展的空間與機(jī)會(huì)。

參考文獻(xiàn)

[1] 張煒， 汪勁松. 研究生教育規(guī)模預(yù)測(cè)與中美比較[J]. 學(xué)位與研究生教育， 2022（2）： 1-7.

[2] 趙炬明. 論新三中心： 概念與歷史——美國(guó)SC本科教學(xué)改革研究之一[J]. 高等工程教育研究， 2016（3）： 35-56.

[3] 趙琳， 王傳毅. 以“學(xué)”為中心： 研究生教育質(zhì)量評(píng)價(jià)與保障的新趨勢(shì)[J]. 學(xué)位與研究生教育， 2015（3）： 11-14.

[4] European Union News. “University of Westminster Ranked within Top 20 UK Universities in Latest Postgraduate Research Experience Survey （PRES）”[EB/OL]. [2023-07-28]. https：//search.ebscohost.com/login.aspx？direct=true&AuthTyp e=cookie，ip，shib&db=edsbig&AN=edsbig.A759663065?=zh-cn&site=eds-live.

[5] MARSH H W， ROCHE L A. Making students evaluations of teaching effectiveness effective[J]. American psychologist， 1997， 52（11）： 1187-1197.

[6] GREENWALD A G， GILLMORE G M. No pain， no gain？ the importance of measuring course workload in student ratings of instruction[J]. Journal of Educational psychology， 1997， 89（4）： 743-751.

[7] GINNS P， MARSH H W， BEHNIA M， et al. Using postgraduates evaluations of research experience to benchmark departments and faculties： issues and challenges[J]. British journal of educational psychology， 2009， 79（3）： 577-598.

[8] MARSH H W. Students evaluations of university teaching： research findings， methodological issues， and directions for future research[R/OL]. [1987-05-04]. https：//files.eric.ed.gov/ fulltext/ED338629.pdf.

[9] CENTRA J A. Reflective faculty evaluation[M]. San Francisco， CA： Jossey-Bass， 1993.

[10] Australian Council for Educational Research. Evaluation and validation of the trial postgraduate research experience questionnaires[R]. Canberra： Department of Education Training and Youth Affairs， 2000.

[11] AINLEY J. The 1999 postgraduate research experience questionnaire[R]. Australian Council for Educational Research， 2001.

[12] PITKIN M. 2021 Postgraduate research experience survey[R]. Advance HE， 2021.

[13] Canadian Association for Graduate Studies. Canadian graduate and professional student survey[EB/OL]. [2023-05-06]. http：//www.cags.ca/cgpss_home.php.

[14] 中國(guó)博士質(zhì)量分析課題組. 中國(guó)博士質(zhì)量報(bào)告[M]. 北京：北京大學(xué)出版社， 2010.

[15] 王戰(zhàn)軍. 中國(guó)研究生教育質(zhì)量年度報(bào)告（2012）[M]. 北京：中國(guó)科學(xué)技術(shù)出版社， 2013.

[16] 周文輝， 黃歡， 劉俊起， 等. 2023年全國(guó)研究生滿意度調(diào)查[J]. 學(xué)位與研究生教育， 2023（9）： 48-54.

[17] 陸根書. 2020年陜西省高校畢業(yè)就業(yè)創(chuàng)業(yè)報(bào)告[M]. 北京：北京理工大學(xué)出版社， 2021.

[18] 洪流， 汪霞. 江蘇省研究生教育發(fā)展年度報(bào)告2020[M]. 南京： 南京大學(xué)出版社， 2020.

[19] 許丹東， 付道麟， 呂林海. 博士生學(xué)術(shù)具體滿意度與整體滿意度的關(guān)系研究[J]. 江蘇高教， 2020（7）： 49-55.

[20] 羅英姿， 張佳樂(lè)， 顧劍秀， 等. 博士生教育價(jià)值的再審視——基于涉農(nóng)學(xué)科博士職業(yè)發(fā)展的考察[J]. 高等教育研究， 2022， 43（7）： 89-98.

（責(zé)任編輯 黃歡）