近十年大數據環境下國際高等教育評價研究現狀分析

邱均平

DOI：10.3969/j.issn.1008-0821.2021.09.001

[中圖分類號]G250.252 [文獻標識碼]A [文章編號]1008-0821（2021）09-0004-08

大數據是信息社會縱橫發展的產物，它開啟了一次重大的時代轉型，改變了人們的生活方式與思維。2008年《Nature》推出了“大數據”專欄，此后大數據迅速成為學界關注的熱點。大數據是以容量大、類型多、存取速度快、應用價值高為主要特征的數據集合。當前，隨著國家大數據戰略的實施，大數據正不斷影響著高等教育的發展，高等教育信息化的完善深刻地改變了高等教育評價活動的樣態。在高等教育環境中，大數據是指與高校教學活動有關的全部數據，而隨著高等教育信息化的實現，在高等教育各個環節中的所有數據都可以被記錄保存，以作為開展高等教育評價的基礎。而當前國內高等教育評價存在“破五唯”問題，王洪才提出要從根本上“破五唯”，就要建立真正的科學評價體系，減少行政干預，使學術評價回歸到學術主體本身。大數據的特點決定其可以在高等教育評價中減少或消除評價的主觀性與行政干預，使高等教育評價真正地回歸本真。

近年來，在大數據環境下高等教育評價研究持續發展，相關研究成果層出不窮。瞿振元等提出教育要遵循育人規律，堅持本真思維，以人才培養、科學貢獻、社會服務為目標，且在新一輪信息革命下，大數據的發展為高等教育評價提供了新的技術動力。余波等研究了大數據驅動下“雙一流”高校跟蹤平臺體系的構建。探討國際高等教育評價的研究概況能推動我國高等教育評價進行技術性改革，對促進我國高等教育的國際化發展具有重要意義，但目前對這一方面還沒有進行過深入研究。本文旨在揭示大數據環境下國際高等教育評價研究的現狀，為我國高等教育評價提供啟示。

1方法

1.1數據來源

本研究選取“Web of Science”核心合集數據庫為數據源，根據其2019年的引文報告（Journal Citmion Reports，簡稱JCR），學科類別限定為“Eduction & Educational Research”，共有263種SSCI期刊。WOS數據庫按照學科期刊排名將期刊劃分為4個區度，各區度占比25%。本文從中選取Q1、Q2區的10種期刊，10種期刊名均含“Higher Eduction”，如表1所示。根據每個出版物名稱，將文獻發表起始時間限定為《Nature》雜志開始推出“大數據”專欄的2008年，結束時間為2020年，文獻類型限定為“Article or Proceedings Paper or Review”，檢索詞為“Evaluation or Assessment”，最終選取1805篇文獻作為研究對象。10種期刊的影響因子均大于1.5，具有分析價值。

1.2研究方法

為揭示國際高等教育評價研究現狀，本文將使用SATI軟件進行文本挖掘，SATI軟件能夠提供多種數據清洗工具，比如文獻去重、詞干提取、應用停用詞、智能清洗等，能較為準確地保證研究結果。本文將按照以下3個步驟進行數據處理：

1）將文獻集導入SATI軟件中，首先經過數據清洗與處理，使用文獻計量法從發表年份、發表機構、高頻關鍵詞對數據進行描述性統計。

2）進行高頻關鍵詞的分析，構建高頻關鍵詞的頻次時間序列、相似矩陣及相異矩陣的轉換。

3）基于相異矩陣使用SPSS進行關鍵詞聚類;基于共現矩陣，使用SATI軟件進行社會網絡分析，生成知識圖譜以獲取關鍵詞之間的聯系，生成聚類結果。

4）根據聚類分析結果，對挖掘出的熱點主題做深入地探討和分析，為我國高等教育評價提供建議。

2研究結果及分析

2.1描述性統計

將檢索到的1805篇期刊文獻導入SATI軟件中，選擇“年份”進行頻次統計，因WOS數據庫上部分期刊會提前在線出版文獻，本文將146篇還未正式見刊的文獻出版時間定為其在線出版的時間，得到大數據環境下國際高等教育評價文獻的年度刊載量圖，如圖1所示。

由圖1可知，截至2020年末，在國際大數據環境下，關于高等教育評價的研究整體上呈現出了逐年平穩遞增的趨勢，并且在2020年出現了急劇上升趨勢，可以初步判斷，高等教育評價研究還處于熱度上升時期。《高等教育評估與評價》是刊發高等教育評價的主要期刊，發文量為816篇，占比45.21%。此外，《高等教育研究（英）》《高等教育研究與發展》《高等教育研究（美）》發文量分別為256篇、212篇、194篇，占36.7%。從平均被引頻次上看，所選的10種期刊的篇均被引頻次均超過10，其中在《互聯網與高等教育》期刊中關于高等教育評價研究的文獻平均被引頻次達到38.52。綜合發文量與平均被引頻次，可以認為所選期刊在高等教育評價方面具有較高權威性，能夠引領國際高等教育評價的熱點。

2.2學術機構分析

對作者所在學術機構的發文量進行統計與對比分析，由于篇幅限制，本研究選取發文量大于15篇的學術機構進行分析，如表2所示。從機構地域分布來看，發文大于15篇的機構超過一半分布在澳大利亞，分布在英國的機構有3所，新西蘭2所，中國、瑞士、蘇格蘭分別為1所。發文數量排名前5的機構都位于澳大利亞，這表明澳大利亞在國際頂尖期刊上發表高等教育評價研究文獻的數量處于優勢地位。澳大利亞關于高等教育的研究起步較晚，但發展較快，二戰后澳大利亞開始發展獨立的教育體系，自20世紀60年代之后進入快速發展階段，澳大利亞政府推動高等教育改革，改革不僅使得澳大利亞在高等教育評價研究中成效顯著，在其他有關高等教育的領域中都占據強勁態勢。比如Harper R等就澳大利亞高等教育評價中存在的學生將評估外包給第三方即“合同作弊”問題進行調查，研究結果表明，“合同作弊”可以通過改善教學環境來解決，比如改進師生間的關系。Bearman M等針對高等教育評估標準的“透明度”問題提出教師可以設計評估材料，比如標尺、任務說明和范例來傳達他們的意圖，同時促使學生發展自己的工作和學習方式。

我國只有香港大學發文量大于15篇，發文量大于5篇的有我國香港地區的3所大學與臺灣地區的2所大學，表明我國在國際高等教育評價的頂級期刊上論文產出較少。我國港臺地區大部分高校教師擁有海外留學經歷，更容易追蹤國際學術前沿，把握國外發展趨勢，將研究成果發表在國際期刊上，使研究產生學術影響力。中國臺灣地區的Hou Y C等提出高等教育目前正在學習整合及平衡不同利益相關者的需求，包括當地學生、政府以及全球市場，并以臺灣地區高等教育3項認證為例探討全球高等教育質量保證體系對亞洲高等教育的影響。

2.3高頻關鍵詞統計

關鍵詞反映了作者對研究內容的認知，能概括文章的主要內容，呈現了這一時期研究的前沿熱點，能反映未來研究的趨勢。因此，可以通過關鍵詞共現來挖掘研究內容的相似性與研究重點。為使關鍵詞的統計更加嚴謹，將關鍵詞導入SATI軟件，SATI軟件會對數據進行智能清洗與詞干提取，提高處理效度與信度，隨后將SATI的關鍵詞詞頻統計結果進行手動清洗：將“學生學習”“學習”“學生評價”“學生評教”等意思相同的詞合并;刪除“Assess、Assessment、Evalu、High Educ、Univers”等代表研究范圍和研究對象的關鍵詞，最終得到國際高等教育評價研究排名前30的高頻關鍵詞，如表3所示。出現頻率最高的關鍵詞是反饋（Feed-back）、同伴評估（Peer Assess）、自我評價（Self-assess）等。

高頻關鍵詞在某一時間段的出現次數，可以直觀地反映出這一時間段的研究熱點與趨勢，頻次時間序列則可以反映不同關鍵詞出現頻次的變化。本文使用SATI軟件繪制了關鍵詞詞頻前6的時間序列圖，如圖2所示。“反饋”這一關鍵詞從2013年開始出現爆發式增長，而后起伏幅度越來越小，逐漸趨于平穩。“同行評估”除了在2013年以及2019年出現下降趨勢外，在高等教育評價中的熱度一直存在，且在最近幾年呈現出了突然遞增的狀態。“形成性評價”在2010年熱度達到最高，此后逐漸趨于小范圍波動。“學生評價”出現頻次一直處于波動狀態，近年呈現逐步上升趨勢。“自我評價”“學生學習”近年來出現頻次呈現出下降趨勢。

2.4關鍵詞相似矩陣分析

雖然高頻關鍵詞的頻次可以反映出領域內的研究熱點，但無法表現出各個關鍵詞的內在聯系與緊密程度。通過構建關鍵詞相似矩陣可以探究關鍵詞間的關聯性，矩陣中的數值為相似系數，相似系數表示矩陣元素之間的相似性，數值越大說明元素間的關聯程度越強。本文使用SATI生成相似矩陣，停用刪除與研究熱點無關的關鍵詞以及代表研究對象的關鍵詞，設置矩陣大小為50，由于篇幅限制，僅展示前15個具有代表性的高頻關鍵詞的相似矩陣。結合上文可以發現，國際高等教育評價研究出現頻次高的關鍵詞之間往往關聯度高。如表4所示，“反饋—形成性評估”“同行評估—自我評估”“同行評估—同行反饋”“學生評價—有效性”“有效性—批判性思維”“有效性—可靠性”等關鍵詞之間相似系數高，說明它們之間關聯度較高。“有效性”在高等教育評價中指評價是否達成評價目的，評價是否具有真實意義，有效的評價能為決策者提供理論依據，學生評價與有效性關聯度高說明學生評價可以為高校的實際教育成果評價的有效性提供正確的反饋。批判性思維與有效性的關聯度高驗證了在高等教育中批判性思維的重要性。

將相似矩陣轉化為相異系數矩陣導人到SPSS25.0中進行K-means聚類分析，根據聚類結果提取出5個類別，如表5所示。

2.5關鍵詞社會網絡分析

使用社會網絡分析對關鍵詞進行共現可以確定主題詞在相關研究中是處于核心還是邊緣位置，共現圖譜中的節點越大，則代表其出現頻率越大，節點間連線的粗細則代表關鍵詞之間的關聯程度，共現次數越大，則連線越粗。本研究使用SATI繪制國際高等教育評價研究熱點高頻關鍵詞的共現圖譜，如圖3所示。

在共現圖譜中，除“高等教育”和“評價”這類代表研究對象的關鍵詞之外，“反饋”一詞節點最大，位于中心位置且連線居多，是國際高等教育評價的熱點，一直被廣泛研究。在共現圖譜右上角可以發現，“學生滿意度”“學生評估”“課程評估”與評價有效性及可靠性密切相關，這驗證了上文所提到的學生評估對高等教育評價的重要程度，學生綜合素質水平的提高是高等教育發展的動力與最終目的，高等教育評價要繼續以學生為落腳點。

2.6國際高等教育評價研究熱點分析

國際高等教育評價研究內容豐富，范圍較廣，結合聚類分析與社會網絡分析，可以將研究熱點劃分成3個領域：一是以反饋為核心，包括同行反饋、自我評估、形成性評價、同行評估等評價方法問題;二是以學生為中心的評價指標問題，包括學生滿意度、批判性思維、學習成果、學生參與度、教師能力等;三是以評價信度與效度為核心的評價質量問題。

2.6.1評價方法熱點分析

評價方法可以決定評價質量，采用科學的評價所產出的科研成果才能對高等教育現狀產生有力的解釋、預測和指導。反饋不僅是高等教育中不可缺少的一個環節，也是高等教育評價中重要的評價方法同，反饋可以向教師反映出教學效果，為未來教學提供方向，也可以避免不良教學成果。Poulos A等發現反饋有效性的重要程度超過其交付方式和及時性，有效反饋可以加強教與學之間的聯系。Burke D發現多數學生會混淆“真正的反饋”與“對如何使用反饋的指導”的區別，認為教師應該采取措施使學生能夠在學位課程中得到更多反饋。正確的反饋也可以向政府等高校管理部門提供決策依據。

反饋是形成性評價的核心環節，形成性評價是相對于總結性評價而言的，相對于總結性評價，形成性評價能夠使學生更真實地參與評價過程，明確教學活動中存在的問題。形成性評價能夠通過老師—學生、學生—學生構建反饋對話，幫助學生獲得高效的反饋，并促進自我評估的能力。Jenkins JO提出應將不必要的總結性評價替代為形成性評價，以使形成性評價在高等教育中發揮作用。目前，有關形成性評價的理論與實踐方法仍備受熱議且在發展。

同行評估與同行反饋是高等教育評價中重要的評價方法，Sridharan B等比較了形成性和總結性評價制度下不同的同行評估行為模式，探討了評估偏差中實際和自我感知的貢獻水平的相互作用。孫文靜等認為應完善同行評價的實施、激勵、選定、運用制度，形成對高等教育全面真實的評價，促進高等教育的自我改善與革命。Bond D等在實踐理論的基礎上，從實踐的角度看待高等教育評價現狀，提出可以將評價定位為高等教育課程實踐的一部分，結束評價與教與學的分離。Raes A等調查了評價的“匿名性”對同行評價結果的影響，發現匿名評價會減少對同行的壓力感、增強舒適感以及對同行評價產生積極的態度。

2.6.2評價指標熱點分析

以學生為中心的評價指標成為國際高等教育評價的研究熱點，說明學生在高等教育中的表現與成就是高等教育評價中的重點內容，是評價的核心。以學生為中心構建評價指標體系，能使高等教育準確認識自身價值，將其教育目標具體化，且能讓學生產生參與感，并積極地進行自我審查與提升。“一切為了學生發展”是我國教育的初心，也是國際高等教育發展的初心所在，對人才培養情況作出實時反饋是高等教育評價的主要目的，以學生為中心的高等教育評價可以展現高等教育的培養目標以及培養模式，鼓勵學生進行自我定位，提高高等教育評價的綜合質量。

杜威（John Dewey）最早定義了批判性思維并將其引入到教育中推廣其成為一種教學理念，他認為批判性思維是一種能夠將知識依據信仰或者隱含假設進行主動且反復的思維模式。在1990年，教育評估和評估專家對“批判性思維”發表了共識聲明，認同批判性思維是一種借助認識和反思的深化進行自我意識調節的能力，包括習性與技能兩部分，習性指個體對批判性思維的思想態度，技能則代表“闡明”“分析”“解釋”和“自我管理”等能力。在現代社會，批判性思維被普遍認為是高等教育的目標之一。Tannock S以高等評價為例論證了公立大學培養學生的批判性、反思性、獨立性和民主性思維的重要性，并提出應對公立大學使用“分級評價”的評價方法進行科學的改造。BelluigiD Z提出如果教師不重視批判性思維，那么學生可能會“失去與自己的愿望、聲音和言語聯系的能力”。一個有效的課程應重視學生表現出的創造性和批判性思維，教師應檢查和明確自己的信仰、價值觀和意識形態，并幫助學生更加深入的理解他們觀點的根源。

2.6.3評價質量研究熱點分析

信度指對同一對象采取同一方法進行多次測量時，其結果一致的程度，信度與效度常聯合使用以確保研究結果的準確性，在高等教育評價中的使用則可以用來判斷評價的真實程度與合理性。評價的信度與效度能最終決定研究成果是否具有意義，在高等教育評價中多對評價模型進行信度與效度的檢驗，比如Ali H等為了考察課程經驗問卷（CEQ）能否探究西方以外地區學生對課程的看法，使用結構效度檢驗證明了問卷模型的合理性，證實了CEQ是有效和可靠的課程評價工具。Green T對國際高等教育研究中使用結構方程模型（SEM）的文章進行研究.發現SEM在高等教育研究中還可以對替代模型的測試、可靠性與有效性、理論支持模型、數據篩選、擬合指數等方面進行改進，以對從事高等教育評價研究的人員提供最佳的實踐統計準則。

高等教育評價在實現實質性突破的同時必須保證評價質量，構建評價目標明確、方式多維、多元主體的評價體系。Wolf R等發現高等教育學習成果評估（AHELO）面臨評分及分數解釋的有效性等挑戰，并從AHELO可行性研究和其他國際評估研究中汲取經驗，為未來的國際高等教育評價提供參考。

3總結與啟發

探測與分析大數據環境下國際高等教育評價的研究現狀，對專家進行科研選題、構建國內高等教育評價國際化具有重要的意義。本文以Web of Sci-ence數據庫的1805篇文獻為研究對象，借助SA-TI、SPSS工具，運用文本挖掘、聚類分析等方法探討了國際高等教育評價研究現狀與研究熱點，為我國高等教育評價研究帶來啟示。

從評價方法角度，國際高等教育評價關注反饋、形成性評價與同行評價等。在大數據時代，要善于使用數據與評價方法結合，數據作為強有力的機制，可以幫助教師、高教管理者、學生之間形成科學的反饋機制，進行評價的常態跟蹤，這可以使評價研究能夠去中心化測量，并能關注到構成評價的更廣泛的人、事物和現象，且大數據驅動的評價方法可以確保評價的獨立性，減少了評價的隨意性。而當前國內高等教育評價并沒有將數據的高效使用作為主流探討方向，未來應持續加強大數據在高等教育評價方法中的應用探索，將數據的價值l生使用到反饋、形成性評價等評價方法中，構建大數據驅動的高等教育評價。

從評價指標角度，國際高等教育評價的研究熱點集中于以學生為中心，注重評價的時效性。而目前國內高等教育評價多注重結果評估，缺少動態監測指標，且較學生評價更注重專家評價。國內高等教育評價應充分利用課堂信息化、評價實時化的特點，建立監測立方體，依據學生專業特點建立不同的評價指標體系，對學生產生的評價數據進行考核。

從評價質量角度，國際高等教育評價研究注重評價的信度與效度，在大數據時代，要善于使用數據對評價指標的相關性、評價方法的適用性、評價主體的代表性進行分析，從而把握評價質量，并可以通過數據動態化分析對評價進行實時的監控與必要的預警，構建動態評價，及時進行反饋，提高評價質量。

（責任編輯：陳媛）