基于科學(xué)知識圖譜的國內(nèi)外概化理論研究可視化分析

趙亞如 李朝乾 田欣雨 陳云紅

一、前言

2020年6月30日，中共中央全面深化改革委員會第十四次會議審議通過了《深化新時代教育評價改革總體方案》，方案強調(diào)要“改進結(jié)果評價，強化過程評價，探索增值評價，健全綜合評價”。楊志明教授認為，要具體做好四種評價，不僅需要從管理和政策層面做出周密和系統(tǒng)的安排，而且需要從教育測量與評價的理論和技術(shù)層面拿出切實可行的實操方案，強調(diào)在“強化過程評價”和“健全綜合評價”方面，不僅需要用到經(jīng)典測量理論（Classical Test Theory，CTT）和項目反應(yīng)理論（Item Response Theory，IRT）的理論與方法，而且特別需要用到測評的概化理論（Generalizability Theory，GT）[1]。

概化理論是經(jīng)典測量理論的發(fā)展，其基本原理是運用實驗設(shè)計的思想，分析影響測驗分數(shù)差異的各項因素（如考生個體水平的差異、題目難度等），并運用方差分析的技術(shù)，分別估計各項因素對分數(shù)總變異的貢獻[2]。1963年Cronbach等人在《英國統(tǒng)計心理學(xué)雜志》上發(fā)表的論文《概化理論：信度理論的豐富和發(fā)展》（TheoryofGeneralizability：Aliberalization ofreliabilitytheory）標志著概化理論的誕生[3]。近年來隨著研究水平的提高，概化理論的應(yīng)用范圍也不斷擴大，在心理學(xué)[4]、醫(yī)學(xué)[5]、教育學(xué)[6]等各方面都得到了廣泛的應(yīng)用。《深化新時代教育評價改革總體方案》對我國的教育測量與評價提出了更高的要求，概化理論作為三大測量理論之一，對其國內(nèi)外近年的研究進展進行對比分析和梳理總結(jié)，能夠為今后教育測量與評價領(lǐng)域概化理論的應(yīng)用研究提供參考。

二、研究設(shè)計

（一）研究工具及方法

Cite Space軟件由美國德雷賽爾大學(xué)陳超美教授基于Java開發(fā)，主要用于科學(xué)文獻數(shù)據(jù)計量分析、識別和顯示科學(xué)發(fā)展新趨勢及新動態(tài)[7]。本研究使用Cite Space 5.7.R4軟件對國內(nèi)外概化理論相關(guān)研究成果進行計量分析，包括發(fā)文量分析、關(guān)鍵詞共現(xiàn)網(wǎng)絡(luò)分析和合作網(wǎng)絡(luò)分析。其中，關(guān)鍵詞共現(xiàn)網(wǎng)絡(luò)分析主要通過共現(xiàn)詞頻分析和聚類視角網(wǎng)絡(luò)圖譜，聚類視角圖譜通過聚類分析得到。聚類分析是將一組研究對象分為相對同質(zhì)群組的統(tǒng)計分析技術(shù)，同一個聚類中的對象有很大的相似性，而不同聚類間的對象有很大的相異性[8]。合作網(wǎng)絡(luò)分析包括國家、機構(gòu)和作者合作網(wǎng)絡(luò)圖譜[9]。

（二）數(shù)據(jù)來源

以Web of Science為檢索數(shù)據(jù)庫，設(shè)置主題為“Generalizability Theory”進行國外英文文獻檢索；以CNKI為檢索數(shù)據(jù)庫，在“高級檢索”模式設(shè)置主題為“概化理論”進行國內(nèi)文獻檢索。時間跨度設(shè)定為2001年至2020年，經(jīng)過剔除篩選后，共得到734篇英文文獻和373篇中文文獻。

三、研究結(jié)果與分析

（一）國內(nèi)外概化理論研究發(fā)文量分析

圖1 統(tǒng)計的是國內(nèi)外近二十年間（2001～2020年）概化理論研究領(lǐng)域的發(fā)文量。從圖1中可看出，2010年之前國內(nèi)外概化理論發(fā)文量基本相近，但之后的國內(nèi)外發(fā)文數(shù)量表現(xiàn)出明顯的差距，國外每年的發(fā)文量明顯高于國內(nèi)發(fā)文量。整體來看，國外概化理論研究的發(fā)文趨勢總體呈現(xiàn)顯著上升趨勢，2015年達到峰值；國內(nèi)的概化理論研究發(fā)文量總體也呈上升趨勢，但幅度偏小，在2009年達到峰值36篇，之后熱度逐漸降低，2020年又明顯升高，表明概化理論在國內(nèi)測量領(lǐng)域的應(yīng)用再次受到重視。

圖1 2001～2020年國內(nèi)外概化理論研究發(fā)文量數(shù)據(jù)圖

進一步對國內(nèi)文獻進行統(tǒng)計，發(fā)現(xiàn)近20年373篇關(guān)于概化理論研究的文章中，有108篇為南大核心（CSSCI）期刊文章、126篇為北大核心期刊文章，占總發(fā)文量的62.7%。國內(nèi)概化理論的相關(guān)發(fā)文數(shù)量雖不比國外，但其相關(guān)文章所發(fā)表期刊大部分為核心期刊，即國內(nèi)對現(xiàn)代測量理論中概化理論的關(guān)注度和重視程度仍頗高，概化理論在我國的研究及應(yīng)用有很大前景。

（二）國內(nèi)外概化理論研究關(guān)鍵詞共現(xiàn)網(wǎng)絡(luò)對比分析

關(guān)鍵詞是指能反映論著的主題和中心內(nèi)容的名詞術(shù)語或詞組。當某一關(guān)鍵詞在同一領(lǐng)域文獻出現(xiàn)頻率較高時，該詞就能反映這一領(lǐng)域的研究熱點與研究動向。在關(guān)鍵詞共現(xiàn)分析中，節(jié)點的大小反映的是關(guān)鍵詞的頻次[10]。

1.關(guān)鍵詞共現(xiàn)圖譜視角對比分析

設(shè)置節(jié)點類型為關(guān)鍵詞，時間范圍為2001年至2020年，時間切片長度為1，網(wǎng)絡(luò)裁剪法為默認，將中英文文獻分別導(dǎo)入，得到國內(nèi)外關(guān)鍵詞共現(xiàn)圖譜（見圖2）。國外關(guān)鍵詞共現(xiàn)圖譜共有593個節(jié)點、1340條連線，國內(nèi)關(guān)鍵詞共現(xiàn)圖譜共有507個節(jié)點、1056條連線，結(jié)合發(fā)文量（外文734篇、中文343篇）可發(fā)現(xiàn)，國內(nèi)概化理論研究領(lǐng)域的關(guān)注熱點相比國外較為分散。分別統(tǒng)計國內(nèi)外關(guān)鍵詞詞頻，得到國內(nèi)外文獻關(guān)鍵詞詞頻分布表（見表1）。

圖2 表明，國外關(guān)鍵詞共現(xiàn)網(wǎng)絡(luò)中節(jié)點最大的10個詞分別是Generalizability Theory（概化理論）、Reliability（信度）、Assessment（評估）、Validity（效度）、Measurement（測量）、Performance Assessment（表現(xiàn)性評價）、Psychometric（心理測量）、Multivariate Generalizability Theory（多元概化理論）、Reproducibility of Result（結(jié)果復(fù)現(xiàn)性）、Dependability（可靠性），與表1列舉的國外關(guān)鍵詞相一致。結(jié)合詞頻分布表和關(guān)鍵詞共現(xiàn)圖譜可以發(fā)現(xiàn)，國外概化理論研究領(lǐng)域的研究熱點包括信度、績效評估、心理測量、多元概化理論、仿真模擬和評分者效應(yīng)，說明國外概化理論研究領(lǐng)域重在將概化理論應(yīng)用于企業(yè)、心理學(xué)、醫(yī)學(xué)等領(lǐng)域測量與評價的信度估計。另外，國外對“多元概化理論”的研究也較多，由于概化理論僅涉及到特定概化全域上的一個全域分數(shù)，多元概化理論在處理具有多個測量任務(wù)或目標的測量問題時具有獨到優(yōu)勢。

表1 國內(nèi)外概化理論研究關(guān)鍵詞詞頻分布表（Top10）

圖2 國內(nèi)外概化理論研究關(guān)鍵詞共現(xiàn)圖譜

結(jié)合圖2和表1可知，國內(nèi)概化理論研究領(lǐng)域的研究關(guān)注點有“概化理論”“多元概化理論”“信度”“項目反應(yīng)理論”“經(jīng)典測量理論”“方差分量”和“概化系數(shù)”，其次是“生命質(zhì)量”“可靠性指數(shù)”和“結(jié)構(gòu)化面試”。

國內(nèi)研究熱點內(nèi)容可以整理歸納為兩個方面：其一，概化理論應(yīng)用研究，主要將概化理論應(yīng)用于醫(yī)學(xué)領(lǐng)域的生命質(zhì)量測評、企業(yè)的結(jié)構(gòu)化面試、教育領(lǐng)域的口語測試等標準化測驗和非標準化測驗的信度分析、可靠性指數(shù)分析；其二，理論研究領(lǐng)域，國內(nèi)概化理論研究領(lǐng)域除了關(guān)注其自身的發(fā)展理論——多元概化理論外，對經(jīng)典測量理論和項目反映理論的研究也較多，詞頻僅次于“信度”。經(jīng)過進一步的文獻分析發(fā)現(xiàn)，國內(nèi)部分學(xué)者將項目反映理論、概化理論和經(jīng)典測量理論進行準確性、科學(xué)性等方面的對比研究[11]，為概化理論的應(yīng)用提供了價值基礎(chǔ)。還有學(xué)者最新設(shè)計了概化理論和項目反應(yīng)理論的統(tǒng)合模型[12]，提供了更準確的科學(xué)測量工具。以上表明近10年來，我國概化理論研究領(lǐng)域處于理論探索階段，并在向理論的創(chuàng)新應(yīng)用階段發(fā)展。

2.關(guān)鍵詞聚類圖譜視角對比分析

自動聚類標簽視圖可以在關(guān)鍵詞默認視圖的基礎(chǔ)上依據(jù)關(guān)鍵詞相似度對其進行聚類，從不同角度展示出該領(lǐng)域研究的分布情況，聚類越靠前，說明聚類越大。Cite Space可以通過三類不同的算法進行聚類：TF*IDF（Term Frequency-Inverse Document Frequency，詞頻-逆文本頻率指數(shù)）加權(quán)算法、LLR（Log Likelihood Ratio，對數(shù)似然率）算法和MI（Mutual Information，互信息）算法，其中TF*IDF算法強調(diào)研究方向，LLR和MI強調(diào)研究特點[13]。

Cite Space提供了模塊值（Q值）和平均輪廓值（S值），以評判聚類效果。一般而言，Q值在區(qū)間（0，1）內(nèi)，Q＞0.3就意味著聚類結(jié)構(gòu)顯著；當S≥0.7時，表明聚類結(jié)果令人信服。本研究選擇LLR聚類算法，得到國內(nèi)外概化理論研究關(guān)鍵詞聚類圖譜（見圖3）。其中，國內(nèi)概化理論研究關(guān)鍵詞聚類圖譜Q=0.7305，S=0.9635，國外概化理論研究關(guān)鍵詞聚類圖譜Q=0.8234，S=0.9668，表明國內(nèi)外概化理論研究聚類圖譜輪廓清晰，結(jié)構(gòu)區(qū)劃較為合理，同一聚類間信度較為可靠，總體聚類效果較好。將聚類關(guān)鍵詞進行整理，剔除意義相近聚類關(guān)鍵詞，最終得到國內(nèi)外概化理論研究關(guān)鍵詞聚類序列表（見表2）。Cite Space中，聚類的節(jié)點越大，則聚類的規(guī)模越大，編號越小；聚類的平均年份指聚類中引用文獻的遠近。

圖3 國內(nèi)外概化理論研究關(guān)鍵詞聚類圖譜

表2 國內(nèi)外概化理論研究關(guān)鍵詞聚類表

通過對國內(nèi)外概化理論研究主題詞聚類結(jié)果進行整理、對比，可洞悉該領(lǐng)域國內(nèi)外研究熱點。從表2可知，國內(nèi)外概化理論研究在關(guān)鍵詞聚類序列中，共同出現(xiàn)的有多元概化理論、信度和評估三個方面。國外關(guān)鍵詞聚類規(guī)模由大到小為：Reliability（信度）、Generalizability Theory（概化理論）、Validity（效度）、Performance Assessment（表現(xiàn)性評價）、Reproducibility of Results（結(jié)果復(fù)現(xiàn)性）、Multivariate Generalizability Theory（多元概化理論）、Generalizability（概化效度）、Psychometrics（心理測驗）、Measurement（測量）、Accuracy（準確性）。國內(nèi)關(guān)鍵詞聚類規(guī)模由大到小為：概化理論、多元概化理論、信度、方差分量、經(jīng)典測量理論、高考地理、最佳樣本量估計等。因主題詞Generalizability與Generalizability Theory的聚類節(jié)點基本相同，故將以上聚類序列主題詞進一步并屬歸類，總結(jié)出國內(nèi)外概化理論重點主題類屬分布（分別見表3、表4），整體直觀地呈現(xiàn)了國內(nèi)外相關(guān)研究的主題內(nèi)容。

由表2可看出，國外概化理論研究領(lǐng)域近幾年對“準確性”的關(guān)注度更多，聚類文獻的平均年份為2019年。結(jié)合表3可知，該主題聚類的節(jié)點包括“系數(shù)α、實證研究方法、評價、測試理論/發(fā)展、舞蹈治療、序列分析”，表明國外近年較多關(guān)注概化理論在實證測評的準確性、信度方面的研究，如Lei Xu等運用多元概化理論對Schutte情緒智力量表進行了評分的準確性測量和信效度檢驗[14]，完成了量表的修訂。

表3 國外概化理論研究主題類屬分布

國內(nèi)概化理論研究領(lǐng)域近幾年開始關(guān)注“最佳樣本量估計”和“不確定度理論”，結(jié)合表4可知，“最佳樣本量估計”主題聚類的節(jié)點有預(yù)算限制、拉格朗日乘法、柯西不等式、高校教師、教學(xué)水平評價、心理測評等，目前國內(nèi)應(yīng)用概化理論進行最佳樣本量估計研究的是黎光明團隊，如應(yīng)用概化理論估計最優(yōu)信效度及預(yù)算限制下的高校教學(xué)水平評價的最佳評價場合、學(xué)生樣本量以及題目數(shù)量，并提出了拉格朗日乘法、柯西不等式兩種樣本量估算方法[15]。“不確定度理論”是現(xiàn)行主流計量學(xué)定量刻畫測量結(jié)果不確定性的測量理論，對概化理論中的誤差方差作了明確定義，主要統(tǒng)計技術(shù)是方差和貝塞爾公式[16]，目前主要應(yīng)用于數(shù)學(xué)、經(jīng)濟管理學(xué)科。

表4 國內(nèi)概化理論研究主題類屬分布

（三）國內(nèi)外概化理論研究合作網(wǎng)絡(luò)圖譜對比分析

1.國家合作網(wǎng)絡(luò)圖譜分析

將外文數(shù)據(jù)導(dǎo)入Cite Space軟件，設(shè)置作者所屬國家為節(jié)點類型，得到概化理論研究領(lǐng)域國家合作網(wǎng)絡(luò)圖譜（見圖4）。Cite Space共現(xiàn)網(wǎng)絡(luò)圖譜中，節(jié)點越大表示頻次越高，節(jié)點的年輪代表時間；兩節(jié)點間連線表明節(jié)點間存在合作，連線越粗表示兩點間的共現(xiàn)越強，即合作越緊密；連線顏色由淺到深表示時間由早期到近期的變化。通過圖4可看出，美國的節(jié)點最大，且顏色最深，表明在2001～2020年間，概化理論研究一直是美國評價領(lǐng)域關(guān)注的熱點。通過節(jié)點連線可知，美國與加拿大兩個國家的連線數(shù)量最多，與許多國家都存在合作，但從連線顏色來看，加拿大國家近期的合作更多，且已獨自形成緊密的合作網(wǎng)絡(luò)。另外，德國、智利也形成了小型但緊密的合作網(wǎng)絡(luò)；澳大利亞與英國之間形成一條較粗且顏色較深的連線，表明兩國近期（2020年）進行的概化理論合作研究較多；法國與加拿大兩節(jié)點間存在明顯的連線，表明兩國研究者也存在較緊密的合作。通過圖4還可以發(fā)現(xiàn)，美國和加拿大的研究學(xué)者與其他國家的研究學(xué)者合作較為密切，其中加拿大學(xué)者在2014年前后對概化理論研究最為關(guān)注，美國、新西蘭、澳大利亞、德國和西班牙國家近幾年進行的相關(guān)研究較多。

圖4 概化理論研究國家合作網(wǎng)絡(luò)圖譜

按照發(fā)文數(shù)量取前10名，得到表5。從國家分布來看，美國對概化理論的研究最為成熟，發(fā)文量高達238篇，占總發(fā)文量的32.425%，其次為加拿大、荷蘭、澳大利亞和挪威，發(fā)文數(shù)量分別為70篇、34篇、18篇、15篇，占總發(fā)文量的18.664%。

表5 2001～2020年期刊發(fā)文量國家分布（Top10）

2.國內(nèi)重要作者、機構(gòu)合作網(wǎng)絡(luò)圖譜分析

分別設(shè)置作者和機構(gòu)為節(jié)點類型，得到國內(nèi)概化理論研究領(lǐng)域重要作者和機構(gòu)合作網(wǎng)絡(luò)圖譜（見圖5），按照發(fā)文數(shù)量取前10名，得到表6。結(jié)合圖表可以看出，當前國內(nèi)概化理論研究領(lǐng)域的重要作者有黎光明、張敏強、余嘉元、陳維等，重要機構(gòu)有華南師范大學(xué)心理應(yīng)用研究中心、教育部考試中心、廣州大學(xué)教育學(xué)院心理系等。

表6 國內(nèi)2001～2020年作者、機構(gòu)發(fā)文量統(tǒng)計（Top10）

以普賴斯（Price）公式Ni=0.749Nm作為遴選核心作者的量化標準[17]，其中Nm是最高產(chǎn)作者發(fā)文量，以此計算入選核心作者發(fā)文量的最低標準Ni。本研究中，來自華南師范大學(xué)心理學(xué)院心理應(yīng)用研究中心的黎光明教授為最高產(chǎn)作者，2001～2020年間發(fā)文共33篇，將Nm=33代入普賴斯公式計算，得到Ni=4.303≈4，因此入選核心作者的發(fā)文量應(yīng)大于等于4篇。統(tǒng)計樣本中所有作者的發(fā)文量，共有作者380人，其中發(fā)文量不少于4篇的作者共16人，占比4.21%，其中發(fā)文量為1的作者人數(shù)最多，共283人，占比74.4%，表明當前國內(nèi)概化理論研究領(lǐng)域還未形成穩(wěn)定的研究團隊與合作網(wǎng)絡(luò)。由圖5可看出，作者間的合作網(wǎng)絡(luò)較分散，分別形成了以“黎光明、張敏強”為代表的合作群、以“陳維、羅杰”為代表的合作群、以“萬崇華”為代表的合作群和以“楊志明、張雷”為代表的合作群，其中以“黎光明、張敏強”為代表的合作網(wǎng)絡(luò)最復(fù)雜。

圖5 國內(nèi)概化理論研究領(lǐng)域作者、機構(gòu)合作網(wǎng)絡(luò)圖譜

值得注意的是，國內(nèi)概化理論重要研究機構(gòu)主要為三類：第一類是高校心理學(xué)院系，如華南師范大學(xué)心理學(xué)院、心理應(yīng)用研究中心和廣州大學(xué)教育學(xué)院心理系；第二類是考試中心，如教育部考試中心、國家醫(yī)學(xué)考試中心和上海市教育考試院；第三類是高校教育學(xué)院，如貴州師范大學(xué)教育科學(xué)學(xué)院，這也體現(xiàn)了國內(nèi)概化理論的應(yīng)用領(lǐng)域主要為心理學(xué)、教育學(xué)和醫(yī)學(xué)。另外，黎光明、張敏強、余嘉元、陳維等核心作者均從事心理學(xué)方面的研究，即概化理論在國內(nèi)的應(yīng)用主要為心理學(xué)科。從機構(gòu)所在地區(qū)還可發(fā)現(xiàn)，國內(nèi)應(yīng)用概化理論這一現(xiàn)代測量理論的主要為上海、廣州、貴州、南昌等南部地區(qū)和首都北京，表明概化理論還有待在國內(nèi)推廣。

四、研究結(jié)論

基于Cite Space軟件，本研究從“關(guān)鍵詞共現(xiàn)網(wǎng)絡(luò)圖譜”和“國家、機構(gòu)、作者合作網(wǎng)絡(luò)圖譜”兩個角度，對CNKI中文數(shù)據(jù)庫和英文數(shù)據(jù)庫中的概化理論研究進行了對比分析，主要得出以下結(jié)論：

根據(jù)關(guān)鍵詞共現(xiàn)分析結(jié)果，本研究認為國內(nèi)外概化理論研究中的高頻主題詞存在一定差異。對比國內(nèi)外概化理論研究領(lǐng)域高頻關(guān)鍵詞，表中共同出現(xiàn)了“信度”一詞，可見國內(nèi)外都關(guān)注概化理論在信度測量方面的應(yīng)用。“多元概化理論”一詞也共同出現(xiàn)在高頻詞中，但其在國內(nèi)高頻詞排序中位居第二，而在國外的高頻詞排序中位居第八。

此外，對比國內(nèi)外概化理論研究主題高頻詞的前10位可以發(fā)現(xiàn)，國外概化理論研究關(guān)注“效度”“表現(xiàn)性評價”“心理測量”，而我國概化理論研究關(guān)注“項目反應(yīng)理論”“經(jīng)典測量理論”“生命質(zhì)量”“結(jié)構(gòu)化面試”。這反映出國內(nèi)外概化理論研究的重要區(qū)別：即國外注重概化理論的教育和心理測量的信效度應(yīng)用實踐，而國內(nèi)研究關(guān)注于測量理論的研究和教育、醫(yī)學(xué)測量的信度研究。由此可以認為，國外的概化理論應(yīng)用研究更為成熟，能夠為我國教育與心理測量的概化理論應(yīng)用研究提供經(jīng)驗。

根據(jù)合作網(wǎng)絡(luò)分析結(jié)果，美國與其他國家的合作最多，國內(nèi)的作者合作網(wǎng)絡(luò)和機構(gòu)合作網(wǎng)絡(luò)較為分散，華南師范大學(xué)心理應(yīng)用研究中心的黎光明研究團隊為國內(nèi)概化理論研究領(lǐng)域的主要力量。對比各國所在的合作網(wǎng)絡(luò)，美國和加拿大兩個北美鄰國與世界各國都形成了緊密的合作關(guān)系，其中美國的合作網(wǎng)絡(luò)節(jié)點最多，這也與概化理論起源于美國有關(guān)。另外，美國與加拿大近二十年間都保持著對概化理論研究的持續(xù)關(guān)注，近兩年也在不斷向法國和德國等歐洲國家及澳大利亞、中國等亞洲國家輻射，表明概化理論這一現(xiàn)代測量理論正在從“部分國際化”向“全面國際化”發(fā)展。

值得注意的是，我國的概化理論研究合作網(wǎng)絡(luò)中只有美國一個國家，且連線較弱，國內(nèi)該研究領(lǐng)域的核心作者及其不同機構(gòu)間的連線也較少。因此，加強與不同國家之間、不同機構(gòu)之間的交流與合作，是今后我國概化理論研究努力的方向。

綜合國內(nèi)外概化理論的研究情況，本研究發(fā)現(xiàn)相關(guān)研究成果呈現(xiàn)出積極增長的態(tài)勢，且在研究內(nèi)容的廣度和深度上也有了較大進展。從文獻數(shù)量來看，近幾年國內(nèi)外的相關(guān)發(fā)文量都顯著增長，說明無論是國內(nèi)研究者還是國外研究者，都對概化理論的發(fā)展保持著熱切的關(guān)注；從研究內(nèi)容上看，國內(nèi)外學(xué)者都從對理論本身的研究轉(zhuǎn)向了理論的應(yīng)用研究，從理論到實踐、從單學(xué)科到多學(xué)科，體現(xiàn)了概化理論研究深度的變化。但從國內(nèi)外概化理論研究熱點可看出，國外對概化理論的研究明顯更加成熟，其將概化理論在信效度、可靠度、心理測驗以及教育測量等方面的應(yīng)用，可為我國今后概化理論研究提供經(jīng)驗和參考。

整體而言，概化理論研究已基本成熟，研究方向日趨豐富與多樣，研究領(lǐng)域逐步細化和深入。對比國外概化理論研究取得的相關(guān)成果，本研究認為國內(nèi)的概化理論研究在以下方面有待改善：首先是概化理論的方差分析研究，當前國內(nèi)主要應(yīng)用概化理論進行方差分量分析，而將其應(yīng)用于效度、準確性評估，以及不同信度測量方法間的對比研究較少；其次是概化理論的研究深度，除了將概化理論應(yīng)用于量表與考試的信度分析，可考慮應(yīng)用概化理論進行狀態(tài)和特征檢驗、計分方法創(chuàng)新和教師等級考核等方面；最后，我國概化理論研究學(xué)者應(yīng)加強交流與合作，尤其是與國際的合作聯(lián)系。另外，由于選取的數(shù)據(jù)庫的完備性、數(shù)據(jù)量的不足等問題，可能會使研究結(jié)果不夠全面，使分析得到的結(jié)果產(chǎn)生偏差，需在后續(xù)研究中加以完善。