教育量化研究的統計“誤區”
——基于234篇CSSCI文獻分析

葛亞波，李偉健，陳芳艷, 秦桂花

（1.浙江省智能教育技術與應用重點實驗室, 浙江 金華，321004; 2.浙江師范大學 教師教育學院，浙江 金華 321004；3.金華職業技術學院 師范學院，浙江 金華 321007）

教育研究方法是開展教育研究采取的步驟、手段和方法的總稱，[1]決定研究質量和學科科學性質。[2]一般而言，我國學者傾向于將教育研究方法分為思辯研究和實證研究，其中實證研究范疇包括量化研究、質性研究和混合研究，[3,4]主張通過收集和分析數據信息推論研究結果以解決“實然”問題。[5]目前，實證研究已成為我國教育研究方法變革的新走向，受到眾多教育領域專家的高度重視，相應教育實證論文也呈現逐年增多的趨勢。作為實證研究的重要組成部分，量化研究強調對事物可觀測部分及其相互關系進行測量（運用一定的測量工具對教育現象進行定量描述的過程）、計算和分析，以達到對事物本質的把握，[2]是分析教育現象、探尋教育規律和指導教育實踐的重要手段。[6]具體而言，教育量化研究應包括“提出研究假設—收集資料—驗證或否定假設—下結論”等階段，其中驗證或否定假設階段本質上是通過對搜集到的教育現象數據的分析，得到“實然”結果以支持或否定“應然”假設。如何分析教育數據必然涉及教育統計方法的使用問題。能否正確與合理的運用教育統計方法，直接決定研究結論的可靠性，影響教育研究科學性和指導教育實踐有效性。從某種意義上說，合理運用教育統計方法是整個量化研究的關鍵環節。然而，由于我國教育實證研究受到起步晚、底子薄、尚處于轉型期等因素的影響，教育統計方法的應用仍存在一定的誤區，亟待規范。例如，實驗組控制組前后測實驗設計是一種常用的教育實驗研究設計，許多研究者在統計分析時，直接比較實驗組與控制組前后測是否有差異，殊不知這種統計思路有失偏頗（后文將具體闡述），可能會導致結論錯誤而影響教育實踐效果。又如，統計結果呈現中，不少研究者直接將顯著性水平p值標為0.000，當然這可能是諸如SPSS等計算機分析軟件輸出的結果，但其真實結果并非等于0，而是一個多位小數四舍五入的結果，這種標法違背了概率論與數理統計基本原理，也容易誤導讀者，降低教育研究科學性。再如，一些研究者傾向于使用相關分析、回歸分析或結構方程模式（SEM）探究多個變量之間的相互關系，但下結論時習慣用表示因果關系的“影響”“導致”等術語。嚴格意義上說，上述統計方法只能表示現象之間關系的密切程度，無法確定現象發生的先后順序，故而無法支持因果關系推論。本研究基于35種CSSCI教育期刊、234篇教育量化研究文獻，系統梳理當前教育統計存在的“誤區”，并嘗試提出應對建議。

一、數據來源與分析過程

以中國知網（CNKI）為樣本文獻遴選數據庫。研究者對近一年（2018年6月30日至2019年7月1日）37種教育類CSSCI來源期刊（2019-2020版），篇名中含有“實證”或“調查”關鍵詞的文獻進行精確檢索，用CNKI E-Study軟件進行抓取，共得到相關文獻310篇。

經篩選，35種教育類CSSCI來源期刊、234篇文獻涉及教育統計（表1），導入E-Study組建研究數據庫。

表1 234篇CSSCI教育量化研究統計參數分布表

設計《教育統計方法應用檢核表》，具體包括兩個維度：描述統計（如平均數、標準差、頻數、百分比、Z分數、相關分析等）和推斷統計（如t檢驗、Z檢驗、F檢驗、非參數檢驗、回歸分析、因素分析等）。查閱樣本文獻，記錄文獻涉及的教育統計方法（表1）和歸納常見統計“誤區”（表2）。

表2 教育量化研究常見統計“誤區”匯總表

二、結果與分析

描述統計主要用于整理心理與教育科學實驗或調查得來的大量數據，描述一組數據的全貌。[7]樣本文獻主要存在以下“誤區”。

（一）描述統計參數代替推斷統計

教育調查研究中，研究者們比較“青睞”頻數和百分比，但有部分研究統計出百分比后直接下結論。例如，一項500人的教學方法偏好調查中，選A占40%，B占35%，C占25%，直接下結論認為A好于B和C。這種統計處理顯然不恰當，描述統計結果不僅受到系統誤差（測量工具的誤差），而且會受到抽樣誤差（樣本統計量和相應總體參數之間的誤差）影響，故而描述統計結果不能代替推斷統計。較為合適的統計處理是采用非參數檢驗中比率或百分數的配合度檢驗，計算χ2值并與查表所得的臨界值進行比較，最后下結論。[7]這種配合度檢驗方法主要用于檢驗單一變量的實際觀察次數分布與理論次數分布是否有差別，尤其適用于涉及頻數統計的教育觀察研究數據分析。因而，教育觀察的相關研究中可以根據描述統計結果進行非參數檢驗，使研究結果更具科學性，結論更有說服力。

（二）相關、回歸分析誤作因果推論

相關關系是兩類現象在發展變化方向和大小方面存在一定的聯系，相關系數就是這種聯系緊密程度的數字表現形式。[7]因果關系則是一種現象是另一種現象的原因，而另一種現象是結果，一般兩種現象發生存在先后順序。相關關系不可用于因果推論，許多研究者卻在數據分析中走入這樣的誤區。例如，若一項研究發現A和B的相關系數為0.80，p小于0.05，直接下結論A影響B，這無異于“公雞打鳴，太陽升起，我們就說公雞打鳴導致了太陽升起”。就相關分析而言，無論是皮爾遜積差相關，還是斯皮爾曼等級相關，僅說明兩組數據變化方向的一致性程度，并不能說明現象發生的先后順序。同樣回歸分析也只能說明A變量對B變量存在預測作用，并不支持做出A影響B或者B影響A的因果推論。因而，嚴格意義上說，所有相關分析、回歸分析，包括結構方程模型（SEM）均無法做出因果推論，教育研究者在對此類統計分析方法得到的結果進行解釋時應慎用“影響”“導致”“原因”等表示因果關系的術語。[8]

（三）報告參數不完整，容易誤導讀者

描述統計參數能夠給予讀者關于某一教育現象的直觀認知，但如果僅報告部分參數則容易誤導讀者。例如，（算術）平均數是應用最為廣泛的集中量數，具有反應靈敏、計算簡單等特點，但是不可忽視其缺點是容易受極端值影響。例如，若一組觀測數據為5, 5, 5, 85，其平均數為25，我們能說25是這組數據的最佳估計值嗎？顯然不合適。然而，不少樣本文獻數據分析描述統計中僅報告平均值參數，這對于讀者正確理解樣本數據的全貌形成了干擾。因而，在報告平均值時需附加差異量數標準差以及置信區間，標準差能夠更好的反應這組數據“波動”范圍以把握數據的全貌，置信區間能夠反映總體平均數分布的大致范圍，表明即使再次抽樣所獲得的樣本平均值所在的大致區間。此外，倘若樣本數據出現極端值應嚴格按照標準予以剔除（通常為±3SD以外的數據）。

（四）忽略統計方法應用的前提條件

統計方法是在一定理論假設條件下推導所得，使用統計方法必須注意原假設是什么，即應用前提條件。例如，相關分析就分為皮爾遜積差相關、斯皮爾曼等級相關、肯德爾等級相關、點二列相關等（可參考張厚粲老師主編《現代心理與教育統計學》），各種相關都有適用條件，如積差相關需滿足兩列變量是連續變量且呈正態分布，而斯皮爾曼等級相關對數據分布不作要求，當然前者精確性優于后者。然而，統計軟件如SPSS并不能自動為我們判定最佳統計方法，這為初學者帶來一定的困惑。不少樣本文獻直接報告變量A和變量B的相關系數，并沒有明確指出是何種相關，容易招致質疑。再如，方差分析是重要的參數統計方法，但其應用前提條件是數據必須滿足樣本相互獨立、正態分布、方差齊性，否則就必須使用非參數檢驗，如克-瓦氏方差分析等統計方法。

推斷統計是通過樣本數據提供的信息推論總體的情形，常用于多種事物之間差異的比較以及影響事物變化因素的分析。樣本文獻主要涉及以下“誤區”。

（五）統計方法的誤用

t檢驗是最常用的一種推斷統計方法，尤其是用于檢驗教學方法有效性的實驗研究，主要用于檢驗單個自變量兩個水平的差異性問題。許多樣本文獻采用實驗組控制組前測后測實驗設計（如圖1所示），這種設計思路值得肯定，但數據分析大多走入誤區。通過樣本文獻分析發現，采用此實驗設計的研究者傾向于采用兩種方法分析數據。其一，先將O1與O2進行獨立樣本t檢驗，再將O3、O4作獨立樣本t檢驗，若前者差異不顯著，而后者差異顯著，則認為處理X有效；其二，O1與O3進行配對（相關）樣本t檢驗，O2與O4進行配對樣本t檢驗，若前者差異顯著，后者差異不顯著，則認為處理X有效。以上兩者處理方法看似有道理，實則值得商榷。針對這一高頻研究設計，一般較為合適的處理是分別計算實驗組控制組前后測差值，如O3－O1（記為O5）、O4－O2（記為O6）,再將O5和O6進行獨立樣本t檢驗，若差異顯著則認為處理X有效。[9]

圖1 實驗組控制組前測后測實驗設計示意圖

（六）推斷統計參數缺失

目前，教育量化研究缺乏統計參數報告規范。不少樣本文獻中在t檢驗、F檢驗中未報告自由度（df），更有甚者未報告任何統計參數，“經過t檢驗發現，A與B差異顯著”，讓讀者不得不對其研究結果的可靠性產生質疑。此外，當檢驗多個水平（大于3）之間的差異性問題時，一般采用方差分析(ANOVA)，當主效應顯著時需要進行事后多重比較，并提供相應的統計參數。然而，從樣本文獻來看，眾多研究進行事后多重比較時未提供任何統計參數（主效應顯著時）。再如，部分回歸分析也存在未提供模型效應解釋量的問題，而效應解釋量是判定一個模型適配度的重要指標。因而，研究進行推斷統計時應按照規范完整報告統計參數，增加研究結果說服力。

（七）忽略了效果量

假設檢驗能否正確地拒絕虛無假設，主要受到效果量、顯著性水平、檢驗方向和樣本容量等因素的影響。在其他因素不變的情況下，樣本容量越大，統計效力越高，拒絕虛無假設的可能性越大，也即越可能獲得統計顯著的結果。而效果量（effect size）在特定總體中存在某種現象的程度，也即虛無假設錯誤的程度，一般不受樣本容量的影響。[10]因而，在某種程度上而言，效果量比p值更具有參考價值。在推斷統計中，常用的效果量有Cohen’s d(t檢驗)、η2(F檢驗)等。然而，在抽樣的234篇文獻中，僅有1篇文獻報告了效果量。

（八）統計參數報告混亂

不少研究直接將p值標為0.000，這可能是由于統計軟件（如SPSS）設置的輸出數據位數導致，其真實性參數可能是個多位小數。諸如這種報告格式容易讓初學者誤認為p值為0，降低了研究的嚴謹性和科學性，建議報告為p＜0.001更為合適。也有研究提供了p值，仍然在p值上作上標“*”，而在統計學上，“*”一般標于檢驗值上，表示p值的范圍，例如t(27)=8.56*，代表p＜0.05。還有研究者混用統計符號，例如，進行t檢驗結果卻用F來表示。此外，也有研究在進行統計推斷時未明確指出進行t檢驗抑或是F檢驗，這些問題都亟待規范，也呼吁我國教育量化研究領域盡快構建統一的統計參數報告格式。

除上述統計方法上存在的誤區外，值得注意的是測量工具有效性問題。樣本文獻中數據來源于自編問卷和他編問卷（含改編）約占64.5%，未提供完整信效度的文獻比例高達70.9%。而完整合適的信效度是應用問卷開展研究的前提，缺少則會降低研究科學性。

三、討論與建議

總的來說，目前教育量化研究呈現蓬勃發展之勢，但也存在統計方法誤用、參數報告不規范等問題，直接影響研究結果的嚴謹性和科學性，原因可能存在以下幾個方面。

（一）數理統計思維訓練有限

一直以來，我國教育界對于教育學學科性質存在人文與科學之爭，甚至有學者認為它是一門藝術。思辯研究方法一直處于主導地位，反映在教育類專業學生的培養中就是普遍缺乏數理統計思維訓練，教育研究與數學割裂化。其一，在我國高等教育階段，教育研究方法培養中注重理論知識的學習，如觀察法、實驗法、訪談法等，但研究方法的實操訓練比較匱乏，特別是這些研究方法搜集到教育數據后，對于如何分析缺乏相應指導。總的來說，當前教育研究方法的培養重理論而輕實踐，熟原理而應用難。另一方面，教育類專業課程體系中，邏輯學和統計學方法訓練仍然不夠。高等院校很少開設針對教育學本科生和研究生的邏輯學課程，缺乏基本的邏輯思維訓練。[2]除了小學教育（數學）專業方向的本科生可能會修概率論與數理統計課程外，其他教育學專業幾乎不會涉及。而邏輯學、概率論與數理統計知識是應用教育統計的基礎，一旦缺乏，進行教育量化統計分析時只能“照葫蘆畫瓢”。按照統計軟件指導書機械地點擊菜單，沒有深入理解各種統計方法應用的前提假設以及如何對結果進行科學解釋與報告等。因而，不可避免會出現統計方法誤用、報告參數缺失等問題，走入統計“誤區”。其二，教育領域應積極組織教育量化研究統計方法研討會、工作坊，高校積極開發教育統計方法應用相關的精品課程，為正在從事教育量化研究的科研工作者提供學習交流機會。

（二）缺少教育統計結果報告規范

規范統計報告能夠促進同行間學術交流。例如，美國心理學會就曾頒布心理學論文寫作規范（簡稱APA格式），國內眾多心理學期刊沿用這一做法。目前，國內教育學研究領域還沒有形成統一的量化研究結果報告規范，而一些期刊又未提供明確的參數寫作規范，這也是容易出現統計參數報告不完整、格式不規范等現象的重要原因。此外，規范報告統計參數還可以增加研究價值，例如，同行研究者可以利用一系列相關研究的統計參數，針對這一領域中爭議問題開展元分析研究（薈萃分析）等，有助于厘清爭論。因此，筆者呼吁我國教育研究領域專家學者編制論文寫作規范，規定量化研究的報告參數、統一參數符號、書寫格式等，促進國內、國際教育學者之間的交流。另一方面，制定教育量化研究論文寫作規范只是提供一種規范指南，關鍵是期刊雜志應嚴格按照統計報告的規范從嚴審稿、規范發表。因而，教育領域應盡快制定教育量化研究論文寫作規范，期刊雜志嚴格按照規范審稿，我國教育量化研究論文統計分析參數報告不完整、參數報告混亂、格式不規范等問題將會得到解決。

（三）實證研究關注度不高

我國教育研究領域對于教育學的學科性質和定位一直存在爭議，對于實證研究存在一定的偏見。例如，認為教育是一種復雜的社會現象，很難進行有效測量；教育實驗控制額外變量與真實的教育情境存在差異等。當然這些是教育實證研究方法的缺點，但就此否定實證研究的價值不可取。總的來說，目前我國教育領域對實證研究方法的關注度仍不高。例如，我國近十年來教育學術期刊中思辯研究比例仍高達87.7%，教育研究方法過于依賴思辯研究，呈現出單一性的特點。[11]這種現狀導致研究者對教育統計方法學習的熱度不高，忽視統計方法合理性與統計結果報告規范性。

思辯研究旨在解決“應然”問題，對某一教育現象進行本體論、價值論與方法論分析，但“實然”如何并不清楚。實證研究就是解決“實然”問題，是教育現象研究從“應然”走向“實然”再到“應然”過程的紐帶，其中教育量化研究對于分析教育現象、探究教育規律具有不可替代價值。近年來，要求加強教育研究范式向實證研究轉變的呼聲不斷加強。2017年1月，14所大學教育科學學院長、30余家教育研究雜志主編齊聚華東師范大學，參會學者一致認為提升中國教育質量和影響力，必須加強實證研究，促進研究范式轉型。[12,13]至此關于加強教育實證研究的呼聲不斷高漲，越來越多高校、研究機構開始主辦教育實證研討會議，教育期刊中量化研究文獻呈現逐年略有上升的態勢。[2]筆者認為提升教育量化統計分析質量是加強實證研究、研究范式轉型的關鍵因素。具體而言，教育研究者的培養中應有意識地加強實證思維的訓練，適當加強邏輯學、概率論與數理統計、教育統計學的課程比重。教育量化研究亟待統一規范，教育研究同行加快制定教育量化研究論文寫作規范，助推我國教育實證研究的發展。

四、結論

我國教育量化研究任重而道遠，教育統計方法的使用關乎研究結論科學性，必須樹立客觀、嚴謹的科研意識。當前研究旨在增強教育領域研究者科學使用教育統計方法的主觀意識、提高教育統計參數報告的科學性、完整性、規范性。教育研究領域亟待制定教育量化研究論文寫作規范，加強教育學專業本科生和研究生的數理統計思維能力訓練和開發教育統計方法培訓課程，積極舉辦教育統計方法研討會與工作坊等，助力我國教育實證研究的發展。