多角度理解衡量數學教育研究質量的效度

☉佛山市南海區石門實驗學校 唐佳麗

☉華中師范大學數學與統計學學院 徐章韜

一、引言

教育研究要有意義，其前提是研究要有效、正確.人們把握數學教育規律，很大程度上是依據紛繁復雜的教育現象，“透過現象看本質”，很大程度上帶有經驗的性質.若要把教育經驗提升為教育理論，還需要用科學研究方法的程序進行去粗取精，去偽存真.實證研究的范式是“假設—檢驗”，在假設某種屬性已然存在的基礎上，研究能在多大的程度上有效地體現和反映這種屬性成為研究中最不容忽視的一個問題，這個問題即研究的效度.可以被接受的效度賦予了研究存在或推廣的意義，使得研究可以被接受.通俗地說，效度就是一種測量在何種程度上測量了它本該測量的東西.研究都有效度，但高低程度可能存在不同，實證取向的數學教育研究理應追求較高的效度，以保證揭示現象背后因果關系的準確性、客觀性、可推廣性.本文將從誤差的角度（量）、相關的角度、內容（質）的角度、屬性探討（質、量結合）的角度分析數學教育研究的效度，深化對效度的理解，以便更加有效地做好數學教育定量實證研究.

二、從多種角度理解效度

（一）從誤差的角度

誤差是借助物理學的術語來理解效度.定量研究企圖通過對實驗、測量所獲得數據的整理和分析，從量的角度了解還原事物的本來貌目.但實驗、測量必然會產生誤差，有些誤差要盡可能避免，像系統誤差；有些誤差不能被避免，所以我們不得不冒險接受，如隨機誤差.若將測量對象屬性的真實值記為w，測量值記為x，則誤差就是測量值和真實值之間的差值，即可建立誤差模型e=x-w，其中，e和x是隨機變量，e與w相互獨立.在假定屬性存在的前提下，e在進行無限次測驗后，對測量誤差取均值可將誤差相互抵消；而w對于某特定的研究個體來說是一個常數.但實際中往往得不到對象屬性的真實值，我們只好對研究對象實施無數次“相同”的測驗取平均值來逼近真實值，這樣，除去誤差之后的值均視為對象屬性的真實值.然而這個真實值還不全是我們需要的，還要根據研究目的進一步分解.如，目標是測量學生的計算能力，而現在測出來的是學生數學能力真實值，不僅包括計算能力，也包括空間想象能力、邏輯思維能力屬性值等等，我們要將與目標無關的屬性測量值提取出來.即把對象屬性的真實值w進一步分為與測量目標有關的真實值——目標真實值v和與測量目標無關的真實值——非目標真實值u，亦即w=v+u，因而e=x-v-u，且e與v、u相互獨立.故方差可以正交分解，得到表示i的方差）.把與測量目標有關的真實值的方差之比定義為效度系數，即rxy2，其中rxy是xy相關系數，表示所測量的心理特征引起的方差占總方差的比例.很顯然，此比例越大，隨機誤差和非目標真實值的方差比例就會越低，研究的效度越高，反之，研究的效度就低.從這個角度可檢驗研究工具（問卷或量表）對此次研究的有效程度.

從誤差的角度，看實際目標真實值的誤差方差在總誤差方差中所占的比例大小來判斷效度的高低，是效度最本真的思想.但這只是理論上的研究，無法達到可算、能算的目的.其一，我們無法進行無限次的試驗；其二，研究有一個假設的前提我們難以論證——屬性的真實值實際存在.所以從不同角度研究效度的分類及算法很有必要.

（二）從相關的角度

相關，是把已有的權威研究當參照，是一種“以退為進”的方法.由于在實際測量和研究中，某個研究對象屬性的目標真實值難以通過有限次的測量得到，或者用測量值逼近真實值的過程中總難以根除測量誤差，所以通過測量得到的通常不是理論上的真實值，更談不上理論的目標真實值了，這即是說明不會存在百分之百行之有效的研究.既然得不到理論的真實值，不妨退而求其次.可如何退？退到哪呢？數學中的化歸思想告訴我們：當僅從問題本身出發難以往前，不如往后退一退，看看它與別的已被解決的問題之間的關系.也就是說，要是能夠充分利用已有的研究，能夠充分找一個被普遍接受的、相對靠近目標的變量，用這種能反映所測量屬性的變量當成一個可參照的效度標準，即效標，用測驗數據與效標數據之間的相關程度來衡量測量結果效度的高低（效標效度）就可以更快捷地評判研究的效度.以與權威測驗有同樣或近乎相同目標為基本前提，以權威測驗的可靠性、可推廣性和公信力作為基本保障，以與權威測驗結果的相關系數作為效標效度來評定一個測驗結果的效度，這樣的想法在理論上合乎情理，在實踐上也是相對便于操作，具有可行性.

從相關的角度看效度，就是充分信任已有的研究，選擇合適的校標，在與校標顯著相關的情況下，用校標的高效度支持現研究.通常情況下，效標的選擇往往是一種與自身測驗目標關聯性較大的權威測驗，如一些著名的智力測查量表、權威水平測試等.例如，考察一份自制數學高考模擬試卷對學生數學能力評定的效度，選擇的效標可以是上一年的高考數學試卷，求出高考試卷分數和模擬試卷得分的相關系數作為模擬試卷的效標效度.從概念層面（C）到經驗層面（X，x），得到效標分數和實測分數相關性的分析模型如圖1.

圖1 效標效度的模型

明確方法后，進一步就是解決“相關”的問題了.根據效標分數和測量分數的不同類型，可選用不同的方法和統計量進行相關計算.如果效標分數和測量分數的變量均服從正態分布，從連續的效標分數（連續變量）到連續的測量分數（連續變量），可采用積差相關的方法計算，把兩者間的協方差標準化得到相關系數；將其中一種視為二分變量，計算連續變量與二分的定序或定類變量的相關性，即從連續的效標分數（測量分數）到二分的測量分數（效標分數），則用二列相關的方法計算；若兩者均為定序變量，如采用特殊教學方法前后的成績排名，則可以使用等級相關的方法分析變量的相關程度等等.

用相關法評估效度，借助與效標的相關，用一個0與1之間的數，依據數值的大小刻畫研究的效度高低.但這種方法可操作性強，但不禁會讓人追思這樣兩個根本性的問題：（1）校標一定可靠嗎？（2）如何保證測驗和校標所測的是同一屬性？所以從這一角度也可以看出不會存在百分之百有效的研究.

（三）從內容的角度

相關的角度需要“站在巨人的肩膀上”，若是沒有較為成熟可靠或適合的效度標準，則不能用效標和現測數據的相關程度衡量研究效度.此時，效度已經無法從參照、關聯的角度入手考究，這就需要從研究內容的角度加以考慮.研究首先要思考的是測驗時使用的測量工具能在多大的程度上代表需要測量的研究對象的相關特征，尤其是教育研究，測量工具所測量的和研究人員需要測量的是否是一致的，在多大程度上包含了研究對象的所有相關特征，成為教育測量中最根本的問題.

內容效度的確定方法與效標關聯效度不同，一般不能用數量化的指標來反映測驗內容的有效性程度，而是依據研究者對研究屬性的理解程度作出判斷，根據理解和經驗編制好測量工具.請行業專家對測量工具進行內容效度評估，依據專家的評估意見進行相應的修改，取精華，去糟粕，直至獲得大部分專家的認可.

這種方法的出發點是個人及專家的經驗，主要活動是信息的收集、整理以及純粹的邏輯判斷，依靠行業專家的權威和公信度來確保研究的效度，含有很濃的“經驗”的味道，且測試僅僅關注了內容，忽視了千差萬別的被試在測驗中的實際情況.

（四）從屬性探討的角度

有行業專家的意見固然很好，但有時候獲取專家的意見并不是件容易的事情，且就算是專家，其觀點也會具有較強的主觀性.從研究“測什么”這一核心問題出發，我們不妨將重心轉移到研究的屬性特征上來：研究的主題不會是空穴來風，每一個研究課題都基于一定的理論知識上，因而想要測量的屬性都具有一定的理論基礎，從相關理論起步，編制試題后施測、評判、修改，也可獲得一些效度較高的研究工具，主要的思考流程如圖2.

圖2 屬性探討的角度編制工具流程圖

如是可以從測量的屬性的相關理論入手，據相關理論的介紹和闡釋，猜想屬性可能包含的因素，提出假定的組成結構，并依照假設結構編制測驗題.若有相關的成熟研究有已經形成的結論，就需考察自制的測驗題施測后能否得到和成熟研究相同的結論，結論相同時，我們可以認為自制的測量工具和成熟的測量工具在某種程度上有相同的質，具有可以接受的有效程度；結論不同時，我們則需要對自制工具進行進一步的修訂，保留符合的測驗題，刪除不符合的測驗題，重新施測.若是沒有完善的研究得到的結論，則要看最后的測量結果是否符合相應理論產生的理論結論，若驗證了理論結論，則在一定的程度上說明了工具的有效性.反之，則需去偽存真，反復打磨修改.

例如，待研究的問題是“教師期望”對“學生智力”的發展是否有影響，與此有關的理論有“皮革馬利翁”效應.根據理論，可提出假設（CD）：教師的期望（C）越大，學生智力發展速度（D）越快.根據這一假設編制好試題（x）后即可進行測驗，分析數據得到結論（x（CD））.若有相關成熟研究（X）得到結論（X（CD）），已證實假設，則比較兩個結論即可，當x（CD）和X（CD）結論一致：教師的期望越大，學生智力發展速度越快，則說明新制定的試題是有較高效度的新工具，若結論不一致，則需要修改試題，重新測驗.從概念層面（C、D）到經驗層面（X、x）的分析模型如圖3.

圖3 有成熟研究的分析模型

如果沒有相關成熟的研究，也就是尚沒有可接受的X研究C、D之間的關系，但有不同的研究工具分別研究教師期望和智力發展，即有研究工具（X1）研究“教師期望”（C），也有研究工具（X2）研究“智力發展”（D），則就需要將這兩種工具綜合使用，驗證了結論CD后回到圖3的分析模型再進行分析，分析模型如圖4.

圖4 沒有成熟研究的分析模型

換個說法，當有多種不同的方法（X，x）測量相同的特征（如學生智力D）時，要想新的工具（x）有較高的效度，新的工具應該與其他方法所測結果高度一致.這種高度一致不僅表現在已經被肯定和檢驗的一面：獲得的結論相當一致，還表現在未受到檢驗的另一面：新的工具是否測量了其他特征，如能力的發展.

從屬性探討的角度看效度，就是保留與屬性相關的與理論結論一致的有關試題，使剩下的試題更具屬性代表性，試題的選擇越典型，研究的效度也就越高.同時也可看出，我們無法用有限的試題窮盡所測屬性的所有方面，也就不可能存在百分之百有效的內容效度.

三、教材尋根

用數據揭示、解釋本質本身就存在很大的風險，研究中的任一環節出現些許紕漏都可能使研究的效度大大降低，而可以接受的效度是任一研究發揮價值的前提.實證取向的數學教育研究，不僅要關注研究的結果，更要關注研究背后的原理，兼顧研究的多方面.概率統計處理數據的所有手段，如方差分析、相關系數、回歸分析等都有其背后的原理.關注原理，才能有效準確地避免產生更大的誤差，提高研究的有效性和說服力，故從質、量、質量結合等多個角度了解效度有其重要價值.

中學所學的概率統計的知識，雖沒有專題學習效度的相關內容，也無需計算研究的效度，但對于教師而言，研究背后的機制不能不察，更進一步，需察而統領.在教材中，對效度的教學處理是細微之處見端倪，教材將提高研究效度的想法貫徹在概率統計教學的各個過程.例如教材中所提及的三種抽樣方法：簡單抽樣、系統抽樣、分層抽樣，這是三種最基本的抽樣方法，每一種方法都有自己的優勢和不足，在不同的情境下選擇較合適的抽樣方法就是為了提高樣本的代表性，讓有限數量的部分盡可能代表總體.而提高抽取樣本的代表性這一基本想法，就是為了提高研究的效度.再如，在進行研究的時候，有時候為了弄清楚變量之間的因果關系，我們總是采用控制變量的方法.還有教材中提及的一些試驗中的注意事項，如，進行多次不同組合的試驗時，試驗次序盡量隨機化；試驗操作盡可能科學規范等；這些注意事項都以減少試驗中的試驗誤差為目的，使觀測值更加接近真實值，提高研究效度.

研究過程總是伴隨著隨機和偶然，有效避免誤差，精致概率統計的教學，就必然要將提高自身素養作為每一個研究者和學習者的首要任務.提高自身素養，在某種程度而言，是達成高有效性研究的基石和保障，也是每一個研究者、學習者達到生活、學習、工作、研究高境界的必修功夫.