為什么要研究一致性而不是有效性？

鄭蘭琴，楊開城

(1.北京師范大學 教育學部 教育技術學院，北京 100875；2.教育信息技術協同創新中心，北京 100875)

為什么要研究一致性而不是有效性？

鄭蘭琴1,2，楊開城1,2

(1.北京師范大學 教育學部 教育技術學院，北京 100875；2.教育信息技術協同創新中心，北京 100875)

有效性研究一直是實踐領域的熱點話題，也是教育研究的重要切入點。古今中外大部分教育研究都在證明某種教育行動的有效性。有效性是指某種教育干預在某種研究情境下令當事人滿意的程度。它也是近年來盛行的基于設計的研究(Design-Based Research，DBR)的關注點。然而，受制于學習者特征和學習環境千變萬化等因素的影響，有效性研究難以重復、遷移和推廣，也無法生成可證偽的知識。有效性研究終究在理論建構方面一無所獲。因此，該文提出一種新的研究范式：以設計為中心的研究(Design-Centered Research，DCR)。與DBR不同，DCR強調一致性研究。一致性研究關注的是不一致的真實來源和缺陷分析，從而能夠生成可證偽的知識。該文深入探討了有效性研究與一致性研究的差異、一致性研究的一般過程和一致性的計算方法，以供教育研究同行批判和參考。

一致性；有效性；基于設計的研究；以設計為中心的研究

一、引言

自從1990年以后，教育研究領域開始流行一種教育研究取向即基于設計的研究(DBR，Design-Based Research)。基于設計的研究由于強調設計、實施、評價、修正等環節的多重迭代而備受關注[1][2]。DBR也因此給人很嚴謹、科學的感覺。

事實上，DBR存在諸多問題。首先，DBR強調的多重迭代在實踐中受制于時間、經費和精力等常常無法實現，它只是一個理想而已；第二，DBR強調不斷根據實際效果而修改原設計，但在實踐中很少有研究者報告修改的細節，即如何改進、改進了哪些方面、最終達到了何種效果；第三，DBR研究產生的研究結果信度偏低，主要原因是在DBR的研究中，研究者既要進行設計、實施整個研究，又要繼續改進、再實施，研究者的多重角色使其得出客觀的結論很難[3]；第四，DBR研究對于情境有很大的依賴性，因此DBR研究不具有可重復性。它得出的結論也是在特定情境下的結論，很難推廣；第五，DBR缺乏方法和清晰的標準[4-6]；第六，DBR實際上達不到所期望的目標即同時進行設計評價和理論建構[7]。

為了克服以上問題，筆者提倡采用另一種教育的研究取向，DCR(Design-Centered Research，以設計為中心的研究)，旨在創生真偽可判、功能明晰的客觀知識。DCR是一種著重教育干預的設計、旨在發展教育設計的技術知識并關注教育設計的缺陷以及教育中的一致性的研究取向[8]。與DBR不同，DCR關注的不是教育干預本身，而是教育干預的設計過程，試圖將設計過程轉化為技術性知識。現代教育是一種基于知識產品的教育，知識是一種穩定的客觀存在，以知識為基礎的教育設計過程是一個以客觀數據為基礎的穩定重現的過程，因此DCR研究是可以重復的。DCR試圖分析產品的缺陷是否來源于設計本身，而又是什么樣的設計技術能夠消除產品的缺陷，進而提高產品的功能。由于產品的功能是客觀的，如果能夠提高產品的功能，則這種設計技術就是有效的，因此DCR能夠產生設計技術知識。如下表所示，從中我們可以發現DBR和DCR在內涵、切入點、研究重點、研究目的、研究的可重復性、可推廣性等方面都具有明顯的不同。

DBR與DCR的區別

DCR關注的是教育實踐中的一致性。從邏輯上講，所謂一致性指的是一個形式系統中不蘊含矛盾[9]。DCR之所以關注教育的一致性，是因為教育實踐中充滿了不一致。教育的不確定性在很大程度上就表現為這種不一致。總的來說，DCR關注的一致性包括設計的目標與手段的一致性以及設計與實施的一致性。比如，教學的目標與手段的一致性指的是教學目標與采用的教學手段之間是無矛盾的、相統一的程度；教學的設計與實施的一致性指的是教學行動中的行為和內容與教學方案中所設定的行為和內容的吻合程度。

二、為什么要研究一致性而不是有效性？

無論是DBR還是早期其他教育研究，都執著于教育教學的有效性。而DCR放棄有效性研究，主張從一致性入手進行教育研究。有效性研究和一致性研究差異很大，具體表現在以下三個方面。

(一)歸因機制

在教育研究中，有效性通常指的是某種教育干預在某種(研究)情境下令當事人(甚至蛻變成當權者)滿意的程度，關注的是學習成績的提高、學習動機的增強、學習態度的端正以及對某種教育產品的良好體驗等等。有效性研究將教育教學過程看作是貌似可控的過程。但由于教育教學是一個復雜系統，在這個復雜系統中諸多要素交織在一起，經過臨場的復雜相互作用而產生了特定的教育教學效果，這種復雜性使得從效果出發難以歸因到教育教學活動的任何局部要素。既然難以歸因，效果也就難以成為除了行動成就之外其他論斷的證據。可是，具體行動是難以復制的，其效果便難以穩定復現。

一致性研究則不同。一致性是從微觀數據分析出來的。當我們發現不一致或者某種一致性水平低于可接受的標準時，我們可以從分析機制和微觀數據中找到這種不一致的來源。在有些情況下，一致性可以成為證據。比如，目標—手段一致性是教學方案、課程產品的質量證據之一，也是教學設計技術和課程開發技術獲得實質改進的證據。教學設計和課程開發技術是可以重用的技術知識，它能使課程和教學領域中的某些一致性普遍達到某種水平。

(二)適用范圍

由于“效果”直接源自微觀的教學行動，因此有效性研究最適合的領域是教學實踐領域，它不具有跨越領域的能力。在教學領域中的有效性歸因機制都不明晰的情況下，有效性對于課程領域以及其他中觀宏觀領域的意義就更不明晰了。比如，課程改革的不良效果幾乎是所有要素的貢獻，不存在無辜的要素，人們難以將問題簡單歸結于課程、教師的能力、教育管理、文化差異等單個要素。換句話說，從效果出發，我們幾乎對課程改革失敗的原因說不出什么真知灼見來。

而一致性這個概念貫穿整個教育領域，不但可以用于教學研究，也可以用于課程研究，以設計為基調的教育實踐都與一致性有關。教育實踐中，從社會需求感知，到教育目的目標的確定，到課程產品及其體系的構建，到將課程意圖轉化為教學方案，到教學方案轉化為教學行動，直到各種考試測驗，都存在著各種一致性問題。整個教育實踐的各層次系統之間都應該確保一致性。

此外，由于有效性無法成為理論研究所需要的證據，因此有效性研究也就無法生成可證偽的知識。有效性只是實踐領域中適用的概念。而一致性研究，關注的是不一致的真實來源和缺陷分析，從而有能力改進相關的技術知識，因此一致性是實踐領域和理論領域都適用的概念。

(三)反思性分析

反思性分析是教育實踐的應然職業特征。人們已經習慣了基于有效性的反思性分析。基于有效性的反思性分析邏輯是，一旦教學遭遇無效，那么一定是教學的某個環節出了問題。可是由于有效性的歸因機制不清晰，一線教師很容易從效果出發歸因到自己關注的教學活動中的那個局部要素，比如方法、技巧、任務、媒體或模式等等，而且這種歸因多半是一種簡單的主觀猜測。若想使反思性分析具有一點客觀的樣子，那么教學效果就需要得到單獨的測量，前測、后測是不可避免的。這使得這種反思性分析難以成為常規的日常職業行為，即使老師們有時間，也不可能為每節課單獨準備前后測環節。

一致性雖然不如有效性直觀，但它也可以用于反思性分析，而且有其優勢。基于一致性的反思性分析的邏輯如下：

(1)若目標是合理且完整的(價值取舍合理、期望合理)；

(2)且行動方案與目標是一致的，且可行(包含著方案設計者對各種規律的理解和遵循)；

(3)且行動與方案是一致的(臨場處置沒有偏離預設)；

(4)那么行動就是可以接受的(具體何種效果，則取決于非可控要素)。

如果某次行動是不被接受的，那么可以懷疑某處的一致性被嚴重破壞。沿著上述邏輯鏈路進行回溯，結合同行對話、經驗借鑒，進行反思性分析，考察不一致發生之處、不一致是積極的還是消極的、不一致產生的原因等等，從而改進理念、技巧、技術、經驗、視野等等，進而提高職業綜合素養。雖然實踐中的反思性分析所關注的并非只有一致性，各種教育教學產品的適應性也是重要的方面。但是一致性是最基本的反思切入點。如果教學滿足了一致性和適應性要求，卻沒有達到令人滿意的效果，則需要考慮學生的學習能力問題，而不能僅僅考慮教育教學手段自身的質量。

此外，與有效性相比，一致性的測量并不需要為每次教學安排前后測環節。在某種程度上，一致性判定更易獲得。

三、一致性的一般研究過程和計算方法

(一)一致性研究的一般過程

研究兩類事物X與Y的一致性的過程，就是對X與Y的具體個例x和y用同一種編碼系統進行編碼以及比較的過程。其大致流程如下：

(1)分別獲得X與Y的個例x和y；

(2)確立一種同時適用于X和Y的編碼體系C及其分析編碼的方法；

(3)對x和y進行分析編碼，獲得x和y的編碼表征C(x)和C(y)；

(4)確立一種計算方法，計算C(x)和C(y)的一致性；

(5)確立可接受的一致性標準，并在此基礎上進行反思性分析。

對于教育實踐中的一致性來說，由于教育系統本質上屬于信息系統，因此應該廣泛采用基于信息流的分析編碼方法。只有對教學活動進行分析時，行為編碼才是可用的，但多數情況下信度較低，得出的結論缺乏啟發意義。畢竟教學不是照本宣科地表演過程，教師的臨場處置所產生的預期之外的行為未必是無益的。從根本上說，去除了信息內容的抽象的行為編碼實際上與教學目標失去了聯系，也就不具備教學研究的效度。

我們所倡導的IIS圖分析法是一種基于信息流的教學分析方法[10-12]，它可以拓展至分析所有的教育干預。IIS圖分析法將教育干預切分成一系列信息流，有些信息流包含著特定的知識點，知識點是學習目標的一個維度，因此信息流與學習目標以及學習結果之間便構成了直接聯系。通過對信息流進行結構化編碼，再構建一個算法基于每條信息流的某種成分來推算信息流序列的整體屬性和特征，由此獲得教學的整體屬性和特征。由于這些屬性和特征與學習目標和結果有著內在的聯系，因此IIS圖分析法的研究效度會得到保證。

(二)一致性的計算方法

在一致性研究中，一致性的計算方法至關重要，它與分析編碼以及反思性分析過程聯系密切。不同類型的一致性可采用不同的計算方法。本文在這里介紹幾種計算一致性的方法。

1. 利用向量空間的位置關系來推算

利用向量空間的位置關系來推算一致性的方法包括兩種很經典的算法，第一種是通過歐幾里得距離來計算，第二種是通過余弦法來計算一致性。一致性度量與距離度量成反比，距離越大一致性越小，距離越小一致性越大。

(1)通過計算歐幾里得距離來衡量一致性

如果我們要比較兩類事物的一致性，而這兩類事物都具有N維的特征，則可以通過歐幾里得距離來計算一致性。歐幾里得距離衡量的是多維空間中各個點之間的絕對距離。計算方法如式1所示[13]，然后再用式2把這個值規約到[0，1]之間來計算二者的一致性：

公式1中，X = (x1, x2, x3, … xn)，Y = (y1, y2, y3, …yn)，xi和yi分別代表X、Y兩類事物所具有的特征，d(X,Y)代表歐幾里得距離；公式2中，S代表X與Y的一致性。

(2)通過余弦法計算一致性

余弦法主要是通過測量兩個向量內積空間的夾角的余弦值來度量它們之間的一致性。夾角越小，余弦值越大，一致性越高。比如，可以用余弦相似性來衡量兩個教案之間主題、目標、知識點范圍等的一致性。計算方法如式3所示[13]：

公式3中，Xi和Yi分別代表X、Y兩類事物所具有的特征，S代表X與Y的一致性。

2. 利用集合對象的重合度來推算

一致性在某種程度上意味著兩類事物有重疊的部分。因此，我們可以把要比較的兩類事物看做兩個集合，然后比較這兩個集合中各個對象的重合度，進而比較這兩類事物的一致性。

(1)采用Tversky系數計算一致性

Tversky相似系數是用來測量兩個集合對象的相似度，其計算方法如式4所示[14]：

公式4中，X和Y分別代表要比較的兩個集合，代表這兩個集合中交集的元素的個數，代表X集合中存在而Y集合中不存在的元素個數，代表Y集合中存在而X集合中不存在的元素的個數，α和β是可調參數，α+β=1。

(2)采用Jaccard相似系數計算一致性

Jaccard相似系數主要用于計算符號度量或布爾值度量之間的相似度，它可以用來比較兩類事物是否一致，計算方法就是兩個集合的交集中元素的個數與并集中元素個數的比值，如果交集等于并集，則意味著兩個集合完全一致，計算方法如式5所示[13]：

公式5中，X，Y分別代表要比較的兩類事物的集合，X∩Y代表兩個集合的交集，X∪Y代表兩個集合的并集。

3. 利用差異性檢驗來推算

(1)通過卡方檢驗來檢測一致性

如果變量的取值為百分比，可以通過卡方檢驗來獲得二者是否有顯著性差異。如果有顯著性差異，則說明二者不一致。

(2)通過T檢驗檢測一致性

如果變量的取值是數值型變量(非百分比)，一般可以通過T檢驗來衡量二者是否有顯著性差異。如果有顯著性差異，則說明二者不一致。

(3)采用效應量來檢測一致性

為了檢測二者的重疊程度，筆者建議采用效應量(Effect Size)來更加精確地檢測兩類事物的重疊程度。效應量是衡量實驗效應強度或者變量關聯強度的指標[15]，它受樣本容量大小的影響很小。效應量它表示不同處理下的總體均值之間差異的大小，在平均數檢驗中效應量表示是兩組樣本的非重疊程度，效應量越大，重疊程度越小，效應量越小則相反。兩組均值差異的比較，其效應量的計算常采用Cohen 的d值計算，計算公式如式6所示[16]：

其中，M1和M2分別代表兩組的均值，n1和n2代表兩組樣本的數量，S1和S2代表兩組樣本的標準差。如果d值為0-0.2，表示低效應，因此一致性程度高；d值為0.2-0.8表示中等效應；d值大于0.8則表示高效應，因此一致程度低。

四、結束語

DCR由于堅持采用科學研究的范式，認為設計才是教育研究的核心，突出研究的可重復性并能生成設計技術知識，將會備受關注并在實踐中發揮巨大的作用。而本文倡導的一致性研究是踐行DCR的重要方面，它避開有效性這個很含糊的說法，突出了教育的設計屬性[17]，具備清晰的指導實踐的路徑。筆者期望本文提出的一致性研究能夠為教育研究者提供參考。未來，我們將進一步對一致性的分析和計算方法進行論證，同時開展大量的實證研究，以期規范并完善一致性研究。

[1]Collins A..Toward a design science of education [M].Heidelberg:Springer, 1992.

[2]The Design-Based Research Collective.Design-based research:An emerging paradigm for educational inquiry [J]. Educational Researcher, 2003, 32(1):5-8.

[3]Barab, S., & Squire, K..Design-based research: Putting a stake in the ground [J]. The Journal of Learning Sciences, 2004, 13(1): 1–14.

[4]Dede, C.. If design-based research is the answer, what is the question?[J]. Journal of the Learning Sciences, 2004, 13(1):105–114.

[5]Kelly, A. E.. Design research in education: Yes, but is it methodological?[J]. Journal of the Learning Sciences, 2004, 13(1):115–128.

[6]Shavelson, R. J., Phillips, D. C., Towne, L., &Feuer, M. J..On the science of educational design studies[J]. Educational Researcher,2003, 32(1): 25–28.

[7]Phillips, D. C., &Dolle, J. R.. From Plato to Brown and beyond:Theory, practice, and the promise of design experiments[A]. In L. Verschaffel, F. Dochy, M. Boekaerts, & S. Vosniadou (Eds.),Instructional psychology: Past, present and future trends: Sixteen essays in honour of Erik DeCorte[C], Amsterdam, The Netherlands:Elsevier.2006.277–293.

[8]楊開城.DBR與DCR哪個才能架起教育理論與實踐之間的橋梁[J].電化教育研究, 2013,(12):11-15.

[9]Hans, R..Elements of Symbolic Logic[M]. New York: Dover Publications, 1947.

[10]楊開城.教學系統分析技術的初步研究[J].中國電化教育,2007,(8):1-5.

[11]楊開城,林凡.教學系統的IIS圖分析法及其實證研究[J].中國電化教育,2010,(2):31–34.

[12]鄭蘭琴,楊開城,黃榮懷.基于信息流的協作學習交互分析方法的實證研究[J].中國電化教育, 2013, (11):30–35.

[13]Deza, M. M., Deza, E. Encyclopedia of distances[M]. Berlin Heidelberg: Springer, 2009.

[14]Tversky, Amos. Features of Similarity [J].Psychological Reviews,1977, 84 (4): 327-352.

[15]Snyder, P., & Lawson, S..Evaluating results using corrected and uncorrected effect size estimates[J]. Journal ofExperimental Education,1993,61(4): 334-349.

[16]Cohen, J. Statistical power analysis for the behavioral sciences[M].New York: Academic Press, 1969.

[17]王文靜,謝秋葵,杜霞.教育中的設計:研究與發展趨向分析[J].現代教育技術,2009,(5):13-16.

鄭蘭琴：博士，講師，碩士生導師，研究方向為計算機支持的協作學習、教學設計、學習分析技術(bnuzhenglq@bnu.edu.cn)。

楊開城：教授，博士生導師，研究方向為教育技術基本理論、課程開發(yangkc_beijing@bnu.edu.cn)。

2014年3月31日

責任編輯：李馨 趙云建

Why We Should Research on the Consistency rather than the Effectiveness?

Zheng Lanqin1,2, Yang Kaicheng1,2
(1.School of Educational Technology, Faculty of Education, Beijing Normal University, Beijing 100875; 2.Collaborative&Innovative Center for Educational Technology, Beijing 100875)

The research on the effectiveness is the central concern in the fi eld of education. Most of studies seek to examine the effectiveness of interventions. The effectiveness measures the desired degree that is defined by researchers in one setting. The effectiveness is also the focus of Design-Based Research (DBR). However, the research on the effectiveness cannot be replicated and generalized. Falsi fi able knowledge cannot be generated because of various learners’ characteristics and learning environments.It is very dif fi cult to construct new theory through the research on the effectiveness. This research proposes a new approach, namely Design-Centered Research (DCR). DCR is very different from DBR, which puts emphasis on the consistency. The consistency focuses on the reason why it is inconsistent and aims to analyze the defect, thus falsi fi able knowledge can be generated in this way. In addition, the differences between the research on the effectiveness and the consistency are examined in this study. How to conduct the research on the consistency and calculate the consistency are also explored in depth.

Consistency; Effectiveness; Design-Based Research; Design Centered Research

G434

A

1006—9860(2014)09—0020—04