系統功能語言學視角的TEM—8寫作評分量表構念效度驗證

劉睿

[摘 要] 為促進學生讀寫能力的發展，基于系統功能語言學元語言功能和語言三個層面的特點，設計了TEM-8寫作評分量表，對某地方院校大四英語專業學生的寫作樣本進行了實評，采用因子分析方法對評分結果進行了分析。結果表明，本研究設計的寫作評分量表是有效的。

[關 鍵 詞] 元語言功能；寫作評分量表；效度驗證

[中圖分類號] G642 [文獻標志碼] A [文章編號] 2096-0603（2016）31-0063-03

一、引言

系統功能語言學是一種“適用語言學”，提出20多年來，解決了教育中很多實際問題，為語言（母語、二語、外語）學習，提供了理論與實踐指導，促進了學生讀寫能力發展。在高等教育領域，語言學家、教育學家利用系統功能語言學理論在實踐中幫助學生發展閱讀能力（Rose，2005），幫助教師解決教學中遇到的問題和困難（Halliday &Hasan， 2006）。

我國英語專業八級測試的目的是檢查學生是否能達到大綱規定的八級水平應具有的綜合語言技能及交際能力，提高教學質量。試題中TEM-8寫作的總分為20分，要求考生根據所給題目及要求撰寫各類體裁約400個單詞的文章。近10年來，TEM-8寫作題都是議論文體裁，注重考查考生議論文的寫作能力。

系統功能語言學把語言看成生成意義的資源，注重從語義的視角考查語法，認為語言的形式和意義是不可分的。在大學英語寫作教學中，語類理論主要用于描述語篇和語境的關系，可用來幫助學生使用語類和語域構建意義。以往的研究對象多側重描述已發表論文和教材語篇（Hewings，2002），對學生TEM-8的寫作語篇的認知評價方面仍有待研究。

二、研究設計

（一）研究問題

本研究擬從系統功能語言學角度設計寫作評分量表并驗證其信度與效度，需研究三個問題：評分量表設計構念與寫作能力評價的維度是否一致？評分量表是否能有效區分學生的能力？評分員使用評分量表評分時是否一致？

（二）研究步驟

研究分兩個階段。一是從理論上設計評分量表。包括：（1）研讀文獻，厘清評分量表的維度。（2）邀請寫作測試的專家指導、分析量表各個維度所對應的項目。（3）訪談寫作教學的教師，收集、整理教師對量表各維度的意見與建議，初步形成寫作評分量表。（4）進一步討論、修訂描述語，完善評分量表。二是從實踐上檢驗評分量表。通過比較評分員應用量表評價考生寫作樣本的情況，檢驗評分量表的有效性。

（三）研究對象

本研究的寫作樣本來自某地方院校英語專業的84名大四學生。他們都要參加2016年英語TEM-8考試，熟悉TEM-8考試寫作題的要求。

（四）實驗材料

試驗材料采用2005年英語TEM-8寫作考試題目：

Interview is frequently used by employers as a means to recruit prospective employees. As a result， there have been many arguments for or against the interview as a selection procedure. What is your opinion？ Write an essay of about 400 words to state your view.

該題屬于議論文體裁。每個學生在畢業找工作的過程中都有這方面的經歷，在規定時間內完成考試。收集學生作文并編號保存，為下一步實驗做好準備。

（五）評分量表設計

研究者在閱讀相關文獻的基礎上，參考、借鑒已有的寫作的評分量表，初步設定一份評分量表。訪談46名熟悉英語專業八級寫作教學的英語教師，讓每位教師寫出他們能想到的寫作評價的所有項目維度。在不改變原意的情況下，逐條修改教師寫出的評價項目，從中提煉出33條描述語，初步設計出一份評分量表。然后，歸納整理為調查問卷（問卷采用5點Likert量表，5表示完全有必要，1表示完全沒必要），向外語學院的其他英語教師發放，調查、統計問卷結果。

根據問卷調查結果，從33條描述語中選出平均分最高（完全有必要）的15條描述語。研究者和經驗豐富的六位英語教師一起討論，從理論上確定寫作的構念，一起設定寫作測量學生的什么能力，一起劃分評分等級，把問卷調查的15條描述語分別歸入理論構念的各個維度。

Dillman等（2009）發現，使用4-5個等級評分信度是最有效的。因此，研究者邀請學院有多年寫作教學經驗的同事在認真閱讀、討論寫作評分量表的基礎上，把評分等級分為優、良、中、及格、差五個等級，分別賦予4、3、2、1、0五種分值。“優”表示學生作文較好地完成任務要求，各分項幾乎沒有缺陷，且在某分項有創意、有創造性；“良”表示學生作文有效地完成任務要求，但在某分項有微小的或可以忽視的缺點；“中”表示學生作文基本完成任務要求，在某分項有明顯的錯誤，但不影響意義表達；“及格”表示學生作文勉強完成任務的要求，某分項有明顯的影響意義表達的錯誤；“差”表示學生作文不符合任務要求，各分項大多有明顯的失誤或錯誤。

最后，研究者根據評價內容把15條描述語歸納為整體語篇層面的語類和語域（1～5條描述語），段落層面的語篇語義（6～9條描述語），詞匯、句子層面的語法與表達（10～14條描述語），其他（15條描述語）四個相對獨立構念的寫作評分量表。

（六）用設計的評分量表評分

1.錨定寫作樣本，培訓評分員

人工評分中最大的問題是評分員評分的不一致性（Coffman，1971）。本研究通過4位評分員一起錨定寫作樣本的方式來培訓他們，提高評分一致性。根據設計的評分量表，4位評分員從84名學生的寫作樣本中錨定有代表性的、等級區分明顯的10個樣本，在錨定寫作樣本的過程中，評分員需對照描述語，給出寫作樣本的每個分項對應等級的分值，利用加權平均、四舍五入的方法確定最終等級。重復進行這個過程，可以幫助評分員厘清構念并體會不同等級的寫作樣本間的差別，最大限度地保證所有評分員的評分標準都一致。錨定出的等級樣本作為正式評分時的參照范本。

2.試評及評分

試評時從沒有參加錨定的樣本中隨機選2個樣本，4位評分員同時在設計好的評分單上逐項評分。之后統計結果，計算評分員間評分信度。

正式評分時，評分員要對剩余的72個寫作樣本分別評分，為防止疲勞影響評分信度，特意要求評分員在兩天內完成72個樣本的評分。之后匯總評分單，統計、處理數據。

三、結果與討論

（一）評分信度

四位評分員在15個分項上的評分信度Cronbach α=0.936，利用Friedman檢驗和Kendalls W檢驗了每位評分員在各分項上的評分。結果表明，漸進顯著性取值都大于0.05，即4位評分員之間不存在顯著性差異。評分員在各分項上的評分是一致的。

（二）探索性因子分析

1.KMO檢驗和Bartlett球形檢驗結果（如表1所示）

Kaiser（1974）認為，KMO值大于0.6表示變量間存在共同因子，就可以做因子分析。本研究中KMO統計量為0.898，適合進行因子分析。此外，Bartlett的球形檢驗的χ2值為1125.539（自由度為105），p=0.000<0.05，即各變量間存在顯著的相關性，適合進行因子分析。

2.主成分分析法抽取主成分的結果（如表2所示）

左邊15個成分的特征值大于1的，共有3個，這也是因子分析時所抽出的共同因子個數，3個共同因素共可解釋的總變異量為79.797%，轉軸后三個共同因素可以解釋的總變異量也為79.797%。

3.轉軸后的成分矩陣

轉軸的目的是為了更清楚地看出一組變量數所確定的那個共同因素，判斷每一個分項變量應歸屬于哪一個明確的主因素。關于能否將分項變量歸入共同主因素，還有一個選取因素負荷量標準的問題。Hair等人（1998）認為，要同時考慮到因素分析時樣本的大小，若樣本較小，則因素負荷量的選取標準就要高些。陳宇順（2004）認為，當樣本大小介于70～85之間時，因素負荷量選取的標準應介于0.650～0.600。

本實驗包含72個學生寫作樣本，所以因素負荷量的標準定為0.650。從轉軸后的成分矩陣中可以發現：共同因素一包含Item 1～8共8條描述語，共同因素二包含Item 9～12共4條描述語，共同因素三包含Item 14、Item 15兩條描述語（如表3所示）。

對比之前理論上的評分量表，可以看出大多數描述語在實際評分時表現出和原來構念一致的屬性。最初設計的評分量表第一和第二構念的一部分（整體語篇和段落）試評時構念屬性一致，應歸屬共同因素一，共同因素包含二最初設計的評分量表中第二和第三與的第三構念各一部分描述語，共同因素三與最初設計的評分量表的第四構念和一條第三構念，Item 13這條描述語的構念特征不明顯，應刪除。根據以上探索性因子分析結果，評分量表應保留14條描述語。

四、結論

評分量表是評價過程的一個重要組成部分。本研究采用理論和實證研究相結合，定量和定性研究相結合的方法描述、總結了寫作評價的不同維度，運用探索性因子分析方法厘清了寫作的構念。統計分析表明，本研究設計的評分量表能保證評價學生寫作表現的信度和效度，讓教師在評價的維度、分項、等級標準方面最大限度地達成一致，提高評分員自身和評分員之間評分的一致性，為教師在評價學生寫作能力時提供了一種方便、實用的工具。

本研究的局限性在于學生和教師都來自于地方院校，樣本容量較小，且數據只來自對一種體裁（議論文）寫作的評價。此外，限于篇幅，本研究也沒有涉及各評分維度應賦予的合理權重。研究者的目的旨在拋磚引玉，希望能給英語教師提供一些思路與啟示，在實踐中共同改進和完善評分量表。

參考文獻：

[1]Coffman， W. E. Essay examinations. In R. L. Thorndike （Ed.）， Educational measurement （2nd ed. pp.271-302）[M]. Washington， DC： American Council on Education，1971.

[2]Dillman， D. A.， Smyth， J. D.， & Christian， L. M. Internet， mail， and mixed-mode surveys： The tailored design method （3rd ed.）[M]. Hoboken， NJ： John Wiley & Sons， Inc，2009.

[3]Hair， J. F. Anderson， R. E.， Tatham， R. L. & Black， W. C.. Multivariate data analysis（5th ed.）[M]. Englewood Cliffs， NJ： Prentice-Hall，1998.

[4]Halliday， M. A. K. and Hasan， R.. ‘Retrospective on SFL and literacy， inR. Whittiker， M. ODonnell， and A. McCabe （eds）， Language and Literacy： FunctionalApproaches[D]. London： Continuum， 2006：15-44.

[5]Hewings， A.‘Shifting rhetorical focus in student and professional geography writing， in C. N. Candlin（ed.）， Research and Practice in Professional Discourse[D]. HongKong： City University of Hong Kong Press， 2002： 441-462.

[6]Humphrey， S. Martin， J.， Dreyfus， S.， and Mahboob， A.（2010）. A 3x3 toolkit for academic writing[A]. In A.Mahboob & N. Knight（eds.） Directions in Appliable Linguistics[C]. London： Continuum.

[7]Kaiser， H. F. Little Jiffy， Mark IV. Educational and Psychological Measurement[J]，1974（34）： 111-117.

[8]陳宇順. 多變量分析[M]. 臺北：華泰書局， 2004.