基于語料庫的聽說綜合性任務語言特征研究?

徐鷹 廖天華 韓蘇 王亞琪

（華南理工大學，廣州510641）

提 要：本文以故事復述任務為例，采用語料庫方法對影響聽說綜合性任務表現的語言錯誤進行描寫和診斷分析。根據中國學習者英語語料庫（CLEC）言語失誤標注原則，本研究對360 位考生故事復述任務錄音進行轉寫和標注。 結果發現，vp（動詞短語）、wd（詞語）和sn（句子）是語言錯誤最為集中的3 種特征；這3 種特征能有效區分不同水平的考生；wd 和sn 能有效預測考生故事復述成績。 上述結果對聽說綜合性任務評分標準開發和考試備考提供重要參考。

1 引言

對學習者的語言錯誤進行分析不僅能提供學習者習得的證據以及揭示學習者采用的策略（Corder 1967：161），而且能幫助研究者發現第二語言或外語學習的一般規律（何華清2009：2），因此對于深化外語教學意義重大。 錯誤分析同樣對于語言測試有重要參考價值，并且往往結合語料庫手段對其進行研究。 一個對學習者錯誤進行標注的語料庫具有以下用途：（1）開發試題，比如確定考點或設計單項選擇題的干擾項；（2）通過揭示區分不同能力等級的語言特征從而開發評分標準；（3）對考試內容效度進行檢驗（Park 2014：28，Cushing 2017：441）。 目前，國外眾多學者和考試開發機構紛紛構建附帶錯誤標注的學習者語料庫進行語言測試研究，比如劍橋考試中心利用劍橋學習者語料庫（Cambridge Learner Corpus）設計和開發考試；Hawkey 和Barker（2004）對參加劍橋考試中心組織的PET，FCE，CAE 和CPE 考試考生的作文語料進行錯誤分析，確定不同分數等級的區分性特征，最后構建面向劍橋英語能力系列考試寫作部分的統一評分標準。 國內采用學習者語料庫進行考試設計和效度研究的案例相對比較匱乏（鄒紹艷2016：112）。 較有代表性的研究是穆惠峰（2011：66）采用自建語料庫對大學英語四級考試完形填空題的內容效度進行驗證。

綜合性任務被普遍認為能更有效地測出考生的真實語言能力，并且能產生更積極的反撥效應，已經被越來越多大規模、高風險測試（如TOEFL）所采用（Purpura 2016：190）。 借助語料庫手段對聽說綜合性任務進行語言錯誤分析的實證研究主要有以下兩項。 為了探討TOEFL 口試聽說綜合性任務所測構念的本質，Brown 等（2005：2）收集200 位考生的語音樣本并進行轉寫和標注。 其中語法錯誤的標注種類包括5 種特定類型錯誤：時態錯誤、主語為第三人稱單數時動詞／系動詞變化錯誤、名詞復數錯誤、冠詞使用錯誤、介詞錯誤，以及1 種總體準確度特征：無錯誤T 單位百分比。10%的考生由2 位標注人分別進行標注，這6 種錯誤的標注信度在0.71-0.99 之間。 方差分析結果表明5 個不同考生分數等級在每種錯誤上都有顯著差異，高分等級（4 級和5 級）之間差異明顯，低分等級（1 級到3 級）之間差異不明顯；5 種特定類型錯誤的效應量分別為0.15、0.08、0.17、0.14 和0.07，總體準確度的效應量值最大（0.22）。 根據Muijs（2004：195）的標準，雖然這6 種錯誤特征能區分不同能力考生，但是對考生分數差異的解釋力度較弱或有限。 王華等（2018：413）通過對110 位參加某大型英語聽說考試的考生故事復述任務口語產出錄音進行標注，探討聽說綜合性任務的口語能力區分性特征。 其中在語言準確性方面通過標注考生動詞過去式使用錯誤率來表征具體錯誤，選用無錯誤小句比（error?free clauses ratio）判斷總體準確性。 多元回歸分析結果顯示無錯誤小句比能顯著預測考生口語能力（p＜0.05）。 因此，聽說綜合性任務的口語能力構念應該包括語言準確性。

盡管這兩項研究對影響聽說綜合性任務的語言因素進行過分析，但是對語言錯誤的描寫則不夠全面。 作為一種常用的聽說綜合性任務，故事復述已經應用在全國英語專業四級（TEM?4）口試和廣東省高考英語聽說考試中。 這兩種考試采用的評分標準都包括語音語調、復述內容以及語法和詞匯等維度，其中語法和詞匯維度都把語言錯誤作為評判的主要依據之一。 那么哪些語言錯誤能有效區分不同能力考生呢？ 這是本文要解決的核心問題。 鑒于此，本研究擬采用基于語料庫的方法對影響故事復述任務表現的語言錯誤進行全面描寫和診斷，從而回答以下研究問題：

（1）中國學習者故事復述任務口語產出的語言錯誤有什么特征；

（2）不同能力考生的語言錯誤是否有差異；

（3）哪些語言錯誤能夠有效預測考生的故事復述分數。

2 研究設計

2.1 研究工具

廣東省高考英語聽說考試總分為60 分，包括模仿朗讀、角色扮演和故事復述3 個任務。 故事復述任務要求考生先聽一段大約兩分鐘的獨白（通常為記敘文）兩遍，然后復述所聽的內容。 考生應盡可能使用自己的語言復述，而且復述內容應涵蓋盡可能多的原文信息。

本研究的語料來自2013 年廣東省高考英語聽說考試A 卷考生錄音。 故事復述任務總分24分。 評分標準包括內容和綜合兩部分。 內容部分按信息點評分，一共包括10 個信息點，每個1.5分，總分15 分。 綜合部分總分9 分，要求對考生的總體表現進行評分，具體包括3 個檔次：（1）如果考生口語產出忠實原文內容，語言得體性好、合乎規范，表達流利，且語音語調不影響理解，應該給7-9 分；（2）如果考生基本復述原文的主要內容，語言得體性較好、基本合乎規范，比較流利，盡管出現一些語音語調的錯誤，但基本不影響理解，應該給4-6 分；（3）如果考生不能復述原文的主要內容，語言得體性較差，出現較多的語言錯誤，不夠流利，且語音語調影響理解，應該給0-3 分。A 卷故事復述任務文本見圖1。

2.2 研究對象

本研究通過分層隨機抽樣的方法選取360 位考生錄音。 首先，把考生按照考試總分排序，然后平均分成高分組（M ＝46.93，SD ＝5.50）、中分組（M ＝37.07，SD ＝6.75）和低分組（M ＝24.10，SD ＝9.15），每組120 位考生。 單因子方差分析發現3組考生總分組間均值差異顯著［F（2，357） ＝295.867，p＜0. 001， η2＝0.624］。 Scheffe 事后檢驗表明，相鄰組別的總分均有顯著差異（p＜0.001）。 按照上述方法隨機抽取30 份考生錄音用于培訓，3 個水平組各10 位考生。

圖1 2013 年廣東省高考英語聽說考試A 卷故事復述文本

2.3 研究過程

考生語料的處理包括轉寫和編碼兩個階段。兩位研究助手（擁有文學碩士學位）逐詞將考生錄音轉寫成文字。 轉寫后的總體和3 組考生錄音文本單詞量的描述性統計如下：M總體＝62. 71，SD總體＝23. 39；M高分組＝79. 04，SD高分組＝15. 79；M中分組＝61. 53，SD中分組＝17. 86；M低分組＝37. 80，SD低分組＝19.45。 單因子方差分析發現3 組單詞量組間均值差異顯著［F（2，357） ＝162.964，p＜0.001，η2＝0.477］。 Scheffe 事后檢驗表明，相鄰組別的單詞量均有顯著差異（p＜0.001）。

轉寫好的文本參照《中國學習者英語語料庫》（CLEC）（桂詩春 楊惠中2003：1）的言語失誤標注原則進行編碼。 該標注原則一共包括11 大類（詞形fm，動詞短語vp，名詞短語np，代詞pr，形容詞短語aj，副詞ad，介詞短語pp，連詞cj，詞語wd，搭配cc，句子sn）和61 小類，能夠較全面地描寫中國學習者英語產出的錯誤。 通過對用于培訓的30 位考生語音轉寫文本進行分析，我們發現詞語wd 分類較多（7 種），其中一些類型未在轉寫文本中出現（如wd1（詞序）、wd6（重復）），而某些常見錯誤（如表1中wd1 例子hardly 在語料庫中出現19 次）又難以歸為現有的類型。 因此，為便于標注和分析，把wd 的標注分類數量從7 減少為2，并且重新進行定義，具體見表1。

表1 詞語類型錯誤（wd）的定義和分類

修改后的標注框架一共包括10 大類（刪除詞形fm）和53 小類（刪除詞形fm 的3 小類，詞語wd 的7 小類減少到2）。 兩位研究助手采用該框架對全部考生語料進行標注。 在標注培訓時，他們首先學習該標注體系，并共同討論用于培訓的15 份考生樣本，然后獨立對另外15 份考生樣本進行標注，接著相互查看各自標注文本并討論其中差異，最后達成共識。 培訓結束后，兩位研究助手分別對185 位考生錄音文本進行標注（其中10位是共同考生）。 由于標注框架包含的語言錯誤種類非常全面，因此不同標注者的信度難以達到較高水平（Brown et al. 2005：51）。 在本研究中，這10 位考生一共產出244 個錯誤，兩位標注者相同的錯誤數量為196 個（80. 33%），說明標注結果可信。

2.4 數據分析

首先采用AntConc 3.2.4w 統計各類特征頻數。 由于不同水平考生口語產出的單詞量存在顯著差異，為做進一步的推斷統計，將所有特征頻數轉化成每產出100 個單詞出現該錯誤的標準頻數。 然后，采用SPSS 18.0 對每個特征進行描述性統計分析，并對可能的區分性特征進行單因素方差分析。 最后，把所有考生按照分數排序并平均分為奇數樣本（訓練集）和偶數樣本（測試集），采用多元線性回歸分析奇數樣本得到分數預測模型，并用偶數樣本驗證效度。

3 結果

3.1 中國學習者故事復述任務口語產出的語言錯誤特征

3.11 大類語言錯誤特征

全部3 組考生產生的語言錯誤原始頻數總數為7，828 個，具體見表2。

表2 各組語言錯誤大類特征原始頻數

在大類特征中，vp，wd 和sn 是語言錯誤最為集中的3 種，總和達到82.8%，且零錯誤考生數相對較少（最多不超過10%）。 其他7 種特征相對較少，其中4 種特征（aj，ad，cj 和cc）百分比不足1%，且零錯誤考生數相對較多。 這一結果說明vp，wd 和sn 是不同水平考生都會出錯的特征，具有普遍性，可能是區分性特征，因此需要對它們做進一步的分析。

經過標準化處理后的vp，wd 和sn 這3 種大類特征標準頻數的描述性統計結果見表3。

表3 各組vp，wd 和sn 標準頻數描述性統計結果

總體而言，vp，wd 和sn 這3 種特征的標準頻數都隨著考生水平增加而降低。 值得注意的是中分組的wd 錯誤平均值大于低分組。 根據Ellis（1999：76）提出的中介語理論，中介語的特征之一體現為可預測性和內部一致性。 一些學習者將這一規則泛化，比如在hard 后面加上?ly 后綴構成副詞。 因此，造成這一現象的可能原因在于中分組考生尚未完全掌握某些目的語規則，把“形容詞加后綴?ly 變成副詞”的規則過度使用，忽略不適用這個規則的特殊情況。 此外，學習者的中介語還具有動態性和開放性，因此中分組考生可能在使用某些目的語規則時出現前后不一致的情況，比如混用動詞的過去分詞和現在分詞，因此會出現中分組wd 錯誤數多于低分組。

3.12 小類語言錯誤特征

對于vp 和sn 而言，高分組的錯誤標準頻數平均值和標準差最小，低分組錯誤標準頻數平均值和標準差最大，說明低分組的內部差異較大。vp 錯誤特征的原始頻數是3，242，其中vp6（時態）頻數為2640（81.43%）。 在9 種vp 小類錯誤特征中，只有vp6（時態）出現5 個考生沒有犯錯誤，其他8 種小類錯誤的零錯誤考生數量至少超過180 人（50%）。 以上結果說明vp6（時態）可能是區分不同能力考生的小類特征。

sn 錯誤特征的原始頻數是1，742，其中4 種小類錯誤（sn3（垂懸修飾語）、sn4（比較不符合邏輯）、sn5（主題突出）和sn6（并列））的原始頻數為0。 sn8（結構缺陷）頻數為1，414（81. 17%），只有35 位考生沒有犯這一錯誤。 sn1（不斷句）、sn2（片段）、sn3（主從）錯誤頻數和比例分別為104（5. 97%）、202（11. 60%）和22（1. 26%），且沒有犯這3 種錯誤的考生人數分別為276、235、341。 上述結果說明sn8（結構缺陷錯誤）可能是區分不同能力考生的特征。 根據CLEC 言語失誤標注原則，結構缺陷主要指一個句子中語法結構的錯誤，包括improper splitting（不合理分隔）、pat?tern shif?ting（句式轉移）和confusing structure（結構混亂）等主要類型。 考生常犯的sn8 錯誤如下：

①So he open［vp6］ the door run［vp6］ into the living room.［sn8］

②She knocked on the door hardly［wd1］. The door has［vp6］ no answer.［sn8］

③Tom was very strange［sn8］， because she seldom go［vp6］ away.

對于wd 而言，雖然高分組的錯誤標準頻數平均值和標準差最小，但是中分組錯誤標準頻數平均值和標準差最大，且中分組和低分組的差別不明顯。 這個結果說明中國學習者中介語發展過程不是直線上升，而是呈螺旋式上升的態勢（崔艷嫣 王同順2005：7）。 wd1（誤用意義不相關詞）和wd2（誤用意義相關詞）都是容易混淆的詞語類型錯誤，考生常犯的wd1 錯誤如下：

④She must be in the chicken ［wd1］.

⑤a lady lying in the flower ［wd1］.

⑥Brown was lying on the door ［wd1］.

考生常犯的wd2 錯誤如下：

⑦He deliver ［vp6］ a letter to Miss ［wd2］Brown.

⑧a glasses ［np6］ of milk was broke ［wd2］on the floor.

⑨Mrs. Brown was so worry ［wd2］ and he could do little...

這兩種錯誤的差別在于錯誤的詞是否和正確的詞有意義上的聯系。 wd 錯誤特征的原始頻數是1，533，其中wd1 和wd2 頻數分別為243（15.85%）和1，290（84.15%），且分別有192 和60 位考生沒有出現wd1 和wd2 錯誤。 因此，wd2錯誤可能是區分不同能力考生的特征。

經過標準化處理后的vp6、wd2 和sn8 這3 種小類特征標準頻數的描述性統計結果見表4。

表4 各組vp6、wd2 和sn8 標準頻數描述性統計結果

3.2 不同能力考生的語言錯誤特征的差異

在刪除異常數據后，以考生水平為自變量，分別以vp，wd 和sn 標準頻數為因變量進行3 次單因素方差分析，結果發現這3 個特征都能區分不同水平考生：

Fvp 標準頻數（2，351） ＝ 7.537，p ＜0.001，η2 ＝0.041；

Fwd 標準頻數（2，354） ＝ 5. 742，p ＜0. 01，η2 ＝0.031；

Fsn 語調分數（2，332） ＝37.274，p ＜0.001，η2 ＝0.183。

Scheffe 事后多重比較表明，vp 和wd 錯誤能有效區別高分和中、低分考生，但是無法區別中分和低分考生；sn 錯誤能有效區別高分、中分、和低分考生。

由于vp6、wd2 和sn8 可能是區分不同能力考生的小類特征，我們繼續以vp6、wd2 和sn8 標準頻數為因變量，以考生水平為自變量進行單因素方差分析。 在刪除異常數據后，發現這3 個特征都能區分不同水平考生：

Fvp6 標準頻數（2，351） ＝7.895，p ＜0.001，η2 ＝0.043；

Fwd2 標準頻數（2，354） ＝ 4.030，p ＜0.05，η2 ＝0.022；

Fsn8 語調分數（2，332） ＝ 32. 282，p ＜0.001，η2 ＝0.165。

Scheffe 事后多重比較表明，vp6 和wd2 錯誤能有效區別高分和中、低分考生，但是無法區別中分和低分考生；sn8 錯誤能有效區別高分、中分、和低分考生。

上述結果證實Brown 等（2005：82）的研究結論：時態錯誤能夠區分不同水平考生，且效應量不大。 此外，sn8 錯誤能有效區別高分、中分和低分考生，其原因在于sn8（結構缺陷錯誤）主要是對句子的總體準確性進行判斷，在一定程度上和Brown 等（2005：52）的無錯誤T 單位百分比以及王華等（2018：416）無錯誤小句比的定義類似，因此也能夠區分不同水平考生。

3.3 故事復述任務分數預測模型

首先采用獨立樣本t 檢驗對奇數樣本和偶數樣本考生成績進行分析，結果顯示兩組考生分數無顯著差異（t ＝-.153，df ＝358，p＞0.05）。 然后采用Mahalanobis 距離整理奇數樣本發現23 個異常值，刪除后剩下157 位考生。 最后以vp，wd和sn 標準頻數作為預測變量，考生分數作為因變量采用逐步進入法建立回歸方程，結果得到兩個分數預測模型（表5）。

如表5所示，兩個模型都能預測考生成績。 模型1 的預測變量只有一個，因此容忍度和VIF 值都為1。 模型2 的兩個預測變量的容忍度都是0.979，VIF 值都是1.021。 上述結果說明兩個模型都不存在共線性問題。 模型1（考生故事復述成績（24 分制） ＝17.092-0.460 ×sn 標準頻數）能解釋考生分數23.2%的方差；模型2（考生故事復述成績（24 分制） ＝18.390-0.435 ×sn 標準頻數-0.217×wd 標準頻數）能解釋考生分數27.2%的方差，擬合優度更高。 因此，模型2 是較好模型。 在10 大類言語失誤中，句子sn 對考生成績的預測能力最強，其次是詞語wd，其他特征無法預測考生分數。

表5 多元線性回歸結果

第二步驗證分數預測模型。 首先根據模型2計算出偶數樣本的考生成績，然后和考生的故事復述任務高考分數進行配對樣本T 檢驗。 結果顯示，模型2 預測分數和考生高考分數相關系數達到0.826（p＜0.001），且沒有顯著差異（t ＝-0.559，df ＝179，p＞0.05）。 因此，模型2 能有效預測考生的故事復述成績。

4 討論

本研究發現vp6（時態）、wd2（誤用意義相關詞）和sn8（結構缺陷）能有效區分不同水平的考生，主要原因如下。

首先，vp6（時態）錯誤可能是受到母語（漢語）遷移的影響。 語言遷移是一種普遍存在的現象，是指學習者掌握的多種語言之間的相互影響（蔡金亭2015：57）。 在學習者第二語言未達到自動化之前，無法隨著時間的推移和學習者水平的提高而完全消失。 根據標記性和母語遷移的關系原則（Ellis 1994：206），母語中的無標記項在二語中的對應項如果有標記，那么母語的無標記特征會遷移到中介語中。 由于漢語缺乏時態系統（即無標記性），但是英語具有時態系統（即有標記性），那么漢語的無標記特征會遷移到中介語當中，即學習者的中介語也會出現沒有時態的情況。此外，由于考生在考試時普遍存在緊張、焦慮的情緒，這種語際影響表現得更為明顯。

其次是wd2（誤用意義相關詞）錯誤，包括兩種類型：（1）誤用正確單詞的同根詞，導致詞性錯誤，例⑧和例⑨都是這種情況，其主要原因也是受母語遷移的影響。 Odlin（1989：79）指出，當兩種語言的詞匯在語義上對等而形態上不具相似性時往往發生詞匯層面的遷移。 Larsen-Freeman 和Long（2000：107）進一步指出：母語中無標記的語言特征比有標記的特征更容易發生遷移。 由于漢語的詞性沒有明顯標記，因此考生容易出現誤用同根詞的情況。 （2）大量考生（頻數為316）把Mrs. Brown 錯聽成Miss Brown（例⑦），可能原因是部分考生過于緊張，且Mrs 和Miss 發音和意義都較為接近，容易出現混淆。

最后是sn8（結構缺陷）錯誤。 例①是一個典型的連動句或連動結構（serial verb construction，簡稱SVC），指的是充當單一述語、并且不帶有任何并列、從屬或其他句法依附性顯性標記的動詞序列（尚新2009：5），其特點是連動短語中的每個動詞項都與一個主語聯系。 這種結構在漢語中廣泛存在，但在英語中普遍缺失（鄭學丹2018：454）。 根據標記性理論（Eckman 1977：315），可以認為這種限定性動詞和非限定性動詞的區別對漢語而言是一種無標記性，對英語則是一種標記性，因此會產生母語負遷移。 例②和例③則是一種典型的詞對詞的翻譯錯誤，即考生沒有掌握英語句子的表達方式，只是按照漢語語序造句，也可以看成是一種母語遷移產生的錯誤。

5 結束語

通過構建一小型語料庫并采用CLEC 言語失誤標注原則進行標注，本研究對影響故事復述任務表現的語言錯誤進行分析，結果發現vp（動詞短語）、wd（詞語）和sn（句子）是語言錯誤最為集中的3 種大類特征，vp6（時態）、wd2（誤用意義相關詞）和sn8（結構缺陷）是語言錯誤最為集中的3 種小類特征，它們都能區分不同水平考生。 本文的研究成果主要有以下意義。

首先，有助于開發基于數據的評分標準（徐鷹2018：75）。 TEM-4 口試和廣東省高考英語聽說考試故事復述任務采用的都是基于專家直覺的評分標準。 盡管評分細則中提到語言錯誤，但是較為寬泛，既沒有指明語言錯誤包括哪些錯誤類型，也沒有界定多少語言錯誤算少或算多、或什么樣的語言錯誤算嚴重等問題。 這就導致評分員只能憑借自身的經驗去解讀和使用評分標準，容易導致評分員誤差，最終威脅考試的效度。 本研究發現的3 種大類錯誤和3 種小類錯誤能有效區分不同水平考生，且不同類型錯誤的效應量有差異，這就為充實評分標準的語言維度的等級描述語、明確語言錯誤的嚴重程度提供了重要參考，從而幫助評分員形成對評分標準統一的解讀，進而為分數意義提供合理的解釋。 同時，本研究發現上述錯誤特征能區分不同能力考生，為評分標準語言維度各分數等級之間的線性關系提供實證數據的支撐，從而增強評分標準的效度。

其次，有助于幫助師生明確備考的重點。 在備考故事復述這一題型時，也許考生會犯各種各樣的語言錯誤。 但是，他們不應對所有類型的語言錯誤等量齊觀，而應有所側重，重點解決sn8、vp6 和wd2 3 種類型錯誤。 同時，教師應該在備考輔導中放棄“全面糾錯” 的范式（Chandler 2003：267）以求對考生所有的錯誤提供反饋，而應采用“選擇性糾錯”的方式（Sheen 2007：255），重點幫助考生改正上述3 種類型錯誤，從而實現備考效果的最大化。

本研究的不足之處在于只采用一個任務的數據，結論的可推廣性和概括性還有待增強。 下一步的研究可以采用不同的任務進行驗證。