Coh-Metrix工具輔助的大學英語教材閱讀文本研究

杜馭炎　項凝霜

摘 ? 要： 自然語言計算工具Coh-Metrix可用于分析文本可讀性。相對操作更簡便的Coh-Metrix TEA從計算結果中提取6個文本可讀性相關指征：敘事性、句法簡約性、單詞具體性、指稱銜接、深層銜接和Grade Level數值。利用該工具對大學英語教材閱讀文本分析后發現：四冊書之間難度基本呈現梯度遞進，但單冊內部變化趨勢無規律;選材難度偏低，體裁多樣性不足;文本可讀性指征間存在一定的相關性。

關鍵詞： 大學英語教材 ? 文本可讀性 ? Coh-Metrix

1.研究背景

教材是教學過程中的重要因素之一。近年我國大學英語教學實施較大改革，優化教材選擇自然備受重視，教材相關的研究覆蓋面得以擴大，研究數量快速增加。但教材評估方面的研究相對缺乏[1]（16-19），對讀寫類教材中閱讀篇章的研究視角較為單一，如僅考查語篇難易度或僅以篇章詞匯特點作為研究目標[2]（39-42）[3]（69-73+78）[4]（7-10）。不可否認，造成這種現象的原因之一是研究工具的局限性。

教師和教材編寫者選材的主要依據是代表文本難易度的Grade Level數值，即檢測文本可讀性的弗萊士-金凱德年級水平數值。然而，參照該數值為學習者選擇合適的閱讀材料并非易事[5]。Grade Level數值是由對傳統的文本難度維度計算得出的，包括句長、詞長等，評估的指標具有局限性。這種局限性讓教師和教材編寫者認定不同體裁的文章閱讀難度可能相似，文本的可理解性（comprehension）似乎與文章體裁關聯不大[5]。然而，決定文本“可理解性”的因素遠不止詞長和句長等，只憑借傳統的淺層的難度衡量指標評估文本可讀性已遠遠不夠[5]。評測文本可讀性的全新計算工具應運而生。

二十一世紀初，由美國孟菲斯大學McNamara教授領銜的團隊設計開發出自然語言計算工具Coh-Metrix，可生成11個模塊、共106項的文本語言表征指標，用來檢測文本的銜接性和連貫性[6]（193-202）[7]。該團隊隨后從上述語言表征指標中提取用于文本可讀性主成分分析的五個特征，開發Coh-Metrix Text Easability Assessor（簡稱Coh-Metrix TEA）工具，可檢測的指標包括敘事性（Narrativity），句法簡約性（Syntactic Simplicity）、單詞具體性（Word Concreteness）、指稱銜接（Referential Cohesion）和深層銜接（Deep Cohesion）[8]（223-234），同時能計算出Grade Level數值。該工具能直觀明了地為使用者顯示這些維度，允許輸入一段不超過1000詞的英語短文，并快速獲得文本的可讀性信息，且配有信息化的視覺插圖和簡短的結果解釋[9]（72-95）。由于Coh-Metrix工具相較于Grade Level數值在檢測文本可讀性方面具有顯著優勢，近年來利用該工具進行的閱讀和寫作文本研究與日俱增[10]（119-135）[11]（58-65）[12]（208-210+205）。本研究將利用Coh-Metrix工具從多維度分析大學英語教材中的閱讀篇章文本的可讀性，探究目前國內大學英語教材的閱讀篇章選材的特點并判斷是否科學合理。

2.研究方法

市面上廣泛使用的大學英語教材中，由浙江大學編著、2012年出版的《新編大學英語綜合教程》（第3版）具有一定的代表性，因此本研究選用該套教材四冊學生用書的閱讀篇章作為研究對象。

該套書每冊十個單元，每個單元包含In-class Reading和After-class Reading兩篇閱讀文章。先將全套教材的80篇課文每篇的標題、作者姓名、語言文化知識點注釋、課后詞匯表、課后思考題等信息去除，再經過掃描、校對等多道工序后轉換成準確的電子文本，共得到80個純文本文件。每冊的20個文件為一組，分別命名為Book 1， Book 2， Book 3， Book 4。每冊內部的第1至第10單元分別標注為U1、U2……U10，In-class Reading標注為A，After-class Reading標注為B，即U1-A對應為第一單元In-class Reading。研究中使用Coh-Metrix TEA工具（http：//tea.cohmetrix.com/）對80個文本依次進行檢測計算，對不符合計算條件的文本（單詞數超過1000）轉用輔助支撐工具Coh-Metrix 3.0版本（http：//tool.cohmetrix.com/）進行測量，從所得結果中選取體現難易度、體裁、句法、詞匯、篇章結構銜接性和內在邏輯連貫性6個維度的突出變量進行分析評估文本可讀性。計算得出的數據再導入統計計算網站http：//vassarstats.net/進行相關處理，得到變量之間的相關性等重要數值。本研究主要探討的問題為：一、四冊教材中閱讀篇章難易度的特點如何;二、代表性文本可讀性指征的特點如何;三、文本可讀性指征間的相互關系如何。

3.結果與討論

3.1教材中閱讀篇章難易度的特點

用Coh-Metrix TEA工具對80個文本進行計算處理后得到如下結果。圖1和圖2直觀地呈現了四冊書中體現文本難易度的Grade Level數值大小及變化趨勢。

由圖1可見，冊與冊之間基本呈現難度由低到高的梯度變化，Book4的Grade Level數值雖略低于Book3數值，但差距并不顯著，可視為符合難度逐冊遞進的合理趨勢。然而圖2中的四條曲線的趨勢走向雜亂無章，除代表Book1的曲線勉強呈現小幅波動的線性上升走勢外，其余三條曲線毫無規律可言。表明這套教材單冊內部的閱讀材料難易程度并未體現逐級增加的梯度，反映了國內現行的大學英語教材存在的典型問題，即教學材料的選擇缺少量化數據指標，主要依靠教師個人語言能力和教學經驗篩選閱讀材料，欠缺科學性依據和指導[13]（30-31）。

接下來重點解讀圖2中的凸顯數據。Book4的U3-A和U5-B顯然是整套教材Grade Level數值最高的兩個文本，分別為13.4和13.1。兩篇文章主題分別為“Gender Roles from a Cultural Perspective”和“Athletes Should Not Be Role Models”，前者為傳遞信息的說明型文章，后者為表達觀點的議論型文章。兩篇文章題材均較為嚴肅，通篇不乏30個單詞以上的長句及類似consciousness， responsibility， achievements等抽象性長單詞，且被動句較多。這些綜合性因素都削弱了文本的可理解性。相對應的是，Book2的U5-B和Book4的U10-A又達到了可讀性曲線的最低谷，數值分別為2.6和3.0，大致等同于美國二、三年級小學生的閱讀水平。兩篇文章的主題分別為“Dreams That Came True”和“The Immortal Bard”，共同點是敘事性體裁，人物對話頻繁，短句多且句法簡單，抽象性名詞少而實詞多，從詞匯和句法角度看可理解性的確很高。由于這些凸顯數據涉及文章的題材與體裁，而不同題材或體裁的文章詞匯與句法特點差異顯著，題材與體裁可能與文本可讀性相關，顯然Grade Level數值解釋不了這些問題。

3.2代表性文本可讀性指征的特點

本研究的80個文本經過Coh-Metrix TEA或Coh-Metrix工具測量后，得到以下6個變量：Grade Level數值，敘事性，句法簡約性，單詞具體性，指稱銜接，深度銜接。我們著重觀察Grade Level和敘事性兩個指征的特點。

圖3顯示的是不同數值段的Grade Level分別對應的文章篇數。集中分布在6-9和9-12兩個數值段的文章數量高達54篇，說明絕大多數篇章難易度約等于美國中學生的閱讀水平。分布于數值段12以上的篇數僅為3篇，說明達到美國大學生及以上閱讀水平的文章寥寥無幾。剩余23份文本的Grade Level數值在6以下，大致相當于美國小學生的閱讀水平。圖4顯示的是不同數值段的敘事性指征分布對應的文章篇數。27.5%的閱讀材料敘事性低于0.5，敘事性較強的閱讀材料數量占40%，剩余32.5%的閱讀篇章敘事性中等。

以上數據表明，我國大學英語教材閱讀選材基本以美國中學生閱讀水平為參照，所選閱讀材料中敘事性體裁文章占比偏多。相對于說明性、勸說性和描述性等類型的語篇，敘事性語篇更偏向日常口語化，這樣的選材標準對培養具有國際視野和更高綜合文化素養的大學生是非常不利的。在信息技術飛速發展以至于高度全球化的今天，大學生要閱讀的英語文本遠不止故事類的敘事性文章，更多應接觸的是純正英文文字資訊，如新聞、專業相關的學術文獻、生活技能類的說明書等閱讀素材，甚至瀏覽國外高校網站。學生英語學習僅達到美國中學生閱讀水平，且體裁多樣性不足，完全達不到能流利閱讀并較好理解上述素材的要求。

3.3文本可讀性指征間的相互關系

經過Coh-Metrix TEA或Coh-Metrix工具測量后獲取的6個變量分別用V1到V6對應指代：V1 - Grade Level數值，V2 - 敘事性，V3 - 句法簡約性，V4 - 單詞具體性，V5 - 指稱銜接，V6 - 深度銜接。將所有變量數據導入VassarStats網站中的Matrix of Intercorrelations模塊進行典型相關分析，四冊書各變量間的相關系數（r）計算結果見表1。其中每個變量對應的觀測值（observations）均為80個。

關于相關系數的聯系強度，相關系數的絕對值小于或等于0.39被認為低相關，介于0.40和0.69被認為中等相關，大于或等于0.70為高相關[14]。從計算結果可以看出，存在高相關的變量僅為V1和V2，呈現負相關。相關性其次的是V1和V3，以及V2和V5，相關強度中等。前者為負相關，后者為正相關。其余變量間則呈現低相關或極低相關。值得注意的是，變量間的相關關系并非簡單的因果關系，兩者間是否或如何互相影響從相關系數中無法得到解釋。

表1的數據說明，閱讀篇章的文本Grade Level數值越高，敘事性數值越低，即敘事性較強的文體（如記敘文）文本難度相對較低。此外，從某種程度來說，文本Grade Level數值越高，句法簡約性越低，即難度越大的文本，句子表現為越復雜的結構。敘事性數值越高的文本對應的指稱銜接數值越高，即敘事性越強的文體，句子間、段落間或全文內的顯性銜接越緊密。這些顯性銜接表現為上下文用詞和觀點上的重疊（overlap），重疊關聯度越大文本信息越容易理解，讀者閱讀則會越輕松。這些數據在一定程度上解釋了體現文本難易度的Grade Level數值與篇章題材或體裁的相關性。

圖5 ? Book2， U5-B文章“Dreams That Came True”的文本可讀性指征數據

以Book2 U5-B文章“Dreams That Came True”為例。圖5為將文本輸入Coh-Metrix TEA工具后得出的文本可讀性相關指征計算結果，以橫向柱狀圖呈現。還計算出了Grade Level數值2.6，并配有簡短的結果解釋。該文體裁為敘事性強的短篇故事，話題較為輕松，較多地使用具體的、比較熟悉日常的實詞，句子結構相對簡單，用詞和觀點有不少重疊，種種特點使得文章可視化特征更強，更易于理解。

4.結語

大學英語教材閱讀材料的選擇并非易事，卻是教學三要素的重要內容之一。本研究顯示，單從閱讀篇章文本難易度角度看，《新編大學英語綜合教程》（第3版）四冊學生用書之間基本呈現梯度遞進的選材方式。然而，每冊內部各單元的閱讀篇章并未呈現梯度遞進，Grade Level數值的趨勢變化曲線雜亂無章，毫無規律可言。雖然學界有觀點認為同一冊教材內部的課文難度系數應保持穩定[15]（109-113），但是該套教材單冊內部的難度指標變化依然未達到要求。

篇章的難易度指征Grade Level數值不是衡量文本可讀性的唯一標準，除了傳統的衡量指征句長和詞長外，文本可讀性還與體裁、顯性語言銜接性、深層邏輯連貫性等方面存在一定關聯。通過重點研究代表性的文本可讀性指征得出結論，當前大學英語教材選材難度偏低，體裁不夠全面，不能很好地實現讓學生擁有較強的英語實際應用能力這一目標。

更全面的文本可讀性指征的衡量可以由Coh-Metrix這一自然語言計算工具實現，使文本可讀性測量更加量化具體、科學合理。本文的第三個研究問題發現，這些指征間存在一定的相關聯系。敘事性較強的文體（如記敘文）文本難度相對較低;從某種程度來說，難度越大的文本一定程度上表現出越復雜的句子結構，敘事性越強的文體，句子或段落間的顯性銜接越緊密。

現階段大學英語教學改革中，教學材料的選擇是決定改革成效的首要環節。對于大學英語教師和教材編寫者來說，教材閱讀篇章的選擇除了保證難易度的合理梯度遞進之外，還要綜合考慮可讀性的其他相關指征。

參考文獻：

[1]楊港，陳堅林.2000年以來高校英語教材研究的現狀與思考[J].外語與外語教學，2013（2）.

[2]辜向東，關曉仙.CET閱讀測試與大學英語閱讀教材易讀度抽樣研究[J].西安外國語學院學報，2003（3）.

[3]李華東，吳楠，杜馭炎.大學英語教材學術詞匯覆蓋率研究——以《新編大學英語綜合教程》為例[J].杭州電子科技大學學報（社會科學版），2019（5）.

[4]項凝霜，杜馭炎.大學通用學術英語教材學術詞匯覆蓋率研究[J].海外英語，2020（7）.

[5]Snow C. Reading for Understanding： Toward an R&D Program in Reading Comprehension[M]. Santa Monica， CA： RAND Corporation， 2002.

[6]Graesser A， D McNamara， M Louwerse & Z Cai. Coh-Metrix： Analysis of Text on Cohesion and Language[J]. Behavior Research Methods， Instruments & Computers， 2004（36）.

[7]McNamara D S， M M Louwerse & A C Graesser. Coh-Metrix： Automated Cohesion and Coherence Scores to Predict Text Readability and Facilitate Comprehension[R]. Grant Pro-

posal. Retrieved October 10th， 2005， at http： //cohmetrix. memphis.edu/cohmetrixpr/archive/Coh-MetrixGrant.pdf.

[8]Graesser A C， D S McNamara & J M Kulikowich. Coh-Metrix： Providing Multilevel Analyses of Text Characteristics[J]. Educational Researcher， 2011（5）.

[9]Dowell N M M， A Graesser & Z Cai. Language and Discourse Analysis with Coh-Metrix： Applications from Edu-

cational Material to Learning Environments at Scale[J]. Journal of Learning Analytics， 2016（3）.

[10]Crossley S A & D S McNamara. Computational Assessment of Lexical Differences in L1 and L2 Writing[J]. Journal of Second Language Writing， 2009（2）.

[11]江進林.Coh-Metrix工具在外語教學與研究中的應用[J].中國外語，2016（5）.

[12]潘筱.大學英語精讀教材與CET4閱讀材料易讀性的比較[J].文教資料，2019（2）.

[13]文旭，莫啟楊.框架與話語理解[J].外文研究，2013（1）.

[14]Grimm L. Statistical Applications for the Behavioral Sciences[M]. Hoboken， New Jersey： John Wiley & Sons，1993.

[15]陶麗，王臘寶.新一代大學英語教材的需求分析與反思[J].外語學刊，2013（6）.

基金項目：2018年浙江省教育廳一般科研項目“基于Coh-Metrix文本語言測量工具的高考英語作文文本特征研究”（Y201840182）;杭州電子科技大學2018年度高等教育教學改革研究一般項目“Coh-Metrix工具在大學英語精讀課寫作教學中的應用探究”（YBJG201862）。

通訊作者：杜雙炎