英文文本難度自動測量系統的研制與開發

【摘要】信息化教學條件下實現英文文本難度的自動化測量對于豐富教學資源，優化教學過程，促進外語教學都有著重要意義。該文介紹了一種新型的英文文本難度測量方法，該方法擺脫了傳統方法中僅僅依靠詞長、句長等變量進行測量的局限，通過英語文本的信息計算實現文本難度的自動測量，實驗結果表明該方法的測量準確性明顯優于傳統方法。此外，還研制開發出面向用戶使用的英文文本難度自動測量系統IRMS（Information-based Readability Measuring System），實現了文本難度的自動測量。

【關鍵字】文本難度；自動測量；外語教學；語言技術；系統開發

【中圖分類號】G434 【文獻標識碼】B 【論文編號】1009—8097（2008）06—0079—07

一 引言

外語教學一直都是教育技術最為關心的領域之一，利用先進的信息技術手段優化外語教學過程，豐富外語教學資源，提高外語教學效率和效果，也一直是現代教育技術追求的目標[1]。尤其是在互聯網出現之后，網絡資源的極大豐富和信息技術手段的快速發展，更為教育技術搭建了更為寬廣的舞臺，同時也對教育技術提出了更高的要求[2]。在這種背景下，如何利用信息技術手段，高效地收集、處理、應用各類文本資源，更好地為外語教學服務，成為教育技術研究的重要課題之一。在這其中，高精度地自動判定英語語篇難度，從而將豐富但又繁雜的英語文本資源進行有序化處理，轉變為可供教學使用的教學資源又是此類研究的重要內容之一。

二 文本難度自動測量的研究意義

英文文本難度研究發端于教學需要，第一個文本難度測量公式就是為了滿足美國高中理科教師的需要而研制開發的[3]。這些教師希望能夠對理科教材的語言難度進行測量和控制，從而使教材中的語言簡單明了，以減少由于語言而給學生帶來的學習困難。

文本難度研究對于教學的主要貢獻就是它能夠促進個性化教學和自主學習的開展。個性化教學的目標是要能夠根據每一名學習者的具體學習水平、認知特點等，提供特定的教學和輔導，從而開展針對性教學，提高教學效率。在傳統的大班閱讀教學中，同一年級的學習者都使用同樣的閱讀材料，很難體現出學習者之間的差異。根據前蘇聯著名心理學家Vygotsky的最近發展區理論[4]（Zone of Proximal Development，簡稱ZPD），在教學時，應該首先確定教學材料的難度，選擇難度稍高于學習者當前水平的教學材料，這樣的教學就會發生在學生的最近發展區內，其效率最高，效果最佳。對于以學生為主體的自主性學習而言，文本難度研究會為學習者提供更加豐富和有針對性的閱讀材料，幫助學習者有效開展自主學習，提高學習效果。

近年來，隨著網絡的迅速發展，網絡上出現大量的文本資源，如何有效地對這些真實文本進行文本難度測量和標注，從而為閱讀教學提供適合的真實文本正成為研究熱點。美國卡耐基－梅隆大學的語言技術學院正在開展的REAP（REAder-specific Practice）項目（http://www.lti.cs.cmu.edu）就是基于網絡文本，通過開發適合網絡文本的文本難度測量模式，從而實現對網絡文本的自動難度測定和劃分，并將難度標注后的文本有針對性地用于教學，該項目受到了美國教育部的資助，并已經取得了階段性的成果[5]。

文本難度的研究成果除了在教學領域內得到廣泛應用外，在其他領域也得到應用，例如在測量軍事訓練手冊、保險條約、借貸合同、新聞報道等的文本難度方面都有文本難度公式的參與[6]。Flesh-Kincaid文本難度測量公式就是美國國防部使用的標準文本難度測量公式，并且該公式也被內置于Microsoftreg; Office Word ，幫助用戶自動測量英文文本難度指數[7]。

總結文本難度的研究意義具體可以體現在以下幾個方面：

1有利于更加科學規范地選擇教學材料。用戶可以利用文本難度測量系統，大規模地對教學材料進行測量，然后對各個難度范圍內的材料進行選擇，這樣既可以提高選材效率，又提高了選材的科學性。

2有利于更加科學合理地開展教材評價。用戶可以利用文本難度測量系統對現有的教材難度進行測量，并結合實際應用，對現有教材進行評價和改進。

3有利于其他非英語語種開展文本難度研究。本課題采用的基于信息計算的研究方法是以往任何文本難度研究所沒有采取過的，是對傳統研究方法的一種突破。同時，這種方法具有普適性，即其他非英語語言同樣可以利用這種方法開展本語種的文本難度研究。

4有利于優化教學過程。文本難度測量系統的開發不僅可以對教材選擇和評價提供幫助，同時也會對學習者評估自我學習能力，尤其是閱讀理解能力提供輔助作用，從而支持以學習者為中心的個性化學習方式，優化整個教學過程，提高教學效率。

5有利于豐富和優化網絡教學資源。網絡存在的大量文本資源必須經過有序化處理之后才能夠成為真正的可被利用的資源，文本難度測量系統可以從文本的難度等級分類方面為網絡資源的有序化做出貢獻，從而使網絡教學資源更加豐富和優化。

總之，文本難度的自動測量研究是輔助現代外語教學，尤其是支持自主性學習的重要輔助手段，同時也是為其他相關領域服務的基礎性研究工作，該研究工作的開展必然會對現代教學工作以及其他相關工作起到重要的推動作用。

三 文本難度自動測量的相關研究工作

1國外研究開發情況

英語文本難度研究開展最多也最為成熟的國家是美國。美國在1923年就開發出第一個文本難度測量公式，其后文本難度研究發展迅速，大量的文本難度公式紛紛出現。其研究可以分為三個階段：

（1） 20世紀20年代至20世紀50年代：在這個階段，文本難度的測量主要依靠手工進行，研究者通過手工抽樣文本并統計文本的特征，從而提煉出測量公式。由于受到手工限制，取樣范圍有限，測量公式粗糙，測量準確性低。

（2） 20世紀50年代至20世紀90年代：在這個階段，文本難度研究對象與計算機前階段基本相同，主要是教材、手冊、合同等類型的文本，研究方法也是沿襲傳統方法，但是有了計算機支持，可以進行大規模計算，提高了測量結果的準確性。

（3） 20世紀90年代至今：在這個階段，文本難度的研究受到網絡發展的深刻影響，文本難度的研究對象得到了相應擴展，從原有的傳統形式的文本發展到海量的網絡文本，傳統研究方法也有了進一步創新。其重要代表就是由美國教育部資助，卡耐基－梅隆大學主持開展的REAP項目研究。

2 國內研究開發狀況

由于中國國內有大量的英語學習者，所以英語文本難度的研究也備受關注[8]。重慶大學根據Flesh Reading Ease公式開發出文本難度測量應用系統，并在該系統中增加了不同難度等級（大學英語四級、大學英語六級等）詞匯的統計分析功能[9]。國內有些研究者利用語料庫檢索軟件和國外傳統的文本難度測量公式，針對教材、閱讀測試文本等進行文本難度測評[10] [11] [12]。

3 對國內研究的評價

盡管文本難度的研究在我國受到眾多關注，但真正由我國研制開發的文本難度測量模型和工具卻還沒有見到報道。在過去的研究中，國內大部分研究者采用了美國Flesh Reading Ease 公式作為測量文本難度的公式，結論分析也都是基于該公式的評估標準。但由于該公式的自身局限性，以及該公式是針對美國人的閱讀能力和特點而構建的，完全將其照搬到我國的文本難度測量中，而不考慮中國學習者在學習英語過程中的實際情況，必然會造成測量結果的不可靠。

4 傳統研究中存在的不足

國內外有關文本難度自動測量的研究雖然取得了很多成果，并研制開發出諸多文本難度測量公式，但由于傳統研究方法的局限性，其研究成果也存在很多的不足，主要表現在：

（1） 測量準確性不高：傳統測量公式只是簡單地利用詞長、句長或是詞匯的難度分布來測量文本難度，而沒有深入探究語言的內部規律對于文本難度的影響，因此其測量結果的準確性不可避免地受到嚴重影響。

（2） 測量變量缺失：傳統測量沒有能夠將閱讀環境因素與讀者因素對于文本難度的影響考慮在內，因此造成測量變量的缺失。

（3） 應用范圍狹小：傳統測量公式都有著專屬的應用領域，超出這個領域就難以保證測量結果的準確性。

以上這些不足在本研究中都給予了關注并獲得了較好的解決。（1）本研究利用自然語言處理技術，使用信息計算的方法對文本的難度進行測量，這種方法更加符合閱讀規律，更能夠反映文本難度特征，因此測量準確性得到了提高，這從實驗報告中可以明確看出；（2）本研究利用語料庫構建能夠反映讀者語言使用特征的統計語言模型，利用文本信息量反映閱讀時間對于文本難度的影響，利用二元接續關系反映語序對于文本難度的影響，這些都是傳統研究中缺失的測量變量；（3）本研究的測試對象不僅包括傳統研究可以測試的規則文本，還包括傳統研究難以測量的短文本、語序混亂文本、文法錯誤文本等，擴大了難度測量的應用范圍。這些工作都使得本研究具有傳統研究所不具有的特點。

四 基于統計語言模型的文本難度測量方法

針對傳統研究中存在的問題，我們認為，要提高文本難度自動測量的準確性和適用范圍就必須從研究方法層面有所突破，必須拋棄單純依靠詞長、句長、詞語難度分布等變量進行文本難度測量的研究取向，利用依靠新的研究方法解決傳統研究不能夠解決的諸多問題。本課題中采用了基于信息計算的研究方法開展文本難度自動測量的研究工作。

1 信息論簡介

信息計算的理論基礎是信息論，信息論創始人香農在概率統計的基礎上給出了信息的定義，其內容是：“信息是消除了的不確定性” [13]。這一定義是從信息對信宿的作用的角度做出的，具有相對性、功能性和量化性特征，并在自然語言處理中得到廣泛應用。對于文本難度的自動測量而言，我們認為如果能夠定量的對文本的信息進行測量，那么就可以根據文本信息量的大小就對文本難度進行估計，而這種根據文本信息量的難度估計更符合人的認知規律，也符合實際閱讀經驗，因此從理論基礎和方法論上要優越于傳統的簡單測量詞長、句長的方法。

2 信息論在自然語言處理中的應用

基于信息計算的文本難度測量模型就是根據以上三個信息變量，在訓練語料的統計學習基礎上構建出來的。

上述方法中建立的2元統計語言模型以及提出的3個信息變量在研究方法的層面較好地解決了傳統研究中忽視語序因素、讀者因素和環境因素對于文本難度影響的問題，將語序、讀者與環境都納入到了測量之中，提高了測量模型的效果，也擴大了測量范圍。

4 研究路線

本研究采用了目前自然語言處理研究領域主流的基于統計語言模型的研究方法，依靠大量的語料資源構建語言模型，然后根據語言模型在人工標注好的訓練語料上進行文本難度測量模型的訓練，最后開發出面向用戶的文本難度測量應用系統。

具體過程是，首先利用BROWN、LOB、FROWN、FLOB等四個總計400萬詞的平衡語料庫構建n元（n＝1，2，3）概率語言模型，并計算出所有n元組的信息量；然后選擇《新概念英語》（1－4冊）[14]的所有文本作為訓練語料，根據教材使用說明，按照教材中語篇的不同冊次、篇次，將所有語篇劃分為不同的難度等級并予以標注；利用信息計算方法和自然語言處理技術，確立詞熵、句熵、語篇信息量等概念，并在訓練語料上對這些變量進行測量；對測量結果進行分析，得出這些變量與文本難度之間的相關性關系，從而確定與文本難度最為相關的測量變量；然后利用訓練語料的測量數據和最小二乘法，構建不同語言模型下的文本難度測量公式；最后利用Visual Studio .NET2005開發環境開發出面向用戶的文本難度測量應用系統，并對測試語料進行測試，檢驗文本難度測量模型的可靠性和準確性。

主要路線圖如下：

5 測量系統的效果檢驗

為了測試本課題的文本難度測量模型的測量準確性和適用性，我們選定了《大學英語》（1-6冊）作為測試語料，對模型進行檢驗。

（1） 測試步驟

● 根據測試語料的類型對其進行難度標注，區分出不同的難度等級

● 利用本課題開發出的文本難度測試模型對測試語料進行測量，得出文本難度系數

● 對文本難度系數和測試文本的難度等級進行相關性分析，計算二者之間的Pearson相關系數和顯著性水平（sig.=0.01）

● 與傳統測量公式（本課題選用ARI測試公式）進行對比研究，比較二者結果與難度等級的相關性水平

（2） 測試結果

注：表中“本課題模型測量值”與“ARI公式測量值”都是沒有進行歸一化的測量值，由于各自公式所選取的測量基準不同，因此測量值的絕對數值是不同的，但是我們關注的是測量值的相對數值，例如，第二冊相對第一冊難度提升了多少，整體的難度分布是什么樣的，與人工確定的難度等級相關性如何，從這個角度講二者盡管在絕對數值上不在同一個數量級，但從相對數值上而言是具有比較基礎的。如果需要將二者放在同一個數量級進行比較，那么只需分別對二者進行歸一化處理即可。

從以上對大學英語（1－6冊）測試語料的測量結果中可以看出：本課題模型的測量結果與難度等級的相關性（0.849）要遠遠高于ARI模型的測量結果（0.580），表明本課題的模型測量出的難度分值與預估的難度等級具有高度相關性，其相關性高于傳統的ARI測量模型，也就說明，本課題模型在測量教材難度等級方面比傳統測量模型具有更高的準確性。

五 應用系統介紹

1 測量流程

下圖給出了利用IRMS系統進行文本難度測量的整個過程。

程序啟動后，首先進入初始化頁面，選擇需要加載的語言模型，選擇后進入程序主頁面，開始語篇的文本難度測量工作。在主頁面中，首先選擇需要測評的語篇，然后進行語篇信息參數以及語篇難度的統計分析，分析結果顯示在右側窗體內。如果需要對另外一篇文檔進行操作，則重新選擇文件，其后操作同上。

2 用戶界面介紹

（1） 初始化頁面

初始化界面的主要功能是向用戶提供備選的語言模型，用戶根據語言模型的特點和任務需要進行選擇，然后加載程序，本系統默認使用2元模型進行語篇文本難度測評。

（2） 主程序界面

● 2元模型系統文本測試前的頁面

● 2元模型系統文本測試后頁面

在主程序頁面，用戶可以對文本進行文本難度測量，測量結果包括難度系數以及適合讀者群，還包括文本的基本信息參數，如詞型數、類型數、句子數、詞熵、句熵、語篇信息量等參數值，以及每個2元組的信息量及其在語篇中的出現次數，此外，系統還提供了傳統測量模型ARI（Automated Readability Index）的測量結果，以便比較使用。

六 結語

本課題以信息計算為基礎，在總結和分析傳統文本難度研究的基礎上，研制出新的文本難度測量模型，并開發出相應的測量系統，為文本難度的研究提供了一套新的思路和方法，所研制出的測量模型在測量準確性、適用范圍等方面都超過了傳統文本難度測量公式，具有較強的理論意義和實用價值，為深度利用網絡資源，開發信息化的外語教學系統提供了重要支持。

參考文獻

[1] 邢富坤. 語料庫:值得教育技術學關注的新型學習資源[J].解放軍外國語學院學報，2006，(2).

[2] 邢富坤. Web語料庫及其特征初探--與傳統語料庫的對比研究[J]. 外語電化教學，2006，(2).

[3] Beverly L. Zakaluk and S.Jay Samuels. Readability: It's Past， Present Future[J]. The International Reading Association， 1988.

[4] Vygotsky，L.Mind and society [M]. Cambridge， MA: Harvard University Press， 1978.

[5] Kevyn Collins-Thompson and Jamie Callan. A Language Modeling Approach to Predicting Reading Difficulty [J]. In Proceedings of the HLT/NAACL 2004 Conference Boston， 2004.

[6] Klare. A Second Look at the Validity of Readability Formulas [J]. Journal of Reading Behaviour， 1976.

[7] FrymE. A readability formula that saves time [J]. Journal of Readingm1990.

[8] 李紹山. 易讀性研究概述[J]. 解放軍外國語學院學報， 2000， (4).

[9] 晏生宏. 英文易讀度測量程序開發探索. 重慶大學學報[J]. m2005， (2).

[10] 錢毓芳，顧群超. 大學英語易讀性的調查[J].浙江師大學報(社會科學版)， 1999， (3).

[11] 林錚. 英文易讀性的測定[J].外語教學與研究，1995，(4).

[12] 解晶. 大學英語四、六級考試和研究生入學考試中閱讀理解的對比分析[J].大連海事大學，2001，(2).

[13] 常迥. 信息理論基礎[M]. 清華大學出版社，1993.

[14] Alexander，L.G.何其莘. 新概念英語(新版)(1-4)[M]. 外語教學與研究出版社，2005.