計算機技術在語言學中的應用探析

[摘 要] 在語言學中，計算機技術更能大顯身手。在過去的語言學研究中，語料庫需要手工編纂整理，耗時耗力，而如今所有的數(shù)據(jù)采集處理匯總?cè)坑捎嬎銠C完成，人們只需要編寫和維護程序就可以達到建立一個龐大語料庫的目的。而作為批改等評分體系而言，則更具有準確性和高效性，國內(nèi)外眾多的大型英語類考試就應用了這一系統(tǒng)。文章通過對于自動評分系統(tǒng)的發(fā)展、自動評分系統(tǒng)構(gòu)建、語言學原理技術等進行分析，模擬對自動評分系統(tǒng)的建立及其優(yōu)缺點進行評判，分析自動評分系統(tǒng)的差距與不足以及發(fā)展前景。

[關鍵詞] 發(fā)展；五大發(fā)展理念；繼承與超越

[中圖分類號] TP399 [文獻標識碼] A [文章編號] 1002-8129（2017）01-0069-03

1943年，世界上第一臺計算機在美國面世，它重達5噸并且由7500萬個零部件組成。它十分笨重且無法進行過于復雜的計算。隨著科技的日新月移，計算機越來越小巧化，越來越多功能化。現(xiàn)在的計算機技術不僅僅滿足了人們進行復雜運算的需求，還可以進行更加深層復雜的算法計算，并向著人工智能的方向發(fā)展。計算機技術也更多地應用于語言學研究的領域。在語言學中，主要有以下幾個方面的應用：

一、語料庫

初期的語料庫是一種收集了各種英語語言材料的數(shù)據(jù)庫，這一收集整理工作很長時間以來是依靠人力完成的。而現(xiàn)在利用計算機技術，語言材料的收集整理有了全新的更加便捷的處理方式。布朗語料庫被視為是第一代語料庫的代表，它所包含的語言材料數(shù)目很小，大約只有一百萬左右。20世紀80年代，第二代語料庫誕生了，這一代的語料庫的材料數(shù)目已經(jīng)遠大于第一代，而且還增加了各種不同的條目。到了20世紀90年代，語料庫發(fā)展到第三代更加商用的語料庫，通常包含有數(shù)十億的詞匯及材料，而且還在運用更加先進的技術對其進行完善。

二、機器翻譯

機器翻譯的研究已經(jīng)歷經(jīng)近五十年，許多新理論、新方法、新技術不斷出現(xiàn)。隨著商用語料庫的出現(xiàn)，機器翻譯有了突破性的進展，發(fā)展出了統(tǒng)計學方法以及實例方法。雖然這個領域有長足進步，但機器翻譯仍舊存在著很多的問題，這不僅是計算機領域所要進行的突破，更是語言學方面需要做出的努力。

三、自動作文評分系統(tǒng)

自動作文評分系統(tǒng)（Auto Essay Scoring System，AESS）是計算機領域在語言學方面的又一重要應用。寫作任務是大范圍語言測試的重要部分之一，幾乎在所有層次所有類型的大規(guī)模語言考試中都能見到。它可以測試出受試者對于這一門語言的掌握情況。而對于寫作任務的評分而言，一是需要大量的人力物力來支持，二是由于個體的差異會導致評分結(jié)果的主觀性較強，信度和效度不高。而計算機技術的發(fā)展與應用，為解決上述的兩個問題提供巨大的幫助。

上述內(nèi)容是對于計算機技術在語言學方面應用的一個簡單回顧，下面著重介紹計算機技術在自動作文評分系統(tǒng)中的應用。

Page是自動作文評分系統(tǒng)領域的先驅(qū)，他在1966年創(chuàng)造Project Essay Grader （PEG）系統(tǒng)，用以更加方便快捷地解決大范圍語言考試中作文部分的評分任務。而當時的評價系統(tǒng)僅僅是通過對于特定文本特征分析來對作文進行評分，評分依據(jù)相對單一。直到1990年后，這一領域的研究瓶頸才被突破。隨著自然語言處理技術以及信息檢索技術的發(fā)展，自動作文評分系統(tǒng)領域的研究重新?lián)Q發(fā)活力。在20世紀90年代，Educational Testing Service （ETS）開始研發(fā)第一代ETS。盡管作文的內(nèi)容還尚未納入評分系統(tǒng)的考核范圍之內(nèi)，且它只能判定20個詞以內(nèi)的句子，但它已經(jīng)能夠通過直接的評價手段來對作文進行評分。在20世紀90年代末，3個全新的自動作文評分系統(tǒng)出現(xiàn)了：①Intelligent Essay Assessor （IEA）更加重視作文內(nèi)容方面的評判。②Electronic Essay Rater （E-rater） 是基于第一代ETS的新的系統(tǒng)，它綜合考量文章結(jié)構(gòu)、句子結(jié)構(gòu)以及文章內(nèi)容。③Intelligent Metric （IM） ，是第一個運用人工智能技術，將作文的風格及內(nèi)容綜合考慮并進行評分的系統(tǒng)。

大致了解了自動作文評分系統(tǒng)的發(fā)展之后，我們著重介紹一下自動作文評分系統(tǒng)中所運用到的計算機技術。

Page將作文評分劃分為兩個部分，一是對于內(nèi)容的評分；二是對于語言特征的評分。前者更加重視文章所描述的具體內(nèi)容而后者包括句法、寫作機制、措辭及表達等。爭論的焦點在于這兩個方面應該綜合起來進行考慮，不應該孤立地考量，將二者綜合考慮這一觀點已經(jīng)被現(xiàn)在的大多數(shù)學者所接受。

自動作文評分系統(tǒng)綜合運用了統(tǒng)計學方法、自然語言處理技術、信息檢索技術以及文本聚類技術等。其中最重要的統(tǒng)計技術又包括了簡單的關鍵字分析、特殊文本特征分析、潛在語義分析及文本歸類技術。

（一）特定文本特征分析技術

這一技術最初于1966年被Page用于PEG系統(tǒng)當中。Page認為作文的特征是由文本特征所表現(xiàn)出來的，且這些文本特征可以被衡量。舉例來說，在一段文字可以通過它的句子長度來表現(xiàn)，句子結(jié)構(gòu)的復雜程度可以通過介詞及關系代詞等詞匯的數(shù)量來量化考察。而作者的詞匯水平可以通過檢測文章中詞匯長度的變化情況得出相應結(jié)果。為了實現(xiàn)AES系統(tǒng)，Page運用變量分析法，其中變量即為可被計算機直接量化并計算的特定的文本特征。

（二）潛伏語義分析技術

潛伏語義分析技術的中心思想十分簡單，一方面段落的含義很大程度上決定于其中所包含的詞匯，一旦一個詞匯被替換掉，整個段落的意思都可能會發(fā)生改變。另一方面，兩個段落的意思與兩個段落間所包含的不同詞匯有著很大的關系。簡而言之即為：詞義1+詞義2+……+詞義n=段義。

潛伏語義分析是一個被用于文本索引及信息檢索的復雜技術，它的穩(wěn)健性很好且可以幫助找出不同文本中的詞匯間的潛在關系。在潛伏語義分析技術中心，它將每一篇文章做一個特定的向量，列向量對應于文本特性而行向量對應于文本特征如詞、句、段等。對文章評分貢獻不大的詞匯就會被舍去以降低研究范圍、減小計算量。

（三）自然語言處理技術

這一技術最早被應用于E-rater系統(tǒng)中，這一系統(tǒng)運用此技術來分析文章中的每個句子。舉例來說，詞性標注器賦予了每個單詞以詞性，爾后在文本分析器中分析句子結(jié)構(gòu)，在分析儀中分析了文章的段落結(jié)構(gòu)。運用了這項技術的評分系統(tǒng)中包含五個獨立模塊來完成評分。它們中的三個通過識別特征作為評分標準，它們是句法模塊、段落模塊及主題分析模塊，分別用以分析句法復雜性、行文思路以及詞匯能力。第四個模塊是選擇分配各個特征所占據(jù)的權(quán)重，最后一個模塊用以綜合計算最終的分數(shù)。

（四）文本歸類技術

這一技術主要用于對文章中所出現(xiàn)的詞匯、句法等元素進行分類提取，并建立出相應的語料庫，用于為評分系統(tǒng)提供一個基本數(shù)據(jù)庫來提取要素并進行比對分析，再結(jié)合其他方法進行最終的評分。

隨著計算機技術的發(fā)展，自動作文評分系統(tǒng)逐漸走向完善，隨著技術的提升以及語言學方面通過語篇分析得到的要素提取，自動作文評分系統(tǒng)也越來越廣泛地為大范圍的語言測試提供了可靠的分數(shù)測評。盡管如此，自動作文評分系統(tǒng)同人工評分仍有著不小的差距，怎樣減小個體的誤差，更準確更具針對性的進行評分，這是下一步自動作文評分系統(tǒng)的發(fā)展方向，相信隨著人工智能技術的日益進步，未來的自動作文評分系統(tǒng)會更加完備，能夠早日讓人類放心地將作文批改的任務完全交付于計算機。

[責任編輯：曾 菡]