結合語言學特征和自編碼器的英語作文自動評分①

魏揚威, 黃萱菁

?

結合語言學特征和自編碼器的英語作文自動評分①

魏揚威, 黃萱菁

(復旦大學計算機科學與技術學院, 上海 201203) (復旦大學上海市智能信息處理重點實驗室, 上海 201203)

近年來, 越來越多的大規模英語考試采用了自動評分系統. 因此, 對英語作文自動評分的研究有著非常重要的價值. 我們先依據英語作文寫作技巧提取了大量語言學特征, 再分別使用自編碼器, 特征值離散化方法對特征進行重構, 最后我們使用分層多項模型來輸出文章的最終得分. 實驗表明, 該方法能取得很好的預測效果, 而且面對不同主題的作文進行預測時也能顯示出較好的魯棒性. 相比于傳統自動評分方法皮爾森相關系數高出9.7%, 具有良好的實際應用價值.

自動評分; 自編碼器; 離散化; 文本特征提取

英語作文自動評分使用自然語言處理相關技術, 讓計算機系統對于目標文章給出合適的得分. 隨著很多英語等級認證考試報名人數的增加和計算技術的發展, 一些自動評分的軟件已經正式被使用. 國外最有代表性的自動評分系統有: Project Essay Grade(PEG), 于1966年由美國的杜克大學(University of Duke)的Ellis Page等人開發[1]; intelligent Essay Assessor(IEA), 由美國科羅拉多大學(University of Colorado)開發[2]. e-rater評分系統, 已經正式被用來評測TOEFL和GRE考試中文章的質量[3]. 性能優異的自動評分系統結合文本糾錯的功能[4,5]能減少人的工作量, 極大地節約人力物力資源.

英語作文自動評分的方法研究一直是一項具有挑戰性的, 且不斷被完善的任務. 1996年Arthor Daigon通過對文章語言形式的考察進行文章質量評測[6]; 1998年, Leah S. Larkey使用了基于文本分類的方法取得了性能的提升[7]; 2011-2014年, Isaac Persing和Vincent Ng等人發表了一系列的文章, 使用了回歸方法分別從文章的組織結構[8], 文章和對應主題的相關性[9], 還有文章表達的清晰度方面[10]對文章質量進行評估; 2013年, Hongbo Chen和Ben He使用了排序的方法, 通過先對文章質量進行排序再進行劃分等級來對文章評分[11].

自編碼器(autoencoder)是人工神經網絡的一種, 通常用來學習特征的有效編碼. 2006年Hinton發表在science上的文章[17]提出了自編碼器, 引發了這幾年科學界對人工神經網絡研究的熱潮. Hinton在文中使用了自編碼器對圖像的特征矩陣進行壓縮編碼. 自編碼器也可以用于我們的英語自動評分任務, 一方面可以降低特征的維數, 另一方面可以通過重構捕捉到原始特征中最重要的信息.

1　自編碼器

一篇英語作文的原始特征直接用來進行分類或者回歸, 往往很難得到很好的評分預測結果. 我們可以先使用自編碼器對原始特征進行重編碼, 再使用編碼結果來對文章的評分進行預測.

自編碼器主要是學習一個近似等式:

這里的X表示輸入矩陣, w表示權重矩陣, b表示偏置. 自編碼器包括編碼和解碼的兩層結構. 通過編碼可以得到特征的另外一種表示方式, 再通過解碼將編碼結果還原出來. 如果最終輸出的還原結果和輸入非常接近, 那么編碼結果就可以看成是輸入的近似代替.

自編碼器的意義不在于還原輸入數據, 而是體現在對隱層神經元的限制. 如圖1所示, 為了進行壓縮編碼, 我們將隱層神經元的數量設置為2, 這樣就可以將輸入的5維特征壓縮到2維. 當隱層神經元的數量大于輸入特征的維度時, 可以得到特征的高維稀疏編碼結果.

顯然, 自編碼器的目標函數是輸出結果和輸入之間的重構誤差盡可能小. 其計算公式如式(2)所示:

當然, 為了避免系統的過擬合, 我們還要加入一個正則化項來控制模型的復雜度增長:

(3)

如果我們訓練的是稀疏自編碼器, 需要在目標函數中再增加一個約束項, 控制模型的稀疏性. 這里引入激活的概念, 如果最后傳遞函數的輸出結果非常接近于0, 那么我們認為該神經元沒有被激活. 而如果最后傳遞函數輸出的結果接近于1, 那么該神經元被激活了. 通常來說, 傳遞函數為sigmoid函數:

或者是:

(5)

再引入稀疏性參考, 通常是一個非常接近于0的值, 比如0.05. 然后計算和的信息增益, 用來描述這兩者之間分布的差別.

(7)

其中, S2表示隱層中神經元的總數, j是對隱層神經元的索引. 對于稀疏編碼, 我們將上式的信息增益也作為懲罰項加入目標函數中. 因此對于稀疏自編碼器, 其目標函數為式(8)所示. 其中是一個系數, 表示對稀疏性懲罰的力度, 這個值越大表示對稀疏性要求越高.

在有了壓縮編碼和稀疏編碼自編碼器的目標函數之后, 我們可以進一步利用優化算法, 如梯度下降法, 來對目標函數進行優化以得到最優的網絡結構. 在英語作文自動評分任務中, 對于提取的原始特征, 我們可以進一步使用自編碼器進行重構. 通過控制隱層神經元的數量, 一方面壓縮編碼進行特征壓縮, 另一方面稀疏編碼將特征重構到高維.

2　特征值離散化

機器學習系統進行數據訓練時, 有時候會遇到少量的異常樣本. 比如英語作文自動評分任務, 其中一維特征是平均每句話中第一人稱代詞所占的比例. 這個比例不會太高, 一般來說低于0.25, 一些異常學生作文在該維取值可能達到了0.8, 0.9或者更高. 為了削弱這些異常樣本的影響, 我們可以使用不同的區間來對特征值進行分段. 比如這里我們可以取0~0.1, 0.1~0.2, 0.2~0.3, 0.3~0.4和0.4~1這幾個區間. 不論異常作文在該維度的取值是0.8還是0.9統統歸到0.4~1這個區間中, 其本身的特征值并不會加入系統訓練. 這樣可以大大減少異常樣本對系統整體性能的干擾.

特征離散化關鍵問題就在于分割區間的選擇[18], 不同的分割區間直接影響到系統的性能. 我們首先將所有樣本都歸為一個區間中, 使用信息增益的方式, 來決定是否進一步分割區間, 再遞歸地分割其每個子區間. 首先是特征對應的熵, 如式(9)所示:

其中是特征對應的取值的集合,是上取值F對應的比例. 下面我們使用分割邊界對特征劃分, 劃分之后其熵值計算方法為:

(10)

其中1和2分別是集合對應分割邊界的兩個子集. 因此信息增益為:

當然我們不能無限對特征值區間進行分割, 因此, 我們需要增加一個停止分割條件[19]:

(12)

其中,是集合中的元素個數, 使用以下公式進行計算:

其中表示中元素的個數,1和2分別表示1和2中元素的個數. 有了上述條件之后, 我們在對連續特征進行分割的時候就會逐漸收斂, 最終停止得到最優的分割結果.

離散化能夠進一步提升特征值的表達能力, 離散化之后的多維特征, 每個特征都可以有不同的權重, 因此特征的表達能力得到進一步提升, 系統更加穩定. 我們在進行自動評分時, 可以對于提取到的原始特征首先進行離散化, 離散化后的高維特征再使用自編碼器重編碼. 重構的特征最后分別使用支持向量機進行回歸或者分層多項模型進行分類, 以輸出一篇學生作文的最終得分.

3　文本的特征表示

一般地, 對英語作文的評價主要基于三個大的方面: 詞匯的使用, 即詞匯使用是否正確, 詞匯量是否豐富, 是否高級優美; 語法的使用, 即語法結構是否正確, 語法結構是否復雜(不能過于單一), 句子是否通順; 話語的長短和連貫性, 即句子和句子之間結構是否緊湊.

2002年Eli Hinkel研究了母語是英語的學習者和母語非英語的學習者的英語寫作在詞法、從句和句子間關系三個方面應用的差異, 提供了指導英語寫作的一些技巧[12]. 我們認為這些差異和技巧能反映英語學習者的文章質量, 因此從這些角度出發, 提取了一些語言學特征. 大多數現有的評分系統往往給出的只是簡單的特征, 如文章長度, 句子長度, 停用詞的個數. 但是這些特征都不能直接反應文章的寫作水平, 我們這里提取的特征, 每一項都旨在考察文章的表述能力和語言的運用能力, 更加細致地考察了作者的寫作功底. 因此, 我們的特征能更好地完成作文評分的任務.

3.1 詞法特征

詞法特征是對于英語寫作水平最基本的考察, 詞法的特征能反應文章作者對于詞匯和短語的掌握能力. 如表1所示, 其中列舉類、語言活動類、分析類、結果類和模糊類等是作者表述中常用的關鍵性名詞詞匯; 動詞的不同時態以及動詞不定式和動名詞能夠考察作者對于動詞形式變換的熟練程度; 形容詞和副詞在句法中常用作修飾成分, 能考察作者對于不同修飾詞其修飾程度的把握. 學生英語作文中詞匯量不能過于狹窄, 不能僅僅使用某一類的詞.

表1 詞法特征

3.2 從句特征

傳統的特征提取往往只有詞匯級別的考察. 但是僅僅考察作者對于詞法使用的能力是不夠的, 假如一篇作文通篇堆砌高級的詞匯或者精美的短語, 可是全部使用單一的簡單句、短句子, 按照作文評測的標準不能給予高分. 另一方面, 如果只考察詞匯, 系統很容易被學生作文刻意使用一些詞匯所欺騙[20]. 從句的特征考察的正是作者運用復雜句式的能力, 如果文章中使用的詞匯優美準確, 而且能夠很好地運用各類從句使句法不再單一, 這樣的文章是有理由給予較高分數的.

表2 從句級別的特征

3.3 句子間關系

如果作者的文章中對于詞匯和從句已經能夠很好的掌握, 可是句子和句子之間不連貫沒有邏輯, 我們顯然不能給予這篇文章很高的得分. 因此我們加入了句子間關系的特征, 用來考察作者文章對于前后句子連貫性句子間邏輯性的掌握. 如表3所示, 主要考察前后句的并列, 平行, 遞進, 因果, 轉折關系, 以及后一句是否是對前一句的說明或者限制. 以上就是我們全部的語言學特征. 首先從詞法方面, 考察了英語作文中對各類詞匯的掌握情況, 每類詞匯都有其特定的表達含義和語氣. 同時還考察了動詞和形容詞的詞法活用, 反映了學生對于基本的語法知識、句子成分的理解. 然后我們考察了英語作文中從句的使用情況, 各類從句運用得是否恰當能極大地反映英語寫作水平的高低. 最后考察的是句子的前后關系, 我們認為好的文章不僅要能有好的詞匯表達, 好的從句使用, 還要在文章的組織結構上要有一定的邏輯性, 連貫性. 其中從句級別特征和句子間關系特征在提取的時候, 我們先使用Stanford parser進行句法分析[13], 再從句法分析樹上進行匹配.

表3 句子間關系的特征

4　數據集

本項研究的數據集在kaggle上公開, kaggle是一個機器學習比賽的公共平臺, 我們可以免費注冊賬號下載其舉辦的比賽的訓練數據. 該數據集是7-10年級的第一語言學習者的英語作文, 一共包含8個子集, 每個子集都是獨立的數據, 獨立的主題, 平均文章長度都不同. 數據集概況見表1, 其中數據子集2在kaggle中給出了2項評分, 我們在這里選取了第1項評分, 即寫作應用項作為其最終得分.

表4 數據集

如表4中所示, 文章類型主要是論述類、敘事類、說明類和回答問題類. 論述文、敘事文或者說明文要求作者的文章描述一個故事或者新聞. 而回答問題類則要求作者先閱讀一段材料, 再根據閱讀材料最后給出的問題和要求寫一篇文章. 8個數據子集的主題各自不同, 其中, 子集1要求談論計算機對生活帶來的影響; 子集2是談論圖書館是否需要對圖書內容進行審查; 子集3-6是先閱讀材料再根據提示寫作文, 4篇材料也都不同; 子集7要求寫一篇關于耐心的故事; 子集8說明笑是人際關系中的一個重要元素, 要求寫一篇關于笑的文章.

5　實驗

5.1 實驗評測

(15)

(16)

其中A,E分別表示第篇文章的人工評分和系統評分,表示文章的總數. 皮爾森相關系數用來反映系統評分和人工評分的線性相關程度, 取值范圍在[-1,1]之間, 值越大說明相關性越高. 接近于0表示人工評分和系統評分幾乎沒有相關性, 接近于1表示人工評分和系統評分幾乎一致, 而小于0則表示人工評分和系統評分負相關.表示系統得分和人工得分之間的平均偏差,表示系統得分和人工得分之間的均方偏差. 相關系數用來作為最主要的評測指標, 平均偏差和均方偏差作為參考. 我們進行5折交叉驗證, 對于每個數據子集, 隨機切分成5份, 每次使用其中3份訓練, 在第4份上調整參數, 在最后1份上進行測試.

為了進行對比我們分別引入了兩個baseline系統, 其中baseline1系統是kaggle在該比賽中用的baseline, 使用文章的單詞數和文章的字符個數對文章的得分進行預測. 對于baseline2系統我們提取了一些目前系統中常用的特征, 文章的字符長度, 文章的單詞長度, 文章中疑問句和感嘆句個數, 高級詞匯個數, 拼寫錯誤個數, 停用詞個數, n-gram和POS n-gram等特征, 并且結合Hongbo Chen于2012年發表在IEEE上的文章[16]中使用的特征, 來進行評分.

5.2 特征效果對比

我們首先使用最簡單的方法來對比不同特征對于系統的影響, 直接用支持向量機(SVM)對于提取的特征進行回歸[14]. 具體使用的是libsvm[15].

表5 實驗結果

如表5中所示, 我們的語言學特征在這8個子集中的7個子集上取得了最高的人機評測相關系數. 下面我們看一下這8個子集上的整體評測效果, 因為每個子集的評分區間不同, 所以我們先對得分區間進行歸一化, 其公式如式(17)所示.

其中,表示文章的得分, max()表示所在子集的最高分, min()表示所在子集的最低分.

歸一化之后, 我們再來看8個子集上的整體效果. 從全部數據結果來看, 相比于baseline1系統和baseline2系統, 語言學特征系統評分在相關系數方面分別取得了14.1%和5.4%的性能提升.

表6 8個子集整體效果

5.3 自編碼器

下面我們使用編碼器對于提取到的特征進行重構, 語言學特征系統提取到的原始特征總共194維, 我們分別進行壓縮編碼和稀疏編碼, 實驗效果如表7所示.

表7 自編碼器特征重構

表7中20維~140維是使用自編碼器進行特征的壓縮編碼, 200維~2000維是使用自編碼器進行特征的稀疏編碼. 其中特征壓縮到100維時, 此時的相關系數達到0.787, 比直接使用支持向量機進行回歸效果提升了3.4%.

5.4 特征值離散化

我們再結合特征值的離散化, 先使用基于于信息增益的方法, 將連續特征離散化到高維的二值特征. 再使用自編碼器來進行特征壓縮. 其實驗效果如表8所示. 使用特征值離散化后, 原始特征194維擴展到了15800維二值的0,1特征. 我們再使用自編碼器對這15800維特征進行壓縮重編碼. 如表8所示, 當自編碼器將特征維數壓縮到1000維時相關系數達到0.803, 相比于未經過特征值離散化效果提升了2.0%.

表8 特征離散化后的特征重編碼

5.5 分層多項模型

考慮到我們使用支持向量機進行回歸的輸出結果是連續性的值, 而人工評分給出的是離散化的得分值, 因此我們可以嘗試使用分類的方法進行自動評分. 然而一般的分類方式其類別和類別之間沒有嵌套或者大小的關系, 這和我們的任務相違背. 這里我們使用分層多項模型(Hierarchical Multinomial Model)來進行分類, 在該模型中, 類別和類別之間有嵌套包含的關系,這和我們自動評分任務中得分和得分之間的關系非常吻合.具體使用的是matlab實現的機器學習工具包[1]http://cn.mathworks.com/help/stats/index.html. 為了進行對比, 我們同樣將支持向量機的評分結

表9 回歸和分類結果對比

如表9所示, 支持向量機回歸輸出的是離散的值, 其對作文評分的結果在規整到人工評測的邊界之后, 人機相關系數從0.803下降到0.774. 相比之下, 分層多項模型雖然給出的人機相關系數是0.792, 但是因為是分類的結果所以不需要進一步規整, 相比于支持向量機的結果顯然更優.

我們對于baseline1和baseline2同樣加入了自編碼器, 特征離散化, 分層多項模型進行測試. 結合語言學特征模型, 這三組系統的實驗效果如圖2所示. 縱向比較來看, 無論哪一組實驗, 我們的語言學特征系統和兩個baseline比較, 均能取得最優的效果. 橫向來看, 相比于最原始的支持向量機回歸, 我們的自編碼器, 特征值離散化的使用均能使得系統的性能得到進一步提高. 因為回歸得出的結果是連續性數值, 輸出得分在規整之后系統性能必然會有所下降. 最后我們使用分層多項模型進行分類, 直接給與一篇作文輸出離散的得分結果, 這相比于回歸之后再規整的結果人機相關系數更高.

5.6 主題無關性

最后我們從主題依賴性的角度出發來考察這3組系統. 因為數據集包含8個子集, 因此我們將全部數據按主題的不同分成5份進行交叉驗證, 使得訓練用的作文和測試作文之間沒有主題交叉. 其實驗效果如下表所示. 可以看出, 兩個baseline系統, 特別是baseline2系統中引入了大量n-gram等和文章主題相關的特征. 這直接導致了在預測其他主題作文時系統性能的下降. 而我們的語言學特征系統使用的都是主題無關特征, 在面對不同主題的測試樣本時, 依然能保持很好的魯棒性.

表10 8個子集間相互進行交叉驗證

6 總結

本文依據英文寫作的技巧, 提取了大量的主題無關特征. 然后通過特征離散化減少異常樣本對系統的干擾, 自編碼器對特征進一步重構以提高特征表達能力. 最后我們分析了作文評分任務的特點使用分層多項模型來輸出文章的最終得分. 實驗表明, 一方面我們的模型和特征要顯著優于傳統的方法, 另一方面我們的系統在測試不同主題的作文時顯示出了良好的主題無關性.

1 梁茂成,文秋芳.國外作文自動評分系統評述及啟示.外語電化教學,1997:18–24.

2 Attali Y, Burstein J. Automated essay scoring with e-rater?V. 2. The Journal of Technology, Learning and Assessment, 2006, 4(3): 3–30.

3 Daigon A. Computer grading of English composition. The English Journal, 1966, 55(1): 46–52.

4 Landauer TK. Automatic essay assessment. Assessment in education: Principles, policy & practice, 2003, 10(3): 295–308.

5 Dale R, Anisimoff I, Narroway G. HOO 2012: A report on the preposition and determiner error correction shared task. The 7th Workshop on the Innovative Use of NLP for Building Educational Applications. June 3-8, 2012. 54–62.

6 Ng HT, Wu SM, Wu Y, et al. The CoNLL-2013 shared task on grammatical error correction. Proc. of the Seventeenth Conference on Computational Natural Language Learning. August 8–9, 2013.1–12.

7 Larkey LS. Automatic essay grading using text categorization techniques. Proc. of the 21st annual international ACM SIGIR conference on Research and development in information retrival. 1998. 90–95.

8 Persing I, Davis A, Ng V. Modeling organization in student essays. Proc. of the 2010 Conference on Empirical Methods in Natural Language Processing. 2010. 229–239.

9 Persing I, Ng V. Modeling prompt adherence in student essays. Proc. of the 52nd Annual Meeting of the Association for Computational Linguistics(ACL). June 2014. 1534–1543.

10 Persing I, Ng V. Modeling thesis clarity in student essays. Proc. of the 51st Annual Meeting of the Association for Computational Linguistics. August4-9, 2013. 260–269.

11 Chen H, He B. Automatic essay scoring by maximizing human-machine agreement. Proc. of the 2013 conference on Empirical Methods in Natural Language Processing. 2013. 1741–1752.

12 Hinkel E. Second language writers’ text: Linguistic and rhetorical features. Routledge, 2002.

13 Marneffe MCD, Cartney BM, Manning CD. Generating typed dependency parses from phrase structure parses. Proc. of Language Resources and Evaluation Conference. 2006.

14 Burges CJC. A tutorial on support vector machines for pattern recognition. Data mining and knowledge discovery, 1998, 2(2): 121–167.

15 Chang CC, Lin CJ. LIBSVM: A library for support vector machines. ACM Trans. on Intelligent Systems and Technology. April, 2011.

16 Chen H, He B, Luo TJ, et al. A ranked-based learning approach to automated essay scoring. Second International Conference on Cloud and Green Computing. 2012.

17 Hinton GE, Salakhutdinov RR. Reducing the dimensionality of data with neural networks. Science, 2006, 313(5786): 504–507.

18 Dougherty J, Kohavi R, Sahami M. Supervised and unsupervised discretization of continuous features. Machine learning: Proc. of the Twelfth International Conference. 1995. 12. 194–202.

19 Dougherty J, Kohavi R, Sahami M. Supervised and unsupervised discretization of continuous features. Machine Learning: Proc. of the 12th International Conference. San Mateo. Morgan Kaufmann Publishers. 1995. 194–202.

20 葛詩利.面向大學英語教學的通用計算機作文評分和反饋方法研究[博士學位論文].北京:北京語言大學,2008.

Automatic Essay Scoring Using Linguistic Features and Autoencoder

WEI Yang-Wei, HUANG Xuan-Jing

(School of Computer Science, Fudan University, Shanghai 201303, China) (Shanghai Key Laboratory of Intelligent Information Processing, Fudan University, Shanghai 201303, China)

In recent years, more and more large-scale English tests begin to use the automatic scoring system. Therefore, the research of this system is of great value. In this paper, we first extract a lot of features according to English writing guide. Then we use autoencoder and discretization algorithm to learn a different representation of features. Finally, we use a hierarchical multinomial model to output the final scores of articles. Experimental results indicate that this method not only achieves great performance for those essays of the same topic, but also shows good robustness when predicts essays of different topics. Compared with the traditional automatic score method, our approach achieves higher than 9.7% in term of Pearson Correlation Coefficient, with good practical values.

automatic essay scoring; autoencoder; discretization; textual feature extraction

國家自然科學基金(61472088)

2016-04-22;收到修改稿時間:2016-05-23

[10.15888/j.cnki.csa.005535]