基于深度學(xué)習(xí)的手寫(xiě)簡(jiǎn)答題智能評(píng)分研究

劉 鋒

（廣東松山職業(yè)技術(shù)學(xué)院 電氣工程學(xué)院，廣東 韶關(guān) 512126）

0 引 言

隨著大數(shù)據(jù)、人工智能等技術(shù)的快速發(fā)展與應(yīng)用，信息技術(shù)正在飛速地改變著教育工作者和學(xué)習(xí)者之間的交互形式，甚至正在推動(dòng)著教育意識(shí)形態(tài)的改變。用人工智能推動(dòng)教育變革，將人工智能研究的最新成果應(yīng)用于教育實(shí)踐中，解決當(dāng)前教育信息化及互聯(lián)網(wǎng)在線教育的共同發(fā)展訴求，是現(xiàn)今教育改革的一種趨勢(shì)[1-2]。

對(duì)于推動(dòng)教育形態(tài)的改變、驅(qū)動(dòng)教育模式的改革，一個(gè)優(yōu)秀的解決方案是依托于大數(shù)據(jù)及人工智能技術(shù)，將“教、學(xué)、考、評(píng)、管”融合為相互協(xié)同的一體化體系，為師生提供一個(gè)全面的智能感知環(huán)境和綜合信息服務(wù)平臺(tái)[3]。其中“考”和“評(píng)”是至關(guān)重要的環(huán)節(jié)。在傳統(tǒng)的方式中，對(duì)學(xué)生的評(píng)審和考核往往通過(guò)組織大型考試，需要耗費(fèi)大量的時(shí)間、人力；同時(shí)老師需要手工對(duì)學(xué)生做的試卷進(jìn)行批閱，而在批閱主觀題的時(shí)候，教師往往容易受到批閱時(shí)的精力、情緒、學(xué)生的卷面等因素的影響，無(wú)法給學(xué)生做出客觀的評(píng)價(jià)。為了減少在傳統(tǒng)過(guò)程中老師手動(dòng)批閱試卷帶來(lái)的種種問(wèn)題，本課題組擬開(kāi)發(fā)出一款基于深度學(xué)習(xí)的簡(jiǎn)答題智能評(píng)分系統(tǒng)，將原來(lái)教學(xué)環(huán)節(jié)中批改試卷這種重復(fù)性強(qiáng)、有固定模式的部分用人工智能進(jìn)行替代。這樣不僅能夠促進(jìn)教學(xué)向智能化方向發(fā)展，還可提高老師的閱卷效率，減少老師在重復(fù)性閱卷評(píng)分上的工作時(shí)間，從而把老師的價(jià)值集中在與學(xué)生的情感交互、個(gè)性化引導(dǎo)和創(chuàng)造性思維的開(kāi)發(fā)等方面。

根據(jù)第47次《中國(guó)互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》指出，截至2020年12月，中國(guó)在線教育用戶規(guī)模達(dá)3.42億，而其中移動(dòng)端在線教育用戶規(guī)模為3.41億[4]。在未來(lái)的商業(yè)市場(chǎng)中，在線教育市場(chǎng)前景十分廣闊，而“考”與“評(píng)”作為不可或缺的環(huán)節(jié)，意味著本文的產(chǎn)品將擁有十分獨(dú)特的市場(chǎng)優(yōu)勢(shì)。在未來(lái)，教育者們將擺脫單調(diào)乏味的試卷批改，將精力和時(shí)間投入到更加注重教師親自教育的領(lǐng)域。而本產(chǎn)品可以作為服務(wù)融入到許多智能教育軟件當(dāng)中，推動(dòng)“教、學(xué)、考、評(píng)、管”教育產(chǎn)業(yè)的一體化。

1 相關(guān)技術(shù)現(xiàn)狀

1.1 手寫(xiě)漢字識(shí)別技術(shù)

脫機(jī)手寫(xiě)文字沒(méi)有筆順等信息，而且會(huì)因掃描設(shè)備在不同光照、分辨率、書(shū)寫(xiě)紙張等條件下工作而帶來(lái)很多的干擾。同時(shí)，相較于印刷體漢字，脫機(jī)手寫(xiě)漢字隨意性大、缺乏規(guī)范性，人們常用的橫、豎、撇、捺、點(diǎn)等筆畫(huà)容易變形，各種不同的寫(xiě)字風(fēng)格可能有巨大的差異，從楷書(shū)、行書(shū)到草書(shū)，識(shí)別難度越來(lái)越高。除此之外，漢字的字符種類繁多，存在許多相似字和易混淆的漢字，例如“已-己”、“口-囗”、“淚-汨-汩”等，也給漢字識(shí)別帶來(lái)不小的挑戰(zhàn)。更為重要的是，目前針對(duì)大類別、多風(fēng)格的無(wú)約束手寫(xiě)數(shù)據(jù)庫(kù)仍顯不足，數(shù)據(jù)庫(kù)的采集和整理需要消耗大量的人力和物力來(lái)兼顧規(guī)模性和準(zhǔn)確性[5-6]。

1.2 漢語(yǔ)文本分詞技術(shù)

為了讓計(jì)算機(jī)可以理解人類語(yǔ)言、分析考卷中學(xué)生答案和標(biāo)準(zhǔn)答案，就需要進(jìn)行自然語(yǔ)言處理（NLP）。其中分詞是非常重要的一個(gè)模塊。對(duì)于英文等拉丁語(yǔ)系的語(yǔ)言來(lái)說(shuō)，由于詞之間有空格作為詞邊界表示，詞語(yǔ)一般情況下都能簡(jiǎn)單且準(zhǔn)確地提取出來(lái)[7]。但是漢字除了標(biāo)點(diǎn)符號(hào)之外，字之間緊密相連，沒(méi)有明顯的詞邊界，因此很難將詞提取出來(lái)；而且在中文中，單字作為最基本的語(yǔ)義單位，雖然有自己的意義，但是表意能力差，意義較為分散，而詞的表意能力更強(qiáng)，能夠更加準(zhǔn)確地描述事物和情感。因此在NLP中，通常情況下詞是最基本的處理單位。

在中文分詞中有兩個(gè)最主要的挑戰(zhàn)：歧義詞識(shí)別和未登錄詞識(shí)別。一般來(lái)說(shuō)在句子中一個(gè)字可以同時(shí)作為兩個(gè)詞的組成部分，當(dāng)這兩個(gè)詞同時(shí)出現(xiàn)，就可能會(huì)出現(xiàn)歧義現(xiàn)象。而未登錄詞是分詞詞典中沒(méi)有收錄的，但又確實(shí)是大家公認(rèn)的詞語(yǔ)，也被叫做新詞。雖然可以通過(guò)將新詞收錄到字典中進(jìn)行解決，但是在互聯(lián)網(wǎng)時(shí)代，人們會(huì)不斷創(chuàng)造出一些新詞。所以對(duì)于新詞的自動(dòng)識(shí)別，也是需要解決的問(wèn)題[8]。

1.3 漢語(yǔ)文本對(duì)比技術(shù)

主觀題閱卷就是將試卷中的學(xué)生答案和標(biāo)準(zhǔn)答案進(jìn)行比對(duì)，判斷學(xué)生答案是否與標(biāo)準(zhǔn)答案相似，并根據(jù)它們的相似度進(jìn)行評(píng)分[9]。然而，存在著一些句子，它們當(dāng)中沒(méi)有相同的詞，但表達(dá)的意思相近或者有邏輯關(guān)系，例如：“喬布斯離我們而去了。”“蘋(píng)果手機(jī)價(jià)格會(huì)不會(huì)降？”使用傳統(tǒng)的方法判斷這些句子的相似度是無(wú)法得到滿意的結(jié)果的，因此，在判斷文檔相關(guān)性或相似性的時(shí)候，需要考慮文檔的語(yǔ)義，對(duì)其中的語(yǔ)義進(jìn)行挖掘。

2 基于深度學(xué)習(xí)的手寫(xiě)簡(jiǎn)答題智能評(píng)分研究

為實(shí)現(xiàn)漢語(yǔ)考試中試卷的自動(dòng)化批改，本課題以深度學(xué)習(xí)技術(shù)為基礎(chǔ)，開(kāi)發(fā)面向簡(jiǎn)答題評(píng)分的智能閱卷系統(tǒng)。該系統(tǒng)涉及漢字手寫(xiě)體識(shí)別、中文語(yǔ)義理解、文本相似度評(píng)定等科學(xué)和技術(shù)問(wèn)題。該文的研究系統(tǒng)流程如圖1所示，研究?jī)?nèi)容及框架如圖2所示。

圖1 系統(tǒng)流程

圖2 研究?jī)?nèi)容及方案框架

2.1 基于深度神經(jīng)網(wǎng)絡(luò)的手寫(xiě)漢字識(shí)別技術(shù)

針對(duì)手寫(xiě)漢字識(shí)別率與識(shí)別精度一直比較低的問(wèn)題，文獻(xiàn)[10]采用卷積神經(jīng)網(wǎng)絡(luò)（CNN）進(jìn)行手寫(xiě)體漢字識(shí)別。如圖3所示，在卷積層上利用多個(gè)濾波器對(duì)輸入的漢字圖片進(jìn)行卷積運(yùn)算，通過(guò)一個(gè)激勵(lì)函數(shù)在卷積層得到多個(gè)特征圖，又對(duì)每個(gè)特征圖進(jìn)行池化。經(jīng)過(guò)多層的卷積和池化后最終將得到的特征圖進(jìn)行連接，可以得到漢字圖片的特征向量；最后通過(guò)使用兩層Softmax全連接的神經(jīng)網(wǎng)絡(luò)，將預(yù)測(cè)結(jié)果通過(guò)如下公式進(jìn)行歸一化，對(duì)不同的識(shí)別結(jié)果進(jìn)行比較后，得到最后識(shí)別的手寫(xiě)漢字。

圖3 基于CNN的手寫(xiě)體漢字識(shí)別示意圖

在卷積層中，每個(gè)神經(jīng)元只取前一層的局部區(qū)域作為輸入，利用局部感受野，減少了神經(jīng)網(wǎng)絡(luò)本身需要訓(xùn)練的參數(shù)個(gè)數(shù)，提取漢字圖像局部的、細(xì)微的特征。在池化層中通過(guò)包含的多個(gè)特征映射，減少數(shù)據(jù)處理量、保留有用信息。另外，利用映射平面上所有神經(jīng)元權(quán)值相等，減少了網(wǎng)絡(luò)中參數(shù)的數(shù)量，降低訓(xùn)練的復(fù)雜度，同時(shí)提高對(duì)漢字樣本中的位移、亮度等變化的容忍能力。

2.2 基于雙端長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)的文本分詞與理解技術(shù)

為確保試卷評(píng)判質(zhì)量，需要高精度的中文分詞及文本理解技術(shù)。為此，利用上下文信息進(jìn)行中文分詞與理解就顯得尤為重要。本課題擬使用雙端長(zhǎng)短期記憶網(wǎng)絡(luò)（Bi-LSTM）實(shí)現(xiàn)文本分詞與理解，其網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 雙端長(zhǎng)短期記憶網(wǎng)絡(luò)示意圖

長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）通過(guò)各個(gè)計(jì)算層的相互連接和作用，保證在分詞過(guò)程中可與遠(yuǎn)距離的前文本信息聯(lián)系，避免了梯度消失和梯度爆炸的問(wèn)題。利用雙端模式，將兩個(gè)LSTM上下疊加在一起，將分詞的輸出由兩個(gè)LSTM的隱藏層狀態(tài)決定。這樣可以讓Bi-LSTM不僅僅依賴于前文本的文字，還與后面的文本文字有關(guān)，從而真正意義上根據(jù)上下文進(jìn)行分詞，保證了分詞的準(zhǔn)確性。

2.3 基于深度神經(jīng)網(wǎng)絡(luò)的文本相似度計(jì)算

本文使用詞匯語(yǔ)義特征CNN模型（LSF-CNN）計(jì)算學(xué)生答案與正確答案之間的相似性。該模型在原有CNN基礎(chǔ)上引入三種優(yōu)化策略：詞匯語(yǔ)義特征（Lexical Semantic Feature, LSF）、跳躍卷積（Skip Convolution, SC）和K-Max均值采樣（K-Max Average Pooling, KMA），抽取更加豐富的語(yǔ)義特征。

該模型對(duì)于輸入的兩個(gè)文本進(jìn)行如下處理：首先，對(duì)于學(xué)生答案和標(biāo)準(zhǔn)答案的分詞序列，利用詞匯語(yǔ)義特征技術(shù)為每個(gè)單詞計(jì)算LSF特征值，以此來(lái)表征文本之間的語(yǔ)義交互特征。LSF特征會(huì)與詞嵌入拼接在一起構(gòu)成詞語(yǔ)粒度上更加豐富的特征表達(dá)，表達(dá)詞的向量再次拼接構(gòu)成句子矩陣。然后，學(xué)生答案和正確答案的句子矩陣經(jīng)過(guò)跳躍卷積層和K-Max均值采樣層，最終形成各自的向量表達(dá)，兩個(gè)向量會(huì)根據(jù)學(xué)習(xí)得到的相似度計(jì)算矩陣M得到一個(gè)相似度分?jǐn)?shù)。最后，將相似度分?jǐn)?shù)和向量整合在一起作為分類器的輸入，最終得到學(xué)生答案為正確答案的概率。

3 結(jié) 語(yǔ)

手寫(xiě)漢字的識(shí)別是智能閱卷過(guò)程中最基礎(chǔ)的一個(gè)部分。然而，由于手寫(xiě)漢字的不規(guī)范和環(huán)境的不斷變化，手寫(xiě)漢字的識(shí)別可能會(huì)受到很大的干擾。如果不能對(duì)手寫(xiě)漢字進(jìn)行準(zhǔn)確和快速地識(shí)別就無(wú)法得到有意義的文本，這樣對(duì)于文本的分詞和文本間相似度的比對(duì)也就毫無(wú)意義。因此，通過(guò)該研究可以解決手寫(xiě)漢字的準(zhǔn)確識(shí)別。針對(duì)漢語(yǔ)文本的分詞是計(jì)算機(jī)可以理解學(xué)生答案和標(biāo)準(zhǔn)答案所表達(dá)語(yǔ)義的必要途徑。然而，由于漢語(yǔ)文本的獨(dú)特性，分詞可能會(huì)受到歧義詞和未登錄詞的影響，使得句子偏離原本的表達(dá)意義。因此，通過(guò)本文的研究，結(jié)合文字上下文的相關(guān)性進(jìn)行分詞，還可以讓文本可以被正確地分詞。在試卷閱卷過(guò)程中，為了得到每個(gè)同學(xué)在題目上的分?jǐn)?shù)，需要將學(xué)生答案和標(biāo)準(zhǔn)答案進(jìn)行比對(duì)，通過(guò)判斷它們之間的相似度，系統(tǒng)才能得到學(xué)生答題的正確率，以此為基礎(chǔ)算出相應(yīng)的分?jǐn)?shù)。因此，可以利用神經(jīng)網(wǎng)絡(luò)對(duì)文本間的相似度進(jìn)行度量，最終實(shí)現(xiàn)手寫(xiě)答案智能評(píng)分研究的效果。