雙向匹配向量空間算法在智能閱卷系統(tǒng)中的應用

季天凱　朱軒　周漢清

摘要：目前，主觀題自動化閱卷的準確度是智能閱卷系統(tǒng)能否有效的關(guān)鍵要素，通過提出雙向匹配向量空間算法，使用盤古分詞組件進行文本預處理，利用算法中的雙向匹配和向量空間計算關(guān)鍵詞匹配和文本相似度，實現(xiàn)主觀題自動閱卷的評分功能，并通過C#.NET語言開發(fā)智能閱卷系統(tǒng)。通過系統(tǒng)實驗結(jié)果證明，該算法下的自動閱卷與人工閱卷的結(jié)果誤差率較小，具有良好的應用前景。

關(guān)鍵詞：中文分詞;雙向匹配;向量空間;相似度計算

中圖分類號：TP18? ? ? 文獻標識碼：A

文章編號：1009-3044（2021）12-0079-03

Abstract： Currently， the accuracy of automatic marking of subjective questions is the key factor for the effectiveness of intelligent marking system， by proposes a bidirectional matching space algorithm， use Pangu word segmentation for text preprocessing， use keyword bidirectional matching and vector space model to calculate keyword matching and text similarity， and C#. Net design marking system. Experimental results show that the result of automatic marking under the guidance of this algorithm is less different from that of manual marking， and has a good application prospect.

Key words： Chinese word segmentation; bidirectional matching; vector space; similarity computation

1 背景

智能閱卷是指通過計算機對學生作答的試題答案進行自動閱卷[1]，減少閱卷工作量，提高評卷的公平性和效率。目前，智能閱卷是在線考試領(lǐng)域研究的前沿技術(shù)之一[2]。現(xiàn)階段，針對客觀題的智能閱卷已經(jīng)得到了廣泛的應用，例如計算機等級考試、GRE考試以及會計電算化考試等[3]，然而由于主觀題評閱涉及分詞技術(shù)與關(guān)鍵詞匹配技術(shù)等，這使得主觀題評閱成為智能閱卷中的技術(shù)難點。近年來，隨著對自然語言處理理論研究的深入，已經(jīng)提出了一些相對較為成熟的主觀題算法，但是在系統(tǒng)實現(xiàn)和具體應用上面仍然很少[4]。本文主要利用基于雙向匹配的中文分詞技術(shù)和向量空間的文本相似度技術(shù)，通過中文分詞技術(shù)將答案切分成不同的詞語，再經(jīng)過雙向關(guān)鍵字匹配，獲取關(guān)鍵詞得分點;并通過向量空間，計算答案與標準文本的貼近度，完成主觀題答案的自動評閱，實現(xiàn)在線考試的智能閱卷功能，并利用實驗結(jié)果驗證智能閱卷的可靠性。

2 雙向匹配向量空間算法原理

本系統(tǒng)中主觀題部分的評閱采用雙向匹配向量空間算法實現(xiàn)，算法流程如圖1所示。

算法主要包含關(guān)鍵詞匹配計算方法，語義相似度計算方法以及綜合相似度融合算法。其中，關(guān)鍵詞匹配度可以通過關(guān)鍵詞雙向匹配進行計算，而語義貼近度可以通過向量空間進行量化，答案文本綜合相似度則通過關(guān)鍵詞匹配度與語義相似度兩維度進行融合，最終得出對主觀題的智能閱卷得分。

2.1 關(guān)鍵詞雙向匹配

關(guān)鍵詞雙向匹配即通過正向匹配和反向匹配相結(jié)合的方式，把學生答案中的關(guān)鍵詞依次和標準答案中的關(guān)鍵詞進行比較，當匹配一致時將字符字數(shù)進行累加，最后將正向匹配和反向匹配中匹配字符數(shù)值大的一項與標準答案中的關(guān)鍵詞字符數(shù)進行相除，得出的比值即為學生答案與標準答案關(guān)鍵詞的匹配程度。例如設(shè)[A0]為考生的答案，[?（T，A0）]為關(guān)鍵詞匹配的比值。雙向匹配的具體公式為：

在公式1中，[Ti]和[Tj]分別為關(guān)鍵詞在正向和反向匹配中匹配成功的字符數(shù);[Ui]為標準答案中關(guān)鍵詞的字符數(shù)，[?Ti，A0]為考生答案與標準答案某關(guān)鍵詞匹配字符的比值;在公式2中，[S0]是題目的分值，[U]是標準答案中關(guān)鍵詞的個數(shù)，[T]為關(guān)鍵詞匹配的最終得分。

2.2 中文分詞技術(shù)

在主觀題智能閱卷中，中文分詞的作用十分重要，它可以將中文語句中的詞匯，按照一定的規(guī)則進行切分，形成一個一個單獨的詞語。而由計算機自動識別文本中的詞，實現(xiàn)切分處理過程的技術(shù)就是中文分詞技術(shù)[5]。例如中文“中國的首都是北京”，分詞結(jié)果是“中國＼的＼首都＼是＼北京”。在分詞時，分詞的結(jié)果受到語義、句法等因素影響。

目前，中文分詞技術(shù)已經(jīng)比較成熟，網(wǎng)絡(luò)上出現(xiàn)很多開源的分詞軟件，例如盤古分詞、IKAnalyzer、Phpanalysis、Paoding等[6]。本文的中文分詞技術(shù)采用的是開源的盤古分詞組件，它是目前能夠?qū)χ形恼Z句進行準確切詞的工具之一。例如，利用盤古分詞對中文“操作系統(tǒng)是管理計算機硬件與軟件資源的計算機程序。”進行分詞，最終的結(jié)果為“操作系統(tǒng)＼是＼管理＼計算機硬件＼與＼軟件＼資源＼的＼計算機＼程序”。

2.3 向量空間

在向量空間模型中，文本以向量的形式進行表示，通過把文本轉(zhuǎn)化為對向量空間的相似度運算計算文本相似度。向量空間相似度的計算可以用內(nèi)積、夾角余弦、Jaccard相似度和Dice系數(shù)等方法來計算[7]。

本文采用夾角余弦方法計算文本相似度，當向量間的夾角越接近于0°，即夾角余弦值越接近于1，表示兩個向量越相似，即文本間的相似程度越高。計算公式為：

在公式3中，其中[A]和[U]表示兩個向量，代表考生答案和標準答案，[Ai]和[Ui] 分別表示兩個向量中的各個元素。

2.4 相似度融合

在得到答案文本基于關(guān)鍵詞的匹配得分以及基于語義結(jié)構(gòu)的相似程度后，采用統(tǒng)計回歸的方法將兩個維度的相似度以最優(yōu)的權(quán)重融合為答案文本的最終綜合相似度。本文將關(guān)鍵詞匹配與語義相似度定義為自變量，將考生答案得分與題目滿分值定義為因變量，定義的主觀題評分公式為：

在公式4中，[S]為考生答案最終得分;[S0]為題目滿分值;[T]為關(guān)鍵詞匹配得分值;[SimilarityA，U]為考生答案與標準答案間的相似度;[α]和[β]分別為匹配關(guān)鍵詞和文本相似度的權(quán)重，滿足[α+β=1]，權(quán)重可以根據(jù)實際需求自行調(diào)整。

3 智能閱卷系統(tǒng)設(shè)計

本文中基于雙向匹配向量空間算法設(shè)計的智能閱卷系統(tǒng)框架主要包括三個重要模塊，分別為定義模塊、處理模塊和響應模塊，如圖2所示。

定義模塊由試題內(nèi)容、試題分值、標準答案、權(quán)重分配和考生答案構(gòu)成，值得注意的是，在定義主觀題閱卷權(quán)重時，需要分別設(shè)置關(guān)鍵詞和相似度的權(quán)重，并保證兩者權(quán)重之和為1。主觀題設(shè)置界面如圖3所示。

處理模塊由中文分詞組件、關(guān)鍵詞抽取、關(guān)鍵詞雙向匹配和詞語相似度計算構(gòu)成，通過盤古分詞組件對中文語句進行切詞，濾除與分詞無關(guān)的干擾項，通過雙向匹配和夾角余弦算法對關(guān)鍵詞匹配和文本相似度進行計算。

在響應模塊，通過對關(guān)鍵詞雙向匹配和文本相似度兩個維度的融合計算，量化并確定題目的最終得分。另外，系統(tǒng)中還加入了人工評閱的功能，對主觀題自動評閱的得分進行修正和完善，從而保證系統(tǒng)得分的準確性。閱卷效果如圖4所示。

4 實驗結(jié)果及分析

在完成基于雙向匹配向量空間算法設(shè)計的智能閱卷系統(tǒng)后，為了驗證算法的可用性，選取了50名考生的試卷進行測試，由于每份試卷有4道主觀類型的題目，在測試時，先利用中文分詞、關(guān)鍵詞匹配和夾角余弦相似度計算，進行系統(tǒng)閱卷，然后再進行人工閱卷，最后比較兩者的誤差率，測試結(jié)果如表1所示。其中，誤差率=|人工閱卷得分-系統(tǒng)閱卷得分|/滿分，誤差率越小表示系統(tǒng)閱卷結(jié)果可靠性越高。

另外，隨機選取其中第二題的閱卷記錄，利用折線圖的方式更加直觀的展示人工閱卷和系統(tǒng)閱卷之間的評分差異性，如圖5所示。

通過表1和圖5可以發(fā)現(xiàn)，雙向匹配向量空間算法指導下的系統(tǒng)閱卷雖然與人工閱卷在評分上不完全一致，但是誤差率基本控制在20%之內(nèi)，說明該算法的結(jié)果是比較合理的。

5 結(jié)束語

本文詳細分析了雙向匹配向量空間算法的具體應用，在該算法中首先采用雙向匹配對關(guān)鍵詞的匹配程度進行度量、再通過向量空間量化文本間的相似度，最后通過對兩個維度的相似度融合，計算出考生答案與主觀題答案最終貼近程度。經(jīng)過系統(tǒng)的仿真實驗結(jié)果表明，雙向匹配向量空間算法指導下的自動閱卷與人工閱卷之間的誤差率較小，在智能閱卷系統(tǒng)領(lǐng)域中具有良好的應用前景和推廣價值。

參考文獻：

[1] 張帥.基于孿生神經(jīng)網(wǎng)絡(luò)的主觀題自動閱卷評分技術(shù)[J].現(xiàn)代計算機，2020（5）：23-25.

[2] 李紀扣，韓建宇，王嫄.基于相似度融合算法的主觀題自動閱卷機制[J].天津科技大學學報，2019，34（1）：76-80.

[3] 張翠翠，周國祥，俞磊，等.基于MVC的試卷生成及主觀題判卷算法研究[J].系統(tǒng)仿真學報，2020，32（1）：105-112.

[4] 陳賢武，劉道波.基于語句相似度的主觀試題自動閱卷模型研究[J].武漢大學學報（工學版），2018，51（7）：654-658.

[5] 馮光，喬丹丹，常靜怡.基于分詞匹配的主觀題自動評閱技術(shù)研究[J].計算機與現(xiàn)代化，2013（3）：212-214，219.

[6] 宋雪亞，王傳安.基于中文分詞的主觀題自動評分算法研究[J].河北北方學院學報（自然科學版），2017，33（9）：7-11.

[7] 秦學勇.基于相似度計算的主觀題閱卷系統(tǒng)設(shè)計[J].安徽建筑工業(yè)學院學報（自然科學版），2010，18（4）：77-80.

【通聯(lián)編輯：謝媛媛】