數據分析報告自動評分研究＊

夏穩，宋捷

（首都經濟貿易大學統計學院，北京 100070）

1 研究背景

隨著信息時代的快速發展，數據正呈爆炸式增長，大數據時代已經來臨，越來越多的數據被儲存。如何讓這些被儲存的數據發揮作用是數據科學的目的所在。中國的數據競賽正在逐漸崛起，目前全球范圍內的各類數據競賽總量已突破1 000 余場，中國市場超過了400 場，這背后涉及大量數據分析報告的評分工作。在大學的期末考察范圍內，也存在大量期末論文評分工作，由于這些期末論文多以實證性分析問題為主，其本質也即數據分析報告。而這些數據分析報告的評分工作，往往需要在短時間內給出公平公正的評分結果，手工評分的過程耗時、缺乏可靠性[1]。因此，如何顯著地降低評分所耗時長及保證評分的客觀性是本文的研究重點。

在人工智能及機器學習普遍適用的背景下，將人工評分實現自動化能有效地提高評分效率，這涉及到的是中文文本評分。基于已有歷史數據，通過算法學習，建立一個合適的自動評分系統，從而減少人工評分的人工工作量，且能極大地保證評分的可靠性和一致性。目前關于中文文本自動評分的研究主要集中在作文和主觀題評分方向，對于數據分析報告的自動評分算法研究鮮有學者涉獵；另外現有的自動評分系統都基于已有標準參考答案或是確定的作文主題進行自動評分，而數據分析報告的特點是主題具有多樣性、包含許多數據分析類的統計專有名詞、沒有標準答案以供參考，因此現有自動評分算法是不適用于數據分析報告的。鑒于以上特點，本文將提出一個適用于數據分析報告的自動評分框架，在沒有標準答案及不確定主題的條件下實現自動評分這一過程。

本文以一名大學教師回收到的期末數據分析報告數據為研究對象，在對原始數據進行中文文本處理的工作基礎上，建立起具有良好性能的自動評分模型。

本文工作主要集中在以下3 個方面：①由于數據分析報告的原始數據非結構化而無法直接使用，因此先進行結構化處理。本文基于隱馬爾科夫模型的中文文本處理包括數據讀取、分詞、停用詞過濾及詞性標注等過程，此操作為后續的模型構建提供數據支撐。②根據數據分析報告的特點建立一個自動評分框架，進行特征變量的選取，確保數據分析報告自動評分這一過程的全面性和準確性。確保實現人工智能化的同時盡可能1∶1 還原人工評分過程。③利用機器學習常見模型建立數據分析報告的自動評分模型，對比各個機器學習模型的平均預測誤差（Mean Prediction Error，MPE）指標，以驗證本文自動評分算法的效果如何。

2 國內外研究現狀分析

目前國內外研究者對作文自動評分系統的研究主要分為2 類：一類是研究文章的表層特征，以此評估文章的質量，體現文章的風格和語言；另一類是研究文章的內容質量，找出文章的潛伏語義，分析作者想要傳達出的信息。本文研究的對象是數據分析報告，而數據分析報告更加側重于文本的語言質量，因此重點回顧基于文本表層特征項的相關研究。

AJAY 等[2]在1973 年提出了PEG（Project Essay Grade）系統，PEG 系統通過評估間接反映作文的寫作特征，例如語法、詞匯及結構等，以此實現對作文的自動評分。PEG 技術為長期努力帶來了一定希望，1994年PAGE[3]通過模仿評分者的行為分析了499 篇和599篇文章，得到了十分可靠的計算機評分結果。SHERMIS 等[4]在2001 年對PEG 系統提出了改進，重點對語法進行檢查，以及對人類評分和PEG 系統評分的相似性進行分析，結果顯示計算機模型的表現優于多名評分評委。E-rater 是美國教育考試處為了評估GMAT 考試中的作文質量在20 世紀90 年代開發的[5]。與PEG 系統相似，E-rater 的評分模型基于線性回歸模型[6]。E-rater 的作文評分系統不僅利用了統計技術，還利用了矢量空間模型和自然語言處理技術[7]。所以相比PEG 系統而言，E-rater 系統不僅可以評判作文的語言質量，還可以評判作文的內容質量[8]。在早期的評分系統里，多采用的是基于模式匹配和基于統計的傳統方法。

近些年來，自動評分系統開始采用基于回歸的自然語言處理技術，部分學者使用了深度學習技術，結果產生了比早期更好的效果。DONG 等[9]使用循環卷積神經網絡，引入了注意力機制來決定單詞和句子權重，有助于找到判斷論文質量的關鍵詞和句子，有效解決了自動學習文本表示和論文評分的問題。他們是將一篇論文視作句子文檔，以一個句子為一個級別，而本文選擇的變量表示主要以詞現數為主，因此一篇數分報告分詞后是一個長詞條。CAI 等[10]用深度學習模型進行論文的自動評分結果優于傳統特征選擇方法，并且嘗試結合深度學習和傳統的特征選擇，結果顯示這是有利于自動評分系統的，因為存在一些特征是無法學習到的。但是使用深度學習需要有大量的數據作支撐學習，CAI 等使用的數據也僅有11 000 條左右，而本文由于受現實因素影響，暫無法收集到大量數據進行深度學習。綜上，能明顯得到一個結果是，結合深度學習的方法是顯然要優于傳統的特征提取，但是本文研究的對象是中文文本，不同于英文，漢字具有更高的復雜度和處理難度。為了進行數據分析報告自動評分算法的初探，在基于自然語言處理的技術下，使用傳統的特征匹配模式。

在基于中文文本的自動評分研究中，主要分為2個研究方向：一類是已有標準答案的主觀題自動評分[11-15]，另一類是已有固定主題或題目的作文評分[16-18]。李學俊[11]在研究中采用基于標準答案尋找特征及從考生答案中提取出特征的方法，他還提出了在自動評分算法中，詞典、文本特征詞及其權重、文本匹配規則這3 方面是主要的知識庫來源。方德堅[12]則采用歷史評分的人工標注與分詞向量建立監督模型來進行評分。吳巧玲[13]基于自然語言處理的結果計算詞和句子的相似度，相似度越高則得分越高。宋雪亞、王傳安[14]也是計算考生答案和標準答案之間的相似度，和上篇文章研究不同的是，這里計算的是文本串長度相似度、文本串詞性相似度和文本串詞序相似度。韓輝、劉秀文[15]在前人的基礎上新增了提取、匹配考生答案的關鍵詞和標準答案的關鍵詞，計算對立度以此判斷不同句子之間的語義方向是否一致。這些學者都是對考生答案和標準答案進行相似度計算，區別在于相似度的指標種類不同。有一部分學者提出了一套計算機自動閱卷系統，可以在很大程度上幫助給定題目的作文評分，這些評分算法一般是借鑒了英語作文自動評分算法。王金銓、朱周曄[16]對國外英語作文自動評分系統進行了綜述。徐昌火等[17]則分析了中文作文的語言流利性、語言準確性及語言復雜性的測度，從這3 方面來建立模型。諸如鐘啟東、張景祥[18]采用的算法是從語言深層特征的角度，提出從上下文關聯的自動識別、非流暢語句的自動識別及作文素材的自動識別3 方面來構建評分算法。

上述都是對已有標準答案和確定主題的自動評分系統進行研究，但是數據分析報告不僅沒有標準答案，而且主題不單一，目前這一領域研究空白，因此本文工作為國內自動評分的研究提供了另一種思路和導向。

3 方法

3.1 數據預處理

本文研究的數據來源于一所高校教師收到的期末反饋，共計77 份數據分析報告。該數據集中存在多個寫作者自選主題，教師進行人工評分時沒有標準答案進行比對，教師根據歷史預先給出一份評分細則，以此作為自動評分框架的構建基礎。

要想實現自動評分算法，首先對非結構化的原始數據采用中文分詞統一進行結構化處理。中文文本分詞是自然語言處理的基礎，分詞準確率的高低直接影響了中文文本挖掘的效果，也直接影響了后續模型訓練的效果。本文采用混合模型進行分詞處理，混合模型結合使用最大概率法和隱馬爾科夫模型。最大概率法是根據Trie 樹構建有向無環圖和進行動態規劃的算法，它是在最大匹配分詞算法上的改進，對于一個待分割的字符串有多種分詞結果，原則為選取其中概率最大的分詞結果，這是分詞算法的核心；隱馬爾可夫模型是關于時序的概率模型，描述由一個隱藏的馬爾可夫鏈隨機生成不可觀測的狀態隨機序列，再由各個狀態生成一個觀測從而產生觀測隨機序列的過程。由于數據分析報告中會出現許多專業名詞，因此在模型中導入人工統計詞典以便提高分詞結果的準確性。采用混合模型對數據分析報告進行文本分詞及詞性標注后，對分詞結果進行停用詞過濾及粗糙地降維以避免維度災難。經過處理后的文本，可以得到每一篇數據分析報告都是一個高維向量，此時數據呈現結構化。在預處理完的數據中選取了幾個樣本展示，如表1 所示。

表1 數據預處理部分結果

3.2 特征選擇

數據分析報告中的評分細則一般包含幾個部分的分項評分，即選題、資料檢索、整理、閱讀、變量描述、數據預處理、軟件運用、模型使用與評價、工作量與進度、書寫、邏輯、格式、創造性與思考深度等。根據這些分項選定可以測度的量化指標變量，然后從文本的各種特征出發匹配。本文根據以上分項評分，選定了以下7 個變量，即主題變量、描述性變量、工作量變量、內容豐富度變量、邏輯變量、格式變量、資料運用能力變量。

數據分析報告是否偏離主題內容的一個特征就是全文主題的一致性，一致性最直觀的表現就是主題詞的共現頻率，主題詞的確認會直接顯示在數據分析報告的題目中，比如“Facebook 帖子評論數預測分析”中可以直接得到該篇主題為“帖子”和“評論”，文章的內容都離不開這2 個核心主題詞。通過提取這樣的特征進行評分框架的搭建。

衡量數據分析報告的專業性離不開正確的數據分析方法，它是寫作者專業能力的綜合性展現。數據分析報告應該涵蓋數據描述性分析、數據預處理、數據建模分析及總結等內容，其中會出現大量的統計專業名詞，例如“相關系數圖”“顯著性水平”“回歸分析”“決策樹”“logistic 回歸”等，在文章中尋找這類專業名詞。

體現數據分析報告總工作量的特征就是文章篇幅含量。文章內容越多則說明作者工作量越多，通過計算文本分詞后的總詞數進行數分報告工作量的評估。文章語言內容的豐富度離不開名詞的占比，提取文章中名詞數量來評估數據分析報告的語言質量。

語言邏輯性是數據分析報告的最基本要求，它包含文章完整、內容簡明扼要、整體連貫且合乎邏輯，其中最重要的是文章的邏輯通順流暢性。邏輯通暢與否體現在文章中出現的邏輯詞。

規范數據分析報告的寫作格式能夠向讀者準確傳達寫作者的研究思路。從評分角度來看，一篇結構清晰完整的文章能夠獲得更高的分數。通過檢索文章中的段落標題序號來體現文章整體格式規范問題。

在進行實證分析的過程中，寫作者根據研究方向需要參閱和利用大量的科學文獻，對于主要引用的文獻需要在文章末尾注明出處。考察寫作者對參考資料的運用能力，檢索數據分析報告中引用的文獻資料數量。本文共計選取了7 個可以測度的量化指標變量，分別從數據分析報告的內容、專業性和格式2 個方向進行評分，如表2 所示。

表2 特征維度

3.3 自動評分算法實驗

通過以上數據的預處理和特征選擇可以得到適用于機器學習模型的結構化數據與特征變量。本節利用這些數據和幾種常見的機器學習模型對數據分析報告進行模型的學習和驗證，從而實現自動評分，接下來分別從實驗方法和實驗結果這2 個部分進行詳細的描述。

3.3.1 實驗方法

數據分析報告的自動評分算法是基于已有的歷史數據進行監督學習，由于該數據的標簽是連續型數據，可以將其抽象為一個回歸問題。將提取出來的特征作為影響最終評分結果的變量，通過訓練模型學習特征重要性，從而預測待評分文本的分數。回歸問題下常見的機器學習模型有線性回歸、決策樹、隨機森林、Boosting 等，接下來將使用這些模型分別對數據進行訓練。本文實驗抽取50%的數據進行訓練，利用剩下50%的數據進行測試，共進行100 次重復運算實驗。

3.3.2 實驗結果

對于模型的訓練結果，本文主要采用了平均預測誤差（Mean Prediction Error，MPE）和平均訓練誤差（Mean Training Error，MTE）這2 個指標進行評價。各個模型的評價指標結果如表3 所示，綜合來看隨機森林模型的表現結果更好。因此，本文使用基于隨機森林的數據分析報告自動評分算法，隨機森林是一種特殊的Bagging 方法，簡單來說就是構建多個決策樹并將它們合并在一起以獲得更準確和穩定的預測。使用隨機森林進行待評分文本的預測可以得到人工評分和機器自動評分的平均預測誤差在3.85 分左右。

表3 實驗結果

基于已經搭建好的隨機森林模型，可以從中評估特征變量的重要性。圖1 為變量重要性排序圖，圖中的“IncNodePurity”是通過殘差平方和來度量，它代表了每個變量對分類樹每個節點上觀測值的異質性的影響，從而比較變量的重要性，該值越大表示該變量的重要性越大。據此可以判斷出工作變量和描述性變量2 個變量與數據分析報告最終得分密切相關。

圖1 變量重要性排序圖

由以上實驗結果可知，對結構化的文本數據進行預處理后，利用隨機森林建模能得到更準確的評分結果，還能提供重要特征進行教學反饋。上述實驗反映的預測結果和實際打分情況存在差異，但是差異結果不大，與費時費力的人工評分相比，機器自動評分可以顯著地節省時間成本和人力成本，還能反饋重要的特征變量給教師，教師據此可以進行以評促學的教學模式改革。

4 結論

本文將人工評分系統與自然語言特征相結合提出了一種新的自動評分算法。將人工智能的定量研究引入教學過程，通過自動評分模型的搭建完成數據分析報告的自動化評分，從而很大程度上地縮減了繁復的人工打分過程，以及消除了人工打分過程中存在的主觀因素，并且從模型中發現工作變量和描述性變量這些文本特征是非常重要的，未來有助于相關方面的教學強化——譬如在工作量保證的前提下，教師應當重視專業方面的學習指導，鍛煉學生的語言組織能力及邏輯思維能力，引導學生如何閱讀以及使用文獻資料，即實現有模型指導的以評促學的教學實踐。

同時，本文工作在未來還有待提升的方面。首先是考慮增加樣本量，由于搜集到的實驗樣本量較小，一定程度上影響實驗精度；其次是如何將人工評分中的非語義特征考慮進模型，量化非語義特征，提高自動評分結果的精確性；最后，如何持續提高數據分析報告自動評分算法的準確率，也是未來持續研究的問題之一。