推進考試領域智能化閱卷系統實施的挑戰與對策

趙天齊 ZHAO Tian-qi

（北京建筑大學，北京 100097）

0 引言

隨著當今信息化時代的來臨，社會各領域都在積極探索互聯網信息化的創新發展之路，希望以此來突破傳統工作模式的束縛，實現新時期的新發展。根據國務院對國家行政管理部門“放、管、服”的指示精神，具體到考試工作領域而言，傳統的紙筆考試形式正在依托計算機信息技術和電子掃描技術，逐步轉變為上機考試、試點開啟智能化評分閱卷等趨勢，這將進一步減少人為失誤而導致的評卷失誤，提高評閱卷的準確性和工作效率。

當前，考試領域內的智能化閱卷系統主要由參與方、數據、設備、環境這四個要素所構成，這四個要素之間彼此聯系，相互影響，只有在這四個要素的共同作用下，才能順利地實施智能化閱卷。但目前，智能化閱卷系統還并不完善，現實中存在一系列阻礙智能化閱卷系統實施的困難與挑戰。本文具體分析推動考試領域智能化閱卷系統實施所遇到的問題，并提出相對應的解決方案。

1 智能化閱卷系統的國內外研究現狀

1.1 國外智能閱卷現狀

智能化閱卷研究在國外興起較早，最早可以追溯到二十世紀六十年代，美國率先開始了對自動評分系統的研發，主要是源于美國寫作測試逐漸增多，學生的作文數量激增，大大增加了教師評分的工作量，導致作文無法及時批改。而且人工評分耗時、耗錢，評分者還存在固有的主觀性。因此，不得不通過技術措施解決這一難題，開發作文自動評分系統。隨著計算語言學技術的發展，作文自動評分技術不光解決了學校批改作文的部分負擔，也帶來了技術的發展和競爭，并隨之出現了一些自動評判系統應用于學生作文批改。如: Project Essay Grade （PEG） 系統、Electronic Essay Rater（E-Rater）系統、Conceptual Rater（C-Rater）系統、Intelligent Essay Assessor（IEA）系統，其中應用較廣泛的為Electronic Essay Rater（E-Rater）系統。

E-Rater 系統是由美國教育考試中心的Jill Burstein領導開發的使用NLP 技術的在線寫作系統，并且已經被美國國家考試中心于2005年開始應用于TOEFL 的考試中。但是E-Rater 是僅從寫作風格、修辭等角度來判斷寫作水平，不進行文章內容理解，因此無法判斷寫作內容是否符合要求。所以該系統只能輔助判斷寫作水平，并不能單獨完成作文的評判，這極大地限制了系統的推廣。

1.2 國內智能閱卷現狀

目前，部分考試已經開始了智能化閱卷的研究。我國的很多認證考試、等級考試和一些高校的部分課程考試都開發了相應的考試系統，最廣泛應用的就是計算機等級考試系統，GRE 外語上機考試系統等。

我國目前開展智能閱卷研究的主要有以下三種考試類型：①選拔類考試，人工智能閱卷全程質量監測。如部分省高考、中考、公務員類的申論考試等，題型主要是選擇題、論述題、簡答題、填空題、作文、數學應用題等。②職業資格類考試，人工智能提供評分數據作為參考，如：消防工程師考試、中級會計師考試等，題型主要是選擇題、論述題、簡答題等。③在線模擬考試，人工智能閱卷為在線模擬考試平臺的學生試卷打分，如在線模擬考試，英語周報、翻譯平臺等，題型主要是音頻類語音題等。

由傳統的人工閱卷轉型至智能化閱卷，既可以降低閱卷成本，又避免了人工閱卷的主觀意識，還提高考試的公正性。智能化閱卷由于數據精確準、信息量、處理速度快，在很大程度上提高了閱卷速度，減少從試題命制到成績生成的流程，減少了流程中人的參與次數，提高閱卷保密安全性。

目前，國內各種考試評閱系統對客觀題的評閱技術已經非常完善，而對主觀題和操作題而言，評閱時一般還是采用人工評閱的方式，并沒有真正實現機考、閱一體化。因此，需要及時地找到問題并提出針對性的解決方案，才能有效地推進考試領域智能化閱卷系統的實施應用。

2 智能化閱卷系統的組成要素

考試領域內的智能化閱卷系統主要由參與方、數據、設備、環境這四個要素所構成（如圖1 所示）。參與方指的是考試閱卷過程中的各階段主要參與者，包括了考生、試卷掃描人員、試卷評卷人員；設備指閱卷時所用到的必要設備，包括了掃描設備和閱卷設備；數據是該系統所需要的基礎信息數據和所呈現的最后結果信息數據，包括了考生數據、客觀題數據、主觀題數據、通過率等數據；環境則是指該系統所處的現實背景環境，各地區的實際環境各不相同，包括了自然環境與社會環境。

圖1 智能化閱卷系統組成要素

智能化閱卷系統的四個要素彼此之間相互影響，互相作用。首先由所有考生作答考試內容，經匯總后由掃描人員用特定的掃描設備，將考生作答的試題答案掃描進計算機中，形成電子數據，存儲在閱卷系統中。其次，評卷專家登錄評卷設備，對上傳至系統中的主觀題進行評分，客觀題則由系統根據設定好的答案順序，自動評分。最后，系統將評閱完成的客觀題數據與主觀題數據進行匯總，形成本次考試的最終數據信息，可顯示本次考試報名人數、實考人數、缺考人數、通過人數等信息，并計算出本次考試的通過率，再反饋給相關考試部門，考試部門根據數據結果進行再分析，做好為下一次考試的研判工作。以上涉及的各階段內容都是發生在不同的實際環境中的，受自然環境和社會環境影響。自然環境包括了地震、暴雨等極端天氣影響，可能導致閱卷場所丟失數據，造成人員傷亡等情況。社會環境是指在政策、制度等方面的內容，教育政策和考試制度的變化會直接影響考試的設計和評分標準。政府的教育政策以及教育部門的規定會對考試題目和評分標準產生重要影響。

3 智能化閱卷系統的現存問題

3.1 現有文獻顯示的智能化閱卷現存缺點

通過梳理相關文獻，與傳統的人工閱卷模式相比，智能化閱卷雖然具有效率更高、安全性更強、評判尺度一致等諸多優點，但是仍存在不少現實困難。

3.1.1 前期研發成本較高

開發智能化閱卷系統需要使用復雜的自然語言處理、機器學習和人工智能等技術，這些技術需要高水平的專業知識和大量的研發投入。研發團隊需要投入大量時間和精力來設計和實現能夠準確評估學生答案的算法和模型。為了訓練智能化閱卷系統，需要大量的人工標注數據以及學生答案的樣本數據。數據的采集、清洗和標注工作需要投入大量人力和時間成本。

3.1.2 文本轉化率不可控

紙筆考試需先進行文本轉換，每個人書寫漢字的字體不統一，存在字體大小不等、字體傾斜、連筆等現象，導致文本轉換準確率受到一定程度的影響。

3.1.3 考試內容受評分技術的影響有所限制。

涉及文字論述題型時，就需要對作答的科學性以及邏輯性進行判別。例如專業名詞存在同義詞、部分工作順序變化也是正確答案等情況，智能化閱卷計算模型還需要通過實踐檢驗和調試。目前尚處于研發階段，主要用于輔助人工閱卷階段。

3.2 ISM 模型分析

3.2.1 ISM 模型定義

ISM 模型是解釋結構模型的簡稱，是美國沃菲爾德教授在1973年所開發的一種模型。解釋結構模型化（ISM）技術是通過尋找系統構成要素、定義要素間關聯的意義、給出要素間以二元關系為基礎的具體關系，將其整理成圖、矩陣等較為直觀且易于理解的形式，最終逐步建立起復雜系統的結構模型。

ISM 模型常用于分析解釋現實復雜的系統問題，目前已廣泛地應用于認識和處理各類社會經濟系統的問題。

3.2.2 確定組成要素

在ISM 分析中，首先需要列舉出影響智能化閱卷系統實施的影響因素。通過查閱相關文獻，歸納總結出了7個關鍵影響因素，并用S1-S7 分別與之一一對應，具體的對應情況如表1 所示。

表1 影響智能化閱卷系統實施的因素

3.2.3 判定二元關系

在判定要素之間的關系時，需要用到方格圖來表示元素的相互關系。在方格圖中，可以直觀地看出各要素之間的二元關系，其中V 表示方格圖中的行（或上位）要素直接影響到列（或下位要素），A 表示列要素對行要素有直接影響，X 表示行列兩要素相互影響，具有強連接關系。圖2為影響智能化閱卷系統實施的要素方格圖。

圖2 影響智能化閱卷系統實施的要素方格圖

3.2.4 建立矩陣

在得到了影響智能化閱卷系統實施的要素方格圖之后，再加上反映自身關系的單位矩陣，就可以建立起可達矩陣。可達矩陣反映了系統各要素間的直接或間接關系，影響智能化閱卷系統實施的可達矩陣如表2 所示。

表2 可達矩陣

根據要素級位劃分的思想，在具有強連接關系的要素（S1 與S6）中去除S6（即去除可達矩陣中“6”所對應的行和列），可得到縮減矩陣（如表3 所示）。

表3 縮減矩陣

按照縮減矩陣中每行“1”元素的多少，由少到多順次排列，調整矩陣的行和列，進行層次化處理后得到一個新的矩陣，從矩陣的左上角到右下角，依次分解出最大階數的單位矩陣，并加注方框。每個方框表示一個層次。如表4所示，可見，該系統中的要素分為4 個層次，S5、S7 屬于第一層次、S4 屬于第二層次、S3 為第三層次、S1、S2 為第四層次。

表4 層次化處理

3.2.5 多級遞階有向圖

根據層次化處理后的縮減矩陣，可以繪制多級遞階有向圖，能更直觀地表示該模型的層次和結構，如圖3 所示。影響智能化閱卷系統實施的原因的多級遞階有向圖共分為4 個層級，節點表示系統構成要素，有向弧表示要素之間的二元關系，其中S1 與S6 屬于強連接關系，兩者同處于同一層級，其他層級與縮減矩陣層次化處理后的層級一致。

圖3 多級有向階梯圖

3.2.6 解釋結構模型

在繪制出多級遞階有向圖后，根據S1-S7 各元素之間的對應關系，可以構建出解釋結構模型，如圖4 所示。

圖4 ISM 模型圖

通過使用ISM 模型進行分析可知，若想進一步推進智能化閱卷系統的實施，就需要額外關注以下幾個方面：

從長期性和根本上來說，推進智能化閱卷系統的實施取決于這個閱卷系統的基礎數據（S6）、閱卷人員的專業背景知識（S1）和閱卷缺勤率（S2）的共同作用。第一，智能化閱卷系統需要大量的基礎數據來訓練模型，以提高閱卷的準確性和效率。這些基礎數據包括試卷內容、答案、評分標準等。如果基礎數據不準確或不完整，將影響閱卷系統的性能和可靠性。第二，閱卷人員的專業背景知識對閱卷結果的質量和準確性至關重要。如果閱卷人員缺乏相關的專業背景知識，將難以對試卷內容進行準確理解和評估，導致影響閱卷結果。第三，閱卷缺勤率是指閱卷人員實際參與閱卷工作的比例。如果閱卷缺勤率過高，將導致閱卷工作無法順利進行，影響閱卷效率和質量。

從間接來說，閱卷所用的專業設備和閱卷專家的講解培訓水平是間接影響智能化閱卷系統進一步推進的原因。如果閱卷所用的設備性能不穩定或存在缺陷，將直接影響閱卷的準確性和效率。如果閱卷專家能熟練清晰地講解試卷的評分標準，將有助于快速地培訓出一批閱卷人員，使所有閱卷人員清晰準確地了解試題采分點，有助于提高閱卷效率和準確性。

從短期和直接性來說，閱卷場所的環境情況（S5），閱卷系統的資金投入水平（S7）是推動智能化閱卷系統進一步實施的因素。第一，閱卷場所的環境情況對閱卷效率和質量有著直接的影響。一個寬敞、明亮、舒適的閱卷環境可以讓閱卷人員更加專注和高效地工作，從而提高閱卷效率和質量。相反，如果閱卷場所環境惡劣，如噪音、光線不足等，將會影響閱卷人員的專注度和工作效率，從而影響閱卷結果。第二，閱卷系統的資金投入水平也是推動智能化閱卷系統進一步實施的重要因素。智能化閱卷系統的研發和實施需要大量的資金投入，包括硬件設備、軟件開發、人員培訓等方面的費用。如果資金投入不足，將無法保證智能化閱卷系統的穩定性和可靠性，進而影響閱卷工作的順利進行。

4 推進智能化閱卷系統的對策建議

4.1 霍爾三維模型

霍爾三維模型是一種系統工程方法論，這種方法可以直觀地展示出系統工程各項工作內容的時間維、邏輯維、知識維這三維結構圖。本文通過霍爾三維模型，展開研究智能化閱卷系統的三維邏輯，在三種維度上對如何推進智能化閱卷系統進行進一步分析。

如圖5 所示，構建了智能化閱卷系統的霍爾三維模型圖。根據知識維、邏輯維、時間維三種不同邏輯，分別羅列出了該系統不同維度的組成要素。通過分析該模型，找出并優化可能對推進智能化閱卷系統進一步實施的因素。

圖5 霍爾三維模型圖

知識維指的是系統中所涉及的知識、信息和數據。這包括系統設計中所需的專業知識、技術資料、規范標準、歷史數據等。知識維關注的是系統所涉及的信息和知識的獲取、管理和應用。該模型下的知識維包括了保密安全教育知識、閱卷人員相關學科背景知識和所涉及考試閱卷人員的保密教育知識等內容。

邏輯維通常指的是系統工程中所涉及的邏輯結構、功能關系、流程設計等方面。包括了系統各個模塊之間的邏輯關系等內容。

邏輯維中共分成六個階段：第一步，接收基礎數據。是指接收經過保密處理的考生編碼和考生作答信息，進行數據檢驗和核查。

第二步，接收人工閱卷數據。指接收部分由人工產生的閱卷數據，進行數據校驗。

第三步，進行樣本選擇和模型訓練。從產生人工閱卷的樣本中抽取訓練樣本，抽選的樣本按不同分數段抽取有代表性的樣本進行多模型訓練，在驗證集上進行模型優選。

第四步，開展智能化閱卷。利用優選的模型對考生作答內容進行評分，形成智能化閱卷評分數據。

第五步，提交復合卷，將智能化閱卷評分數據反饋至專家組進行復審。

最后一步，進行統計分析。即對全部考生數據的智能化閱卷評分數據、人工閱卷數據進行綜合分析，形成智能化閱卷報告。

時間維通常指的是系統工程中與時間相關的各種內容，包括時間約束、時序邏輯、時序行為等。這包括系統的時間性能要求、實時性需求、事件發生順序等。時間維關注的是系統在時間維度上的特性和要求。在該時間維模型中，按照時間進程劃分成八個階段，每一個階段都可以看作是下一個階段的準備工作。整個工作流的核心是第七階段，即正式評閱階段，這也是保證閱卷質量的重點階段。

4.2 對策建議

通過查詢國內外相關文獻，并針對推進智能化閱卷系統的實施因素構建了ISM 模型和霍爾三維模型圖，本文提出了對推進智能化閱卷系統有效實施的部分對策。

4.2.1 加大技術系統的投資建設

通過ISM 模型可知，閱卷系統的資金投入水平是推動智能化閱卷系統進一步實施的直接因素。智能化閱卷系統需要投入大量資金進行技術研發和購置相關設備和軟件。這包括用于自然語言處理、機器學習、圖像識別等方面的技術開發和購買高性能計算設備、服務器等硬件設備。資金投入的充足與否直接影響到系統的技術水平和性能。同時，智能化閱卷系統需要專業的技術人才進行系統的開發、維護和優化。資金投入可以用于人才的培訓和引進，以及保障人才的穩定性和持續的技術支持。

4.2.2 加強培訓閱卷人員相關專業知識水平

根據霍爾三維模型可知，在時間維的邏輯下，正式評閱階段是保證閱卷質量的重點階段。在正式評閱卷時，閱卷人員的缺勤率、專業知識水平決定了本次閱卷的效率與質量，具備相關專業知識的閱卷人員可以更準確地理解評分標準，避免主觀評分的偏差，從而提高閱卷的一致性和公正性。高質量的人工評閱基礎數據有利于智能化閱卷系統的進一步學習。同時通過培訓，閱卷人員能夠更好地理解智能化閱卷系統的工作原理和技術特點，從而更好地配合系統進行工作。

4.2.3 增加對閱卷設備和閱卷環境的重視程度

根據ISM 模型的相關結論可知，閱卷所用的專業設備和閱卷專家的講解培訓水平是間接影響智能化閱卷系統進一步推進的原因。良好的設備和環境能夠提高系統的運行效率，能夠提供穩定的工作條件和良好的數據輸入，有利于智能化閱卷系統的準確性和穩定性，可以縮短閱卷時間，提高工作效率，減輕閱卷人員的工作負擔。關注閱卷設備和環境有助于提升閱卷工作的舒適度和安全性，改善閱卷人員的工作環境，提高工作積極性和工作效率。

5 結語

本文首先研究梳理了智能化閱卷系統的國內外研究現狀，再列舉出了智能化閱卷系統的組成要素，理清了各要素之間的相互關系與共同作用情況。在分析推動智能化閱卷系統實施所遇到的困難時，使用了ISM 模型進行研究分析，并得到了相應結論。通過使用霍爾三維模型，將該系統的時間維、知識維、邏輯維進行細分梳理，最后結合ISM 模型和霍爾三維模型，試圖找出所遇困難的解決對策。本文以系統工程的知識邏輯框架為指導，為改善實際工作中所遇到的問題提供了解決思路。