基于路徑的模擬仿真設備操作考試自動評分方法

向洪標 侯勁 袁天寶

摘要：在對模擬仿真設備操作的考試過程中，學員的操作順序多樣性較高，會產生多種評判路徑。為提高模擬仿真設備實操考核評分的準確性，通過對檢定實體設備的操作流程進行分析，結合人工評分的思路，采用一種基于操作路徑的動態規劃評分方法。通過對操作路徑進行分析和預處理，結合路徑最大匹配算法，實現對模擬仿真設備操作分步評判的自動評分。經實驗驗證，該自動評分算法對模擬仿真設備具有適用性，能客觀反映學員對操作流程的掌握情況。

關鍵詞：模擬仿真設備；實操考核；動態規劃；匹配算法；自動評分

中圖分類號：TP311? ? ? 文獻標識碼：A

文章編號：1009-3044（2023）31-0067-04

開放科學（資源服務）標識碼（OSID）

0 引言

近年來，隨著智能化和互聯網技術的不斷發展，各行各業也紛紛轉型升級，模擬仿真技術在教育、培訓等領域的應用也越來越廣泛，模擬仿真設備在邏輯上完全能夠實現實體設備的所有功能，并且能夠接替實踐教學中的任務[1-3]。在檢定設備實操考核培訓領域中，由于檢定設備昂貴且不易搬運，學員需要親自前往現場進行實操考核，評委老師根據學員的操作熟練度和有效性進行現場打分。這種傳統的培訓考核方式不僅成本高、效率低，而且在遭遇不可抗力因素如自然災害等情況時，考核也會因無法如期舉行而被迫取消。為了解決這一問題，本文提出了一種利用模擬仿真設備的線上考核方案，旨在降低培訓考核成本、提高效率、保證考核順利舉行，并培養出高素質的檢定人員[4-7]。

目前針對主觀題常見的評分方法有基于專家系統判定法、基于操作目標判定法、基于序列匹配判定法等。文獻[8]是基于模糊專家系統的評分算法，它需要龐大的數據庫系統提供支持，且應用于特定的對象，不具有普遍適用性；文獻[9]針對編程題進行評分，此類操作目標的評分算法是根據程序的運行結果進行評分，它具有不能判定程序步驟是否正確的局限性；文獻[10]是基于序列匹配的評分算法，它依據操作序列進行評分，適應于多數的操作考試中，但存在如果前面部分的操作錯誤，后面部分的操作依然會進入評判中的問題。

本文對模擬仿真設備自動評分中存在的問題進行了研究，采用一種基于操作路徑的評分方法，結合路徑最大匹配的算法，對實操考試過程中隨機操作路徑的有效操作進行篩選，并使用分步評分，實現對操作路徑的評判。

1 操作路徑的定義

將操作路徑定義為：由一系列操作行為隨時間串聯成的順序組合，用操作集{M1，M2，...，MI，m1，m2，...，mi}表示，其中MI和mi分別表示第i步有效操作和無效操作。

一次考核任務通常會有多種操作路徑，這些操作路徑都是正確的，將正確的操作路徑集合作為評判路徑集。通過對實際考核操作中可能存在的各種的情況進行歸納總結，現對操作事件作如下分類：

1） 有效操作。在操作路徑中作為判分依據的操作。

2） 無效操作。在操作路徑中不應該出現的操作，會對結果產生壞的影響。

3） 漏操作。在操作路徑中未執行的有效操作。

4） 無關操作。此類操作對考核結果不會產生影響并可重復出現。

對操作路徑作如下分類：

1） 串聯路徑。該操作路徑中的各個操作步驟須嚴格按照順序執行。

2） 并聯路徑。該操作路徑中的操作步驟不分先后，執行即可。

2 操作流程分析和評分方法及數據庫設計

2.1 操作流程分析

本文選擇以檢定功率計為例，通過梳理總結得出在進行模擬仿真設備操作考核時的主要步驟。

1） 測量點位選擇：根據被測設備選擇合適的測量點位。

2） 測量接口選擇：根據標準和待測設備選擇需要測試的接口。

3） 線纜選擇：根據標準和待測設備選擇相應的線纜。

4） 儀器接口連接：將選擇的線纜連接好測量設備的相應接口。

5） 操作設備：打開儀器電源，進行置零和校準，輸入測量點等。

6） 讀數并記錄：讀取并記錄標準設備中的數據。

7） 整理設備：關閉儀器電源，取下線纜。

8） 提交考核過程并由系統評分。

常見的考試評分系統一般不需要記錄操作過程，直接通過答題的結果即可進行給分，如作文評分系統，編程題評分系統等，但在本次業務需求中涉及復雜的設備操作，評分的關鍵恰恰在于操作的正確性，所以不僅要記錄操作過程還要記錄得到的結果，最后結合兩者進行給分。

2.2 評分方法設計

通過上面對操作事件的分類和操作流程的分析得出，操作路徑具有很強的隨機性，里面可能充斥著各種干擾操作事件，這些都會對評分產生影響，通過歸納總結本文整理出以下評分方法。

1） 操作路徑預處理

由于實際操作路徑中可能存在各種不確定的操作，針對操作路徑中存在的一些無關操作，在系統評分之前需要進行一次操作路徑的清洗，去除掉那些沒有參考價值的操作，篩選出一套有效的操作路徑。

2） 路徑相似度匹配

對操作路徑進行預處理后，通過路徑相似度匹配算法，從標準操作集中找出最大匹配的標準操作路徑。

3） 分步評分

實操考核不能簡單地通過結果正確或者錯誤進行評判，這樣并不能反映一個學員的操作水平。按步驟給分能夠合理地反映出學員的水平，以及對各個操作考核的掌握情況。

4） 兩個評價指標

①操作順序：按操作路徑匹配，分為嚴格按操作順序匹配和自由匹配。

②設備狀態：完成操作任務后判斷模擬仿真設備儀表的顯示狀態是否正確。

2.3 數據庫設計

模擬仿真設備的正常運行離不開數據的支撐，設備信息、考核人員的信息、分數信息、設備儀表的狀態，和操作路徑都需要數據庫對其進行存儲，因此數據庫的設計起到非常關鍵的作用。數據庫各表信息及關系如圖1所示。

3 評分方法實現

3.1 操作路徑預處理

系統接收到產生的操作路徑后，并不能直接進行匹配，因為原始數據可能包含著許多干擾操作，這些干擾操作會導致評分難度加大以及評分不準確。比如在單位選擇操作中，如果學員不斷切換多選框中單位選項，最后再確定為其中一個單位，那么切換過程中選擇其他單位選項所產生的操作路徑就會對評分產生干擾。所以預處理的目的就是進行數據清洗，清除掉操作路徑中的干擾操作事件，保留有效的操作事件。

操作路徑預處理的思想為將操作事件以對應的特定標識字符賦予兩種狀態（0：無效操作事件；1：有效操作事件），1） 如果標準操作流程中不存在重復操作，那么將用戶操作路徑中重復某一操作事件的操作路徑最后一個字符設置為1狀態，即有效操作事件；2） 對于在多選框選項連續操作時，將其構成的操作路徑最后一個字符設置為1。假設將操作路徑用不同數字表示，根據上面對操作路徑的處理規則，假設一組實際的操作路徑為：“1→2→2→3→4→5-2→5-1→5-3”（1、2、3、4分別表示不同操作事件，5-1、5-2、5-3分別表示同一操作事件的不同選項），經過預處理后得到的路徑為：“1→2→3→4→5-3”其處理效果如圖2所示（其中深色表示狀態1；淺色代表狀態0）。

3.2 路徑相似度匹配

路徑相似度的計算是將預處理后的操作路徑與數據庫中的標準路徑集進行匹配的過程。本次設計采用的是編輯距離算法，一種動態規劃的方法，編輯距離是指將原字符串通過字符插入，刪除和替換轉化為目標字符串的最小編輯次數，再根據編輯次數得出兩者的相似度。

編輯距離算法的計算法則為：假設有一個長度為i的字符串S，以及一個長度為j的字符串T，然后利用[edit（i，j）]函數來表示兩個字符串之間的編輯距離。

1） 如果i=0且j＞0，定義以下的公式（1） ：

[edit（0，j）=j] （1）

表示字符串S的長度為0，字符串T的長度為多少，就做多少次編輯操作。

2） 如果i＞0且j=0，定義以下的公式（2） ：

[edit（i，0）=i]? ? ?（2）

表示字符串T的長度為0，字符串S的長度為多少，就做多少次編輯操作。

3） 如果0＜i≤1且0＜j≤1，定義以下的公式（3） ：

[edit（i，j）=min{edit（i-1，j）+1，edit（i，j-1）+1，edit（i-1，j-1）+a（i，j）}]? （3）

式中，如果字符串S的第i個字符等于字符串T的第j個字符，那么[a（i，j）]=0，否則[a（i，j）=1]。

最后根據得出的編輯距離[edit（i，j）]，定義以下計算相似度[α]的公式（4） ：

[α=1-edit（i，j）Max（i，j）]? ? （4）

在公式（4） 中Max表示取得的最大長度值。

3.3 分步評分

從傳統的閱卷角度分析，分步評分更能確?？荚嚱Y果的合理性。本次設計的模擬仿真設備實操考核系統，根據考核要求盡可能實現了同實體設備同樣的操作邏輯。在操作流程分析中提到的七個主要步驟便是分步評分的依據。通過預處理后的操作路徑和路徑最大匹配算法得到的標準操作路徑之間的比對進行評分，構造的評分模型（5） 如下：

[score=i=1，j=13αiβj+i=47αij=4iβj]?; ?（5）

式中score表示本項實操考核的總分數，0≤score≤100；[αi]表示第i步所占的分值，[βj]表示第j步操作是否為有效操作，如果是[βj=1]，否則[βj=0]；[j=4iβj]表示歷史操作路徑的正確性，如果第j步是錯誤的，但是第j步之前的操作都是正確的，那么總分為第j步之前所有步驟分值的總和，第j步以及之后的操作都為0分。通過對操作流程的分析發現，有的步驟是需要嚴格按照順序執行，否則不得分，但是有的操作步驟則與順序無關，執行了即可。通過歸納總結發現前三步關于對測量點位、測量接口、線纜的選擇不必按照順序執行，但之后的操作需要，所以構造的模型對兩部分操作流程分別實施一套評判邏輯，最后總分為兩者分數之和。公式（5） 中各個變量的具體值如表1所示。

[α5]表示第5步儀器操作的得分，該操作為總操作路徑下的子路徑，且應該按照順序執行，所以定義公式（6） 如下：

[α5=i=1nγij=1iρi]? ?（6）

式中[γi]表示第i步的分值，[ρi]表示第j步的正確性，如果正確則[ρi]=1，否則[ρi]=0。式中各個變量的具體值如表2所示。

4 系統實現及測試

系統使用前端Vue框架和后端Go語言實現開發。用戶完成一整套操作路徑，提交試卷之后，系統便將獲取到的數據通過本文設計的基于操作路徑的自動評分方法進行判分。接下來以考核任務中一項操作路徑為例，說明本次開發的模擬仿真設備考試系統自動評分如何實現并展示模擬仿真設備部分頁面。

第1步，打開儀器電源進行復位、置零、校準等操作。

第2步，根據操作結果，依據評分算法計算分值。

第3步，通過觀察檢定的模擬仿真設備選擇合適的端口和線纜。

第4步，根據選擇結果，依據評分算法計算分值。

第5步，設置信號源頻率值和幅值，并確定操作。

第6步，根據設置結果，依據評分算法計算分值。

第7步，記錄標準功率計中得出的數值，如圖3所示。

第8步，根據頁面顯示結果，依據評分算法計算分值。

第9步，計算出該項操作路徑的總分值。

以上述的一項按順序操作任務為例，將本文設計的基于操作路徑評分算法與基于序列匹配算法作比較。假設該項標準操作路徑為A，B，C，D，E，F，而用戶操作路徑經過預處理后為A，B，C，D，F，E，每步操作分值為1分。使用兩種評分算法進行分析，如表3、表4 所示。

通過上面兩張表可知基于序列匹配的評分方法得分較高，因為只要執行了評判標準集中的操作步驟即可給分，并未考慮操作順序的影響，而本文采用的基于操作路徑的評分算法，操作步驟和操作步驟的順序都成為評分的依據，通過了解某單位實操考核時人工的評分規則，基于操作路徑評分方式更能合理反映出學員的操作水平。

5 結束語

本文針對實操培訓考核的需求，對考核流程進行了分析，設計了一種基于操作路徑的分步評分方法，完成了對操作路徑和結果的評判。該方法經過實驗論證確實可行，已經在所開發的模擬仿真設備操作考試自動評分系統中得以應用，并取得了良好的效果。

參考文獻：

[1] 陳卓艷，仇麗青.基于在線開放課程+OJ的程序設計類課程教學模式探索與實踐[J].軟件，2020，41（4）：282-285.

[2] 張美娟，劉軍，陳艷，等.基于課程訓練的在線評測系統的研究[J].信息技術與信息化，2019（9）：163-165.

[3] 薄鈞戈，喬亞男，齊琪，等.基于編輯距離的自適應反饋程序評測方法[J].計算機技術與發展，2022，32（8）：135-141.

[4] 熊宗楊，薛學斌，王欣，等.基于過程化考核的在線考試系統的研究與實現[J].重慶師范大學學報（自然科學版），2018，35（6）：75-81.

[5] 肖靈云，劉軍庫.基于相似度組合的主觀題評分方法研究[J].貴州大學學報（自然科學版），2021，38（5）：64-68.

[6] 王力洪.基于關鍵字和序列匹配的自動評分算法的研究[J].福建電腦，2015，31（12）：10-12.

[7] 李建華，許芝卉.基于人工評分思路的C語言自動評分算法研究[J].山西大同大學學報（自然科學版），2020，36（2）：25-27.

[8] 喬程程，楚紀正.基于模糊專家系統的操作評價方法[J].計算機與現代化，2013（10）：163-166.

[9] 宗德才.操作題自動評分系統的設計與實現[J].計算機工程與設計，2010，31（5）：1156-1160.

[10] 郭培，高俊雄，王耘波.基于序列匹配的自動評分算法設計[J].計算機應用，2011，31（S2）：78-80.

【通聯編輯：謝媛媛】