基于操作日志的流程知識仿真考評方案研究

薛婷玉+呂政權+張潔萍+許燕

摘 ?要： 隨著各應用系統的復雜化，企業需要針對使用系統的員工進行培訓考核。為降低培訓考核的成本，提高各業務培訓的效率，提出了一種面向流程型業務知識即流程知識的實訓仿真系統以及流程知識實訓考核的自動測評框架與流程，在系統操作日志的基礎上將員工的操作結果和操作序列綜合考慮作為評分依據并給出客觀的評價。實現了評分結果的相對客觀、公正，大大提高了企業員工在實際操作中培訓考核的工作效率。

關鍵詞： 業務流程; 仿真培訓; 流程知識; 自動測評

中圖分類號： TN919?34; TP391.9 ? ? ? ? ? ? ?文獻標識碼： A ? ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2014）24?0018?04

Scheme for simulation evaluation of process knowledge based on operation log

XUE Ting?yu1， L? Zheng?quan2， ZHANG Jie?ping1， XU Yan2

（1. Glorious Sun School of Business and Management， Donghua University， Shanghai 200051， China;

2. Shanghai Municipal Electric Power Company， Shanghai 200438， China）

Abstract： As the complexity of the application systems， companies need to train and assess their staff who use the systems. To reduce the cost of training and examination， and improve the efficiency of business training， a process?oriented professional knowledge training simulation system and automatic exam evaluation frameworks and processes for business training is put forward. With the help of the system operation log and the operation sequence， an objective training evaluation to the staff is made. The simulation evaluation scheme achieved relative objectivity and impartiality， significantly improved the efficiency of practical training and examination of process?oriented knowledge.

Keywords： business process; simulation training; process knowledge; automatic evaluation

0 ?引 ?言

傳統針對應用系統培訓考核存在諸多的弊端：

（1） 考生進行流程業務過程的考試結果無存儲記錄，不能審核;

（2） 流程業務操作的題型不記錄考生的操作步驟和時間，無法考察考生在完成過程性知識點過程中的正確與否;

（3） 考核結果的批閱方式仍然采取人工進行批閱，費時費力且容易出錯。

針對以上情況，為不斷提高工作效率，提升服務水平，規范化、標準化培訓考核，本文提出一個仿真培訓考核方案，其特點是針對流程業務題型能夠實現：

（1） 流程業務題型題庫的管理;

（2） 題型數據的初始化;

（3） 記錄考生在進行系統操作過程中的流程日志;

（4） 記錄考生考試答題的操作時間;

（5） 支持仿真培訓功能;

（6） 根據評分規則實現考生答案的自動評分，提高批閱效率，尤其是面對大量試卷時做到統一標準，短時間內完成批閱。

1 ?國內外仿真考評系統研究現狀

國內外雖然擁有各種仿真考評系統，但基于流程知識的仿真培訓考核操作過程中的自動評分卻很少涉及。計算機自動評分（Computer Automated Scoring，CAS）是指使用計算機程序來模擬人工評分的標準及內部過程，對開放式題目和表現性活動進行評分及反饋。最早的CAS系統產生于教育領域，如對學校或者培訓機構的認證考試，文獻[1?3]就是針對教學考卷考試知識點的自動評分。隨著理論和技術的發展，CAS發展到多個領域，運用于航海、建筑、技能考核等，但是這些領域往往針對需要員工進行現場實地操作的業務，如文獻[4?7]。自動考評在電力行業的應用也較為廣泛，但大部分考評系統只對實務型業務開展。目前，各領域操作的流程越來越重要，對業務操作的序列性也越發的重視。雖然目前有針對流程性業務的培訓系統，但是流程性業務知識培訓后的考評卻較少涉及，雖然文獻[8]提到了仿真系統的自動測評技術，但是卻沒有利用操作過程中系統活動日志為依據來進行判斷。本文利用系統的操作痕跡即操作日志，根據仿真系統中存儲的答案為每一類型流程題型設計一個自動評分規則，完成業務流程操作的仿真培訓自動評分。

2 ?系統流程與結構模型設計

2.1 ?系統流程設計

針對本文提出的研究方案，以構建新型流程知識仿真考核系統，提高現代應用程序培訓考核質量為宗旨，服務于引進了新型復雜應用需要進行人員培訓的電力公司。

根據圖1的流程圖，本文設計的流程知識仿真培訓考核系統相對于傳統計算機應用考試系統，其仿真試題題庫存儲、考試環境準備、評判試卷、成績匯總等工作都由系統支持，提高了培訓考評的公平公正。

流程題型業務仿真界面即流程題型考核界面與實際操作系統界面具有完全相同的操作環境;邏輯包含流程業務邏輯和評分規則，流程知識業務邏輯是與考核知識點相對應的業務流程邏輯，評分規則是題目評分的算法細則;數據域包括初始化數據，考試輸入數據，期望輸出結果即題目所對應的答案結果數據，考生輸出結果即考生輸入數據依流程邏輯所產生的結果;結果包括獲取考試環境數據即獲取考試場次編號、考生編號等環境數據，記錄考試操作痕跡即記錄考題所要求的操作過程痕跡，輸出答題結果即輸出考試結果和答題、操作記錄。

3 基于操作日志的流程知識培訓考核關鍵問題

3.1 ?基于操作日志的流程知識測評自動化模型

業務流程是由若干相互關聯的、按照一定時間和邏輯順序組成的活動集合，而活動是由相應的角色通過利用各種資源來執行有相應的輸入、處理規則和輸出組成。流程業務題型就是在業務流程的基礎上，根據業務之間的關聯以及時間或邏輯順序在系統中進行操作的一種題型，操作中涉及到的各種知識即流程知識。

本仿真系統的考核主要針對考生的流程題型的操作進行評判，考生的操作導致系統狀態的變化。因此，對考生考試過程中的操作序列的提取主要通過存儲考生在進行流程考試操作過程中的操作日志到數據庫中來實現。同時，將考生的操作直接定義為事件來表示考生的操作序列，用四元組表示事件E（M，D，S，P）。其中M為操作模塊，D為操作日志，通過操作日志可以反映考生的操作順序和操作時間，S為進行操作后后續模塊狀態，P表示進行該操作需要的參數即初始化數據。當對所有的操作都定義成事件的標準形式后，把每道題的最簡正確操作序列存入數據庫的評分規則庫中，這樣就完成了正確答案的操作序列表示。

在事件E中，日志D的結構是由考生的操作順序以及操作過程中的時間組成，即D可以表示為D（H，T）。H表示在日志中存儲的考試的操作步驟，即各操作之間的順序，H的存儲方式是一個三維數組，為H（Iv，V，Ov），V表示業務流程活動，Iv表示活動V的輸入數據，Ov表示活動V的輸出數據;T表示考生操作完流程耗費的時間。如D中存儲的信息可以是（（（0，s，Os），（Ia，a，Oa），（Ic，c，Oc），（Ic，e，Oc）），10 min），表示考生完成流程走的步驟是s→a→c→e，完成流程花費的時間為10 min，最終結果是Oc。其中，s代表start，e代表end。

本文自動測評結合操作序列和操作結果一同進行測評。因此本文提出的實操題型的自動測評模型如圖3所示。

圖3中的推理機利用事先設定好的每個操作步驟的評分標準實現對考生的合理評分。動態數據庫主要存儲考生操作過程中的相關信息，如初始狀態、推理規則等，可以在系統推理或成績計算過程中動態生成或刪除。

3.2 ?基于操作日志的流程知識考評方案

在進行自動評分過程中，首先抽取待評試卷，從規則庫中找出每道題對應的規則組成待用規則集存入動態數據庫。待用規則即正確答案，對于基于結果或序列的操作所表示的分別是正確答案或最簡操作步驟。

在確定了操作測評的自動化模型以及評分流程后，評分的算法主要是：判斷正確答案的操作序列是否出現在考生的操作步驟中，根據考生操作日志判斷考生的操作順序是否正確。由于正確答案的操作序列存在多個可能，需逐個比對，只有均不符合才能判定考生的操作不全對。若答題有時間限制，查看答題時間是否有超出規定答題時間，若超出則根據評分條件進行相應的減分。具體流程如圖4所示。

圖4 實操考核自動評分流程

3.3 ?基于操作日志的流程知識自動評分規則

自動評分的規則主要通過考生的操作日志，比較實際操作過程與標準過程的差異來進行。評分規則的設置原理為操作到某一步多少分，得出正確結果多少分，然后計算總得分。每一個類型的題都有自己的評分規則，即每一類型的業務操作流程都有一個評分規則，每道題的評分規則是事先定義好存放在規則庫中。圖5是本系統中提出的評分規則的評分過程圖，根據每個題型的得分標準進行相應的評分，最終得出流程的總分。

圖5 操作步驟評分過程

4 ?實例研究

某電力公司在系統中進行業務流程考核，用流程日志記錄每個考生的操作痕跡，包括考試答題操作時間，操作先后順序等信息。當考生完成上一步操作后，操作序列存取考生操作的事件信息，將這一步的結果傳遞到下一步的初始數據中進行數據裝載。每一步的操作都有一個操作序列存取考生的操作題目、操作日志、操作結果和初始數據信息。之后根據自動評分流程將考生的操作序列和題目的標準操作序列進行比對，將期望輸出結果跟考生實際結果比較得出考生實操的最終分數。

在實際操作過程中，假設考生在考試過程中的操作步驟為sacmge，那么對該考生該業務中考試的操作日志D中存儲的操作路徑H為（（0，s，Os），（Ia，a，Oa），（Ic，c，Oc），（Im，m，Om），（Ig，g，Og），（Ig，e，Og）），上一活動的輸出是下一活動的輸入，即Os與Ia相同，而考生操作這一流程的時間為10 min，因此，D的存儲信息為（H，10 min）。而規則庫中存儲的這一業務的正確操作路徑為sacfge，即正確操作路徑為H1（（0，s，Os），（Ia，a，Oa），（Ic，c，Oc），（If，f，Of），（Ig，g，Og），（Ig，e，Og）），同時業務規定在進行操作花費的時間不得多于15 min。因此，該流程存于規則庫中的正確答案應為（H1，15 min）。評分規則此時比較實際操作過程與標準過程的差異。根據評分規則，該考生的前兩步正確，但是c之后的活動應為f，而考生的操作是c?>m，遍歷考生接下來的所有操作均無f，系統扣除該步驟分。再對比標準答案中，f的下一活動為g，同時遍歷考生日志得到g，遍歷到e結束。而考生的操作時間為10 min<15 min，沒有超出該題的時間限制，不需扣除超時分數。

因此，雖然考生最終結果跟標準答案一樣，但操作過程中卻有錯誤，沒有完全掌握業務流程知識。而基于操作日志的仿真考評方案就能根據考生的操作序列進行比對，真正起到考察考生流程知識點掌握情況以及熟練程度，幫助考生針對性的進行再培訓。

5 ?結 ?語

本文給出了操作序列表示方法和測評的自動化模型，在此基礎上建立考核自動評分流程。同時結合實例構建出有效的自動評分方案。該系統在實際中的應用，克服了傳統流程性考試人工評分的不足，實現相對、客觀，提高了流程業務知識點考核的工作效率，同時也降低了業務培訓考核的成本。隨著現代計算機技術的不斷進步，面向流程性業務題型的自動閱卷技術也將不斷成熟，必將在今后的仿真培訓考核系統中發揮越來越重要的作用。

參考文獻

[1] 嚴可，胡國平，魏思，等.面向大規模英語口語機考的復述題自動評分技術[J].清華大學學報：自然科學版，2009（z1）：1356?1362.

[2] 李學俊.基于人工智能的主觀題自動評分算法實現[J].江南大學學報：自然科學版，2009（3）：292?295.

[3] 李莉，張太紅. LSA在中文短文自動判分系統中的應用研究[J].計算機工程與應用，2007（20）：177?180.

[4] 項曙光，岳金彩，李玉剛.過程仿真培訓成績的自動評定及其實現（Ⅱ）：培訓成績自動評分的實現[J].計算機仿真，1999（5）：6?10.

[5] 傅焜，李志忠，楊宇航.基于流程圖和仿真的維修培訓系統[J].計算機仿真，2006（6）：282?285.

[6] 王興武，常喜茂，董青，等.基于Web的火電仿真培訓系統研究及實現[J].系統仿真學報，2006（11）：3091?3094.

[7] 沐潤志，李恒.一種新型實驗現場評分系統[J].價值工程，2013（12）：201?202.

[8] 陳萱華，楊玲.面向仿真系統的自動測評關鍵技術研究[J].計算機與現代化，2012（11）：59?61.

2 ?系統流程與結構模型設計

2.1 ?系統流程設計

針對本文提出的研究方案，以構建新型流程知識仿真考核系統，提高現代應用程序培訓考核質量為宗旨，服務于引進了新型復雜應用需要進行人員培訓的電力公司。

根據圖1的流程圖，本文設計的流程知識仿真培訓考核系統相對于傳統計算機應用考試系統，其仿真試題題庫存儲、考試環境準備、評判試卷、成績匯總等工作都由系統支持，提高了培訓考評的公平公正。

流程題型業務仿真界面即流程題型考核界面與實際操作系統界面具有完全相同的操作環境;邏輯包含流程業務邏輯和評分規則，流程知識業務邏輯是與考核知識點相對應的業務流程邏輯，評分規則是題目評分的算法細則;數據域包括初始化數據，考試輸入數據，期望輸出結果即題目所對應的答案結果數據，考生輸出結果即考生輸入數據依流程邏輯所產生的結果;結果包括獲取考試環境數據即獲取考試場次編號、考生編號等環境數據，記錄考試操作痕跡即記錄考題所要求的操作過程痕跡，輸出答題結果即輸出考試結果和答題、操作記錄。

3 基于操作日志的流程知識培訓考核關鍵問題

3.1 ?基于操作日志的流程知識測評自動化模型

業務流程是由若干相互關聯的、按照一定時間和邏輯順序組成的活動集合，而活動是由相應的角色通過利用各種資源來執行有相應的輸入、處理規則和輸出組成。流程業務題型就是在業務流程的基礎上，根據業務之間的關聯以及時間或邏輯順序在系統中進行操作的一種題型，操作中涉及到的各種知識即流程知識。

本仿真系統的考核主要針對考生的流程題型的操作進行評判，考生的操作導致系統狀態的變化。因此，對考生考試過程中的操作序列的提取主要通過存儲考生在進行流程考試操作過程中的操作日志到數據庫中來實現。同時，將考生的操作直接定義為事件來表示考生的操作序列，用四元組表示事件E（M，D，S，P）。其中M為操作模塊，D為操作日志，通過操作日志可以反映考生的操作順序和操作時間，S為進行操作后后續模塊狀態，P表示進行該操作需要的參數即初始化數據。當對所有的操作都定義成事件的標準形式后，把每道題的最簡正確操作序列存入數據庫的評分規則庫中，這樣就完成了正確答案的操作序列表示。

在事件E中，日志D的結構是由考生的操作順序以及操作過程中的時間組成，即D可以表示為D（H，T）。H表示在日志中存儲的考試的操作步驟，即各操作之間的順序，H的存儲方式是一個三維數組，為H（Iv，V，Ov），V表示業務流程活動，Iv表示活動V的輸入數據，Ov表示活動V的輸出數據;T表示考生操作完流程耗費的時間。如D中存儲的信息可以是（（（0，s，Os），（Ia，a，Oa），（Ic，c，Oc），（Ic，e，Oc）），10 min），表示考生完成流程走的步驟是s→a→c→e，完成流程花費的時間為10 min，最終結果是Oc。其中，s代表start，e代表end。

本文自動測評結合操作序列和操作結果一同進行測評。因此本文提出的實操題型的自動測評模型如圖3所示。

圖3中的推理機利用事先設定好的每個操作步驟的評分標準實現對考生的合理評分。動態數據庫主要存儲考生操作過程中的相關信息，如初始狀態、推理規則等，可以在系統推理或成績計算過程中動態生成或刪除。

3.2 ?基于操作日志的流程知識考評方案

在進行自動評分過程中，首先抽取待評試卷，從規則庫中找出每道題對應的規則組成待用規則集存入動態數據庫。待用規則即正確答案，對于基于結果或序列的操作所表示的分別是正確答案或最簡操作步驟。

在確定了操作測評的自動化模型以及評分流程后，評分的算法主要是：判斷正確答案的操作序列是否出現在考生的操作步驟中，根據考生操作日志判斷考生的操作順序是否正確。由于正確答案的操作序列存在多個可能，需逐個比對，只有均不符合才能判定考生的操作不全對。若答題有時間限制，查看答題時間是否有超出規定答題時間，若超出則根據評分條件進行相應的減分。具體流程如圖4所示。

圖4 實操考核自動評分流程

3.3 ?基于操作日志的流程知識自動評分規則

自動評分的規則主要通過考生的操作日志，比較實際操作過程與標準過程的差異來進行。評分規則的設置原理為操作到某一步多少分，得出正確結果多少分，然后計算總得分。每一個類型的題都有自己的評分規則，即每一類型的業務操作流程都有一個評分規則，每道題的評分規則是事先定義好存放在規則庫中。圖5是本系統中提出的評分規則的評分過程圖，根據每個題型的得分標準進行相應的評分，最終得出流程的總分。

圖5 操作步驟評分過程

4 ?實例研究

某電力公司在系統中進行業務流程考核，用流程日志記錄每個考生的操作痕跡，包括考試答題操作時間，操作先后順序等信息。當考生完成上一步操作后，操作序列存取考生操作的事件信息，將這一步的結果傳遞到下一步的初始數據中進行數據裝載。每一步的操作都有一個操作序列存取考生的操作題目、操作日志、操作結果和初始數據信息。之后根據自動評分流程將考生的操作序列和題目的標準操作序列進行比對，將期望輸出結果跟考生實際結果比較得出考生實操的最終分數。

在實際操作過程中，假設考生在考試過程中的操作步驟為sacmge，那么對該考生該業務中考試的操作日志D中存儲的操作路徑H為（（0，s，Os），（Ia，a，Oa），（Ic，c，Oc），（Im，m，Om），（Ig，g，Og），（Ig，e，Og）），上一活動的輸出是下一活動的輸入，即Os與Ia相同，而考生操作這一流程的時間為10 min，因此，D的存儲信息為（H，10 min）。而規則庫中存儲的這一業務的正確操作路徑為sacfge，即正確操作路徑為H1（（0，s，Os），（Ia，a，Oa），（Ic，c，Oc），（If，f，Of），（Ig，g，Og），（Ig，e，Og）），同時業務規定在進行操作花費的時間不得多于15 min。因此，該流程存于規則庫中的正確答案應為（H1，15 min）。評分規則此時比較實際操作過程與標準過程的差異。根據評分規則，該考生的前兩步正確，但是c之后的活動應為f，而考生的操作是c?>m，遍歷考生接下來的所有操作均無f，系統扣除該步驟分。再對比標準答案中，f的下一活動為g，同時遍歷考生日志得到g，遍歷到e結束。而考生的操作時間為10 min<15 min，沒有超出該題的時間限制，不需扣除超時分數。

因此，雖然考生最終結果跟標準答案一樣，但操作過程中卻有錯誤，沒有完全掌握業務流程知識。而基于操作日志的仿真考評方案就能根據考生的操作序列進行比對，真正起到考察考生流程知識點掌握情況以及熟練程度，幫助考生針對性的進行再培訓。

5 ?結 ?語

本文給出了操作序列表示方法和測評的自動化模型，在此基礎上建立考核自動評分流程。同時結合實例構建出有效的自動評分方案。該系統在實際中的應用，克服了傳統流程性考試人工評分的不足，實現相對、客觀，提高了流程業務知識點考核的工作效率，同時也降低了業務培訓考核的成本。隨著現代計算機技術的不斷進步，面向流程性業務題型的自動閱卷技術也將不斷成熟，必將在今后的仿真培訓考核系統中發揮越來越重要的作用。

參考文獻

[1] 嚴可，胡國平，魏思，等.面向大規模英語口語機考的復述題自動評分技術[J].清華大學學報：自然科學版，2009（z1）：1356?1362.

[2] 李學俊.基于人工智能的主觀題自動評分算法實現[J].江南大學學報：自然科學版，2009（3）：292?295.

[3] 李莉，張太紅. LSA在中文短文自動判分系統中的應用研究[J].計算機工程與應用，2007（20）：177?180.

[4] 項曙光，岳金彩，李玉剛.過程仿真培訓成績的自動評定及其實現（Ⅱ）：培訓成績自動評分的實現[J].計算機仿真，1999（5）：6?10.

[5] 傅焜，李志忠，楊宇航.基于流程圖和仿真的維修培訓系統[J].計算機仿真，2006（6）：282?285.

[6] 王興武，常喜茂，董青，等.基于Web的火電仿真培訓系統研究及實現[J].系統仿真學報，2006（11）：3091?3094.

[7] 沐潤志，李恒.一種新型實驗現場評分系統[J].價值工程，2013（12）：201?202.

[8] 陳萱華，楊玲.面向仿真系統的自動測評關鍵技術研究[J].計算機與現代化，2012（11）：59?61.

2 ?系統流程與結構模型設計

2.1 ?系統流程設計

針對本文提出的研究方案，以構建新型流程知識仿真考核系統，提高現代應用程序培訓考核質量為宗旨，服務于引進了新型復雜應用需要進行人員培訓的電力公司。

根據圖1的流程圖，本文設計的流程知識仿真培訓考核系統相對于傳統計算機應用考試系統，其仿真試題題庫存儲、考試環境準備、評判試卷、成績匯總等工作都由系統支持，提高了培訓考評的公平公正。

流程題型業務仿真界面即流程題型考核界面與實際操作系統界面具有完全相同的操作環境;邏輯包含流程業務邏輯和評分規則，流程知識業務邏輯是與考核知識點相對應的業務流程邏輯，評分規則是題目評分的算法細則;數據域包括初始化數據，考試輸入數據，期望輸出結果即題目所對應的答案結果數據，考生輸出結果即考生輸入數據依流程邏輯所產生的結果;結果包括獲取考試環境數據即獲取考試場次編號、考生編號等環境數據，記錄考試操作痕跡即記錄考題所要求的操作過程痕跡，輸出答題結果即輸出考試結果和答題、操作記錄。

3 基于操作日志的流程知識培訓考核關鍵問題

3.1 ?基于操作日志的流程知識測評自動化模型

業務流程是由若干相互關聯的、按照一定時間和邏輯順序組成的活動集合，而活動是由相應的角色通過利用各種資源來執行有相應的輸入、處理規則和輸出組成。流程業務題型就是在業務流程的基礎上，根據業務之間的關聯以及時間或邏輯順序在系統中進行操作的一種題型，操作中涉及到的各種知識即流程知識。

本仿真系統的考核主要針對考生的流程題型的操作進行評判，考生的操作導致系統狀態的變化。因此，對考生考試過程中的操作序列的提取主要通過存儲考生在進行流程考試操作過程中的操作日志到數據庫中來實現。同時，將考生的操作直接定義為事件來表示考生的操作序列，用四元組表示事件E（M，D，S，P）。其中M為操作模塊，D為操作日志，通過操作日志可以反映考生的操作順序和操作時間，S為進行操作后后續模塊狀態，P表示進行該操作需要的參數即初始化數據。當對所有的操作都定義成事件的標準形式后，把每道題的最簡正確操作序列存入數據庫的評分規則庫中，這樣就完成了正確答案的操作序列表示。

在事件E中，日志D的結構是由考生的操作順序以及操作過程中的時間組成，即D可以表示為D（H，T）。H表示在日志中存儲的考試的操作步驟，即各操作之間的順序，H的存儲方式是一個三維數組，為H（Iv，V，Ov），V表示業務流程活動，Iv表示活動V的輸入數據，Ov表示活動V的輸出數據;T表示考生操作完流程耗費的時間。如D中存儲的信息可以是（（（0，s，Os），（Ia，a，Oa），（Ic，c，Oc），（Ic，e，Oc）），10 min），表示考生完成流程走的步驟是s→a→c→e，完成流程花費的時間為10 min，最終結果是Oc。其中，s代表start，e代表end。

本文自動測評結合操作序列和操作結果一同進行測評。因此本文提出的實操題型的自動測評模型如圖3所示。

圖3中的推理機利用事先設定好的每個操作步驟的評分標準實現對考生的合理評分。動態數據庫主要存儲考生操作過程中的相關信息，如初始狀態、推理規則等，可以在系統推理或成績計算過程中動態生成或刪除。

3.2 ?基于操作日志的流程知識考評方案

在進行自動評分過程中，首先抽取待評試卷，從規則庫中找出每道題對應的規則組成待用規則集存入動態數據庫。待用規則即正確答案，對于基于結果或序列的操作所表示的分別是正確答案或最簡操作步驟。

在確定了操作測評的自動化模型以及評分流程后，評分的算法主要是：判斷正確答案的操作序列是否出現在考生的操作步驟中，根據考生操作日志判斷考生的操作順序是否正確。由于正確答案的操作序列存在多個可能，需逐個比對，只有均不符合才能判定考生的操作不全對。若答題有時間限制，查看答題時間是否有超出規定答題時間，若超出則根據評分條件進行相應的減分。具體流程如圖4所示。

圖4 實操考核自動評分流程

3.3 ?基于操作日志的流程知識自動評分規則

自動評分的規則主要通過考生的操作日志，比較實際操作過程與標準過程的差異來進行。評分規則的設置原理為操作到某一步多少分，得出正確結果多少分，然后計算總得分。每一個類型的題都有自己的評分規則，即每一類型的業務操作流程都有一個評分規則，每道題的評分規則是事先定義好存放在規則庫中。圖5是本系統中提出的評分規則的評分過程圖，根據每個題型的得分標準進行相應的評分，最終得出流程的總分。

圖5 操作步驟評分過程

4 ?實例研究

某電力公司在系統中進行業務流程考核，用流程日志記錄每個考生的操作痕跡，包括考試答題操作時間，操作先后順序等信息。當考生完成上一步操作后，操作序列存取考生操作的事件信息，將這一步的結果傳遞到下一步的初始數據中進行數據裝載。每一步的操作都有一個操作序列存取考生的操作題目、操作日志、操作結果和初始數據信息。之后根據自動評分流程將考生的操作序列和題目的標準操作序列進行比對，將期望輸出結果跟考生實際結果比較得出考生實操的最終分數。

在實際操作過程中，假設考生在考試過程中的操作步驟為sacmge，那么對該考生該業務中考試的操作日志D中存儲的操作路徑H為（（0，s，Os），（Ia，a，Oa），（Ic，c，Oc），（Im，m，Om），（Ig，g，Og），（Ig，e，Og）），上一活動的輸出是下一活動的輸入，即Os與Ia相同，而考生操作這一流程的時間為10 min，因此，D的存儲信息為（H，10 min）。而規則庫中存儲的這一業務的正確操作路徑為sacfge，即正確操作路徑為H1（（0，s，Os），（Ia，a，Oa），（Ic，c，Oc），（If，f，Of），（Ig，g，Og），（Ig，e，Og）），同時業務規定在進行操作花費的時間不得多于15 min。因此，該流程存于規則庫中的正確答案應為（H1，15 min）。評分規則此時比較實際操作過程與標準過程的差異。根據評分規則，該考生的前兩步正確，但是c之后的活動應為f，而考生的操作是c?>m，遍歷考生接下來的所有操作均無f，系統扣除該步驟分。再對比標準答案中，f的下一活動為g，同時遍歷考生日志得到g，遍歷到e結束。而考生的操作時間為10 min<15 min，沒有超出該題的時間限制，不需扣除超時分數。

因此，雖然考生最終結果跟標準答案一樣，但操作過程中卻有錯誤，沒有完全掌握業務流程知識。而基于操作日志的仿真考評方案就能根據考生的操作序列進行比對，真正起到考察考生流程知識點掌握情況以及熟練程度，幫助考生針對性的進行再培訓。

5 ?結 ?語

本文給出了操作序列表示方法和測評的自動化模型，在此基礎上建立考核自動評分流程。同時結合實例構建出有效的自動評分方案。該系統在實際中的應用，克服了傳統流程性考試人工評分的不足，實現相對、客觀，提高了流程業務知識點考核的工作效率，同時也降低了業務培訓考核的成本。隨著現代計算機技術的不斷進步，面向流程性業務題型的自動閱卷技術也將不斷成熟，必將在今后的仿真培訓考核系統中發揮越來越重要的作用。

參考文獻

[1] 嚴可，胡國平，魏思，等.面向大規模英語口語機考的復述題自動評分技術[J].清華大學學報：自然科學版，2009（z1）：1356?1362.

[2] 李學俊.基于人工智能的主觀題自動評分算法實現[J].江南大學學報：自然科學版，2009（3）：292?295.

[3] 李莉，張太紅. LSA在中文短文自動判分系統中的應用研究[J].計算機工程與應用，2007（20）：177?180.

[4] 項曙光，岳金彩，李玉剛.過程仿真培訓成績的自動評定及其實現（Ⅱ）：培訓成績自動評分的實現[J].計算機仿真，1999（5）：6?10.

[5] 傅焜，李志忠，楊宇航.基于流程圖和仿真的維修培訓系統[J].計算機仿真，2006（6）：282?285.

[6] 王興武，常喜茂，董青，等.基于Web的火電仿真培訓系統研究及實現[J].系統仿真學報，2006（11）：3091?3094.

[7] 沐潤志，李恒.一種新型實驗現場評分系統[J].價值工程，2013（12）：201?202.

[8] 陳萱華，楊玲.面向仿真系統的自動測評關鍵技術研究[J].計算機與現代化，2012（11）：59?61.