訓練裝備體系使用效果評估方法研究

摘要：在信息化技術和作戰模式不斷發展變革的形勢下，為滿足作戰部隊提高操作使用能力和快速形成戰斗力的需要，采用理論學習和操作訓練相結合、模擬訓練和實裝操作相結合、單兵訓練和體系訓練相結合的訓練裝備體系正在成為部隊進行裝備訓練的重要方式。為對訓練裝備體系的使用效果進行評估，本文研究建立了一套訓練裝備使用效果評估方法，評估作戰部隊使用訓練裝備體系進行訓練的效果，為工業部門設計和改進訓練裝備提供理論支撐，為部隊采購和使用訓練裝備提供理論依據。

Abstract： Under the situation of continuous development and change of information technology and operation mode， in order to meet the needs of improving operational capability and rapidly forming combat effectiveness of the combat forces， the training equipment system which combines theoretical learning and operational training， simulation training and practical operation， individual training and system training is becoming an important way of equipment training. In order to evaluate the use effect of training equipment system， this paper studies and establishes a set of evaluation method to evaluate the use effect of training equipment system by combat forces， to provide theoretical support for industrial departments to design and improve training equipment， and to provide theoretical basis for departments to purchase and use training equipment.

關鍵詞：訓練裝備體系;使用效果;評估;信息化

Key words： training equipment system;use effect;evaluation;informatization

中圖分類號：TP29 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻標識碼：A ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文章編號：1006-4311（2020）19-0211-03

0 ?引言

在信息化技術和作戰模式不斷發展變革的形勢下，科技進步促進高技術裝備大量列裝部隊，但實戰化要求帶來的高訓練強度將對裝備帶來大量損耗，進而提高裝備的維修保障費用和不可用時間。為提高部隊的訓練水平，實現戰斗力的快速形成和提升，理論學習和操作訓練相結合、模擬訓練和實裝操作、單兵訓練和體系訓練相結合的訓練裝備體系正逐漸成為裝備訓練的重要手段。

開展訓練裝備體系使用效果的評估，是裝備訓練不可缺少的環節，有利于建立完善訓練裝備體系的使用效果評估機制，有利于實現訓練裝備體系的有效管理，有利于推動訓練內容、訓練方式和訓練產品的改進和革新。當前針對訓練裝備的研究集中于訓練裝備的體系架構[1]、產品[2]和訓練方式[3]，針對訓練裝備使用效果的評估僅關注操作人員的部分操作能力，如文獻[4]和文獻[5]選取了指揮能力、維修能力、情報能力等幾個方面對裝備使用人員進行虛擬仿真訓練的效果進行了評估，維度較為單一，沒有站在用戶角度對訓練裝備體系的使用效果進行系統性的評估，未形成一套完善的考評體系。國外學者對培訓效果評估的模型已進行了大量研究，其中最為廣泛和經典的是Kirkpatrick提出的四級評價模型，從評估的深度和難度將培訓效果分為四個遞進的層次：反應、知識、行為、效果[6]。這一模型簡稱柯式模型，模型形式雖簡單，但全面、系統、操作性強。綜上，本文將基于柯式四級評估模型建立訓練裝備體系使用效果的評估框架，對評估的指標體系和評估方法進行論述。

1 ?訓練裝備體系使用效果評估指標體系

1.1 構建原則

構建訓練裝備體系使用效果評估指標體系的目的在于準確全面地對訓練裝備體系的使用效果、訓練效果進行評估，能夠檢驗部隊使用訓練裝備提升理論水平、實操能力的效果，查找訓練裝備體系設計中的不足，為教員制定培訓訓練計劃提供指導，為訓練裝備的設計改進提供依據。因此，為滿足上述要求，訓練裝備體系使用效果評估指標體系應滿足以下原則。

1.1.1 全面性

全面性原則是指評估指標的選取應該能夠覆蓋訓練裝備體系使用的各個方面，全面考慮訓練裝備體系的使用者、使用方式和使用目標。訓練裝備體系使用過程中，涉及多種角色，采用理論培訓、實操訓練等多種方式，對各類崗位、流程和任務進行訓練，構建訓練裝備體系使用效果評估指標體系時，應能夠保證構建的指標體系能夠全面完整系統地體系出訓練裝備體系使用過程中各環節存在的問題，對訓練過程中的任務流程和崗位角色配合進行跟蹤、評判。

1.1.2 針對性

針對性原則是指評估指標的選取能夠有針對性地對訓練裝備體系使用過程中的各種元素進行度量和評估，在全面性的基礎上體現差異性，依據不同元素的重要性賦予相應的權重。學員通過訓練裝備體系對專業基礎理論、單兵單項操作、流程協同操作、故障處置操作等多種技能進行訓練，不同訓練內容下不同操作產生的最終影響不同，應針對各項訓練內容的特點建立有針對性的細化指標。

1.1.3 導向性

導向性是指訓練裝備體系使用效果評估的指標體系應該能夠反映訓練裝備體系的易用性、有效性，引導訓練裝備的設計單位進行設計和改進，以使訓練裝備的使用更加方便，更加高效地提升學員的專業技能。

1.1.4 可操作性

指標體系的建立最終是為了對訓練裝備體系的使用效果評估進行有效的應用，因此，指標的選取和計算應具有較強的可操作性。可操作性強主要包括三個方面：1）指標數目應合理，力求用精煉的指標體現全面性、針對性和導向性的特征;2）指標計算所需數據應可測可獲取;3）指標計算方法應邏輯清晰、簡潔易行。

1.2 指標體系的構建

本文將柯式評估模型與訓練裝備的架構、功能和使用流程相結合，構建訓練裝備體系使用效果評估的指標體系。

訓練裝備體系分為基礎理論培訓層、模擬操作訓練層和實裝操作訓練層三個層次?；A理論培訓層通過教員教學和學員自學的方式使學員掌握裝備相關專業的基礎理論。模擬操作訓練層通過模擬仿真或半實物仿真等形式模擬真實的操作流程，對學員的實際操作進行遞進式訓練，操作訓練內容從是否故障注入的角度可分為正常流程操作和故障處置操作，從角色參與范圍的角度可分為單兵操作、分隊操作和全系統全流程合成操作。實裝操作訓練層是指學員通過操作真實裝備進行訓練，是訓練的最高層次。訓練裝備體系的使用者分為管理員、教員和學員三種角色，其中管理員是對訓練裝備進行系統管理、安全管理的人員，教員是進行教學計劃安排和教學實施的人員，學員是各個崗位、專業需要進行學習的人員。

構建訓練裝備體系使用效果評估指標體系如圖1所示。

根據柯式評估模型，將指標體系分為四個維度：反應維、知識維、行為維和效果維。反應維體現的是訓練裝備的使用者在使用整個訓練裝備過程中最直接的感受，包括管理員、教員和學員的使用過程中對訓練裝備的評價。知識維是指學員在經過訓練裝備體系的訓練后對理論知識的掌握情況，通過基礎理論培訓層的理論考試對學員的知識維水平進行考核。行為維是指學員通過訓練裝備體系的訓練后實際操作的水平，可通過模擬操作訓練層和實裝操作訓練層對學員操作的數據進行考核評分。效果維是指學員通過訓練后對整個部隊的能力提升的影響，可通過全流程訓練、演習和實戰任務中的操作情況進行評估。

四個維度的一級指標分別為綜合滿意度、理論培訓成績、操作行為成績和綜合表現成績。

反應維對應的“綜合滿意度”下一級設置“管理員滿意度”、“教員滿意度”和“學員滿意度”3個二級指標，分別對管理員、教員和學員使用的滿意度進行評價，覆蓋了所有使用訓練裝備的角色種類。管理員滿意度表征管理員日常對系統正常和故障狀態下進行運維和管理操作的滿意度，設置性能管理滿意度和故障管理滿意度;教員滿意度表征教員在制定教學計劃、實施教學、使用理論培訓教材和批閱試卷等操作的滿意度;學員滿意度表征學員在進行學習和考試過程中的滿意度。

知識維對應的“理論培訓成績”下一級設置“基礎理論成績”、“操作理論成績”和“故障處置理論成績”3個二級指標，基礎理論成績表征學員對武器系統的功能組成、基本原理等知識的掌握情況，操作理論成績表征學員對負責崗位的正常流程操作知識的掌握情況，故障處置理論成績表征學員對異常情況的分析和相關處置措施理論的掌握情況。

行為維對應的“操作行為成績”下一級設置“正常流程操作成績”和“故障處置操作成績”2個二級指標，表征各學員進行正常流程下的操作和故障流程下的故障定位、處置操作。正常流程操作成績由口令正確性、操作正確性和操作及時性決定，故障處置操作成績由故障定位正確性、故障處理及時性和故障處置正確性決定。

效果維對應一級指標為“綜合表現成績”，表征整個部隊在使用訓練裝備進行培訓訓練后在實戰演練中的綜合表現。

2 ?訓練裝備體系使用效果評估指標計算方法

評估指標計算采用自下而上的評估流程，每個維度的指標從低層次逐級向上進行綜合評估，以一級指標作為各維度評估結果。各維度各級指標都采用歸一化處理，以0-100的分值進行評估，保證評估的標準化。

2.1 反應維

反應維指標通過問卷調查和算術平均方法進行計算，計算流程如圖2所示。

具體步驟為：①向所有管理員、教員和學員分別發放調查問卷，其中，向每位管理員分別發放性能管理滿意度問卷和故障管理滿意度問卷，向每位教員分別發放計劃滿意度問卷、教學滿意度問卷、教材滿意度問卷和批閱滿意度問卷，向每位學員發放學習滿意度問卷和考試滿意度問卷，每份問卷的評分為0-100分，問卷評分即各項滿意度的評估結果;②分別對每位管理員、教員和學員所做的問卷評分結果進行算術平均，得到單人“管理員滿意度”、單人“教員滿意度”和單人“學員滿意度”;③將單人“管理員滿意度”、單人“教員滿意度”和單人“學員滿意度”分別進行算術平均，得到全體“管理員滿意度”、全體“教員滿意度”和全體“學員滿意度”;④將得到的全體“管理員滿意度”、全體“教員滿意度”和全體“學員滿意度”進行算術平均，得到綜合滿意度，即為反應維指標計算結果。

2.2 知識維

知識維指標通過理論考試和算術平均的方式進行量化評估，計算流程為知識維：首先對每一位學員的三項考試成績進行算術平均，得到單人“理論培訓成績”，然后對所有學員的單人“理論培訓成績”進行加權平均，得到全體“理論培訓成績”，即為知識維指標計算結果。

2.3 行為維

行為維指標通過操作評分、算術平均和加權平均的方法進行量化評估。對每個學員的正常流程操作成績和故障處置操作成績進行算術平均，得到每個學員的單人“操作行為成績”，然后對所有學員的單人“操作行為成績”進行算術平均，得到全體“操作行為成績”，即為行為維指標計算結果。

正常流程操作成績和故障處置操作成績的具體計算方法如下。

2.3.1 正常流程操作成績

每個學員的最終正常流程操作成績是由學員參與的所有正常流程評分進行加權平均得到的，每個項目的權重由專家根據流程的重要性和安全性影響評分得到。每個學員在每個項目中的正常流程操作成績是通過對學員在負責崗位進行操作訓練時的口令正確性、操作正確性和操作及時性進行綜合評定獲取的，計算公式如下式所示。

2.3.2 故障處置操作成績

每個學員的最終故障處置操作成績是由學員參與的所有故障處置操作項目評分進行加權平均得到的，每個項目的權重由專家根據項目的重要性評分得到。與正常流程操作成績的計算方法類似，每個學員在每個項目中的故障處置操作成績是通過對學員在負責崗位進行操作訓練時的故障定位正確性、故障處置正確性和故障處理及時性進行綜合評定獲取的，計算公式如下式所示。

2.4 效果維

效果維指標“綜合表現成績”通過對整個部隊的訓練素質、任務執行情況等綜合表現進行定性分級量化，并由專家打分評定，分值為[0，100]。

3 ?結語

本文提出的訓練裝備使用效果評估方法包括指標體系和指標計算方法，是基于訓練裝備的體系和作戰部隊的訓練方式構建的，不僅能夠用于評估作戰部隊的訓練效果，也能夠用于評估訓練裝備體系的設計水平，為工業部門設計和改進訓練裝備提供理論支撐，為部隊采購和使用訓練裝備提供理論依據。

參考文獻：

[1]鄭超，周暢，張陽，劉宸寧，陽加遠.信息化條件下的訓練裝備體系研究[J].信息技術與信息化，2020（01）：220-224.

[2]賈麗，杜浩，李梓，等.基于虛擬現實技術的裝備維修訓練系統設計[J].科技資訊，2019，017（008）：11-13.

[3]雷震，李慶全，何國良，等.信息化條件下美軍武器裝備訓練的主要做法及啟示[J].中國科技信息，2015（007）：67-68，75.

[4]羅博峰，謝常達，彭雙震.虛擬仿真訓練效果評估研究[J]. 艦船電子工程，2019（11）.

[5]時揚.裝備虛擬訓練評估問題研究[J].艦船電子工程，2019，39（06）：15-16，27.

[6]Craig R L. The ASTD training and development handbook： A guide to human resource development[M]// The ASTD training and development handbook ： a guide to human resource development. 1996.