基于虛實融合的裝備智能化教學模式研究

楊國振，武 萌

（陸軍裝甲兵學院 北京 100072）

裝備教學是院校人才培養(yǎng)的重要組成部分，裝備的駕馭能力直接決定裝備戰(zhàn)斗力的發(fā)揮，決定重大任務的完成情況。由于裝備教學人員、經(jīng)費消耗巨大，危險性大，很多教學單位采用了虛擬教學方式，但存在虛擬仿真效果不理想、交互不深、沉浸式體驗感不強等情況，而且考核評估模式陳舊簡單，難以準確評估學生的裝備運用能力，不能精確給出建議，評估結果對訓練的指導作用不明顯。針對以上問題，亟須研究一種基于虛實結合的智能化裝備教學模式，破解仿真教學中存在的交互不深、沉浸式體驗感不強、效率低、評估作用不明顯等難題。

1 國內外研究現(xiàn)狀

美國空軍培養(yǎng)一名承擔作戰(zhàn)值班任務的飛行員，一般要經(jīng)歷3―4年的時間，經(jīng)過初級、中級、高級、戰(zhàn)斗入門、同型教練機和作戰(zhàn)飛機超過500飛行小時的實機飛行訓練，培養(yǎng)一名F―16戰(zhàn)斗機飛行員共需670萬美元。隨著虛擬現(xiàn)實技術逐步成熟，美國空軍教育和訓練司令部（AETC）嘗試引入新技術改進訓練方法來優(yōu)化飛行員訓練體制，摸索虛擬現(xiàn)實技術是否能幫助飛行員學得更快和更深入。通過開展飛行員未來訓練項目（PTN），驗證虛擬現(xiàn)實技術的實際訓練效果，同時通過集成先進生理傳感器、人工智能和數(shù)據(jù)分析等技術對訓練系統(tǒng)進行逐步改良，構建美國空軍虛擬現(xiàn)實訓練系統(tǒng)，為后續(xù)融入美軍新一代飛行員訓練體系做準備。從PTN項目訓練試驗結果來看，飛行員訓練周期縮短近一半，成效顯著，又可根據(jù)學生的特點強調個性化學習，的確有助于提高訓練效率。

北京理工大學陳智慧等學者探討了虛擬仿真理念和技術在軍隊裝備教學中的應用，針對裝備維修中存在的問題，引入仿真模型教學理念，將可視化細化到裝備的內部架構。廣東海洋大學候明鑫等學者論述了人工智能工具在裝備教學中的應用，探討了人工智能分類功能在追蹤海洋裝備實踐中的應用。空中預警學院張新勛等設計了一套雷達專業(yè)智慧教室架構，包括一個交互式的白板、人機交互設備、課堂教學活動記錄裝備、遠程監(jiān)控設備、戰(zhàn)場環(huán)境模擬設備、資源空間、服務空間等，實現(xiàn)了實戰(zhàn)化的信號測量、故障排查、設備演示等功能。

從上述的研究進展和成果可以看到，研究者主要關注虛擬現(xiàn)實相關技術對教學環(huán)境、場景的構建能力、沉浸式體驗感的實現(xiàn)，強調教師與學生的互動，從而提高教與學的效果，促進學生能力的成長，為裝備教學提供了方向。

2 虛實融合的教學體系架構設計

2.1 現(xiàn)實裝備教學系統(tǒng)

現(xiàn)實裝備教學系統(tǒng)由現(xiàn)實的教學裝備、教學環(huán)境和教學實踐活動，以及在運行過程中所需的感知設備、數(shù)據(jù)轉換、傳輸設備、數(shù)據(jù)存儲設備等組成。在實際教學任務完成過程中，現(xiàn)實裝備教學系統(tǒng)通過各類傳感器和現(xiàn)實監(jiān)控設備對其全過程進行全方位實時映射，建立包括裝備構件、戰(zhàn)場環(huán)境、教學活動等現(xiàn)實裝備教學的實時數(shù)據(jù)庫。以裝備實踐操作為例，具體應用過程如圖1所示。

圖1 裝備操作實踐應用過程圖

在操作過程中，5G網(wǎng)絡負責傳輸信號，生物信息采集平臺負責對接入VR設備的學生生理、心理信息進行收集。每一臺VR設備都通過電腦與服務器連接，將所有數(shù)據(jù)輸入相應的模塊進行處理分析。

2.2 虛擬裝備教學系統(tǒng)

虛擬裝備教學系統(tǒng)根據(jù)現(xiàn)實裝備教學系統(tǒng)實時映射數(shù)據(jù)進行仿真模擬，通過高逼真的三維可視化效果構建接近于現(xiàn)實裝備教學系統(tǒng)的教學活動場景，真實地模擬整個教學過程。裝備虛擬教學系統(tǒng)主要由開發(fā)、仿真軟件組成，本質上是各類型裝備、環(huán)境以及教學活動信息模型的集合，是數(shù)據(jù)到仿真虛擬的實現(xiàn)過程，確保教學過程實現(xiàn)沉浸式的體驗感。虛擬教學系統(tǒng)中主要將現(xiàn)實裝備教學系統(tǒng)產生的數(shù)據(jù)和數(shù)據(jù)管理模塊產生的數(shù)據(jù)，包含人、機、裝備、環(huán)境等裝備教學活動的所有要素轉換為數(shù)字化的幾何模型，以及用于表征物理屬性的信息模型。虛擬教學模塊不斷接收現(xiàn)實裝備教學系統(tǒng)的實時數(shù)據(jù)和數(shù)據(jù)管理模塊的分析、迭代數(shù)據(jù)，可實現(xiàn)虛擬裝備、環(huán)境的仿真優(yōu)化完善，豐富自身模型庫的建立，在特定裝備教學需求下，構建超越現(xiàn)實的虛擬裝備教學場景。

2.3 數(shù)據(jù)管理系統(tǒng)

數(shù)據(jù)管理系統(tǒng)主要由各類算法和數(shù)據(jù)分析、管理軟件組成，是連接物理教學系統(tǒng)和虛擬教學系統(tǒng)的重要樞紐，采集、整合各類數(shù)據(jù)，進行處理、分析、管理。在實際中，數(shù)據(jù)管理模塊可以通過相應算法，實時對現(xiàn)實裝備教學系統(tǒng)產生的數(shù)據(jù)和虛擬裝備教學系統(tǒng)的數(shù)據(jù)進行規(guī)劃、清理、封裝，實現(xiàn)數(shù)據(jù)的可操作、可追溯。同時，可對各類教學活動影響下的人員、裝備環(huán)境的各類變化情況，以及并發(fā)性和聯(lián)動性的行為進行數(shù)據(jù)分析和迭代。并完成基于教學行為和演化規(guī)律的評估、優(yōu)化、預測，形成新的數(shù)據(jù)，反饋給現(xiàn)實裝備教學系統(tǒng)和虛擬裝備教學系統(tǒng)，對其相關教學行為進行指導。同時，根據(jù)不同人員操作過程中獲取的相應數(shù)據(jù)，分析學生的學習能力和特點，有針對性地形成改進方案，以適應變化的實際教學需求，從而提高裝備教學的整體效率。

3 創(chuàng)新虛實融合裝備教學模式

在虛實融合的教學體系架構基礎上，課題組設計了數(shù)字孿生、虛擬原生兩種教學模式。

3.1 數(shù)字孿生教學模式設計

數(shù)字孿生教學主要是依靠現(xiàn)實裝備教學系統(tǒng)和虛擬裝備教學系統(tǒng)，通過數(shù)字孿生技術將現(xiàn)實的裝備、環(huán)境和教學活動完全映像到虛擬世界中，在虛擬空間內建立包括人、裝備、環(huán)境和教學活動等要素在內的擬真動態(tài)孿生體。具體過程如圖2所示：

圖2 數(shù)字孿生階段示意圖

在數(shù)據(jù)孿生模式下，通過數(shù)字孿生技術和交互設備等，在現(xiàn)實裝備教學系統(tǒng)、虛擬裝備教學系統(tǒng)和數(shù)據(jù)管理系統(tǒng)中，通過數(shù)據(jù)建立起三個系統(tǒng)的全過程映射。通過對現(xiàn)實中裝備的大小、質量、體積等，環(huán)境地形、地物和地貌等，學生的體型、外貌、動作、表情等進行全要素映射，使現(xiàn)實中每一個教學場景都能對應唯一的數(shù)據(jù)鏈，并虛擬仿真成唯一的虛擬場景。通過全過程映射，在虛擬空間內建立與現(xiàn)實教學過程一一對應的擬真動態(tài)場景。

3.2 虛擬原生教學模式設計

虛擬原生教學系統(tǒng)主要是在現(xiàn)實的裝備、環(huán)境和教學活動完全映像到虛擬世界的基礎上，進行數(shù)據(jù)的迭代分析，算法優(yōu)化，建立與現(xiàn)實相對應的虛擬運行規(guī)則，使虛擬世界的里面的人、裝備或環(huán)境能夠自動生成并運轉，不需要借助真實場景來參與孿生體。如圖3所示。

圖3 虛擬原生教學示意圖

如圖所示，在虛擬原生模式下，通過大數(shù)據(jù)分析、迭代和算法的優(yōu)化，可以建立起人員行為規(guī)則庫、裝備運行規(guī)則庫、環(huán)境變化規(guī)則庫，人、裝備、環(huán)境交互規(guī)則庫等，通過建立各種規(guī)則庫，一方面可以優(yōu)化、生成更多的數(shù)據(jù)，建立相應的虛擬場景，完善人員行為模型、裝備模型和教學環(huán)境模型，在數(shù)據(jù)足夠多、算法完善的情況下，可以分析預測裝備、人員、環(huán)境等從“生”到“死”全過程中產生的所有形態(tài)模型，并存儲在相應的模型庫中，以供日后隨時調用。規(guī)則庫還可以對虛擬教學場景的下一步發(fā)展狀況進行分析、預測，驅動虛擬裝備教學系統(tǒng)自行產生新的虛擬教學場景，使虛擬世界里面的人、裝備或環(huán)境能夠自動生成并穩(wěn)定運轉，不需要借助真實場景。

4 虛實融合的裝備教學應用研究

4.1 裝備認知教學

傳統(tǒng)虛擬仿真外形特征居多，裝備與環(huán)境、人員的交互過程很多無法實現(xiàn)，仿真的結果只能展示固定條件下的裝備情況，而且沒有對人的行為數(shù)據(jù)進行具體分析。本課題通過全息投影技術，更加立體直觀地呈現(xiàn)所學裝備，通過數(shù)字孿生技術，導入相應裝備的實時虛擬數(shù)據(jù)，獲取相關裝備完備近乎真實的制造工藝、流程數(shù)據(jù)等，并通過高逼真的仿真模擬技術展示給學生，以加強學生對裝備的認知了解。同時，學生相應的行為、表情等特征數(shù)據(jù)也會通過感知設備，轉換成數(shù)據(jù)存入數(shù)據(jù)處理系統(tǒng)中，通過對學生行為的分析，顯示教學效果，并反饋于教學過程做出相應改進和提高。同時，在教學過程中還可根據(jù)需要變更虛擬教學場地、教學裝備、教學科目，記錄和復現(xiàn)學生的學習過程等。

4.2 裝備理論教學

通過數(shù)字孿生技術、虛擬技術和游戲技術構建基于現(xiàn)實又超越現(xiàn)實的虛擬環(huán)境，建立在交互設備感知、大數(shù)據(jù)分析、規(guī)則庫預測上的深度交互功能，能讓學生身臨其境地進行裝備操作，以更好地加深學生對理論的認知。例如，在裝備火控系統(tǒng)校準、修正和射擊理論的講授過程中，可以導入相應的教學訓練模塊，通過交互，實時進行相關虛擬操作，并通過數(shù)據(jù)分析、處理，虛擬仿真后使學生根據(jù)教學需要，看到高度逼真或超越現(xiàn)實的情況顯示。例如，在裝備武器教學中，由于數(shù)據(jù)庫中存有各裝備每一個零部件的實時映射情況和組裝結構情況，學生能夠更直觀深刻地體驗到各裝備構件的設計原理和作用。而在射擊過程中，能根據(jù)教學需要，使射手真正看到火炮在發(fā)射過程中所受的各種阻力，以及外界的氣溫對彈道的影響，將枯燥的理論知識具象化，同時，學生還可以自行修改參數(shù)，使相應的教學環(huán)境發(fā)生改變，自主學習相關參數(shù)對射擊的影響情況。系統(tǒng)通過數(shù)據(jù)分析和迭代優(yōu)化，反饋其在教學訓練過程中存在的不足，大大提高教學效率。

4.3 裝備運用教學

通過仿真、VR和數(shù)字孿生技術，全時記錄戰(zhàn)場數(shù)據(jù)，在足夠多的數(shù)據(jù)支撐下，形成對戰(zhàn)場環(huán)境的全時、全方位深度模擬，基于數(shù)據(jù)處理模塊的環(huán)境變化規(guī)則庫的建立，能夠建立智能化的自行運轉戰(zhàn)場環(huán)境，也可通過參數(shù)設置強制改變戰(zhàn)場環(huán)境，提供近乎實戰(zhàn)環(huán)境下的單車射擊對抗訓練和連排協(xié)同演練的訓練內容，滿足裝備運用的訓練需求。

在虛擬對抗過程中，可根據(jù)射擊情況和受彈部位，結合相關裝備情況與作戰(zhàn)對抗毀傷數(shù)據(jù)庫——對應，自行生成毀傷效果顯示，同時，基于數(shù)據(jù)處理模塊的裝備運行規(guī)則的建立，能夠實時模擬裝備在作戰(zhàn)過程中的磨損、消耗情況。例如，在作戰(zhàn)過程中可以實時顯示裝備因長期使用磨損而導致性能降低，因為油料不夠而熄火等現(xiàn)象，而這些僅僅依靠虛擬仿真技術是無法實現(xiàn)的。

通過分布式虛擬現(xiàn)實技術，教師可以授予學生不同的身份，多名學生可以同時進入一個虛擬空間，基于數(shù)據(jù)管理模塊建立的人、裝備與環(huán)境的交互規(guī)則庫，對作戰(zhàn)過程和行為進行實時預測，實現(xiàn)人員、裝備和戰(zhàn)場環(huán)境的實時交互。在教學過程中，學生可以共同體驗近乎真實環(huán)境下的實裝協(xié)同作戰(zhàn)過程，并通過戰(zhàn)場情況和態(tài)勢把握，模擬實戰(zhàn)條件下的信息獲取、作戰(zhàn)決策過程，增強學生實戰(zhàn)時的協(xié)同配合能力。以作戰(zhàn)過程為例，對虛實融合和傳統(tǒng)虛擬仿真進行對比分析，如表1所示：

表1 虛實融合和傳統(tǒng)虛擬仿真對比分析

通過以上對比可知，虛實融合裝備教學在作戰(zhàn)運用上比虛擬裝備教學具有更大的優(yōu)勢。

5 結語

基于虛實融合的裝備智能化教學模式在虛實融合的教學體系架構基礎上，創(chuàng)新設計了數(shù)字孿生、虛擬原生兩種新型教學模式，并運用全息投影、數(shù)字孿生、VR技術、硬件仿真技術實現(xiàn)裝備認知教學、裝備理論教學和裝備運用教學，有效破解了傳統(tǒng)仿真教學中存在的問題，提升了教學的有效性和學生學習的自主性。