基于情境學習的射孔仿真培訓系統應用研究

尚福華　宋欣雨　解紅濤

摘 要：由于傳統的仿真培訓中只能通過鼠標的點擊與鍵盤進行交互，存在著現場感缺乏以及用戶體驗不足等缺點，針對油田射孔崗位仿真培訓中的交互問題，提出了應用情境學習理論結合體感交互技術的仿真培訓系統。通過將Unity與體感交互技術結合，學習者可以運用手勢與姿勢來實現與仿真培訓系統的交互操作。結合應用這一技術可以使得學習者能夠在更逼真的虛擬學習環境中盡情的體會和學習，滿足學習者的體驗和參與需求，可以有效促進學習者從具體的感知經驗上升到抽象的知識概念，為教學培訓的順利開展創設有利的條件。

關鍵詞：體感交互;仿真培訓系統;油田射孔;Kinect;運動捕捉

中圖分類號：TP311????? 文獻標識碼：A

Application Study of Perforation Simulation Training

System Based on Context Learning

SHANG Fu-hua， SONG Xin-yu， XIE Hong-tao

（School of Computer and Information Technology， Northeast Petroleum University， Daqing， Heilongjiang 163318，China）

Abstract：Because traditional simulation training can only interact with the keyboard through mouse clicks， there are shortcomings such as lack of sense of presence and inadequate user experience. Aiming at the interaction problems in the simulation training of oilfield perforating positions， an application context learning theory combined with somatosensory interaction Technical simulation training system. By combining Unity with somatosensory interaction technology， learners can use gestures and gestures to achieve interactive operations with the simulation training system. Combined with the application of this technology， learners can experience and learn in a more realistic virtual learning environment， meet the needs of learners' experience and participation， and effectively promote learners to rise from specific perceptual experiences to abstract knowledge concepts. Create favorable conditions for the smooth development of teaching and training.

Key words：somatosensory interaction; simulation training system; oilfield perforation; Kinect;motion capture

油田射孔工序作為石油工序中最為關鍵的工序之一，對于職工的培訓非常重要，因此油田也開發出了一些用于崗前培訓的仿真系統，例如油田鉆井作業培訓系統[1]。傳統的仿真培訓方式一般是只能通過鼠標的點擊進行交互，但隨著時代與科技的發展，傳統的仿真培訓方式也暴露出了一些不足之處：一是交互方式單調，傳統的仿真培訓只能通過鼠標點擊進行交互，長時間學習無法達到好的學習效果，不利于學習者的學習積極性[2]。二是培訓缺失問題，企業中存在著許多的未經過系統化培訓的軟件操作人員，由于對系統及操作不規范既延誤了工作，又帶來了大量的維護工作，給建設單位帶來了額外的經濟負擔[3]。三是受教育者都是成人，成人在學習過程中就存在著學習積極性低下，水平層次不齊，沒有明確學習目標等諸多問題[4]。另外，傳統的培訓中又存在著現場感缺乏以及用戶體驗不足等缺點，無法充分的激發學習者的學習興趣，并且對于一些學習基礎較弱的群體可能達不到預計的學習效果，因此也需要一些新的方法來使其達到更好的學習效果[5]。

體感技術作為近些年新興的技術在很多領域中都已經有所應用，比如在移動機器人[6]中以及醫學智能診斷[7]中都取得一定的研究成果，但是在針對油田的仿真培訓中，還沒有被應用。結合體感技術后的仿真培訓可以對油田射孔仿真培訓中的交互操作演示的更為精確，比如在吊卡的下放過程中，傳統的仿真培訓只能做到通過鼠標點擊看到吊卡向下移動，如果對于理解不當的工人非常容易在工作中傷人。結合了體感技術的仿真培訓，工人可以通過自己的姿勢來控制吊卡的下放，并且在操作不當的時候提示警告，但為了達到更好的培訓效果，在引入體感交互技術的基礎上還需要應用教學理論對培訓系統進行設計。

在虛擬仿真系統中融入嚴肅游戲的思想是提高培訓效果的一種常用方式，在油田鉆井培訓領域已經得到了應用[8]。基于嚴肅游戲的思想，在仿真培訓系統的設計過程中引入了情境學習理論。情境學習是指在所要學習的知識或技能的應用情境中進行學習的方式[9]。杜威倡導“做中學”，“教育即生活”的教學思想明確了情境在學習過程中的重要性[10]。麥克萊倫的情境學習理論認為不能脫離具體的情境而單獨地去看待學習 [11]。情境學習理論認為知識必須在一個真實的環境中學習如何使用，概念的理解需要持續不斷地建構，同時個體間的交流往往會產生知識[12]。也表明將技術融合于教學在真實情境中學習是提升學習者信息化教學能力的有效手段[13]。

因此，在油田射孔仿真培訓設計中融入情境學習理論，并通過體感交互技術實現該仿真培訓系統。體感交互式仿真培訓系統與傳統的仿真系統相比具有更高度的沉浸感和實時性，同時在系統的交互上具有更多樣性等優點。用戶可以在模擬真實場景的學習環境中體會到高度的沉浸感，而且還可以與虛擬場景通過肢體動作直接進行交互，實現充分的學習體驗。改變了學習者僅僅作為單純的被動接受者，可有效實現更好的培訓質量，提高培訓效率，節約培訓成本。

1 基于情境學習的射孔仿真培訓系統設計

在情境學習理論中提出的學習情境應該具備以下特征：提供的學習情境以及發生的學習活動需具備真實性原則，在學習過程中還要給學習者布置相應的學習任務。還可以提供學習者與專家交流學習的機會，學習者可以通過仔細觀察并學習模仿專家的行為來習得新知識。傳授者在教學的關鍵時刻為學生提供引導，并總結課堂內容，促進學生反思。

根據情境學習理論的特征總結出以下三條特點[14]：

（1）學習者觀察專家的動作，并模仿專家的動作來得到經驗;

（2）在真實的學習情境中進行真實的學習活動;

（3）總結教學內容，促進學生反思

結合體感交互技術的情境式射孔仿真培訓系統是可以更好地滿足學習者的學習體驗需求，其設計的理論指導思想是融入情境學習理論的特征，并結合油田射孔仿真培訓系統的特點提出符合的設計模式：指導觀察、情境實踐、情境考核以及反思功能的設計開發模式（如圖1）。在學習內容的安排上也遵循著情境學習理論的學習動機、學習本質、學習內容、學習過程以及學習評價的培訓模式。遵循著學習內容從學習者的視覺接受到反饋反思的規律來設計安排培訓內容以及開發培訓系統。

1.1 指導觀察

根據指導觀察思想在情境式射孔仿真培訓系統中設計了文字指導模塊以及視頻演示模塊。通過對于學習者知識學習的層層遞進原則進行分析，先通過文字指導模塊以及視頻演示模塊兩個功能來對學習者進行最初始的知識建構，讓學習者對于學習內容先有一定程度的理解，在通過后面的實踐模塊來進行驗證，達到強化學習的目的。

1）文字指導模塊：通文字指導模塊，先讓學習者對于油田射孔學習建立最初級的知識，對于油田射孔的背景以及操作過程中的注意事項先建立一定的理解，再通過后面的視頻演示模塊來直觀的學習油田射孔工序的操作。

2）視頻演示模塊：通過對油田射孔工人在真實操作過程中的調研、錄像以及拍照，制作出視頻演示模塊，對于學習者在文字指導模塊中學習到的內容，可以更直觀的感受，并且對于在文字中無法體會理解的操作，也可以直觀的看到，在文字形成的知識和記憶之上再度強化對于知識的理解。

1.2 情境實踐

根據情境實踐思想在情境式射孔仿真培訓系統中設計了交互演練模塊。通過模擬真實的應用場景，使學習者產生沉浸感，從而激發學習興趣，提高學習效率。交互演練模塊：作為體感式射孔仿真培訓系統的核心環節，也是學習者學習和強化的重要環節。如果只是在文字指導模塊和視頻演示模塊進行學習，學習者的學習內容得不到驗證。通過在體感式的交互中，對于學習者在文字學習和視頻學習中無法體會到的操作動作得到理解，學習者通過自己的姿勢以及手勢來完成學習內容，真實的還原了射孔工序中的真實操作，這樣的學習效果是傳統的仿真培訓所達不到的。

1.3 情境考核

根據情境考核思想在情境式射孔仿真培訓系統中設計了三維考核模塊。結合了情境思想的射孔仿真培訓系統的考核功能也可以通過體感交互技術來進行學習驗證，學習者的參與度高，對學習內容驗證充分。三維考核模塊：通過對交互演練的修改，去除了交互演練過程中的提示性和指導性的環節，改為了對學習者每一個交互過程的考評及打分的機制，當學習者本步操作正確會提示學習者操作正確，反之會提示操作錯誤，當考試結束后會提示學習者考試結束，并公布考試成績以及在哪一步中進行了錯誤的操作，以便于學習者發現自身錯誤問題。

1.4 反思功能

根據反思功能思想在情境式射孔仿真培訓系統中設計了學習反思模塊。根據情境考核結果，系統反饋給學習者存在的問題，讓學習者對薄弱知識點進行反思。學習反思模塊：針對于學習者在三維考核模塊中錯誤問題的記錄，將學習者在學習過程中存在的薄弱知識點反饋給學習者，并且在下次學習中通過反復的練習來強化學習者的記憶，來達到學習效果。

2 體感交互式射孔仿真培訓系統實現

設計開發的體感交互式射孔仿真培訓系統，將手勢以及姿勢捕捉功能融入到射孔仿真培訓系統中，通過用手勢和姿勢來替代鼠標與鍵盤，達到用手勢與姿勢實現與射孔仿真培訓系統的交互功能。

2.1 Unity與體感交互技術結合

Unity作為虛擬現實系統開發的一種重要工具，能夠開發出交互性較強的軟件系統，因此本系統采用Unity作為軟件開發工具。但是單一使用Unity開發工具實現的交互只能通過鼠標鍵盤來實現，無法達到體感交互的良好用戶體驗。為了給學習者帶來更好的學習體驗，實現良好的培訓效果，依據情境學習與情境創設原則理論，采用Unity和體感設備結合開發本系統，通過手勢交互、姿勢交互等體感交互技術，實現系統的體感交互功能，從而加強學習者的現場感與學習參與。

在系統開發中，使用應用最廣泛的Kinect攝像機作為體感交互設備。在Unity中先開發完成仿真培訓系統并留出Kinect交互設計部分的接口，再將Kinect官方針對于Unity結合開發的SDK包導入到Unity項目中。先由Unity從驅動中獲取并調用Kinect數據連接層的編寫過程，然后通過對ColorImageStream，DepthImageStream和SkeletonStream三種碼流進行獲取，最后將其傳輸給Unity平臺的接口并進行調用，達到手勢交互和姿勢交互等操作的功能。

2.2 手勢交互技術

以仿真培訓系統中的起TCP管柱工序為例，在工序的實際操作中需要用到移動工具，拿取工具以及旋轉工具等功能，而在仿真培訓系統中的控制我們又需要用到鏡頭移動，鏡頭的拉近和拉遠等功能。根據以上情況，再結合實際工序中的動作標準，設計了一系列的特征動作與手勢指令相匹配，當執行了標準的特征動作時，就會觸發手勢指令與場景進行交互。控制手勢動作如表1所示。

以起TCP管柱中的拿取手勢指令為例，手勢識別的具體方法為：先檢查人物是否檢測到，利用public Vector3 GetJointPosition（Int64 userId，int joint）。如果檢測到了人物，再運用if（manager.IsUser Detected（）），之后獲取用戶ID時利用 long userId= manager.GetPrimaryUserID（）;再檢查要跟蹤的關節點是否已經被kinect識別，利用if （manager.Is JointTracked（userId，iJointIndex）），如果識別了再獲取信息，利用Vector3 posJoint=manager.GetJointKinect Position（userId，iJointIndex）;最后識別到底是什么手勢，以握拳手勢為例，利用if（leftHandState ==KinectInterop.HandState.Closed）識別為左手握拳。手勢交互效果如圖2所示。

2.3 姿勢交互技術

虛擬人物的場景漫游由于受到Kinect的捕捉識別范圍的限制并不能靠真實的人物動作來做到同步驅動。因此，本系統采用了基于 Kinect 體態姿勢識別的場景漫游技術，實時追蹤學員的體態動作，與場景中的虛擬人物進行反饋，從而完成虛擬人物的前后行走，左右轉向等功能，充分地實現了虛擬人物的場景漫游與方向控制。

場景漫游技術首先獲取使用者的人體骨骼數據，生成骨骼數據幀，再對使用者的體態姿勢進行分析識別后，最后轉換成控制虛擬人物的指令。以虛擬人物的行走動作為例，首先是獲取使用者的骨骼數據，再生成骨骼數據幀，分析特征動作，最后轉換成虛擬人的姿勢指令;最后是控制虛擬人物做出相應的動作。完整控制動作如表2所示。

通過分析Kinect傳感器獲取的現場數據深度的方法來實現實時捕捉識別，根據骨骼跟蹤技術[15]處理現場數據深度，完成對人體骨骼節點的跟蹤，實現對虛擬人物相應的骨骼節點的實時控制。骨骼數據來自于Kinect SDK開發包的Skeleton Stream流，所生成的每幀數據都是骨骼對象的集合。而每個骨骼對象又有描述骨骼位置及關節的數據，每個關節又有一個標示符，可獲取當前骨骼節點追蹤的狀態信息，使人物模型的行動軌跡與使用者所給出的姿勢指令所一致。場景漫游效果如圖3所示。

3 系統實施效果反饋

為了檢驗培訓系統的學習體驗和效果，讓工人來應用體感交互式仿真培訓系統，調查工人使用后的學習效果。 通過發放50份問卷來對使用完體感交互式射孔仿真培訓系統的學習效果進行調查。如表3所示，78%的工人認為情境體驗良好，74%的工人認為交互方式真實，84%的工人認為能夠有效的調動學習積極性，70%的工人認為可以提高自己的學習效果，76%的工人認為符合自己的學習方式。

結果證明該培訓系統可以有效的提高學習者的學習體驗和效果。從實施效果看，研究的基于情境學習的體感交互式射孔仿真培訓系統有助于學習者學習體驗的提高，調動了學習者的學習興趣，帶給學習者更好的沉浸感學習體驗，因此，我們認為基于情境的體感交互射孔仿真培訓系統可以促進知識的記憶和保留。同時，虛擬情境的學習環境可以讓學習者反復的學習與檢驗，有利于技能學習效果的提高，同時大大的節省實驗成本。

4 結 論

基于情境學習的體感交互式射孔仿真培訓系統是一種新型的學習培訓工具，在職業技能培訓，實驗教學，探究學習等方面具有重要的應用價值。使用者可以通過手勢或姿勢等方式來實現與仿真培訓系統的交互，有效的增強了學習者的現場感、學習參與感以及學習體驗。經過現場工人的使用證明，該系統對于學習者學習效果的提升有很大的幫助。體感交互技術在教育中的應用還處于發展階段，如何有效地將其融入教育還需要進一步的探索。因此，提出的思路也可以對體感交互技術在仿真培訓系統的融入提供一些借鑒。

參考文獻

[1] 尚福華，張麗娜，解紅濤.基于香農-施拉姆模式的油田鉆井作業培訓系統設計 [J].長江大學學報（自然科學版）理工卷，2010，7（03）：555-558.

[2] 李蔚清，吳慧中，林昌年.變電站仿真培訓系統虛擬環境的研究與實現 [J].系統仿真學報，2006，18（S1）：123-126.

[3] 馮亞麗，孫龍安，伊三泉，等. 關于油田鉆井公司信息化培訓中現代遠程教育模式的探索與實踐 [J].成人教育， 2015，（2）：65-68.

[4] 黃炎. 非正式學習與培訓空間的重構 [J].成人教育， 2019，（8）：74-78.

[5] 梁剛. 石油生產企業培訓模式的創新與實踐[J] .中國成人教育， 2016，（19） ： 148-151.

[6] 高日，張雷，郭亮.基于Kinect的機器人交互系統設計與研究[J].現代電子技術，2019，42（6）：175-178.

[7] 徐琳，宋國明.基于最優交換協議的醫療Kinect點云數據遠程傳輸系統 [J].現代電子技術， 2019 ， 42 （14） ： 100-103.

[8] 解紅濤.基于Web的虛擬現實技術在油田井下及鉆井培訓中的應用研究 [D].大慶：大慶石油學院，2010.

[9] 張振新，吳慶麟.情境學習理論研究綜述 [J].心理科學， 2005，（1）：125-127.

[10]張占龍，羅辭勇，何為虛擬現實技術概述 [J].計算機仿真，2005，（3）：2-3.

[11]MCLELLAN H .Situated learning： multiple perspectives [M]. New Jersey： Educational Technology Publications，1996，（6）：5-17.

[12]GEORGE M ， MARYKAY O .Theoretical frameworks for research in chemistry/science education [M].Upper Saddle River： Prentice Hall，2007，（3）：187-203.

[13]LARA K S ， RANDY L .Computer simulations to support science instruction and learning：A critical review of the literature[J]. International Journal of Science Education，2011， （34）：1337-1370.

[14]王文靜.基于情境認知與學習的教學模式研究 [D].上海：華東師范大學，2002.

[15]李杰.體感交互游戲中的人體骨骼跟蹤技術研究 [J].現代計算機（專業版），2014，29（6）：11-12