基于增強現(xiàn)實的物體運動仿真設計與實現(xiàn)

王 恒, 王 英, 柳 麗, 鄭文龍, 俞宋科, 王 雨

基于增強現(xiàn)實的物體運動仿真設計與實現(xiàn)

王 恒, 王 英*, 柳 麗, 鄭文龍, 俞宋科, 王 雨

（寧波大學 機械工程與力學學院, 浙江 寧波 315211）

針對如何在增強現(xiàn)實(Augmented Reality, AR)的虛擬環(huán)境中體現(xiàn)物體運動仿真時運動學與動力學特性的問題, 設計了一套將AR技術與物體運動仿真集成, 通過模型建立、標記物注冊、運動仿真交互控制、增強場景實時渲染等步驟設計物體AR運動仿真系統(tǒng). 該系統(tǒng)由運動學仿真模塊和動力學仿真模塊組成. 運動學仿真模塊的設計和實現(xiàn)以剛體繞定軸轉(zhuǎn)動和平面四桿機構(gòu)的幾何運動為例, 通過移動標記物進行運動學仿真的交互控制. 動力學仿真模塊的設計和實現(xiàn)以曲柄滑塊機構(gòu)慣性運動為例, 通過改變輸入?yún)?shù)進行動力學仿真控制. 最后以機械類課程教學中平面四桿機構(gòu)急回特性學習和曲柄滑塊機構(gòu)動力學方程求解為例進行實際應用. 結(jié)果表明, AR運動仿真系統(tǒng)提供了直觀的高交互操作運動學與動力學仿真環(huán)境, 通過可視化能幫助學生理解相關的理論知識, 進而實現(xiàn)虛實融合的智慧化運動仿真教學.

增強現(xiàn)實; 仿真; 運動學; 動力學

運動仿真是了解物體運動原理、分析設計并確定物體運動學與動力學性能的重要工具[1]. 它可以提供運動裝置的所有零部件的運動學性能(包括位移、速度與加速度)和動力學性能(包括驅(qū)動力、反饋力、慣性力和功率)等信息. 借助Solid Works、UG、ADAMS[2]等軟件即可創(chuàng)建三維物體仿真, 但這些運動仿真依賴桌面虛擬環(huán)境, 缺少與真實場景的關聯(lián)性, 不能直觀有效地表達仿真信息, 且交互方式以鼠標和鍵盤為主. 因此, 建立更加直觀、高交互操作的運動仿真新形式十分必要.

增強現(xiàn)實(Augmented Reality, AR)是一種將計算機生成的虛擬信息精準地疊加在真實環(huán)境中的技術[3-6], 能夠提供虛實融合的人機交互體驗, 該技術已廣泛應用于醫(yī)學[7]、軍事[8]、機械[9]、建筑[10]等領域, 并已開發(fā)了多種不同類型的AR仿真系統(tǒng). 如Logg等[11]研究了AR環(huán)境下物理系統(tǒng)有限元模擬仿真, 通過Microsoft HoloLens掃描周圍環(huán)境并自動創(chuàng)建有限元離散化來模擬現(xiàn)實中的幾何物理現(xiàn)象; Coelho等[12]利用AR技術將虛擬模型與激光打印的病患模型進行混合仿真, 用于矯正異味性顱腦前突的外科手術重塑, 為神經(jīng)外科醫(yī)生提供了有效的培訓環(huán)境; 王偉明等[13]設計了軌道車輛的AR仿真系統(tǒng), 該系統(tǒng)憑少量設備與紙質(zhì)標記物即可進行軌道車輛調(diào)度的模擬仿真; 劉子俊等[14]研發(fā)了智能變電站運維AR仿真系統(tǒng), 通過虛實融合指導無經(jīng)驗的維修人員進行維修操作, 給維修人員提供了高效的訓練環(huán)境. 但這些AR仿真系統(tǒng)中物體的運動局限于使物體動起來, 達到觀看的效果, 難以體現(xiàn)物體的運動學與動力學特性.

本文將AR技術與物體運動仿真集成, 實現(xiàn)運動學和動力學仿真信息與真實環(huán)境的疊加. 同時提供多種交互方式, 實時控制物體運動仿真過程, 并將其應用于教學中, 實現(xiàn)了虛實融合的智慧化運動仿真教學新形式.

1 AR與運動仿真集成方案設計

研究物體運動的方法可分為運動學和動力學, 運動學運用幾何學的方法來研究物體的運動, 通常不考慮力和質(zhì)量等因素的影響; 動力學研究物體的力與運動之間的關系. 因此, AR運動仿真系統(tǒng)包括運動學仿真和動力學仿真2個模塊.

在AR環(huán)境中進行物體運動仿真, 首先將初始參數(shù)的運動仿真結(jié)果投射到真實場景中, 然后采用移動標記物或手動輸入的方式更改仿真參數(shù). 實時運算運動仿真方程, 實時更改模擬仿真結(jié)果, 以呈現(xiàn)快速更新的仿真場景.

圖1為本文開發(fā)的AR運動仿真系統(tǒng)流程. 采用Vuforia6.2[15-16]開發(fā)工具包, 以手機為載體, 開發(fā)平臺為Unity3D[17], 將攝像頭捕捉到的真實物體與計算機生成的虛擬物體進行匹配, 即跟蹤注冊.

圖1 AR運動仿真系統(tǒng)流程

圖2為實施過程. 仿真前做好模型建立、初始參數(shù)設定、基于標記物交互控制等工作, 使該方式具有運動仿真反應迅速、交互性高等優(yōu)點.

圖2 AR運動仿真系統(tǒng)實施過程

具體可以分為4個步驟: (1)在模擬開始前, 建立模型并定義關節(jié)連接; (2)真實場景中準備一定數(shù)量可以與虛擬運動仿真進行交互控制的標記物; (3)在移動標記物造成參數(shù)改變的同時, 實時計算運動方程式; (4)對于每一幀參數(shù)信息以模型正確的位置與姿態(tài)呈現(xiàn)至設備顯示端.

2 AR與運動仿真集成環(huán)境建立

AR與運動仿真集成環(huán)境在進行運動仿真時, 首先由攝像機對標記物進行基于圖像特征點的圖像識別, 通過對標記物與攝像機的相對位姿關系建立AR環(huán)境; 然后由標記物的初始狀態(tài)定義運動仿真的虛擬模型關節(jié), 并承擔仿真數(shù)據(jù)的計算. 物體AR運動仿真環(huán)境流程如圖3所示.

圖3 物體AR運動仿真環(huán)境流程

AR環(huán)境中標記物圖像識別和3D注冊獲取標記物位姿通過Vuforia開發(fā)工具包實現(xiàn). 圖像信息識別需要經(jīng)過3個步驟: 特征點的提取、特征點的描述以及特征點的匹配. 特征點是圖像信息中某個局部反應最強烈的部分, 是圖片中二維度變化部分, 或是邊緣曲率變化較大的點(圖4).

利用圖像特征點信息對Vuforia中保存的圖像信息進行匹配, 確定圖像匹配成功后, 即可獲得標記物圖像在世界坐標系的位置.

圖4 圖片特征點示例

建立AR環(huán)境需要確定圖像在真實世界中的6D位置和姿態(tài), 即6個自由度. 攝像機6D位姿用世界系到攝像機坐標系的RT變換來表示:

利用這種關系可以將虛擬世界物體精確地疊加到現(xiàn)實世界, 在Vuforia中整個流程如圖5所示.

圖5 基于Vuforia的AR系統(tǒng)

完成基于Vuforia的AR環(huán)境搭建后, 系統(tǒng)將通過獲取的標記物圖像位姿信息進行運動仿真. 不同物體所需標記物數(shù)量不同, 標記物數(shù)目等于活動關節(jié)數(shù)目. 圖6為平面四桿機構(gòu), 其4個活動關節(jié)由4個不同的標記物定義.

進行運動學仿真時, AR系統(tǒng)實時獲取標記物的坐標位姿, 在標記物的位姿或系統(tǒng)參數(shù)改變時, AR子系統(tǒng)將信息傳遞至運動仿真子系統(tǒng), 由運動學與動力學方程對仿真結(jié)果進行重新計算, 獲取正確結(jié)果后反饋AR子系統(tǒng), 使模型以正確的姿態(tài)顯示在設備端.

圖6 四桿機構(gòu)活動關節(jié)標記物

3 AR場景中運動學仿真實施

對大多數(shù)機械工程的部件和機構(gòu), 其運動時可作為剛體進行分析和處理, 因此先建立單個剛體的AR運動學仿真, 進而建立多個剛體組成的機械系統(tǒng)的AR運動學仿真.

3.1 AR場景中剛體的轉(zhuǎn)動

機械工程中最常見的是齒輪、機床的主軸、電機的轉(zhuǎn)子等, 它們都有一條固定的軸線, 物體繞此固定軸轉(zhuǎn)動, 這類運動稱為剛體繞定軸轉(zhuǎn)動, 這是工程中最常見的運動, 也是研究復雜運動的基礎. 因此, 本文以剛體轉(zhuǎn)動為例闡述AR場景中單個剛體運動仿真的設計與實現(xiàn).

轉(zhuǎn)動快慢由剛體角速度決定, 其計算公式為:

圖7 剛體定軸轉(zhuǎn)動

圖8為AR場景中剛體的轉(zhuǎn)動. 在AR運動仿真場景中, 當將圖8中標記物置于手機攝像頭拍攝區(qū)域時, 會在其上方出現(xiàn)一個橢圓盤形的剛體. 拖動標記物時剛體通過標記物的移動方向圍繞軸線進行定軸轉(zhuǎn)動, 拖動標記物速度越快, 剛體旋轉(zhuǎn)角速度越快.

圖8 AR場景中剛體轉(zhuǎn)動

3.2 AR場景中平面四桿機構(gòu)的運動

當各構(gòu)件尺寸以及原動桿方位角已知, 由式(4)可求得和.

在AR運動仿真場景中, 標記物分別代表平面四桿機構(gòu)的鉸鏈點、、和(圖10).把這4個標記物置于手機攝像頭拍攝區(qū)域時, 一個虛擬的平面四桿機構(gòu)模型將會出現(xiàn). 當標記物位置發(fā)生改變時, 虛擬機構(gòu)的尺寸也會發(fā)生變化.

圖10 標記物

平面四桿機構(gòu)的運動仿真有2種方式:

(1)保持標記物的位置不變化, 通過屏幕界面上的控制按鈕來實現(xiàn). 界面上可以看到“建模”和“仿真運動”按鈕, 點擊“建模”按鈕時, 平面四桿機構(gòu)模型會呈現(xiàn)(圖11(a)); 需要運動仿真時, 在輸入框輸入角度值, 即曲柄與水平面夾角, 然后單擊“仿真運動”, 通過機構(gòu)運動方程自動求解, 曲柄將旋轉(zhuǎn)到指定位置, 連桿和連架桿也將自動轉(zhuǎn)動到正確位置(圖11(b)); 點擊按鈕“前進”或“后退”, 可使機構(gòu)在當前位置向前或向后進行運動仿真(圖11(c)和(d)).

(2)通過連續(xù)改變某一標記物位置以驅(qū)動某一構(gòu)件, 實現(xiàn)機構(gòu)的連續(xù)運動仿真(圖12).

當轉(zhuǎn)動真實鉸鏈四桿機構(gòu)曲柄時, 標記物的位置也將發(fā)生變化, 通過攝像頭自動追蹤標記物, 機構(gòu)運動方程將自動求解, 虛擬模型會自動進行運動仿真.

圖12 鉸鏈四桿機構(gòu)運動仿真方式2

4 AR場景中動力學仿真實施

物體之間往往有機械運動的相互傳遞, 在傳遞運動時產(chǎn)生的相互作用力不僅與物體的速度變化有關, 而且與其質(zhì)量有關, 即慣性. 因此, 以物體運動過程中的慣性為例, 闡述AR場景中動力學仿真設計與實現(xiàn).

圖13 齒輪驅(qū)動的連桿機構(gòu)

等效力矩的計算公式為:

由式(5)和式(6)即可解得角加速度:

在AR運動仿真場景中, 當將標記物(圖14(a))置于手機攝像頭拍攝區(qū)域時, 會出現(xiàn)曲柄滑塊機構(gòu)虛擬模型和仿真參數(shù)輸入框(圖14(b)); 該模型的初始參數(shù)已提前設置, 在輸入框中輸入對應參數(shù)即可實現(xiàn)動力學仿真(圖14(c)); 更改參數(shù), 如轉(zhuǎn)動慣量時會實時更新仿真結(jié)果, 并通過模型運動直觀呈現(xiàn)(圖14(d)).

5 AR場景中物體運動仿真的應用

在機械類課程教學中, 物體運動仿真常用于向?qū)W生展示機械設計、制造、裝配等過程, 可幫助學生理解相關的基礎理論知識. 但傳統(tǒng)課堂上播放的運動仿真視頻動畫, 缺少與真實場景的關聯(lián), 且交互性低. AR運動仿真系統(tǒng)為學生提供了直觀的智慧化運動仿真操作環(huán)境.

5.1 AR運動學仿真應用

《機械原理》是機械課程中必修科目, 旨在提高分析和設計機構(gòu)的能力, 而機構(gòu)的設計與分析多以幾何學方法為基礎, 因此AR場景中物體的運動學仿真可用于機構(gòu)相關知識的學習. 如平面四桿機構(gòu)的急回特性學習, 在AR環(huán)境中可通過如下4個步驟實現(xiàn): (1)將模型與標記物放置于手機視野范圍內(nèi)(圖15(a)); (2)點擊“建模”按鈕, 建立四桿機構(gòu)虛擬模型(圖15(b)); (3)旋轉(zhuǎn)平面四桿機構(gòu)到達左極限位置, 點擊“左極限位置”按鈕來存儲此位置信息(圖15(c)); (4)旋轉(zhuǎn)平面四桿機構(gòu)到達右極限位置, 點擊“右極限位置”按鈕來存儲此位置信息(圖15(d)). 完成上述步驟后, 極位夾角和行程速比系數(shù)將被渲染在AR環(huán)境中. 借助這種虛實融合的高交互式運動仿真操作, 可更深入并可視化理解相關的理論知識.

圖15 急回特性分析

5.2 AR動力學仿真應用

《理論力學》是機械類課程的重要基礎, 其教與學都非常難, 借助AR場景中物體的動力學仿真, 可將復雜的理論知識通過虛實融合方式, 可視化地使學生直觀學習和理解. 如平面機構(gòu)的動力學分析學習: 打開課本到相應章節(jié), 掃描頁面上的標記物, 所需分析的機構(gòu)模型將躍入書本上方, 輸入轉(zhuǎn)動慣量、驅(qū)動力矩和工作阻力等參數(shù)后, 機構(gòu)將運動起來; 更改工作阻力等參數(shù)時, 仿真結(jié)果也會通過曲柄轉(zhuǎn)速的快慢直觀地呈現(xiàn)(圖16).

圖16 曲柄滑塊動力學仿真求解

通過這種方式可以將課本中復雜的動力學方程求解結(jié)果生動、直觀地呈現(xiàn)給學生, 使學生更易掌握相關的理論知識.

6 結(jié)語

本文研究了AR場景下物體的虛擬仿真以及控制方法, 實現(xiàn)了AR場景下物體的運動學和動力學仿真. 通過增強現(xiàn)實場景下物體運動仿真的交互控制與實時渲染, 使仿真結(jié)果直觀生動地得以呈現(xiàn), 并可以從多個角度觀察運動的仿真結(jié)果. 同時,可以通過移動標記物或改變輸入?yún)?shù)來實時控制仿真結(jié)果, 而不局限于鼠標和鍵盤. 當將AR運動仿真用于教學時, 可以幫助學生理解抽象復雜的理論知識.

后續(xù)工作將側(cè)重以下兩個方面: (1)實現(xiàn)手勢交互仿真, 手勢的便捷性, 可以進一步提升AR運動仿真的交互性. (2)協(xié)作設計(兩人或多人管理同一場景), 以便使用者之間有更強的交互性和操作性. AR與運動仿真的集成具有寬廣的發(fā)展前景.

[1] 張越今, 宋健. 多體動力學仿真軟件 ADAMS理論及應用研討[J]. 機械科學與技術, 1997, 16(5):753-758.

[2] 劉銀虎, 繆炳祺. 多體動力學仿真軟件ADAMS理論基礎及其功能分析[J]. 電子與封裝, 2005, 5(4):25-28; 34.

[3] 劉佳, 梅建輝, 張小瑞, 等. 一種手持可遮擋的增強現(xiàn)實彩色標志[J]. 計算機應用研究, 2017, 34(9):2843- 2848.

[4] Bostanci E, Kanwal N, Ehsan S, et al. User tracking methods for augmented reality[J]. International Journal of Computer Theory and Engineering, 2013, 5(1):93-98.

[5] 饒楚鋒, 韓華亭, 王崴, 等. 增強現(xiàn)實誘導維修進程識別策略[J]. 計算機應用研究, 2018, 35(3):922-925; 929.

[6] 夏侯士戟, 馬敏, 陳東義. 增強現(xiàn)實游戲中的并發(fā)多任務模型與實時調(diào)度方法[J]. 計算機輔助設計與圖形學學報, 2014, 26(2):211-216.

[7] 鄒浩, 朱呈瞻, 王暢, 等. 三維重建結(jié)合增強現(xiàn)實技術在機器人下精準肝切除術中的應用[J]. 機器人外科學雜志(中英文), 2020, 1(2):141-147.

[8] 張一凡, 繆遠東, 陳暢宇, 等. 戶外增強現(xiàn)實軍事仿真系統(tǒng)[J]. 光學技術, 2019, 45(5):622-628.

[9] 饒勇, 何漢武, 吳悅明. 增強現(xiàn)實設備維修系統(tǒng)操作狀態(tài)檢測方法研究[J]. 機電工程技術, 2010, 39(9):56-58; 109; 114.

[10] 馬小秋, 劉丹丹. 基于透視式增強現(xiàn)實的BIM建筑三維重建仿真[J]. 計算機仿真, 2020, 37(3):229-233.

[11] Logg A, Lundholm C, Nordaas M. Finite element simulation of physical systems in augmented reality[J]. Advances in Engineering Software, 2020, 149:102902.

[12] Coelho G, Rabelo N N, Vieira E, et al. Augmented reality and physical hybrid model simulation for preoperative planning of metopic craniosynostosis surgery[EB/OL]. [2020-10-06]. https://www.researchgate.net/publication/339659921_Augmented_reality_and_physical_hybrid_model_simulation_for_preoperative_planning_of_metopic_craniosynostosis_surgery.

[13] 王偉明, 何亞軒, 任彬, 等. 軌道車輛運行的增強現(xiàn)實仿真系統(tǒng)研究[J]. 圖學學報, 2017, 38(4):577-581.

[14] 劉子俊, 簡學之, 時伯年, 等. 基于增強現(xiàn)實技術的智能變電站設備運維仿真[J]. 南方電網(wǎng)技術, 2019, 13(11):69-75.

[15] 朱惠娟. 基于Unity3D的虛擬漫游系統(tǒng)[J]. 計算機系統(tǒng)應用, 2012, 21(10):36-39; 65.

[16] 魯文娟, 金一強. 基于智能手機的Vuforia+Unity3D增強現(xiàn)實技術方案及其教育應用[J]. 現(xiàn)代教育技術, 2017, 27(5):19-25.

[17] 朱惠娟. 基于Unity3D的虛擬漫游系統(tǒng)[J]. 計算機系統(tǒng)應用, 2012, 21(10):36-39; 65.

Design and implementation of object motion simulation based on augmented reality

WANG Heng, WANG Ying*, LIU Li, ZHENG Wenlong, YU Songke, WANG Yu

( Faculty of Mechanical Engineering & Mechanics, Ningbo University, Ningbo 315211, China )

An Augmented Reality (AR)-based object motion simulation system was designed to figure out the kinematic and dynamic characteristics of a physical object in an AR virtual environment. By integrating AR technique with physical object motion simulation, the system can help in model establishment, marker registration, interactive control of motion simulation, and augmented real-time rendering of scenes. It consisted of a kinematic simulation module and a dynamic simulation module. For the design and realization of the former module, the rotation of rigid objects about fixed axes and the geometric motion of planar four-bar mechanisms were taken as examples, while the interactive control of kinematic simulation was implemented by changing the markers’ placement. For the design and realization of the dynamic simulation module, the inertial motion of slider-crank mechanisms was taken as an example, with the control of dynamic simulation implemented by adjusting the input parameters. Then, the modules were put into practice through a mechanics course case study on the quick-return characteristics of planar four-bar mechanisms, and by solving the dynamic equations of slider-crank mechanisms. The final results demonstrated that the AR motion simulation system can provide a highly visual and interactive kinematic as well as dynamic simulation environment, help students understand relevant theories visually, and realize the smart teaching on motion simulation by the fusion of virtual technologies and reality.

augmented reality; simulation; kinematics; dynamics

TH122

A

1001-5132（2022）01-0075-07

2020?12?16.

寧波大學學報（理工版）網(wǎng)址: http://journallg.nbu.edu.cn/

浙江省公益技術應用研究項目（LGF21H180004）; 寧波大學教研項目（JYXMXZD2021021）.

王恒（1996－）, 男, 河南駐馬店人, 在讀碩士研究生, 主要研究方向: 增強現(xiàn)實人機交互技術. E-mail: 1162259493@qq.com

王英（1989－）, 女, 河南南陽人, 副教授, 主要研究方向: 增強現(xiàn)實人機交互技術. E-mail: wangying5@nbu.edu.cn

（責任編輯 史小麗）