基于HoloLens的非接觸式測量方法①

黃 靜,楊博雄,陳嘉杰

(北京師范大學珠海分校 信息技術學院,珠海 519087)

1 引言

混合現實技術 (Mixed Reality,MR)是由“智能硬件之父”多倫多大學教授Steve Mann提出.混合現實技術是通過計算機圖形技術和可視化技術產生現實環境中不存在的虛擬對象,并通過傳感技術將虛擬對象疊加到真實環境中,真實的環境和虛擬的對象實時地顯示在同一個畫面或空間,用戶利用顯示設備,便可以看到一個感官效果真實的新環境.混合現實技術涉及到多種最新的計算機應用技術,包括計算機視覺、計算機圖形學、多媒體、網絡技術等,來描述對我們空間的感覺,它可以讓我們跟這些物體或者照片進行互動,跟虛擬世界進行互動[1–6].現實生活中很多時候需要測量距離、計算某些場地面積的體積,但往往因障礙物無法直接測量距離,也無法自動計算面積和空間體積.混合現實技術這種黑科技的發展給我們帶來炫酷體驗的同時,還能解決測量過程中目前無法解決的這些問題.

本文提出了一種基于混合現實技術的交互非接觸式測量方法.這種方法借助微軟混合現實技術產品-HoloLens頭盔的深度攝像頭的空間掃描功能,通過人的目測和手勢能夠確定場景中的測量點,從而通過自行開發的測量軟件自動計算目標點之間的距離、面積和體積等功能,此外還能運用語音識別功能來進行交互.通過本文研發的交互測量工具能使人們用自然的交互方式進行非接觸式測量,相對于傳統的測量工具而言,測量過程中人的雙手被釋放,本文開發的交互測量工具所測量的范圍更大更廣,不僅可以測量距離,同時還可以自動計算面積和體積,有些不方便尺子測量的地方,通過本文的非接觸式測量工具可以進行輕松測量.

2 HoloLens技術原理

2015年1月22日微軟正式發布自主研發的混合現實黑科技技術產品——HoloLens虛擬頭盔設備,如圖1所示[7].

圖1 HoloLens 頭盔眼鏡

用戶戴上HoloLens頭盔眼鏡可置身虛實相結合的場景中并可進行互動.HoloLens配置了若干傳感器,包括慣性測量裝置、環境光感應器、四個環境感應攝像頭和深度感應攝像頭等,如圖2所示.這些設施使得HoloLens能夠實時描繪出當前的空間,對環境進行實時掃描,并以HoloLens深度攝像頭中心點為空間坐標原點,水平方向為X坐標軸,垂直方向為Y坐標軸,深度方向為Z坐標軸,如圖3所示,此坐標系為基于笛卡爾坐標系的世界坐標系,所觀測的空間物體位置由此坐標系來定位,HoloLens頭盔所觀測的虛擬物體和真實物體都共用這一個坐標系,它們的單位都是米,這是一種1:1的現實世界尺度,會極大地增加真實感.因此HoloLens能識別環境中的平面、墻體以及桌面等較大的物體.HoloLens有跟蹤以及空間錨點等功能.微軟還給HoloLens配置了自創的全息處理單元(HPU),用來處理用于實時掃描和處理海量級數據[8].

圖2 HoloLens 配置圖

圖3 HoloLens 坐標系的建立

現階段,HoloLens只有三種交互方式: 凝視功能(Gaze)、手勢功能(Gesture)和音功能(Voice).凝視的功能是通過HoloLens上的傳感器向用戶的前方發射一條射線來實現,用體驗者的頭部來控制方向,發射出來的射線可以識別它所碰撞的物體,檢測到碰撞的物體之后,HoloLens上的光標會有一個小圓點,告訴用戶檢測到對象,可以進行相關的操作.HoloLens通過前面的四個攝像頭識別用戶的左右手的手勢,HoloLens目前為用戶提供了兩種手勢,一種是確認手勢(Air Tap),一種是返回或取消手勢(Boom).Air Tap手勢是伸出手指,將食指和大拇指伸出,首先張開,然后并攏,這樣HoloLens就能識別到你的確認指令.圖4為凝視和手勢示例.

圖4 凝視和手勢示例

3 系統設計

3.1 項目開發流程

本文研發的交互測量系統由HoloLens硬件設備和自行開發的軟件 My Tool組成.系統軟件 My Tool通過 Unity 游戲引擎和 Visual Studio C#腳本開發,軟件開發完成后通過局域網導入安裝HoloLens里面進行測試修改,用戶戴上HoloLens頭盔就可以進行所在空間的數據測量了.整個項目開發流程如圖5所示.

圖5 項目開發流程

3.2 軟件設計

系統通過HoloLens的凝視和手勢功能獲取測量目標點,當用戶戴上HoloLens開始凝視外界物體時,系統從HoloLens坐標系原點發出一束光束,最后停留在被凝視物體的表面,形成一個聚焦點,當用戶做出確認手勢時,該測量點被確認下來,其坐標值被HoloLens自動記錄在系統中,稱之為空間錨點.本文開發的軟件正是根據HoloLens中記錄的這些空間錨點坐標值,可以計算得出所測量的目標點之間的距離、面積和體積.

假定場景中被HoloLens記錄的空間錨點的坐標值分別為根據平面和空間解幾何原理,兩點測量距離D2、三點面積S3、四點體積V4公式分別如式(1)～(3)所示.而根據四點需要計算面積時則可將四邊形拆分為兩個三角形,先分別計算兩個三角形的面積,再將形成的兩個三角形面積相加即可.

其中,

當用戶戴上頭盔后開始凝視目標點,一旦手勢確認,即確定空間錨點,或稱之為測量目標點,根據目標點的位置和數量進行判斷和計算,并輸出結果信息.整個軟件設計流程如圖6所示.

4 測試與效果分析

圖7–10為戴上HoloLens頭盔的測量實例,圖中,小白圓點即為生成的空間錨點-目標測量點,距離測量單位為米,面積單位為 m2,體積單位為 m3,三角網格表示所觀測物體表面網狀結構,這是用戶戴上頭盔觀看周圍空間環境測量時HoloLens自動生成的.

當用戶頭部不斷移動時,在被凝視物體表面的聚焦點會不斷地隨著目光凝視的方向而改變,但一旦用戶做出確認手勢,空間錨點就會生成,固定不變,測量目標點因此產生.此時,若用戶再移動頭部,則同樣的步驟為下一個測量目標點做準備.無論用戶測量時離被測物體近還是遠,一旦生成生成空間錨點,用戶與測量點的距離不會影響測量的精度.表1為使用本文的測量方法與傳統卷尺測量結果對比,每個距離數據取前后兩次測量數據的平均值進行測量分析,結果表明本文的測量方法兩次測量數據重復度為99.99%,與傳統卷尺所測結果誤差范圍在0.01 m之內.表2為測量同一用戶身高時,使用者佩戴HoloLens頭盔與被測用戶的距離不同時測出的用戶身高值,可以看到誤差范圍在毫米級范圍之內.

圖6 羽毛飄落光流擾動效應檢測

5 結論

傳統的測量方法直接得到的數據只有長度,如果想要其他數據,只能是用戶再通過數學函數計算出來.而文本的交互測量工具利用HoloLens頭盔眼鏡作為載體,秉承HoloLens頭盔眼鏡的交互功能,用戶不僅可以得到兩點之間的距離,還可以同時得出目標點之間的面積和體積數據,測量誤差范圍小于0.01 m.HoloLens頭盔眼鏡不會因為測量距離中有物體的阻擋而產生誤差.如果在測量過程中,有物體阻擋了測量,傳統的卷尺就需要移開障礙物體,或者需要重新測量別的相同長度的被阻擋東西,而當使用本文開發的交互測量工具時,用戶可以在被測物體之間不斷移動調整,一旦系統在被測物體表面生成空間錨點-測量目標確認小球點,小球點的坐標值就會自動記錄下來,不會消失,系統可根據事先被紀錄的空間錨點坐標值來計算物體的測量值,這樣即使兩個被測物體之間有障礙物,甚至所測量的周圍環境有所變動也不會影響測量值,測量時人的雙手被釋放可用于處理其他事務,不用繞過阻擋物體也無需接觸物體,較復雜的環境都不會對物體的測量結果造成影響.由于本文所涉及的技術與產品比較新穎,開發資源比較少,它還存在一些不足之處,例如HoloLens設備本身價格昂貴,深度攝像頭只有30 m的范圍,只能在掃描到的墻體、地面、桌面等較大的物體上進行測量,不能在空間的懸空點上進行測量,希望將來得以繼續改進.

圖7 測量 4 點之中的兩點距離

圖8 測量用戶身高(用戶實際身高1.78米)

圖9 測量 3 點面積

圖10 測量 4 點體積

表1 本文方法與傳統卷尺測量結果對比 (單位: m)

表2 用戶與被測物體距離調整結果對比 (單位: m)

參考文獻

1陳寶權,秦學英.混合現實中的虛實融合與人機智能交融.中國科學: 信息科學,2016,46(12): 1737–1747.

2黃進,韓冬奇,陳毅能,等.混合現實中的人機交互綜述.計算機輔助設計與圖形學學報,2016,28(6): 869–880.

3微軟黑科技HoloLens虛擬成像走進未來.信息技術與信息化,2015,(6): 16.

4張洋.混合現實的人機交互軟硬件系統的研究與設計[碩士學位論文].上海: 華東師范大學,2014.

5Hololens全息眼鏡的應用: 可看火星表面.信息技術與信息化,2016,(12): 17.

6錢童心.HoloLens: 敲碎虛擬與現實的界限.第一財經日報,2016-06-03(A08).

7Scott.微軟演示虛擬現實眼鏡HoloLens憑空搭建城堡.今日電子,2015,(7): 25.

8Ghosh A,Nirala AK.Formation of uniform fringe pattern free from diffraction noise at LDA measurement volume using holographic imaging configuration.Measurement Science and Technology,2016,27(5): 055202.[doi: 10.1088/0957-0233/27/5/055202]

9Syed AZ,Zakaria A,Lozanoff S.Dark room to augmented reality: Application of HoloLens technology for oral radiological diagnosis.Oral Surgery,Oral Medicine,Oral Pathology and Oral Radiology,2017,124(1): e33.