適用宇航智能交互場(chǎng)景的混合現(xiàn)實(shí)技術(shù)研究

李林瞳，王有春，謝 曄，陳 卓

(上海航天電子技術(shù)研究所，上海 201109)

適用宇航智能交互場(chǎng)景的混合現(xiàn)實(shí)技術(shù)研究

李林瞳，王有春，謝 曄，陳 卓

(上海航天電子技術(shù)研究所，上海 201109)

隨著中國(guó)空間站的逐步建成，航天員會(huì)面臨執(zhí)行諸如設(shè)備更換、空間實(shí)驗(yàn)和太空行走等在軌任務(wù)的挑戰(zhàn);但由于通訊延遲等影響，地面指揮中心難以對(duì)航天員提供全天候的技術(shù)支持，要求航天員具備獨(dú)立獲取信息支持的能力，混合現(xiàn)實(shí)技術(shù)可以較好地解決這一問(wèn)題;首先介紹了混合現(xiàn)實(shí)技術(shù)的概念，并對(duì)該技術(shù)進(jìn)行了宇航應(yīng)用特點(diǎn)分析;利用Unity創(chuàng)建虛擬模型，在VS2015的開(kāi)發(fā)平臺(tái)下編寫(xiě)語(yǔ)音指令、手勢(shì)操作及凝視等控制程序，基于HoloLens的混合現(xiàn)實(shí)頭盔實(shí)現(xiàn)應(yīng)用;重點(diǎn)對(duì)空間掃描構(gòu)圖進(jìn)行了研究，通過(guò)HoloLens的深度攝像頭掃描室內(nèi)環(huán)境，對(duì)空間構(gòu)圖數(shù)據(jù)進(jìn)行分析與處理，實(shí)現(xiàn)了將全息影像投影于真實(shí)世界的表面，并與全息影像開(kāi)展多種形式的物理交互;證明了混合現(xiàn)實(shí)技術(shù)在航天員在軌輔助支持上實(shí)現(xiàn)的可行性。

HoloLens；空間構(gòu)圖；混合現(xiàn)實(shí)；增強(qiáng)現(xiàn)實(shí)

0 引言

航天技術(shù)的不斷發(fā)展使航天員在未來(lái)會(huì)挑戰(zhàn)星際航行和較長(zhǎng)時(shí)間的在軌任務(wù)。執(zhí)行任務(wù)的過(guò)程中，會(huì)不可避免地遇到設(shè)備意外故障等情況。但由于通訊延遲，地面指揮中心已不能保證為航天員提供全天候的技術(shù)支持，例如，在火星探測(cè)中，通訊延遲造成極端信息反饋時(shí)間將高達(dá)45 min[1]。因此，航天員必須具備自主獲取信息、自行決策的能力。

隨著中國(guó)空間站的逐步建成，未來(lái)20年里，航天員會(huì)在空間站中做很多工作。但考慮到緊張的太空環(huán)境和較長(zhǎng)的在軌時(shí)間，航天員存在遺忘訓(xùn)練內(nèi)容的可能。目前的解決方法是攜帶紙質(zhì)的技術(shù)手冊(cè)，供航天員隨時(shí)查詢(xún)。但是，技術(shù)手冊(cè)較為繁重，而且在執(zhí)行設(shè)備維修等任務(wù)時(shí)，手持技術(shù)手冊(cè)的航天員難以解放雙手，航天員也需要將視線在技術(shù)手冊(cè)與設(shè)備之間反復(fù)移動(dòng)，增加了出錯(cuò)概率[2]。

混合現(xiàn)實(shí)(mixed reality, MR)技術(shù)提供了一種極具潛力的航天任務(wù)支持手段。通過(guò)佩戴頭盔式增強(qiáng)現(xiàn)實(shí)設(shè)備，航天員可以透過(guò)透明的顯示器看到包含技術(shù)輔助信息的全息影像，在移動(dòng)過(guò)程中解放雙手，并與全息影像實(shí)現(xiàn)語(yǔ)音、手勢(shì)和凝視等形式的交互，航天員可以通過(guò)這些輔助信息的指導(dǎo)完成在軌任務(wù)。

1 混合現(xiàn)實(shí)與宇航應(yīng)用特點(diǎn)分析

1.1 混合現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)

混合現(xiàn)實(shí)是將真實(shí)世界和虛擬世界混合在一起，產(chǎn)生一個(gè)全新的可視化環(huán)境，環(huán)境中同時(shí)包含了物理實(shí)體和虛擬信息，并滿足實(shí)時(shí)性的要求[3]。

HoloLens和Magic Leap是兩款有代表性的MR設(shè)備。混合現(xiàn)實(shí)設(shè)備與以Google Glass為代表的增強(qiáng)現(xiàn)實(shí)(augmented reality, AR)設(shè)備主要有兩點(diǎn)不同。

其一，虛擬物體的相對(duì)位置是否隨設(shè)備的移動(dòng)而移動(dòng)。對(duì)于AR設(shè)備，例如Google Glass,它在用戶(hù)左前方投射的“天氣面板”會(huì)在用戶(hù)移動(dòng)過(guò)程中(或轉(zhuǎn)動(dòng)頭部)保持與用戶(hù)的相對(duì)位置不變，如圖1所示。而對(duì)于HoloLens等MR設(shè)備，也會(huì)在屋子里的墻壁上投射天氣面板，但不論用戶(hù)怎樣走動(dòng)或轉(zhuǎn)動(dòng)頭部，天氣面板始終都在那面墻上。其原理為空間感知定位技術(shù)，只要當(dāng)設(shè)備精確地獲取周?chē)沫h(huán)境信息，才能精確地將虛擬物體放在正確的位置，而不會(huì)隨用戶(hù)的位置移動(dòng)而移動(dòng)。

其二，AR設(shè)備創(chuàng)造的虛擬物體，可以明顯看出其虛擬屬性。但對(duì)于HoloLens和Magic Leap等混合現(xiàn)實(shí)設(shè)備，用戶(hù)看到的虛擬物體和真實(shí)物體幾乎是無(wú)法區(qū)分的。因?yàn)镸R設(shè)備直接向視網(wǎng)膜投射4維光場(chǎng)，所以用戶(hù)看到的虛擬物體在數(shù)學(xué)上沒(méi)有信息損失，與看真實(shí)的物體一樣，如圖2中Magic Leap看到的“鯨魚(yú)顯示”。

圖1 Google Glass天氣面板的用戶(hù)效果

圖2 Magic Leap“鯨魚(yú)顯示”效果圖

1.2 MR宇航應(yīng)用特點(diǎn)分析

在前期的可行性分析中，考慮過(guò)采取基于手持監(jiān)視器的增強(qiáng)現(xiàn)實(shí)方式輔助航天員完成在軌任務(wù)。但是，從宇航員使用的角度來(lái)講，采用光學(xué)透視式頭盔的混合現(xiàn)實(shí)設(shè)備更具優(yōu)勢(shì),研究中選用的HoloLen混合現(xiàn)實(shí)頭戴式顯示器代表了這一領(lǐng)域最先進(jìn)的技術(shù)實(shí)現(xiàn)。選用HoloLens的理由如下：

首先，HoloLens佩戴在航天員的頭部，隨著頭部的運(yùn)動(dòng)而運(yùn)動(dòng)，有助于航天員在移動(dòng)過(guò)程中解放雙手，航天員無(wú)需將視線在手冊(cè)與維修設(shè)備之間切換，從而將注意力集中于操作任務(wù)。HoloLens同時(shí)支持用戶(hù)與全息影像開(kāi)展多種形式的全息交互。

其次，HoloLens在人體光學(xué)方面的用戶(hù)體驗(yàn)很好，瞳距可自動(dòng)調(diào)節(jié)，直接向用戶(hù)的視網(wǎng)膜中投射4維光場(chǎng)而非傳統(tǒng)的2維光場(chǎng)，用戶(hù)可以自主選擇性聚焦。相較于其他的眩暈感較強(qiáng)的混合現(xiàn)實(shí)設(shè)備，HoloLens帶給用戶(hù)的眩暈感很低。

最后，由于HoloLens是光學(xué)投射式頭盔，不同于視頻投射式頭盔完全封閉了用戶(hù)的視野，即使出現(xiàn)電源失效等極端情況，用戶(hù)仍可以透過(guò)透鏡看到全部的真實(shí)場(chǎng)景，由此避免了因?yàn)橛脩?hù)視野封閉導(dǎo)致的安全隱患。

2 軟硬件開(kāi)發(fā)環(huán)境

2.1 關(guān)于HoloLens

HoloLens作為混合現(xiàn)實(shí)科技的尖端應(yīng)用，將計(jì)算機(jī)生成的虛擬效果疊加于現(xiàn)實(shí)世界之上。用戶(hù)佩戴HoloLens的視線不受阻隔，仍然可以在室內(nèi)空間行走自如。HoloLens可以跟蹤用戶(hù)的移動(dòng)和視線變化，以光線投射的方式將虛擬的全息影像投射到用戶(hù)眼中，HoloLens同時(shí)支持用戶(hù)與虛擬對(duì)象完成手勢(shì)、語(yǔ)音和凝視等多種形式的實(shí)時(shí)交互。

使用者通過(guò)移動(dòng)一個(gè)標(biāo)準(zhǔn)的HoloLens設(shè)備，可以快速地對(duì)一個(gè)室內(nèi)場(chǎng)景進(jìn)行細(xì)致的三維重建[4]。使用從HoloLens中提取的深度數(shù)據(jù)，可以追蹤傳感器的三維姿態(tài)并重建，同時(shí)保證幾何上的精度和物理場(chǎng)景三維模型的實(shí)時(shí)性。

HoloLens擁有14納米的英特爾Cherry Trail SoC CPU，主邏輯板配備64 GB閃存和2 GB RAM。此外HoloLens獨(dú)立定制的HPU(全息處理單元)擁有6 500萬(wàn)個(gè)邏輯閘和8 MB SRAM。HoloLens配有一個(gè)定制的3D景深攝像頭和4個(gè)環(huán)境感知攝像頭，用于掃描周?chē)h(huán)境。此外，慣性測(cè)量單元用于快速更新頭部追蹤信息，成像光學(xué)系統(tǒng)用于將現(xiàn)實(shí)世界與虛擬圖像融為一體。

2.2 軟件開(kāi)發(fā)環(huán)境

采用Unity+VS2015聯(lián)合開(kāi)發(fā)平臺(tái)在Windows10環(huán)境下為HoloLens開(kāi)發(fā)應(yīng)用。利用Unity繪制或?qū)雸D片文字及三維動(dòng)畫(huà)等虛擬信息，設(shè)置影像坐標(biāo)等相關(guān)配置，開(kāi)發(fā)者可以在Unity的視圖中看到初步處理后的混合現(xiàn)實(shí)效果。相關(guān)的數(shù)據(jù)處理程序可以經(jīng)由Unity的菜單欄在VS2015中打開(kāi)，利用C#編寫(xiě)空間掃描數(shù)據(jù)處理及人機(jī)交互方式等控制程序，并通過(guò)有線或遠(yuǎn)程控制將應(yīng)用加載到HoloLens中，實(shí)現(xiàn)混合現(xiàn)實(shí)的效果。

2.3 實(shí)驗(yàn)步驟及方法分析

為了達(dá)到混合現(xiàn)實(shí)的目的，首先要認(rèn)識(shí)現(xiàn)實(shí)，利用HoloLens自帶的4個(gè)深度攝像頭對(duì)室內(nèi)環(huán)境掃描以獲取室內(nèi)空間的數(shù)據(jù)信息，進(jìn)一步對(duì)得到的較粗糙數(shù)據(jù)信息進(jìn)行處理，進(jìn)行平面劃分，將室內(nèi)空間的數(shù)據(jù)依據(jù)點(diǎn)云的法線方向不同劃分為地面點(diǎn)云、墻面點(diǎn)云和頂棚點(diǎn)云。

其次，在Unity中設(shè)計(jì)虛擬的場(chǎng)景，也就是希望與真實(shí)環(huán)境相融合的虛擬動(dòng)畫(huà)或圖片，并將虛擬場(chǎng)景導(dǎo)入工程中，并借助HoloLens的偏振片將4維光場(chǎng)信息投射到用戶(hù)的視網(wǎng)膜中，使得在Unity中設(shè)計(jì)的虛擬動(dòng)畫(huà)和圖片信息以混合現(xiàn)實(shí)的方式出現(xiàn)在用戶(hù)的視野里，實(shí)現(xiàn)虛實(shí)結(jié)合的效果。

為了實(shí)現(xiàn)用戶(hù)與虛擬場(chǎng)景的交互，在VS2015中編寫(xiě)手勢(shì)控制程序，使虛擬的圖片信息可以在用戶(hù)手勢(shì)的操控下在墻面上自由移動(dòng)。并設(shè)置語(yǔ)音控制、手勢(shì)操作和凝視指令，進(jìn)一步完善多種形式的人機(jī)交互手段，使用戶(hù)體驗(yàn)真實(shí)的混合現(xiàn)實(shí)效果，提升用戶(hù)的認(rèn)知和自主學(xué)習(xí)能力。

3 空間掃描與數(shù)據(jù)分析

3.1 對(duì)室內(nèi)空間的深度掃描

HoloLens支持對(duì)室內(nèi)空間進(jìn)行深度掃描，由于研究的目的是在艙內(nèi)空間為航天員提供混合現(xiàn)實(shí)的技術(shù)支持，在此不妨用任意的室內(nèi)空間模擬太空艙內(nèi)的空間。

HoloLens高質(zhì)量的幾何重建，其核心目標(biāo)是通過(guò)SLAM技術(shù)(simultaneous localization and mappinp，即時(shí)定位與構(gòu)圖)獲取真實(shí)場(chǎng)景的詳細(xì)三維模型。SLAM技術(shù)的解決過(guò)程就是認(rèn)知環(huán)境的過(guò)程，相機(jī)在移動(dòng)過(guò)程中根據(jù)位置估計(jì)和地圖進(jìn)行自身定位，同時(shí)在自身定位的基礎(chǔ)上建造增量式地圖。很多SLAM系統(tǒng)關(guān)注于實(shí)時(shí)的跟蹤，使用稀疏圖片定位而不是重建。還有的SLAM系統(tǒng)使用基于點(diǎn)的樣本表現(xiàn)(例如基于面元或者排成一條線的點(diǎn)云)進(jìn)行重建[5]。HoloLens基于表面重建的方法超過(guò)了之前基于點(diǎn)的表現(xiàn)，更加精確的表現(xiàn)了真實(shí)世界的幾何關(guān)系。

用戶(hù)佩戴HoloLens可以在房間內(nèi)快速地移動(dòng)完成對(duì)場(chǎng)景三維模型的高質(zhì)量、幾何精度較高的重建。系統(tǒng)連續(xù)地跟蹤HoloLens前置相機(jī)的姿態(tài)，并且實(shí)時(shí)地將由相機(jī)獲取的深度數(shù)據(jù)融合進(jìn)世界的三維模型。當(dāng)用戶(hù)搜索空間時(shí)，物理場(chǎng)景的新視圖被顯示，這些新的視圖被融合進(jìn)統(tǒng)一模型中，因此伴隨著新的深度測(cè)量值被逐漸獲取，重建在細(xì)節(jié)上逐漸完善，空洞逐漸被填滿，模型變得更加完整，隨著時(shí)間的過(guò)去逐步精確[6]。

只要HoloLens開(kāi)啟，它就會(huì)不間斷地掃描周?chē)沫h(huán)境，但是開(kāi)發(fā)者可以決定其開(kāi)發(fā)的應(yīng)用何時(shí)或者多久獲取一次數(shù)據(jù)。為了實(shí)現(xiàn)混合現(xiàn)實(shí)，首先要認(rèn)識(shí)現(xiàn)實(shí)，而認(rèn)識(shí)現(xiàn)實(shí)的方法正是通過(guò)HoloLens對(duì)室內(nèi)空間進(jìn)行深度掃描，并保存深度掃描的空間數(shù)據(jù)，將其下載到計(jì)算機(jī)中，從而可以在Unity中對(duì)深度數(shù)據(jù)進(jìn)行處理和使用。

通過(guò)在VS2015中編寫(xiě)空間觀測(cè)程序控制HoloLens對(duì)室內(nèi)空間的掃描，利用Device Portal(設(shè)備門(mén)戶(hù))工具實(shí)現(xiàn)計(jì)算機(jī)對(duì)HoloLens的觀測(cè)。使用HoloLens掃描室內(nèi)環(huán)境時(shí)，會(huì)看到疏密度一定的三角形覆蓋室內(nèi)環(huán)境，可以在Device Portal 中的3D view界面觀測(cè)到HoloLens對(duì)室內(nèi)空間掃描的實(shí)時(shí)進(jìn)度(如圖3所示),用戶(hù)需要利用HoloLens的深度相機(jī)掃描覆蓋室內(nèi)空間的每個(gè)角落，以確保獲取環(huán)境信息的完整性，佩戴HoloLens的用戶(hù)凝視某一角落，對(duì)應(yīng)的數(shù)據(jù)信息就會(huì)在實(shí)時(shí)掃描進(jìn)度中被填滿。

圖3 3D view中顯示的實(shí)時(shí)掃描進(jìn)度

掃描完成后，可以將室內(nèi)空間的深度信息導(dǎo)入到Unity中，在Unity中點(diǎn)擊播放，便可以在Scene窗口中看到完成的室內(nèi)空間深度信息(如圖4所示)[7]。值得注意的是，Unity支持在編譯器中實(shí)時(shí)觀測(cè)HoloLens的GPU使用情況，也可以修改HoloLens對(duì)室內(nèi)空間的掃描精度，圖4中采用每立方米500個(gè)三角單元的測(cè)量精度，如果空間信息相對(duì)復(fù)雜，可以修改程序提高測(cè)量精度，例如可以將測(cè)量精度提升為每立方米1200個(gè)三角單元，部分控制程序如下：

Private void Awake( )

{

Observer=new SurfaceObserver();

ObserverState=ObserverStates.Stopped;

TrianglesPerCubicMeter=1200;

}

將深度數(shù)據(jù)導(dǎo)入U(xiǎn)nity后，不再需要在Unity與HoloLens之間反復(fù)交換數(shù)據(jù)，對(duì)于空間數(shù)據(jù)的處理工作只需在Unity中進(jìn)行。

圖4 向Unity中導(dǎo)入的掃描信息

3.2 空間數(shù)據(jù)的初步處理

通過(guò)HoloLens初步導(dǎo)入到Unity的數(shù)據(jù)是粗糙的，需要利用數(shù)學(xué)手段進(jìn)行初步處理。通過(guò)存儲(chǔ)頂點(diǎn)的位置，可以精確的計(jì)算出像素點(diǎn)在空間中的位置。處理空間數(shù)據(jù)的思路是通過(guò)計(jì)算頂點(diǎn)的法向量判斷像素點(diǎn)的位置是在墻面、頂棚還是地面。

計(jì)算頂點(diǎn)在視野空間中所處的位置，同時(shí)得到頂點(diǎn)的法向量，將法向量轉(zhuǎn)化為世界空間的坐標(biāo)，進(jìn)一步得到真實(shí)空間中法向量的類(lèi)型。通過(guò)著色器將墻面的像素點(diǎn)渲染為藍(lán)黑相間的條紋，其余區(qū)域，也就是頂棚點(diǎn)云與地面點(diǎn)云默認(rèn)為黑色。初步處理后的空間數(shù)據(jù)如圖5所示，空間的墻面被著色器渲染為藍(lán)黑相間的條紋，并可以通過(guò)修改相應(yīng)的參數(shù)改變藍(lán)色條紋的線寬。

圖5 初步處理后的空間數(shù)據(jù)

3.3 平面劃分與場(chǎng)景導(dǎo)入

初步處理后，找尋地面點(diǎn)云與頂棚點(diǎn)云，可以將法線方向均向上的一類(lèi)點(diǎn)的集合定義為地面點(diǎn)云，將法線方向均向下的一類(lèi)點(diǎn)的集合定義為頂棚點(diǎn)云，這樣就可以將空間數(shù)據(jù)劃分為三類(lèi)，直觀地呈現(xiàn)為地面、墻面和頂棚。平面劃分處理后的結(jié)果如圖6所示，藍(lán)黑相間的部分為墻面，其與上下的頂棚與地面均清晰區(qū)別。

圖6 平面劃分后的處理結(jié)果

圖6中可以看出，數(shù)據(jù)的處理結(jié)果較為粗糙，尤其是面與面之間仍存在較多三角單元，需要做進(jìn)一步的平滑處理。進(jìn)一步將虛擬的交互場(chǎng)景導(dǎo)入室內(nèi)空間模型，為交互做準(zhǔn)備[8]，虛擬場(chǎng)景導(dǎo)入完成如圖7所示，虛擬的圖片信息被疊加到符合墻面要素的點(diǎn)云上，虛擬動(dòng)畫(huà)場(chǎng)景被疊加到法線方向向上的地面點(diǎn)云，佩戴HoloLens的用戶(hù)就可以在室內(nèi)空間看到混合現(xiàn)實(shí)的實(shí)現(xiàn)效果。

圖7 虛擬場(chǎng)景導(dǎo)入U(xiǎn)nity后的結(jié)果

4 混合現(xiàn)實(shí)的實(shí)現(xiàn)

實(shí)現(xiàn)混合現(xiàn)實(shí)的交互方式主要有3種：語(yǔ)音控制、凝視和手勢(shì)控制[9]。語(yǔ)音控制幫助用戶(hù)通過(guò)語(yǔ)音對(duì)全息影像或圖片發(fā)送基本控制命令;凝視用于選擇，相當(dāng)于鼠標(biāo)指針的功能，通過(guò)頭部的運(yùn)動(dòng)指向一個(gè)位置;手勢(shì)控制主要分為輕點(diǎn)和拖拽，通過(guò)識(shí)別用戶(hù)手指的運(yùn)動(dòng)軌跡實(shí)現(xiàn)類(lèi)似于鼠標(biāo)確認(rèn)等操作。

在此設(shè)計(jì)案例中，實(shí)現(xiàn)的具體交互方式為，墻面上的圖片文字信息可以根據(jù)用戶(hù)的凝視指令在墻面上的任意位置自由移動(dòng)，并通過(guò)用戶(hù)的手勢(shì)確認(rèn)指令固定放置在墻面上的任意位置。設(shè)計(jì)案例同樣支持語(yǔ)音控制，用戶(hù)可以通過(guò)語(yǔ)音指令固定圖片在墻面上的位置。但是，值得注意的是，圖片文字信息只能出現(xiàn)在墻面上。用戶(hù)也可以將虛擬的三維立體模型在地面上通過(guò)凝視指令移動(dòng)并通過(guò)手勢(shì)或語(yǔ)音確認(rèn)指令任意放置。同時(shí)，虛擬的太陽(yáng)系環(huán)境置于室內(nèi)空間中，佩戴HoloLens的用戶(hù)可以在室內(nèi)空間看到動(dòng)態(tài)運(yùn)動(dòng)的太陽(yáng)系場(chǎng)景，包括行星、隕石的運(yùn)動(dòng)。

由此，置身于室內(nèi)空間并佩戴HoloLens的用戶(hù)，不僅可以透過(guò)HoloLens的透光屏幕看到室內(nèi)的真實(shí)場(chǎng)景，也可以看到通過(guò)Unity導(dǎo)入的虛擬的文字、圖片和三維動(dòng)畫(huà)信息，并與虛擬信息開(kāi)展語(yǔ)音控制、凝視和手勢(shì)控制等交互方式，實(shí)現(xiàn)了混合現(xiàn)實(shí)的效果。

5 結(jié)束語(yǔ)

隨著混合現(xiàn)實(shí)技術(shù)的發(fā)展和相關(guān)應(yīng)用的研究，其在航天員輔助操作和獨(dú)立獲取信息等方面的巨大優(yōu)勢(shì)已經(jīng)顯現(xiàn)出來(lái)。本文的設(shè)計(jì)研究利用室內(nèi)環(huán)境模擬太空艙內(nèi)環(huán)境，首先對(duì)室內(nèi)空間進(jìn)行深度掃描，然后對(duì)數(shù)據(jù)進(jìn)行處理，將虛擬場(chǎng)景導(dǎo)入，并實(shí)現(xiàn)多種形式的人機(jī)交互。用戶(hù)佩戴HoloLens混合現(xiàn)實(shí)頭盔，既能夠看到真實(shí)完整的室內(nèi)空間，又可以獲取虛擬場(chǎng)景提供的圖片文字等信息，同時(shí)解放了用戶(hù)的雙手，方便用戶(hù)在獲取信息的同時(shí)開(kāi)展相關(guān)操作。本設(shè)計(jì)對(duì)研究長(zhǎng)期航天員在軌任務(wù)輔助支持與訓(xùn)練方法具有重要的研究意義。

[1] Tamas H,Zoltan B.Surgical robotic support for long duration space missions[J].Acta Astronautica,2008,63(7):996-1005.

[2] 朱秀慶，劉玉慶，周伯河.載人航天領(lǐng)域增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用研究進(jìn)展[J].航天醫(yī)學(xué)與醫(yī)學(xué)工程,2014,27(5):374-378.

[3] 羅 斌，王涌天，沈 浩.增強(qiáng)現(xiàn)實(shí)混合跟蹤技術(shù)綜述[J].自動(dòng)化學(xué)報(bào)，2013,39(8):1185-1201.

[4] 張 洋.混合現(xiàn)實(shí)的人機(jī)交互軟硬件系統(tǒng)的研究與設(shè)計(jì)[D].上海:華東師范大學(xué),2014.

[5] Henry P,et al.RGB-D mapping:Using depth cameras for dense 3D modeling of indoor environments[A]. Proc.of the Int.Symposium on Experimental Robotics(ISER)[C].2010.

[6] Izadi S, Kim D, Hilliges O,et al.Real-time 3D reconstruction and interaction using a moving depth camera[A].UIST’II[C]. Santa Barbara,CA,USA,2011.

[7] Newcombe R A, Izadi S, Hilliges O.Real-time dense surface mapping and tracking[A].In ISMAR[C].2011.

[8] 李 國(guó).基于立體視覺(jué)的同時(shí)定位與地圖創(chuàng)建研究[D].哈爾濱：哈爾濱工業(yè)大學(xué),2014.

[9] 康 波.增強(qiáng)現(xiàn)實(shí)中的跟蹤技術(shù)[J].計(jì)算機(jī)測(cè)量與控制,2006,14(11):1431-1434.

A Study of Mixed Reality Applied to Aerospace Intelligent Interaction

Li Lintong, Wang Youchun,Xie Ye,Chen Zhuo

(Shanghai Aerospace Electronic Technology Institute, Shanghai 201109, China)

As Chinese space station is being established,the astronaut will face a challenge of a long-term on-orbit task, such as the equipment replacement, the space test and the space walk. But for the communication delay,the mission control center can hardly offer all-weather technical supports for astronauts,so the astronauts must poccess the capability of getting information supports independently.The technology of mixed reality can solve this problem. At first, the concept of the mixed reality is introduced, the space application characteristics of this technique is also analyzed. The voice command, the gesture control and the gaze are accomplished under the development platform of the VS2015,the app is operated on HoloLens. Our study focuses on the spatial mapping, the paper take an analysis of the spatial mapping data by scanning the indoor environment. The application can project holograms on the surface of the real world.Users can also take some physics interactions with the holograms.The study demonstrates the feasibility of the mixed reality for the on-orbit support of the astronauts.

HoloLens；spatial mapping；mixed reality；augmented reality

2017-06-19；

2017-07-11。

李林瞳(1992-)，男，吉林長(zhǎng)春人，碩士研究生，主要從事增強(qiáng)現(xiàn)實(shí)方向的研究。

王有春(1974-)，女，安徽蚌埠人，碩士研究生導(dǎo)師，主要從事測(cè)試與發(fā)控方向的研究。

1671-4598(2017)12-0255-04

10.16526/j.cnki.11-4762/tp.2017.12.066

TP391

A