基于手勢(shì)識(shí)別的博物館虛擬文物交互系統(tǒng)設(shè)計(jì)

張耀月

關(guān)鍵詞：手勢(shì)識(shí)別 虛擬展示 系統(tǒng)設(shè)計(jì) 無接觸式交互 數(shù)字媒體

引言

隨著信息技術(shù)的發(fā)展，國(guó)內(nèi)外的博物館及各類展廳等場(chǎng)所逐漸引入了人機(jī)交互技術(shù)用于輔助展品演示[1]，利用不同類型的交互設(shè)備與交互方式構(gòu)建互動(dòng)化、多樣化、娛樂化的數(shù)字展館。例如，常州博物館采用了8塊高清觸摸屏拼接而成的互動(dòng)展示屏，實(shí)現(xiàn)藏品的數(shù)字化展示[2]。重慶三峽博物館利用混合現(xiàn)實(shí)技術(shù)使得觀眾可以通過Holo Lens全息設(shè)備體驗(yàn)清末時(shí)期的風(fēng)土人情，從互動(dòng)中了解文物內(nèi)在的故事[3]。故宮博物院的數(shù)字多寶閣展館，利用18塊高清屏幕展示了160余件館藏文物虛擬模型，觀者可以對(duì)模型進(jìn)行觸摸點(diǎn)擊和旋轉(zhuǎn)以查看文物細(xì)節(jié)，如圖1。一些學(xué)者[4]也探索了虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)技術(shù)在博物館等展館中的應(yīng)用。

總體來看，交互技術(shù)和展館的融合發(fā)展已經(jīng)取得了一定成果，但從人與物之間的交互方式分析，現(xiàn)階段的研究與實(shí)踐主要集中在觸摸屏點(diǎn)擊交互和借助手柄或VR設(shè)備的體感交互[5-6]，這兩種交互方式均建立在人與設(shè)備產(chǎn)生接觸的基礎(chǔ)上。自新冠肺炎疫情發(fā)生以來，無接觸式的生活方式逐漸成為人們關(guān)注的熱點(diǎn)[7]。因此，本文結(jié)合LeapMotion設(shè)備[8]、三維建模技術(shù)以及Unity3D開發(fā)平臺(tái)進(jìn)行虛擬文物交互系統(tǒng)的設(shè)計(jì)開發(fā)，探索利用手勢(shì)變換達(dá)到觀者與虛擬展品的互動(dòng)，意在為后疫情時(shí)代各類展館的數(shù)字化服務(wù)方式提供了一種新思路。

一、手勢(shì)識(shí)別與Leap Motion設(shè)備

（一）手勢(shì)與手勢(shì)識(shí)別。手可以看作一種能夠協(xié)助我們完成各種操作的工具，手的結(jié)構(gòu)精密而復(fù)雜，主要由骨頭、關(guān)節(jié)、韌帶、神經(jīng)等要素組成。手勢(shì)一般被定義為通過手或手與手臂相結(jié)合做出的各種具體動(dòng)作和姿勢(shì)，手勢(shì)具有豐富的靈活性并且應(yīng)用廣泛，人們可以在于日常生活中通過手勢(shì)傳遞不同的語義和信息。按照人機(jī)交互的過程，手勢(shì)可以分為無意義手勢(shì)和有意義手勢(shì)兩種類型，有意義的手勢(shì)可以向計(jì)算機(jī)傳遞特定指令，在傳遞指令之前，需要在計(jì)算機(jī)系統(tǒng)中對(duì)不同的手勢(shì)含義進(jìn)行設(shè)計(jì)和約束，即定義手勢(shì)集合，以便在獲取手勢(shì)信息和狀態(tài)后，計(jì)算機(jī)則是通過匹配集合中定義的手勢(shì)實(shí)現(xiàn)特定的交互功能。

手勢(shì)識(shí)別是通過算法識(shí)別人類手勢(shì)的一種方法，通過手勢(shì)識(shí)別可以讓計(jì)算機(jī)理解人體的手部語言并作出相應(yīng)反饋。隨著這種直覺化交互方式的發(fā)展與應(yīng)用，出現(xiàn)了許多新型且不依賴于傳統(tǒng)計(jì)算機(jī)設(shè)備的交互形式[9]。根據(jù)獲取手部信息的不同方式，手勢(shì)識(shí)別技術(shù)可分為兩類，第一類是基于傳感器的手勢(shì)識(shí)別技術(shù)[10]，主要利用慣性傳感器或者其他接觸傳感器對(duì)手勢(shì)數(shù)據(jù)信息進(jìn)行采集。這種技術(shù)的優(yōu)點(diǎn)在于獲取的手部數(shù)據(jù)比較精確，識(shí)別效果好，而缺點(diǎn)是用戶需要佩戴數(shù)據(jù)手套等設(shè)備，佩戴過程繁瑣且操作復(fù)雜從而導(dǎo)致用戶體驗(yàn)降低。后續(xù)經(jīng)過改進(jìn)發(fā)展出的數(shù)據(jù)手環(huán)雖然縮小了設(shè)備體積，提高了用戶的使用體驗(yàn)，但數(shù)據(jù)手環(huán)在識(shí)別過程中的準(zhǔn)確度相對(duì)較低，使用成本也比數(shù)據(jù)手套高。第二類則是基于視覺的手勢(shì)識(shí)別技術(shù)[7]，如Kinect、Leap Motion等體感設(shè)備，這類體感交互設(shè)備在手勢(shì)識(shí)別過程中采用的識(shí)別方式是借助設(shè)備內(nèi)置的攝像頭記錄手勢(shì)圖像，再將圖像數(shù)據(jù)傳輸給計(jì)算機(jī)處理，計(jì)算機(jī)通過影像分析提取手部的位置及形態(tài)信息進(jìn)行識(shí)別。這種識(shí)別技術(shù)的優(yōu)勢(shì)在于用戶可以擺脫數(shù)據(jù)手套等穿戴式設(shè)備在交互操作過程中帶來的干擾與不適，并能以較低的成本讓用戶在自然狀態(tài)下實(shí)現(xiàn)與計(jì)算機(jī)的互動(dòng)。

（二）Leap motion原理及應(yīng)用。Leap Motion交互設(shè)備是由同名公司于2013年推出的互動(dòng)產(chǎn)品，利用手指和手掌的動(dòng)作實(shí)現(xiàn)輸入操作，用戶與設(shè)備在無接觸的狀態(tài)下即可完成人機(jī)互動(dòng)。LeapMotion主要由兩個(gè)攝像頭、三個(gè)紅外燈以及光學(xué)傳感器組成，外觀設(shè)計(jì)小巧，方便攜帶與操作，并且其具備較高的識(shí)別精度，能夠較為準(zhǔn)確地檢測(cè)手部信息。此設(shè)備具有操作簡(jiǎn)單、高效自然、實(shí)時(shí)交互等優(yōu)勢(shì)特點(diǎn)，使用 Leap Motion進(jìn)行手勢(shì)交互時(shí)，用戶只需將手懸浮在設(shè)備上方約25cm處，即可在虛擬場(chǎng)景中獲取實(shí)時(shí)渲染的手部模型并通過手勢(shì)的變換在場(chǎng)景中實(shí)現(xiàn)相應(yīng)的交互目標(biāo)，如圖2。

該設(shè)備配置的兩個(gè)攝像頭用于采集用戶的手部信息，包括手指、手掌或者與手部類似的道具。在實(shí)際的交互操作中，當(dāng)用戶將手放到設(shè)備所覆蓋的工作范圍內(nèi)時(shí)，Leap Motion利用其攝像頭同時(shí)捕捉用戶的手部圖像，再通過三角測(cè)量的方法定位用戶手部的三維坐標(biāo)數(shù)據(jù)并且實(shí)時(shí)計(jì)算目標(biāo)物的視差，由此得到其空間位置信息[11]，進(jìn)而分析用戶的手勢(shì)特征及運(yùn)動(dòng)過程，并在場(chǎng)景中以虛擬手部模型的形式實(shí)時(shí)顯示[12]。

Leap Motion在娛樂、教育、藝術(shù)等方面都得到了發(fā)展和應(yīng)用[13]。利用Leap motion設(shè)備與Unity3D平臺(tái)，設(shè)計(jì)與開發(fā)人員構(gòu)建了不同的手勢(shì)交互虛擬應(yīng)用場(chǎng)景，用戶可以獲得相比傳統(tǒng)交互方式更加沉浸和自然的體驗(yàn)。在教育領(lǐng)域，動(dòng)物解剖實(shí)驗(yàn)是較為成熟的一種應(yīng)用方向，例如，Cat Explorer應(yīng)用提供了一只小貓的卡通化模型，用戶利用與Leap Motion的不同手勢(shì)互動(dòng)以一種直觀的形式對(duì)小貓的生理結(jié)構(gòu)進(jìn)行解剖和學(xué)習(xí)，而卡通可愛的小貓?jiān)煨团c虛擬畫面也為其增添了更多趣味性，如圖3所示。Leap Motion設(shè)備在游戲領(lǐng)域的應(yīng)用則更為豐富，這些娛樂類的應(yīng)用項(xiàng)目主要展現(xiàn)了其無接觸式的操作體驗(yàn)和多變的交互形式等特點(diǎn)?，F(xiàn)階段的游戲通常依靠PC和移動(dòng)設(shè)備，用戶借助鍵盤、鼠標(biāo)、手柄等工具以及點(diǎn)擊觸控等技術(shù)進(jìn)行體驗(yàn)，而Leap Motion的引入則帶來了新穎的操作形式和多角度的感官體驗(yàn)，例如Octagon，這是一款基于手勢(shì)交互的極簡(jiǎn)街機(jī)游戲，游戲機(jī)制類似于一般的跑酷游戲，但其更具挑戰(zhàn)性的交互操作方式受到了玩家的喜愛，如圖4所示。

二、虛擬文物交互系統(tǒng)設(shè)計(jì)

結(jié)合以上對(duì)手勢(shì)識(shí)別和Leap Motion設(shè)備的分析，筆者對(duì)博物館文物的展示與互動(dòng)方式進(jìn)行了設(shè)想，經(jīng)過分析最終確定設(shè)計(jì)一個(gè)虛擬文物手勢(shì)交互系統(tǒng)，該系統(tǒng)的應(yīng)用場(chǎng)景為線下博物館、展館、科技館等面向大眾開放的公共展覽場(chǎng)館。旨在通過虛擬系統(tǒng)的搭建為觀者提供更多樣的參觀體驗(yàn)，在此基礎(chǔ)上借助手勢(shì)識(shí)別技術(shù)改進(jìn)現(xiàn)有的觸控式數(shù)字化展覽形式，為后疫情時(shí)代下人們?cè)诰€下參觀展館時(shí)提供了一種更為安全的交互方式。

（一）設(shè)計(jì)工具與平臺(tái)。虛擬文物交互系統(tǒng)采用Leap Motion作為手勢(shì)交互設(shè)備，利用基于Leap Motion的手勢(shì)識(shí)別技術(shù)為用戶提供無接觸式的交互體驗(yàn)方式。采用Unity3D作為系統(tǒng)的開發(fā)平臺(tái)，Unity3D是由Unity Technologies公司開發(fā)的一個(gè)讓用戶自主創(chuàng)建如游戲、建筑、三維動(dòng)畫等多種類型項(xiàng)目的綜合開發(fā)工具[14]，可用于創(chuàng)作各種實(shí)時(shí)互動(dòng)的2D或3D內(nèi)容，支持包括手機(jī)、平板電腦、增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)等設(shè)備，應(yīng)用廣泛且易于開發(fā)，并且Leap Motion手勢(shì)識(shí)別設(shè)備已有適用于Unity3D的資源包和開發(fā)案例，因此選擇Unity3D作為本系統(tǒng)的開發(fā)平臺(tái)。

（二）交互系統(tǒng)設(shè)計(jì)。本系統(tǒng)以宋朝汝瓷作為的核心展示對(duì)象，汝瓷作為瓷器的一種品類，從隋朝發(fā)展以來已有千年的歷史，汝瓷的器物造型和裝飾紋樣都極具簡(jiǎn)潔美、意境美、和諧美。該交互系統(tǒng)的設(shè)計(jì)主要由三維建模技術(shù)、基于Leap Motion的手勢(shì)識(shí)別技術(shù)、Unity3D平臺(tái)三部分構(gòu)成，融入了文物歷史發(fā)展介紹、文物詳情介紹、文物模型互動(dòng)、插畫與配樂等特色內(nèi)容與交互功能，形成了一套完整且豐富的虛擬文物交互系統(tǒng)設(shè)計(jì)方案，為用戶提供了新穎且安全的線下數(shù)字化觀展方式，使用戶的互動(dòng)體驗(yàn)感得以提升，對(duì)文物及其文化的了解也更加深刻。虛擬文物交互系統(tǒng)嚴(yán)格按照系統(tǒng)開發(fā)的流程，經(jīng)過分析、設(shè)計(jì)、開發(fā)、測(cè)試、迭代并完善系統(tǒng)內(nèi)容[15]。本系統(tǒng)的主要開發(fā)流程分為三個(gè)部分，一是利用Photoshop圖像處理軟件和Maya建模軟件對(duì)所選汝瓷文物進(jìn)行貼圖制作和建模，創(chuàng)建本系統(tǒng)所需要的基本三維模型和設(shè)計(jì)素材。二是在Unity3D中搭建交互系統(tǒng)的基本虛擬場(chǎng)景。最后通過Leap Motion設(shè)備與Unity3D的結(jié)合，利用代碼實(shí)現(xiàn)具體的手勢(shì)交互功能。詳細(xì)開發(fā)流程如圖5。

（三）系統(tǒng)特色與優(yōu)勢(shì)

1．無接觸式的互動(dòng)方式?；贚eap Motion手勢(shì)交互是人機(jī)交互領(lǐng)域中一種廣泛應(yīng)用的技術(shù)，常見于體感游戲中。手勢(shì)交互與博物館等展館的結(jié)合，一方面融合了歷史文化和新興技術(shù)，使傳統(tǒng)實(shí)體文物的展示與傳播更具娛樂趣味，提升用戶體驗(yàn)，寓教于樂；另一方面，手勢(shì)交互也提供了一種無接觸的交互方式，用戶通過懸浮于空間中的手勢(shì)完成一系列交互操作，順應(yīng)了疫情以來人們對(duì)無接觸式生活方式的選擇和需求。

2．豐富的系統(tǒng)功能和內(nèi)容。基于對(duì)汝瓷相關(guān)史料和研究文章的收集與分析，為用戶提供了歷史學(xué)習(xí)、名品汝瓷科普、互動(dòng)娛樂等多功能為一體的文物交互系統(tǒng)，滿足用戶多方面的使用需求，幫助用戶全面地感受和了解汝瓷文化。比如，用戶可以通過本系統(tǒng)了解汝瓷的發(fā)展歷史、制作工藝流程、汝瓷的器物造型特征、裝飾紋樣分析等知識(shí)，感受汝瓷文物的藝術(shù)價(jià)值與魅力。

3．多感官的使用體驗(yàn)。多樣的感官體驗(yàn)讓交互系統(tǒng)更具趣味性和吸引力。本系統(tǒng)在設(shè)計(jì)過程中結(jié)合了視覺設(shè)計(jì)和聽覺設(shè)計(jì)兩方面內(nèi)容。視覺設(shè)計(jì)主要體現(xiàn)為系統(tǒng)的插畫設(shè)計(jì)、界面圖標(biāo)設(shè)計(jì)和虛擬場(chǎng)景布局設(shè)計(jì)。插畫設(shè)計(jì)融入了中國(guó)傳統(tǒng)文化的元素，比如水墨風(fēng)格的竹林、飛鳥、山水等。界面的圖標(biāo)和場(chǎng)景布局設(shè)計(jì)理念則是與汝瓷文化內(nèi)涵一脈相承，傳達(dá)了簡(jiǎn)潔、和諧、高雅的意境。系統(tǒng)的聽覺設(shè)計(jì)表現(xiàn)在虛擬場(chǎng)景的背景音樂設(shè)置和場(chǎng)景變換時(shí)的音樂切換，不同的場(chǎng)景會(huì)出現(xiàn)不同的音樂，這些背景音樂的設(shè)置提升了系統(tǒng)的感染力，為用戶提供身臨其境的互動(dòng)體驗(yàn)。

三、虛擬文物交互系統(tǒng)的整合與實(shí)現(xiàn)

通過編寫Unity3D平臺(tái)的腳本語言C#實(shí)現(xiàn)虛擬場(chǎng)景的流程整合與手勢(shì)交互功能。核心內(nèi)容包括文物歷史發(fā)展介紹場(chǎng)景、汝瓷制作工藝介紹場(chǎng)景、文物詳情介紹場(chǎng)景的搭建。添加插畫素材和背景音樂以豐富系統(tǒng)。利用手勢(shì)實(shí)現(xiàn)文物模型交互、虛擬場(chǎng)景切換和界面滑動(dòng)展示。

（一）3D模型構(gòu)建。對(duì)汝瓷進(jìn)行三維建模時(shí)，為了盡可能還原文物的造型與特征，需要掌握每件文物各自的數(shù)據(jù)尺寸和紋路細(xì)節(jié)特征。由于本文所選文物的特殊性，無法通過實(shí)物掃描的方式采集精準(zhǔn)的數(shù)據(jù)信息和輪廓特征。因此選擇收集相關(guān)汝瓷文物的文獻(xiàn)資料和圖像資料等方式獲取文物的尺寸數(shù)據(jù)和材質(zhì)貼圖素材。根據(jù)前期調(diào)研得到的數(shù)據(jù)及圖片，在Photoshop中對(duì)圖片素材進(jìn)行進(jìn)一步細(xì)化處理，繪制模型的基本輪廓與三視圖，并根據(jù)實(shí)際比例進(jìn)行調(diào)整。依據(jù)汝瓷文物的三視圖，利用建模軟件Maya創(chuàng)建初步的粗略模型，然后在Maya中利用可編輯的點(diǎn)、線、面，通過移動(dòng)、縮放、擠壓等操作對(duì)模型進(jìn)行細(xì)微調(diào)整，使創(chuàng)建的虛擬汝瓷模型符合真實(shí)文物的尺寸比例和造型特征，本系統(tǒng)中所需要的10種汝瓷模型都依照此方法構(gòu)建。完成三維模型的創(chuàng)建后，需要依據(jù)文物實(shí)際的紋理特征給三維模型賦予材質(zhì)貼圖。本系統(tǒng)首先利用Photoshop軟件對(duì)收集的汝瓷文物圖片進(jìn)行初步處理，包括圖片的曝光度、對(duì)比度、色調(diào)等參數(shù)的調(diào)整以及圖片大小的裁剪，將處理后的貼圖素材賦予到Maya中的材質(zhì)球上，并進(jìn)行UVW貼圖調(diào)整，使得模型具備更高的擬真度。

（二）手勢(shì)設(shè)計(jì)。Leap Motion手勢(shì)交互設(shè)備定義了幾種初始的動(dòng)態(tài)手勢(shì)，例如揮手、畫圈、點(diǎn)擊等操作，但本文所設(shè)計(jì)的虛擬文物交互系統(tǒng)中，這幾種初始手勢(shì)均無法實(shí)現(xiàn)特定的手勢(shì)含義并完成設(shè)計(jì)方案中力求達(dá)到的交互目標(biāo)功能。因此，結(jié)合前期的系統(tǒng)設(shè)計(jì)方案，針對(duì)用戶在與系統(tǒng)互動(dòng)過程中所涉及的交互操作，筆者對(duì)手勢(shì)進(jìn)行重新設(shè)計(jì)與定義。鑒于本交互系統(tǒng)的應(yīng)用場(chǎng)景為公共展覽空間，重新設(shè)計(jì)的手勢(shì)應(yīng)具備操作簡(jiǎn)單、區(qū)分度和識(shí)別度高、符合用戶行為習(xí)慣等特征，以避免操作過程中出現(xiàn)識(shí)別錯(cuò)誤等問題。手勢(shì)設(shè)計(jì)完成后需結(jié)合實(shí)例進(jìn)行測(cè)試與分析，判斷手勢(shì)是否達(dá)到預(yù)期的互動(dòng)效果，以保證虛擬文物交互系統(tǒng)的可行性。根據(jù)設(shè)計(jì)方案，本系統(tǒng)預(yù)期達(dá)到的核心交互目標(biāo)是用戶可以借助Leap Motion手勢(shì)交互設(shè)備實(shí)現(xiàn)與虛擬文物模型及系統(tǒng)界面的互動(dòng)，具體包括控制文物模型的縮小與放大展示、360度旋轉(zhuǎn)展示、場(chǎng)景界面的左右移動(dòng)等功能。綜合上述分析，筆者重新設(shè)計(jì)并定義了三種基于Leap Motion的動(dòng)態(tài)手勢(shì)，如圖6。

1．控制模型縮?。菏种负喜⑽杖瓕?shí)現(xiàn)虛擬文物模型縮小。

2．控制模型放大：手掌張開實(shí)現(xiàn)虛擬文物模型放大。

3．控制模型360度旋轉(zhuǎn)及界面的平移：手部在三維空間中任意方向移動(dòng)實(shí)現(xiàn)模型在虛擬場(chǎng)景中360度旋轉(zhuǎn)展示。手部左右移動(dòng)控制場(chǎng)景界面實(shí)現(xiàn)左右平移展示。

（三）虛擬場(chǎng)景搭建。文物歷史發(fā)展介紹場(chǎng)景與汝瓷制作工藝介紹場(chǎng)景均采用水墨插畫與文字介紹相結(jié)合的表現(xiàn)形式，為用戶提供了圖文并茂的汝瓷文物知識(shí)，也使得本系統(tǒng)更具中國(guó)傳統(tǒng)文化的特色與風(fēng)格。這部分內(nèi)容的實(shí)現(xiàn)借助了Photoshop軟件繪制水墨插畫，并對(duì)相關(guān)文字內(nèi)容進(jìn)行設(shè)計(jì)與排版，再將制作完成的插畫與文字素材導(dǎo)入U(xiǎn)nity3D平臺(tái)中，利用Unity3D的畫布工具（Canvas）創(chuàng)建交互界面，最終實(shí)現(xiàn)兩個(gè)虛擬場(chǎng)景的設(shè)計(jì)和搭建，如圖7。文物詳情介紹場(chǎng)景則是采用二維畫布與三維模型結(jié)合的設(shè)計(jì)表現(xiàn)形式，畫面更具空間感，為用戶提供多層次的視覺體驗(yàn)。同樣的，該場(chǎng)景使用Photoshop設(shè)計(jì)文字素材，再利用Unity3D的畫布工具創(chuàng)建虛擬場(chǎng)景的交互界面，最后將創(chuàng)建完成的三維文物模型導(dǎo)入場(chǎng)景并放置在二維畫布前方，根據(jù)畫布重文案的位置調(diào)整文物模型的比例大小和方位，以達(dá)到場(chǎng)景界面和諧統(tǒng)一，如圖8。

（四）手勢(shì)交互功能的實(shí)現(xiàn)。通過Leap Motion和Unity 3D的連接配置實(shí)現(xiàn)系統(tǒng)設(shè)計(jì)的手勢(shì)交互功能，具體實(shí)現(xiàn)步驟包含以下兩部分：

1．Leap Motion與Unity 3D環(huán)境配置。在Unity 3D菜單中選擇Import Package的子選項(xiàng)Custom Package，導(dǎo)入Leap Motion的核心資源包。為了后續(xù)手勢(shì)交互功能的實(shí)現(xiàn)，需要在場(chǎng)景中導(dǎo)入LeapMotion手部模型，在本文的虛擬文物交互系統(tǒng)實(shí)現(xiàn)過程中，選擇了LoPoly Rigged Hand模型。將手部模型添加至場(chǎng)景并完成相關(guān)配置后，Leap Motion與Unity3D即可成功建立連接，場(chǎng)景中將對(duì)互動(dòng)設(shè)備捕捉到的用戶手部模型進(jìn)行實(shí)時(shí)顯示。

2．手勢(shì)交互功能的實(shí)現(xiàn)。

（1）手勢(shì)控制模型變化。結(jié)合前期設(shè)計(jì)的4種手勢(shì)，利用腳本語言C#進(jìn)行具體的代碼編寫以實(shí)現(xiàn)手勢(shì)的動(dòng)態(tài)變化進(jìn)而控制虛擬模型縮小、放大與旋轉(zhuǎn)展示。本系統(tǒng)中的模型縮放功能是通過測(cè)量手指的指尖與手掌掌心之間在虛擬三維空間中的距離大小實(shí)現(xiàn)，具體實(shí)現(xiàn)方法是：當(dāng)五根手指的指尖與手掌掌心之間的距離均小于代碼中預(yù)設(shè)的目標(biāo)距離，即用戶的手部逐漸握緊直至呈現(xiàn)握拳的狀態(tài)時(shí)，虛擬模型由當(dāng)前尺寸按照一定的速度縮小到設(shè)定的尺寸大小，進(jìn)而實(shí)現(xiàn)虛擬文物模型的縮小。同理，當(dāng)五根手指的指尖與手掌掌心之間的距離均大于預(yù)設(shè)距離值，即用戶的手部由握緊狀態(tài)向張開狀態(tài)轉(zhuǎn)變時(shí)，模型由當(dāng)前尺寸大小按照一定速度放大，直至放大到設(shè)定的最大限度，從而實(shí)現(xiàn)手勢(shì)控制虛擬文物模型的放大。虛擬模型的360度旋轉(zhuǎn)展示的實(shí)現(xiàn)方法是利用攝像頭監(jiān)測(cè)用戶手部的三維坐標(biāo)信息，并使模型的旋轉(zhuǎn)方向與手部坐標(biāo)值在代碼中建立數(shù)據(jù)聯(lián)系，具體交互過程表現(xiàn)為用戶將手放置在Leap Motion設(shè)備上方，當(dāng)手部在空間中的任意方向進(jìn)行移動(dòng)時(shí)，文物模型可以在虛擬場(chǎng)景中基于自身的重心點(diǎn)按照預(yù)先設(shè)定的速度進(jìn)行旋轉(zhuǎn)展示，旋轉(zhuǎn)的方向與用戶手部移動(dòng)的方向保持一致，以此給用戶提供多角度的全面展示，如圖9。

（2）手勢(shì)控制界面滾動(dòng)。場(chǎng)景界面的滾動(dòng)展示功能通過對(duì)虛擬場(chǎng)景中的攝像機(jī)設(shè)置自動(dòng)跟隨實(shí)現(xiàn)，如圖10。采用Leap Motion交互設(shè)備實(shí)現(xiàn)手勢(shì)控制虛擬界面滾動(dòng)展示時(shí)，在Unity3D中使場(chǎng)景中的攝像機(jī)自動(dòng)跟隨手部模型，此狀態(tài)下攝像機(jī)可以跟隨手部模型進(jìn)行移動(dòng)，在具體實(shí)現(xiàn)過程中，考慮到界面的移動(dòng)是基于X軸水平方向上的左右平移，因此通過C#腳本的編寫，對(duì)攝像機(jī)的移動(dòng)方式進(jìn)行限制，讓其在Y軸垂直方向上的位置坐標(biāo)數(shù)據(jù)保持不變，僅在水平方向上發(fā)生位置的平移變化，即可達(dá)到手勢(shì)控制虛擬界面左右滾動(dòng)的展示效果。

四、結(jié)果討論

為了驗(yàn)證本虛擬交互系統(tǒng)中手勢(shì)交互的可行性，對(duì)手勢(shì)識(shí)別的準(zhǔn)確性進(jìn)行了實(shí)驗(yàn)測(cè)試與分析，在實(shí)驗(yàn)過程中記錄相關(guān)數(shù)據(jù)并統(tǒng)計(jì)實(shí)驗(yàn)結(jié)果。本次實(shí)驗(yàn)隨機(jī)招募了12名年齡范圍在22至28歲之間的用戶作為被測(cè)試人員，其中男性6人，女性6人，以確保性別平衡。實(shí)驗(yàn)借助一臺(tái)筆記本電腦和一套Leap Motion手勢(shì)交互設(shè)備完成，被測(cè)人員需要先熟悉本交互系統(tǒng)的內(nèi)容、功能和手勢(shì)操作，然后再開展正式的實(shí)驗(yàn)測(cè)試。

每一位被測(cè)人員都需要利用特定手勢(shì)在交互系統(tǒng)中完成設(shè)定的任務(wù)，一共有4項(xiàng)測(cè)試任務(wù)，分別是控制模型縮小、控制模型放大、控制模型自由旋轉(zhuǎn)、控制畫布左右平移，4項(xiàng)任務(wù)涉及到本系統(tǒng)中的3個(gè)虛擬場(chǎng)景。在文物詳情介紹場(chǎng)景中，被測(cè)人員需要完成針對(duì)文物模型控制的3種手勢(shì)操作，分別是縮小、放大與旋轉(zhuǎn)。在文物歷史發(fā)展介紹和汝瓷制作工藝介紹場(chǎng)景中，被測(cè)人員需要完成手勢(shì)左右移動(dòng)控制畫布的平移展示。

每項(xiàng)任務(wù)的時(shí)間限制為10秒鐘，10秒鐘內(nèi)完成視為任務(wù)成功，若10秒鐘內(nèi)未實(shí)現(xiàn)手勢(shì)的正確識(shí)別則視為失敗。為了避免實(shí)驗(yàn)測(cè)試的偶然性，每一位被測(cè)人員均需要對(duì)這4種手勢(shì)進(jìn)行5次重復(fù)操作。實(shí)驗(yàn)過程中，筆者記錄了每種手勢(shì)的測(cè)試次數(shù)和正確數(shù)量，如表1。

從實(shí)驗(yàn)結(jié)果數(shù)據(jù)分析可以得出，“握拳”和“張開”手勢(shì)具有很高的識(shí)別正確率，分別達(dá)到了96.6%和95.0%，而“旋轉(zhuǎn)”和“平移”手勢(shì)的識(shí)別正確率相對(duì)而言較低，沒有達(dá)到90%。據(jù)筆者分析，造成這種實(shí)驗(yàn)結(jié)果的原因可能與不同手勢(shì)的特征有關(guān)，前兩種手勢(shì)均只需在原空間位置基礎(chǔ)上進(jìn)行手部形態(tài)變化，而后兩種手勢(shì)則需要在空間中實(shí)現(xiàn)一定的位置變動(dòng)，手部在運(yùn)動(dòng)過程中可能會(huì)超出LeapMotion的識(shí)別范圍，因此識(shí)別正確率相對(duì)不高。但從總體實(shí)驗(yàn)結(jié)果來看，本系統(tǒng)所設(shè)計(jì)的互動(dòng)手勢(shì)都達(dá)到了較高的識(shí)別正確率，以此證明了本虛擬文物交互系統(tǒng)設(shè)計(jì)方案的的可行性。

結(jié)論

實(shí)驗(yàn)測(cè)試證明用戶可以借助Leap Motion設(shè)備與虛擬文物進(jìn)行無接觸式的手勢(shì)交互，Leap Motion具有無接觸、易操作、低成本等特點(diǎn)，但由于其在準(zhǔn)確度和有效識(shí)別范圍等方面的問題，導(dǎo)致交互過程中會(huì)產(chǎn)生卡頓或識(shí)別不準(zhǔn)確的情況，因此手勢(shì)識(shí)別精度和效率優(yōu)化是本系統(tǒng)需要深入研究的方向之一。此外，系統(tǒng)設(shè)計(jì)方案涵蓋技術(shù)實(shí)現(xiàn)與藝術(shù)審美兩個(gè)方面，方案設(shè)計(jì)與完成度還存在一定的改進(jìn)空間。但本文設(shè)計(jì)與開發(fā)的虛擬文物交互系統(tǒng)將無接觸式的手勢(shì)交互技術(shù)應(yīng)用到線下展覽中，開發(fā)了一套具有手勢(shì)交互功能、文物信息介紹功能和場(chǎng)景切換功能的較為綜合的交互系統(tǒng)，為博物館等公共空間展館提供了一種后疫情時(shí)代下更安全的數(shù)字互動(dòng)參考方式，也為展館觀者帶來了更好的交互體驗(yàn)。