基于Kinect手勢(shì)識(shí)別技術(shù)的數(shù)字沙盤(pán)開(kāi)發(fā)應(yīng)用研究

李 昕 徐芳棋（中國(guó)美術(shù)學(xué)院，浙江 杭州 310012）

從2010年微軟正式發(fā)布Kinect v1到2019年4月更新至Kinect Azure，九年期間，從Kinect v1僅能對(duì)肢體識(shí)別20個(gè)關(guān)節(jié)點(diǎn)，到將手勢(shì)識(shí)別技術(shù)的精確度提高至25個(gè)關(guān)節(jié)點(diǎn)（包括手指和指尖關(guān)節(jié)），其硬件的升級(jí)，大幅提升了對(duì)顏色、深度、人物姿勢(shì)、檢測(cè)直徑、角度的精確度，其中對(duì)手部動(dòng)作識(shí)別的感應(yīng)精確度和空間范圍的寬容度有了顯著提升。在交互展示領(lǐng)域，三維數(shù)字沙盤(pán)因其以展示內(nèi)容廣、設(shè)計(jì)手法精湛、展示手段先進(jìn)、科技含量高等特點(diǎn)，受觀眾青睞，但Kinect手勢(shì)識(shí)別技術(shù)在三維數(shù)字沙盤(pán)領(lǐng)域內(nèi)至今仍未得到廣泛應(yīng)用。

一、Kinect手勢(shì)交互信息處理技術(shù)的特點(diǎn)

1.即時(shí)體驗(yàn)

在當(dāng)代電子技術(shù)媒介的影響下，即時(shí)體驗(yàn)成為普遍的審美需求，尤其在展覽、游戲體驗(yàn)中，即時(shí)體驗(yàn)高可以說(shuō)是用戶(hù)和開(kāi)發(fā)者最重要的需求。在互聯(lián)網(wǎng)時(shí)代下，線(xiàn)上的過(guò)于虛擬化往往使得體驗(yàn)者無(wú)法獲得真實(shí)、即時(shí)的體驗(yàn)，而線(xiàn)下體驗(yàn)則需要大量人力物力財(cái)力，成本較高。

圖1 Minimaforms “寵物動(dòng)物園”展覽

尤其在手勢(shì)交互中，電腦程序捕捉精細(xì)數(shù)據(jù)時(shí)運(yùn)算量大，往往會(huì)導(dǎo)致無(wú)法即時(shí)體驗(yàn)，甚至?xí)r常有延時(shí)現(xiàn)象產(chǎn)生。為了解決這個(gè)問(wèn)題，Leap motion公司于2013年發(fā)布了Leap motion，但Leap motion只能關(guān)注在手勢(shì)識(shí)別部分，開(kāi)發(fā)力度不大，無(wú)法做到全身的肢體識(shí)別。但開(kāi)發(fā)不久后，新上市的Kinect 2不僅解決了這個(gè)問(wèn)題，其大量的程序庫(kù)不僅可以調(diào)用幾乎所有的手勢(shì)，更可以搭載不同的體驗(yàn)設(shè)備，比Leap motion更開(kāi)源。Kinect的即時(shí)體驗(yàn)主要由于其承載數(shù)據(jù)量少，有豐富的數(shù)據(jù)資源，可以快速調(diào)用其他輸出程序。

例如，倫敦建筑工作室Minimaforms推出的“寵物動(dòng)物園”展覽，參觀的游客可以直接進(jìn)入該動(dòng)物農(nóng)場(chǎng)，不同的是該動(dòng)物園沒(méi)有動(dòng)物，都是有人造觸角的機(jī)器人。且每個(gè)機(jī)器人都配有Kinect感應(yīng)器，根據(jù)游客的動(dòng)作和態(tài)度會(huì)實(shí)時(shí)做出相應(yīng)的動(dòng)作。其內(nèi)在原理正是Kinect感應(yīng)器感應(yīng)到了人體手部的范圍和姿勢(shì)，然后轉(zhuǎn)化成相應(yīng)的電子信號(hào)傳輸給機(jī)械部分，從而形成實(shí)時(shí)的互動(dòng)，像真的“動(dòng)物”一樣。

2.消解界“面”技術(shù)研發(fā)與設(shè)備運(yùn)用的銜接

在目前眾多交互媒介中，手勢(shì)交互被應(yīng)用于最多的就是界面交互，而界面交互中最常見(jiàn)的是智能移動(dòng)終端的手勢(shì)交互。智能移動(dòng)終端最初的手勢(shì)交互代替了鼠標(biāo)的點(diǎn)擊，隨著手勢(shì)交互的迅速發(fā)展，智能移動(dòng)終端的手勢(shì)交互早已不局限于起初的“點(diǎn)擊”按鈕，滑動(dòng)、下拉、捏合甚至多點(diǎn)觸控等手勢(shì)極大地豐富了手機(jī)手勢(shì)的多樣化需求。但現(xiàn)如今，界面交互已經(jīng)遠(yuǎn)不能滿(mǎn)足人們的需要，且界面交互技術(shù)研發(fā)過(guò)程復(fù)雜，為了使界面屏幕變輕便，各大智能移動(dòng)終端的廠(chǎng)商不斷研發(fā)更小的芯片和更薄的屏幕，耗時(shí)耗力，十分復(fù)雜。

圖2 交互式燈光裝置New Angle

人機(jī)交互越過(guò)屏幕觸碰向非接觸式的手勢(shì)識(shí)別方向大踏步發(fā)展，極富圖像化和具備行動(dòng)性的手勢(shì)操作將會(huì)越來(lái)越與人們的生活相關(guān)。Kinect不需交互中間這層“隔膜”，其手勢(shì)信息交互處理技術(shù)不但可以識(shí)別用戶(hù)的手勢(shì)動(dòng)作、運(yùn)動(dòng)姿勢(shì)以及軌跡狀態(tài)，并能將識(shí)別信息及時(shí)轉(zhuǎn)化為指令信息，將交互體驗(yàn)二維空間擴(kuò)展到三維空間，消解了界“面”技術(shù)研發(fā)與設(shè)備運(yùn)用的銜接，用戶(hù)不需要任何中間設(shè)備的過(guò)渡即能享受交互的樂(lè)趣。

例如，上海設(shè)計(jì)工作室的超自然交互式燈光裝置New Angle，該裝置六角形物體具有結(jié)晶表面，會(huì)形成多種顏色。其主題旨在裝置能與觀眾建立實(shí)時(shí)互動(dòng)的視覺(jué)對(duì)話(huà)，有時(shí)模仿并反映前方人物動(dòng)作，參觀者可以通過(guò)肢體操控其LED的亮暗，無(wú)須通過(guò)界面等方式進(jìn)行間接操控。其操作原理也正是感應(yīng)到了參觀者的手勢(shì)后，相應(yīng)對(duì)應(yīng)內(nèi)部的機(jī)械，當(dāng)人手勢(shì)識(shí)別到后，即感應(yīng)器轉(zhuǎn)化為電信號(hào)傳達(dá)給主控板，之后導(dǎo)出相應(yīng)信號(hào)點(diǎn)亮互動(dòng)燈。

3.提升受眾參與度

傳統(tǒng)展覽展示中，受眾以接收方為主，展覽品與受眾之間基本沒(méi)有互動(dòng)連接關(guān)系，參觀者需要借助展覽中所呈現(xiàn)出的文字、視頻，在短時(shí)間迅速了解展品內(nèi)容，這一過(guò)程十分枯味乏躁。其次，由于展品和參觀者距離過(guò)大，往往受眾參與度會(huì)降低。近兩年來(lái)，隨著媒體技術(shù)的發(fā)展，展覽中多會(huì)運(yùn)用一些觸控屏幕交互的方式，雖然提升了部分參與度，但還是以參與者被動(dòng)接受為主，較為枯燥。

圖3 TeamLab Universe of Water Particles on a Rock where People Gather

但如果使用了Kinect手勢(shì)交互，交互簡(jiǎn)單易懂卻效果震撼，參與者必須帶動(dòng)自己的肢體動(dòng)作才能夠看到展覽效果，參與者的“被動(dòng)接受”變成了“主動(dòng)探索”，這種心理上的迅速轉(zhuǎn)變能極大地提高受眾參與度，在短時(shí)間內(nèi)不必消化理解所呈現(xiàn)的文字信息，而直接轉(zhuǎn)化為視覺(jué)信息。如日本TeamLab在東京的展覽中利用Kinect手勢(shì)技術(shù)做的Universe of Water Particles on a Rock where People Gather這件作品，當(dāng)人站在作品上，當(dāng)參觀者觸摸這件作品時(shí)，參與者會(huì)變?yōu)槟軌蚋淖兯髁鲃?dòng)的巖石，即觀賞者自身變成了障礙物，可改變水流的流動(dòng)方向，該作品受到觀賞者的行為舉動(dòng)不斷持續(xù)變化，效果都是即時(shí)產(chǎn)生的，故參與者往往為了眼前一瞬間的畫(huà)面，需要極大地提高專(zhuān)注度，因?yàn)殄e(cuò)過(guò)就無(wú)法看到第二次，這也說(shuō)明在手的互動(dòng)參與中，使用Kinect手勢(shì)交互可以大大提高受眾參與度。

4.實(shí)現(xiàn)瓶頸

Kinect手勢(shì)交互技術(shù)雖然優(yōu)點(diǎn)眾多，卻只有少數(shù)大型展覽才會(huì)使用。這一技術(shù)實(shí)現(xiàn)的瓶頸主要有兩點(diǎn)。其一，在于科技技術(shù)和設(shè)計(jì)兼存的設(shè)計(jì)師極為短缺。尤其在國(guó)內(nèi)，設(shè)計(jì)與技術(shù)脫節(jié)明顯，人才趕不上市場(chǎng)需要的變化。其二，由于Kinect被收購(gòu)，現(xiàn)在市場(chǎng)上不再售賣(mài)Kinect設(shè)備（2019年4月更新的Kinect Azure未開(kāi)售），原先兩版的開(kāi)源硬件停售，導(dǎo)致市場(chǎng)上使用的人越來(lái)越少。

二、Kinect手勢(shì)交互信息處理技術(shù)在數(shù)字沙盤(pán)設(shè)計(jì)中的實(shí)踐運(yùn)用

1. 數(shù)字沙盤(pán)設(shè)計(jì)說(shuō)明

本實(shí)踐作品《人類(lèi)世——生態(tài)地理數(shù)據(jù)可視化交互展示系統(tǒng)設(shè)計(jì)》。我們著重分析新陳代謝派建筑在緩解人類(lèi)世進(jìn)程中將可起到的積極作用。科技手段以藝術(shù)的形式來(lái)表達(dá)，旨在引起大眾對(duì)于人類(lèi)世的關(guān)注以及提高對(duì)新陳代謝派建筑的接受度。

在表達(dá)不同階級(jí)時(shí)，本作品以數(shù)字沙盤(pán)的形式呈現(xiàn)。根據(jù)不同的手勢(shì)會(huì)對(duì)應(yīng)不同的圖案。數(shù)字沙盤(pán)內(nèi)的方塊代表著不同的社會(huì)區(qū)域，而每個(gè)區(qū)域?qū)?yīng)著不同的階層社會(huì)。一個(gè)區(qū)域的壯大是指該區(qū)域的人口數(shù)量多，產(chǎn)生的經(jīng)濟(jì)效應(yīng)累計(jì)高。且每個(gè)區(qū)域是根據(jù)觀眾的實(shí)時(shí)變化而不斷在變化著的。顏色紅、亮，代表著該區(qū)域的社會(huì)壓力增加。社會(huì)壓力是指人口背負(fù)的精神壓力，來(lái)源于金錢(qián)、地位等因素。相對(duì)應(yīng)地，社會(huì)壓力會(huì)帶來(lái)權(quán)力壓力，在越高峰的地方權(quán)力帶來(lái)的壓力會(huì)更大。顏色藍(lán)、暗，則代表著社會(huì)壓力降低，但也同樣帶來(lái)淘汰的風(fēng)險(xiǎn)。層數(shù)高、流速快是指該地區(qū)流動(dòng)人口高。如果一個(gè)地區(qū)的流速高代表著它頻繁地在調(diào)整使用，活躍性高。而一個(gè)地區(qū)低凹代表著該地區(qū)活躍度低，面臨被淘汰的風(fēng)險(xiǎn)。該裝置意在以上帝的視覺(jué)操控著人類(lèi)的命運(yùn)，在這些交互中，其實(shí)已經(jīng)手中掌握著成千上萬(wàn)甚至上億的“人類(lèi)世”末期的人的命運(yùn)和歸宿。

2.方案設(shè)計(jì)與媒介實(shí)驗(yàn)

圖4 虛擬計(jì)算的實(shí)驗(yàn)過(guò)程

選擇虛擬計(jì)算手段進(jìn)行實(shí)驗(yàn)。在試驗(yàn)方案中，依然以Kinect手勢(shì)識(shí)別作為主信息輸入，但換Processing作為搭建基礎(chǔ)的虛擬輸出平臺(tái)，通過(guò)平臺(tái)的虛擬計(jì)算后，輸出實(shí)時(shí)投影進(jìn)行手勢(shì)交互，投影范圍在數(shù)字沙盤(pán)上。在輸出中，運(yùn)用了索尼EX291投影設(shè)備3D投影在數(shù)字沙盤(pán)上，將投影覆蓋在數(shù)字沙盤(pán)上，從而達(dá)到預(yù)期展覽效果。

3.交互實(shí)現(xiàn)

在交互實(shí)現(xiàn)階段，因最新款Kinect Azure還未進(jìn)行發(fā)售，我們分別使用Kinect v1和Kinect v2設(shè)備測(cè)試，并進(jìn)行了實(shí)驗(yàn)對(duì)比。實(shí)驗(yàn)對(duì)比發(fā)現(xiàn)，Kinect v2的精確度有了明顯上升，能很大地提高設(shè)備運(yùn)算流暢度和觀眾互動(dòng)率，故選擇Kinect v2設(shè)備作為展示設(shè)備。

Kinect開(kāi)發(fā)環(huán)境下，對(duì)手勢(shì)識(shí)別有一些基礎(chǔ)樣本庫(kù)，通過(guò)在開(kāi)源網(wǎng)站的截取，即可獲得手勢(shì)識(shí)別的基礎(chǔ)程序。在交互實(shí)現(xiàn)中，為避免過(guò)多的程序切換帶來(lái)的運(yùn)算，我們加載了Processing中的開(kāi)源庫(kù)Open Kinect for Processing 1.0，加載后可以在Processing中直接調(diào)取Kinect數(shù)據(jù)。由于開(kāi)源的特性，此開(kāi)源庫(kù)中有很多已經(jīng)編好的手勢(shì)數(shù)據(jù)庫(kù)，例如“揮手”，調(diào)用好所需的手勢(shì)程序后，即可對(duì)接Processing。Kinect在手勢(shì)識(shí)別后，將手勢(shì)識(shí)別轉(zhuǎn)化成為電信號(hào)到Processing中，且實(shí)時(shí)顯示投影設(shè)備。

三維數(shù)字沙盤(pán)中，通過(guò)多次3D打印、ABS 材料制作、硅膠翻模、精雕切割亞克力，最終選取材料為內(nèi)部圓形磁鐵外部塑料材質(zhì)的磁力方塊，每個(gè)方塊的長(zhǎng)寬高均為2.5cm。磁力方塊的磁力拼搭更生動(dòng)有趣，觀眾體驗(yàn)性強(qiáng)。為校正Kinect和投影儀的距離誤差，我們把它們懸空至2.05m左右，通過(guò)對(duì)比屏幕的顯示范圍和數(shù)字沙盤(pán)的實(shí)際大小，逐漸校正屏幕誤差。最后根據(jù)方案的改動(dòng)，逐步編寫(xiě)Processing程序，最終實(shí)現(xiàn)設(shè)計(jì)中的數(shù)字沙盤(pán)部分。

圖5 “人類(lèi)世”數(shù)字沙盤(pán)

三、結(jié)論與展望

根據(jù)理論論證和多次實(shí)驗(yàn)證明，隨著Kinect手勢(shì)識(shí)別技術(shù)的進(jìn)步和其版本更迭精準(zhǔn)度的提高，尤其在較小的展示空間內(nèi)，能實(shí)現(xiàn)識(shí)別更復(fù)雜且精密的手勢(shì)。在信息數(shù)據(jù)的加載量和運(yùn)算量方面，相較于觸屏交互來(lái)說(shuō)，手勢(shì)識(shí)別的加載運(yùn)算量比觸屏交互負(fù)載更輕，能夠在較小的展示空間內(nèi)獲得更流暢的交互體驗(yàn)。三維數(shù)字沙盤(pán)增加了Kinect手勢(shì)識(shí)別技術(shù)后，使展示互動(dòng)效果多維化。

在展示成本方面，隨著硬件成本的大幅降低，以及軟件開(kāi)發(fā)程序的不斷完善，展覽的展示成本能大大縮減，能帶來(lái)更客觀的效益。在展示需求方面，Kinect手勢(shì)識(shí)別技術(shù)同時(shí)支持虛擬計(jì)算和物理計(jì)算，能滿(mǎn)足不同展覽需求。近期，2019年4月更新的Kinect Azure更是將多款業(yè)界領(lǐng)先的人工智能傳感器集于一身，雖然至今還未發(fā)售，但其硬件配置已給人無(wú)限幻想。電子沙盤(pán)有展示內(nèi)容廣、設(shè)計(jì)新穎、展示手段先進(jìn)、科技含量高等特點(diǎn)。多媒體觸控沙盤(pán)將靜態(tài)模型與多媒體觸摸屏互動(dòng)的結(jié)合起來(lái)[4]。當(dāng)融合了Kinect的技術(shù)后，在原有基礎(chǔ)上增加了互動(dòng)效果。基于本文中Kinect手勢(shì)識(shí)別技術(shù)在數(shù)字沙盤(pán)應(yīng)用的優(yōu)勢(shì)，可以預(yù)測(cè)將來(lái)其將在數(shù)字媒體展示領(lǐng)域有更廣闊的發(fā)展推廣的意義，并鼓勵(lì)倡導(dǎo)同行業(yè)人員大力發(fā)展此應(yīng)用。