基于Kinect虛擬文物互動展示系統的設計與實現

王向強，黃 俊，張作運

(重慶郵電大學 信號與信息處理重慶市重點實驗室，重慶 400065)

基于Kinect虛擬文物互動展示系統的設計與實現

王向強，黃 俊，張作運

(重慶郵電大學 信號與信息處理重慶市重點實驗室，重慶 400065)

利用Kinect的局部骨骼追蹤技術，捕獲人體數據、彩色數據和深度數據，對采集到的數據進行分析，描繪出手的輪廓并且根據深度信息識別出手勢的意思，做邏輯處理后，通過Kinect設備將信息發送給PC，形成操作命令映射到虛擬文物上，虛擬文物會進行相應的動作，比如移動、放大、旋轉等。測試結果表明，系統工作穩定可靠，體驗者能夠通過體感交互技術較好地對虛擬文物進行控制。虛擬文物互動展示系統突破了傳統文物的展示方式，使觀眾積極參與到展覽之中。

Kinect；骨骼跟蹤；手勢識別

0 引言

2008年，比爾蓋茨提出“自然用戶界面”的概念，并預言人機交互在未來幾年內會有很大的改變，鍵盤和鼠標將會逐步被更為自然的觸摸式、視覺性以及語音控制界面所代替。Kinect是一個動作捕捉設備，Kinect和用戶的結合就形成了一套完整的控制系統。

目前我國很多博物館所建立的虛擬博物館大多數是使用VRML語言進行建模，借助于WRL文件瀏覽器插件基于IE進行瀏覽，這樣用戶可以方便快捷地瀏覽。但是VRML是基于瀏覽器的一種腳本語言，對于相應事件的處理能力有限，與用戶的交互能力較差，并且也無法與數據庫連接，在構建虛擬展館過程中需要手動添加文物模型[1]。

針對以上問題，本文所設計的虛擬文物互動展示系統使用MySQL數據庫存儲文物的詳細信息；使用FTP服務器來存儲3D模型文件，并由系統自行獲取；使用Kinect手勢識別技術，讓用戶與文物模型隔空交互，從而有效地解決了交互能力差的問題。本文還提出了K-Means算法來有效地解決手型圖標的抖動問題。

可以想象到，在一個博物館里，觀眾只需要用手勢去觸碰虛擬的按鈕，就可以選擇你感興趣的文物，只需要變換手勢，就可以對文物進行移動、放大、旋轉。虛擬文物與參觀者互動的方式，讓展覽更具感染力。

1 系統介紹

基于Kinect虛擬文物互動展示系統的結構主要由顯示模塊、文物控制模塊、UI交互模塊、文物存儲模塊以及動作捕捉與識別模塊構成，各模塊之間協同合作，構成了具有完備功能的虛擬文物展示系統，如圖1所示。

圖1 系統結構圖

(1)顯示模塊:負責獲取場景中的用戶影像，并將虛擬文物模型與用戶影像進行融合并顯示。

(2)文物控制模塊:負責對虛擬文物模型的位置、大小和角度進行調整，并且接收動作捕捉與識別模塊發過來的控制信息，做出相應的變動。

(3)UI交互模塊:負責獲取界面控件的位置，并且比對用戶手的位置，進行對應的響應。

(4)手勢捕捉與識別模塊:負責捕捉到用戶手的關鍵點，并且獲取手的深度信息，然后對信息進行處理，識別出用戶手勢的意思，并發送指令給文物控制模塊。

(5)文物存儲模塊:該系統包括MySQL數據庫以及FTP服務器。虛擬文物的編號、朝代以及其他詳細信息數據會存儲到MySQL數據庫中。因為虛擬文物模型所占空間比較大，所以把模型放在FTP服務器中，由該軟件直接調用。

基于Kinect的虛擬文物互動展示系統的結構化設計，提高了系統的靈活性，降低了模塊之間的耦合性，不同模塊之間通過接口進行通信，使得各個模塊能夠獨立高效地完成各自功能。

2 Kinect介紹

Kinect體感設備主要是由彩色攝像頭、深度攝像頭和紅外線投影機組成。Kinect設備與普通攝像頭的區別在于紅外線發射和紅外線接收功能，通過這個功能，Kinect可以獲取場景的深度信息。Kinect的基本原理是：紅外投影機主動投射紅外光譜，照射到粗糙物體，或是穿透毛玻璃后，光譜發生扭曲，會形成隨機的反射斑點，也就是散斑，進而被紅外攝像頭讀取。這些散斑就有高度隨機性，并且隨著距離的變化，散斑也隨著改變，在同一空間中不同的散斑圖案都不相同[2]。因此，只要使用散斑對空間編碼，當有物體進入空間時，即可定位。

3 系統軟件設計

虛擬文物互動展示平臺軟件采用WPF進行開發。WPF是微軟推出的Windows Vista的用戶界面框架。它提供了統一的編程模型、語言和框架，真正做到了分離界面設計人員與開發人員的工作，同時它提供了全新的多媒體交互用戶圖形界面。WPF最重要的特色是支持3D模型，以及支持模型的點擊事件。整個虛擬文物展示系統軟件設計運用Kinect體感設備和WPF框架等技術手段，包括手勢識別、UI交互、文物展示以及文物存儲的智能交互展示系統，對虛擬文物展示實現了主動選擇、交互體驗良好、操作方便的目標。虛擬文物互動展示的主要功能模塊如圖2所示。

圖2 虛擬文物控制平臺的主要模塊功能

3.1 GUI設計

在主界面上包括四個不同功能的懸浮按鈕，這四個懸浮按鈕是根據人體的合理肢體操作距離而設計的。這四個懸浮按鈕的功能分別為虛擬文物展示、虛擬文物詳情、博物館視頻簡介以及退出。在本項目設計中，最重要的是虛擬文物展示功能。當用戶選擇虛擬文物展示懸浮按鈕時，該軟件會彈出另一個窗口，用戶可以根據自己的興趣愛好，選擇不同朝代的文物來進行控制，比如根據不同的手勢來移動、放大以及縮小和旋轉文物。

3.2 懸浮按鈕

懸浮按鈕控制流程如圖3所示。懸浮按鈕其實是一個普通的控件，有三種狀態分別為經過、按下和離開，可以有效地解決不小心點擊的問題[3]。通過Kinect SDK首先識別出用戶舉起的是左手還是右手，再獲取左手或者右手的三維坐標數據，然后激活界面的一張手型圖標，通過坐標映射的方法，把手的三維坐標轉換成二維坐標，轉換過的二維坐標映射到手型圖標上，這樣界面上的手型圖標會隨著用戶的手在界面上移動。當用戶的手型圖標沒有接觸到該懸浮按鈕的時候，它沒有任何變化。當手型圖標移動到按鈕區域時，手型圖標周圍會出現進度條控件，當時間超過2 s后，會觸發懸浮按鈕OnClick事件，當手型圖標不在按鈕區域時，懸浮按鈕恢復初始狀態。

圖3 懸浮按鈕操作流程圖

3.3 解決手型圖標抖動問題

圖4 二維坐標點群

Kinect每秒鐘會采集30幀的深度/RGB數據，每幀所獲取的骨骼的三維坐標都是不相同的，轉變成二維坐標也是不相同的，所以把二維坐標映射到手型圖標上，手型圖標會出現抖動的情況。在軟件編程中，取出30幀的二維坐標數據如圖4所示。

本文的設計考慮到抖動這一問題，提出采用K-Means算法[4]的解決方案，其基本方法為：首先在軟件中提取出最近的6個幀的骨骼三維數據，然后轉換成二維坐標數據。再使用K-Means算法，隨機在圖中取K個種子點，然后對所有點求出到其K個種子點的距離，假如點pi離種子點最近，那么pi屬于si點群。接下來，把種子點移動到屬于它的點群中心。然后重復上述步驟，直到種子點沒有移動。最后使用各個點的X/Y坐標的平均值，計算出點群中心的坐標。把6幀二維坐標的點群中心坐標映射到手型圖標上可以有效地解決抖動的問題。具體算法流程如圖5所示。

圖5 K-Means算法流程圖

3.4 文物選擇與控制

該系統首先根據客戶的需求，對用戶的手勢行為做了規范協議[5]，如表1、表2所示。如果用戶的手勢不是協議中所規定的，系統將不會做出任何響應。

表1 文物操作協議

表2 用戶照相協議

圖6 文物操作流程圖

用戶操作虛擬文物的流程如圖6所示。用戶可以用自己的左右手來選擇查看哪個朝代的文物，只需要把手放在圖標按鈕2 s即可。當用戶選擇了清朝的文物，界面右邊會出現文物的二維圖片，用戶可以繼續選擇具體的文物。當用戶選擇了一個自己比較感興趣的文物時，界面會出現一個3D文物模型，用戶可以根據手勢協議來操作模型，例如對模型旋轉、放大等。當用戶想查看其他的文物時，只需要把當前文物撤銷即可。用戶想要和當前文物模型合影時，只需要把手放在照相按鈕上，系統會把圖片保存到文件夾上。

4 實驗結果

為了驗證系統的可靠性以及響應時間，進行了如下的現場測試。測試環境為Win10+WPF+Kinect for Windows SDK 1.8。測試者站在Kinect正前方，做出不同的手勢，以驗證不同手勢識別的準確性。

表3為測試者做出不同手勢的結果。

表3 實驗結果

實驗結果表明，使用Kinect能夠正確判斷出用戶手勢的意思，通過相應的算法以及手型圖標抖動問題的解決，進而實現了對虛擬文物的位置、角度、姿態的控制，充分驗證了基于Kinect的虛擬文物互動展示系統的可行性。

5 結束語

基于Kinect的虛擬文物互動展示系統是一個新穎而又充滿意義的課題。本文使用Kinect與WPF完成了一套用戶體驗良好、功能完備的用戶與虛擬文物互動系統。該系統主要通過Kinect 來獲取人體骨骼坐標數據，通過對數據的分析與綜合識別出用戶的肢體語言，然后映射到3D文物上，實現用戶與3D文物之間的互動。本文還提出了使用K-Means算法來解決手型圖標在屏幕上的抖動問題，使用戶具有更好的體驗。下一步研究方向是采用手機App和Unity3D的開發方式，如通過掃描文物圖片，在手機屏幕上出現3D文物模型，用戶通過觸屏的方式與3D文物進行互動。這樣可以有效地解決用戶多的問題，讓每位用戶都可以積極參與到博物館展覽之中。

[1] 劉鵬飛 虛擬博物館系統的設計與實現[D].長春：吉林大學，2011.

[2] 馬源駔.基于Kinect的內容展示系統設計與實現[D].鄭州: 鄭州大學，2014.

[3] 韓娜，陳東偉，鐘單成，等. 基于Kinect的虛擬試衣系統設計與實現[J].信息技術，2015(7)：59-61.

[4] 陳皓.K-均值算法[DB/OL].(2013-11-28)[2016-08-25]http://blog.jobbole.com/23157/.

[5] 胡焰.基于Kinect 的虛擬試衣系統的設計與實現[D].武漢：華中科技大學，2013.

王向強(1989-),碩士研究生，主要研究方向：物聯網關鍵技術、嵌入式技術、虛擬與增強現實技術。

黃俊(1971-),教授，主要研究方向：物聯網關鍵技術、無線通信網絡、光通信網絡、嵌入式技術等。

張作運(1990-),碩士研究生，主要研究方向：物聯網關鍵技術和嵌入式技術。

Design and implementation of virtual interactive display system based on Kinect

Wang Xiangqiang, Huang Jun, Zhang Zuoyun

(Chongqing Key Laboratory of Signal and Information Processing (CQKLS&IP), Chongqing University of Posts and Telecommunications (CQUPT), Chongqing 400065, China)

In this paper, Kinect’s local skeletal tracking technique is used to capture the human body data, color data and depth data.Then,the system analyzes the collected data, depicts the outline of the hand and recognizes the meaning of the gesture according to the depth information. After logical processing,information is sent to the PC, the formation of operational commands is mapped to virtual relics.Virtual artifacts will do the appropriate action, such as mobile, zoom, rotation and so on. The test results show that the system works stably and reliably, and the experimenter can control the virtual relics better through somatosensory interaction technology. Virtual cultural relics interactive display system broke through the traditional artifacts display mode, so that the audience to actively participate in the exhibition.

Kinect；skeletal tracking；gesture recognition

TP391

A

10.19358/j.issn.1674- 7720.2017.02.014

王向強，黃俊，張作運.基于Kinect虛擬文物互動展示系統的設計與實現[J].微型機與應用，2017,36(2)：41-43，47.

2016-08-25)