基于體感交互技術和虛擬現實技術的非遺文化創新體驗研究以皮影戲為例

一、引言

非物質文化遺產（非遺文化）是中華民族優秀傳統文化的重要組成部分，承載了豐富的歷史信息和深厚的民族情感。隨著現代社會的快速發展，許多非遺文化面臨著傳承和發展的困境，主要包括：

（一）傳承渠道困境

在市場經濟發展的過程中，一些非物質文化遺產由于不能帶來直接的經濟利益，對年輕人的吸引力降低。同時，現代生活方式的吸引力與傳統非遺文化形成了競爭，使得非遺的傳承渠道變得狹窄。此外，一些地方在開發非遺文化時，過于注重經濟利益，對非遺文化產品進行了過度商業化的包裝和改良，導致非遺失去了其原有的歷史價值和文化內涵。

（二）社會認知和參與度不高

隨著現代科技和社會的發展，年輕一代對傳統文化的認知和興趣逐漸減少。許多人對非遺文化的價值和意義缺乏深人的了解和認同，導致社會整體對非遺文化的認知和參與度不高。這種現象在城市化進程加速、現代文化沖擊加劇的背景下尤為突出。

隨著元宇宙、物聯網、云計算、虛擬數字人、AI人工智能等多元化智能科技的飛速發展，為非遺文化傳播提供了新的技術方法和全新路徑。為了保護和傳承珍貴的文化遺產，仍需要進一步探索新的傳承方式和途徑。

皮影戲作為中國非遺文化的重要代表，以其獨特的表演形式和深厚的文化內涵深受觀眾喜愛。因此，本文提出了一種基于Kinect和Unity技術的皮影戲創新體驗方法，旨在通過現代科技手段推動非遺文化的傳承與發展。

二、相關研究

隨著科技的發展，越來越多的學者開始探索將現代科技應用于非遺文化的保護和傳承中。例如，有研究者利用虛擬現實技術對非遺文化進行數字化重建和再現，使觀眾能夠身臨其境地體驗非遺文化的魅力。還有研究者利用互聯網和社交媒體等新媒體平臺，擴大非遺文化的傳播范圍和影響力。

可穿戴和體感交互技術的提出和實現，為非遺文化的傳承與呈現提供了里程碑式的更新與轉折。原有的非遺文化呈現，只是從傳承人到觀眾的單向輸出。在此模式下，無論是信息語言還是思考模式，觀眾與非遺文化之間都是分割而獨立的。而交互技術的引人，則使得觀眾的行為干預成為非遺文化的一部分，觀眾既是觀眾，也是創作者，為跨媒介藝術展現提供了更多的可能性。

可穿戴和體感交互技術起初在游戲領域和虛擬仿真領域的應用較為廣泛，可穿戴和體感交互設備可以實時捕捉人體的肢體動作、手指運動、腦電波、肌電信號等各類人體數據，使得人與計算機的交互方式從鍵盤和鼠標之中解放出來，將人體本身作為操控計算機的直接工具，從而實現人機交互。

Kinect是一種體感交互設備，能夠捕捉人體的肢體動作，并將其轉化為數字信號。Unity則是一款功能強大的游戲引擎，能夠實現各種復雜的交互效果和視覺表現。通過結合Kinect和Unity技術，人們可以為觀眾提供一種全新的、沉浸式的皮影戲體驗。

三、方法與技術

目前使用較為廣泛的人體骨骼數據識別設備識別模式主要分兩種：一是使用紅外深度攝像機類設備識別人體結構；二是使用普通攝像機，采用模式識別算法分析畫面來提取人體圖像。

本文選用微軟出品的體感識別傳感器AzureKinect設備。該設備采用了第一種識別方式，通過紅外攝像機和深度攝像機陣列，對人體全身骨骼關節點進行實時三維空間數據捕捉。微軟為該設備提供了C#編程語言的SDK支持，可以通過官方提供的封裝庫進行數據提取。本研究選用Unity引擎工具進行程序開發，Unity使用C#腳本語言作為編程語言，并與Kinect設備SDK有整合過的開源開發資源。

（一）虛擬場景搭建

首先，根據場景需求，精確配置陰影映射（ShadowMapping）以生成逼真的陰影效果。針對不同的光源類型（如 Directional Light、Point Light、Spot Light 等），設置相應的顏色（Color）、強度（Intensity）及陰影類型（ShadowType）。為了進一步提升陰影的細膩度，將啟用并調整屏幕空間陰影（Screen Space Shadows）的相關參數。

接下來，為了增加場景的真實感和立體感，利用Unity的環境光（EnvironmentLighting）功能為整個場景添加全局光照效果，包括天空盒（Skybox）和反射探針（ReflectionProbes），以確保物體表面的反射和光照效果更加自然。

在基本場景布局完成后，即可放置一個或多個攝像機來捕捉所需的視角。通過調整攝像機的位置、角度和參數（如焦距、裁剪平面等），確保能夠獲得滿意的構圖和視覺效果。

為了實現更加復雜的開場動畫和交互效果，在Unity中加入了視頻控制器和C#腳本，制作開場動畫及通過對腳本來控制游戲對象的交互。

最后設置場景中的背景效果。為了更好地切合主題背景，本文選擇智能化背景。當系統檢測到場景中無人時，會將背景設置為純白色，以呈現簡潔明亮的感覺；當檢測到有人進入場景時，背景將根據檢測到的外界信息產生動態變化，展現出具有皮影藝術風格的圖案，并可隨著體驗者的動作產生相應的變化，增加了場景的趣味性、體驗感，為用戶提供了獨特的視覺體驗。

（二）動作捕捉

AzureKinectBodyTracking是微軟提供的一項技術。其通過先進的傳感器技術和軟件開發工具包，實現對人體動作的精確追蹤和分析，可為多個領域的應用和研究提供強大的支持。該技術主要利用AzureKinectDK（開發套件）的先進傳感器和BodyTrackingSDK（軟件開發工具包）來實現對人體動作的精確追蹤。其中，AzureKinectDK集成了深度相機、紅外攝像頭等高級視覺技術，能夠捕捉高分辨率的彩色和深度圖像。BodyTrackingSDK能實時地在3D空間中追蹤人體關節，能夠實時跟蹤人體的32個特征點，追蹤速度可達每秒30幀，同時準確度極高。本文安裝并配置AzureKinectBodyTrackingSDK和AzureKinectSDKv1.4.1，用以精確地識別體驗者的骨骼運動。

在進行動作捕捉時，首先通過AzureKinect設備，利用其先進的紅外攝像頭和深度傳感器技術，實時捕捉體驗者的肢體動作，并將這些動作數據轉化為詳細的數字信號。這些信號隨后被處理并用于在虛擬環境中重建體驗者的骨骼姿態，包括脊柱、四肢等主要骨骼，人體骨骼跟蹤如圖1所示。

其次，將利用Maya技術制作的皮影角色模型導入Unity游戲引擎，如圖2所示。對皮影角色的模型與骨骼系統進行蒙皮，并分配對應的權重，以實現動作的自然流暢。接下來，通過觀察皮影角色的動作效果，進行一定的調整和優化，如骨骼位置、權重值、旋轉角度等。最后，還需增加皮影角色所需的特殊效果，如剪影效果的增強等，最大化地還原特定皮影角色的人物特點。這樣，通過精確地映射和同步，當AzureKinect設備捕捉到體驗者的動作時，虛擬的皮影角色也會產生相應的動作，從而呈現出生動的皮影戲效果。

至此，基于體感交互技術和虛擬現實技術的皮影戲體驗項目制作完成。

本文通過Unity引擎與AzureKinect傳感器設備，利用骨骼綁定技術，為體驗者帶來了一場前所未有的、高度沉浸式的皮影戲盛宴。創新體驗的核心在于其虛擬交互方法的引人。體驗者不再是單純的觀看者，而是皮影戲的一部分。通過AzureKinect傳感器捕捉其肢體動作，并轉化為控制皮影戲角色動作的指令。這種實時的、自然的交互方式，可以讓體驗者更直接地感受非遺文化的藝術魅力，有助于激發體驗者對非遺文化的高度興趣。基于Kinect和Unity技術的皮影戲創新體驗方法增強了大眾的參與感，能讓用戶更直觀地感受皮影戲中角色的動態美，有助于進一步推動我國非物質文化遺產的傳承和弘揚。

四、結束語

本研究提出了一種基于Kinect和Unity技術的皮影戲創新體驗方法，為非遺文化的保護和傳承提供了新的思路。通過現代科技手段的應用，人們不僅重構了非遺文化的存在形態和傳播方式，還為其搭建了從傳統到現代、從現實到虛擬的體驗場景。這種創新的體驗方式不僅能讓觀眾更加深人地了解和感受皮影戲的藝術魅力，還可為非遺文化的傳承與發展注入新的活力。

在探索非遺文化的創新體驗研究中，同樣也面臨著諸多的挑戰。例如，在數字化過程中，如何既保持非遺文化的原汁原味，又適應現代審美和體驗需求，以實現對傳統文化的有效傳承和保護，是值得思考的問題；同時，元宇宙和數字媒體技術的應用在非遺文化傳承中是一個相對較新的領域。如何將這些先進技術與傳統文化有效結合是一大難點；此外，實現高質量的數字化高清重現和互動式體驗也需要克服一系列技術難題。

作者單位：任芳魏銀華大連醫科大學中山學院

參考文獻

[1]《保護非物質文化遺產公約》解讀．中國人大網.2023.06.25.

[2]中共中央辦公廳國務院辦公廳印發《關于進一步加強非物質文化遺產保護工作的意見》.中華人民共和國中央人民政府.2023.06.12.[3]姚又龍.三維高精度場景搭建技術在虛擬現實交互設計研發中的應用[J].無線互聯科技，2023，20（09）：132-134.

[4]張嘯天，瞿暢，劉蘇蘇，等.一種基于AzureKinect 的目標跟蹤定位方法[J].傳感技術學報，2021，34（11）：1502-1508.