基于AR技術的戲曲科普教育應用設計
——以黃梅戲為例

葉明勝，楊紹清，張昀寰

(1. 安徽藝術學院，安徽合肥 230011;2. 河南職業(yè)技術學院，河南鄭州 450046 )

0 前言

傳播媒介隨著數字技術的迭代更新而得以快速發(fā)展，信息的傳播開始由傳統(tǒng)媒介向新興媒體過渡，高科技、多感知設備應運而生，增強現(xiàn)實技術(Augmented Reality，簡稱AR)作為新興技術日漸成熟，并在各種藝術和科技場合得以創(chuàng)新應用，如藝術、教育、游戲、科普、醫(yī)療、展覽展示和數字化保護等領域[1].用戶透過AR眼鏡[2]可以體驗多維度、多方位的時空調度，進而能夠觀察非同尋常的虛擬情境和景象，有助于創(chuàng)新呈現(xiàn)想象中的空間.

戲曲科普教育在傳播形式上主要分為兩種：一是傳統(tǒng)的戲曲影視劇目的演播，通過程式化的表演呈現(xiàn)于觀眾面前，以藝術賞析為主；二是戲曲進校園(下基層)展演活動，主要由專業(yè)戲曲藝術院團的演職人員擔任，以藝術科普與情景互動為主；三是戲曲藝術展館展覽，以二維紙媒結合三維熒屏媒介宣傳，以2.5維的科普說教為主.傳統(tǒng)戲曲科普形式過于守舊，年輕人難以接受.將當下時髦的AR技術與移動媒體相結合，應用于戲曲虛擬表演及知識科普，即用戶通過移動設備掃描真實舞臺場景或特定的文化符號產生相應的虛擬戲曲角色及虛擬表演情境，與真實的場景進行戲曲演繹情節(jié)的多維交互，獲取戲曲的科普知識.

本文通過文獻綜述與調研，根據戲曲藝術傳播現(xiàn)狀及其藝術特性，提出了寓學于樂的AR戲曲藝術應用的設計方案，為創(chuàng)新戲曲藝術的傳播方式作出初步的探索.

1 設計原則

AR視覺，即用戶通過掃描標記識別物體后，呈現(xiàn)在屏幕上的“虛擬”與“真實”視覺的堆疊顯現(xiàn)，用戶通過執(zhí)行命令的中間介質，提升視覺增強的互動性，目前關于AR技術的視覺呈現(xiàn)技術的研究主要在技術上的更新，包括全息光學AR[3]，HMD眼鏡、HUD隱形眼、手持顯示設備等.

著名心理學家Daniel Kahneman的“Peak-End Rule”理論[4]認為，人們在對一項事物體驗之后，所能記住的只是在“高峰(Peak)”時期和“結束(End)”時期的感受，而在體驗過程中產生的“優(yōu)劣比重”和“時間長短”，對記憶的影響可以忽略不計.其中的“高峰”與“結束”即是所謂的“關鍵時刻MOT”.用戶“關鍵時刻”的舒適感提升是用戶體驗研究的重要目標，對提高用戶體驗的質量有著重要的意義.依據AR應用的導向體驗流程接觸點[5]，本文通過對用戶使用AR應用時的共性心理特征，繪制了完整AR增強現(xiàn)實APP體驗的用戶情感旅程[6]，見圖1.通過圖中可以管窺出，AR互動APP用戶的“峰值”和“終值”體驗階段分別為“進行AR增強互動體驗”和“重啟互動體驗”時刻.因此，則可以進行接觸點的情感化設計，讓使用者在互動體驗的兩個關鍵階段時刻收獲較佳的用戶體驗，從而忽略互動過程中程序復雜，視覺效果弱等其他痛點，產生持續(xù)性的AR互動行為.根據“Peak-End Rule”的體驗特征，本文將其應用到AR戲曲科普應用的體驗設計流程中，旨在使用戶在人與機之間的增強互動過程中產生較佳的體驗效果.

圖1 AR應用用戶體驗旅程Fig.1 AR application user experience journey

2 設計方案

寓學于樂型AR戲曲科普設計不同于傳統(tǒng)的戲曲科普應用產品，其設計形式新穎，內容豐富，視覺效果好，傳播形式獨特，符合戲曲藝術表現(xiàn)形式和傳播的理念.將AR與戲曲科普教育相結合，具有明顯的優(yōu)勢：其一，在戲曲藝術的呈現(xiàn)上進行設計容易給觀者以創(chuàng)新感；其二，AR能夠無縫融合“虛”和“實”兩個時空場域，可以更富表現(xiàn)力的展現(xiàn)戲曲故事的應景景象，將用戶的體驗維度從2D平面拓展到3D空間，增強呈現(xiàn)高度仿真的“真實”場景及聲像將觀者帶入另一番場景，能夠極大地增強使用者對戲曲藝術的直觀認知能力，相對于傳統(tǒng)戲曲傳播與科普具有極大差異；其三，基于舞臺呈現(xiàn)的戲曲藝術一般不具備互動賞玩及科普教育方面的功能，通過與AR技術融合，可以使戲曲藝術的附加值得以提升，而成本卻不會相應增加.

本文的設計方案以黃梅戲舞臺藝術呈現(xiàn)(即表演)為基礎，在舞臺設計、戲曲動作、角色設計上進行功能劃分，適合藝術觀賞同時兼顧戲曲科普與教育的拓展功能，在戲曲舞臺呈現(xiàn)的過程中、學習者對動作程式、服裝道具、藝術審美的的求知程度較強.整個產品設計包括戲曲動畫設計，AR應用設計，主要涉及到三維動畫技術、圖形設計、UI交互技術、APP開發(fā)等.將圖像設計通過AR交互設計整合到APP上，在移動終端下載安裝對應APP，并通過掃描既定的圖案，就會產生AR立體效果.根據戲曲場次和類目的不同，可選擇對應的識別圖案進行跟蹤設計，設計方案如圖2所示.本文設計方案基于寓學于樂的理念，使使用者在戲曲觀賞過程中得到身心的愉悅，同時也獲得相應的知識，設計方案合理，滿足了用戶的對藝術審美的追求與認知需求.

圖2 AR戲曲科普應用設計方案Fig.2 AR opera popular science application design scheme

3 技術設計

本文運用AR技術工作原理，通過特定圖像識別技術，將產生的2D平面或3D體式的效果與獲取的現(xiàn)實影像進行二度疊加，產生具有交互功能的綜合視覺效果，包括立體圖像與三維聲效.增強互動的戲曲表演環(huán)節(jié)需通過三維動畫技術來進行設計呈現(xiàn)，而AR圖像的掃描需要借助移動終端設備APP來實現(xiàn).因此AR戲曲科普設計中所運用的動畫制作、交互呈現(xiàn)、APP開發(fā)三種技術是密切聯(lián)系的.本文所用到具體的開發(fā)品臺和工具.見表1.

3.1 AR技術

AR技術，是基于計算機系統(tǒng)生成虛擬影像來增強用戶對真實世界感知.通常認為，該技術的出現(xiàn)源于VR技術的發(fā)展，但二者存在明顯的差別傳統(tǒng)技術追求給予用戶一種在虛擬世界中完全沉浸的效果[7,8].在AR戲曲科普應用設計設計中，其工作原理是將動態(tài)的序列圖形、聲音和其他感官功能與靜態(tài)圖案中進行融合，無縫對接虛擬世界與真實世界，提高用戶直觀感受.現(xiàn)在有多種用于AR系統(tǒng)開發(fā)的工具包和 API(應用程序編程接口)，如Qualcomm Vuforia、AR Toolkit、Coin3D和MR Platform等工具.本文中設計的AR戲曲科普應用，采用Unity 3D作為基本引擎，通過外接載入的高通Vuforia Package進行開發(fā)，Vuforia 具有跨多平臺性，編輯高效性等諸多特點，其技術核心基于標記的視頻檢測方法進行定位，其核心組件AR Camera校準和標記工具方便高效，并且支持特定圖形和實景融合進視頻及聲效.

本AR戲曲科普應用的設計，采用了Monitor-Based技術，實現(xiàn)方法簡單，功能簡潔，便于用戶操作與理解，適合戲曲藝術愛好者這一特殊群體.Monitor-Based增強現(xiàn)實系統(tǒng)實現(xiàn)流程見圖3，其技術特征主要有：①將虛擬和現(xiàn)實環(huán)境進行混合；②實時交互；③三維注冊[8]等.

圖3 Monitor-Based增強現(xiàn)實系統(tǒng)實現(xiàn)流程Fig.3 Monitor-based augmented reality system implementation process

3.2 APP開發(fā)

APP作為信息交互的重要載體，其開發(fā)運用較廣泛，本文設計實現(xiàn)的戲曲科普應用在AR立體圖像的實現(xiàn)過程中，需要在移動平臺下載安裝APP 掃描靜止圖像，虛擬的三維影像便會出現(xiàn)在設備屏幕上.如圖4所示.APP在掃描靜止圖像時，需要識別靜止圖像是否符合既定的目標，因此，在APP開發(fā)時需要提前置入特定圖像及音效，建立相應數據庫，用戶可下載APP，通過相應注冊或激活程序完成應用前準備.針對AR戲曲科普應用設計所開發(fā)的APP，可識別一系列特定戲曲藝術典型特征圖案，如戲曲角色、戲曲舞臺、戲曲裝飾圖案等，其功能設計主要包括：(a)掃描圖像，AR增強顯示3D戲曲立體動畫效果；(b)配套戲曲場景唱詞與音樂；(c)360°全景無死角旋轉、放大和縮小；(d)可進行特定動畫情節(jié)截圖，并可進行友圈分享；(e)角色可換裝，藝術角色可以互動；(f)戲曲藝術的娛樂性增強.

3.3 增強功能交互實現(xiàn)

本文采用Unity 3D+Vuforia SDK進行移動AR戲曲應用設計，通過Vuforia SDK資源包實現(xiàn)識別標記的2D圖案進行跟蹤，同時基于Android和iOS移動端設備屏幕觸摸的交互操作產生真實與虛擬的二度交叉融合，擁有增強現(xiàn)實效果的多功能交互體驗，應用具體實現(xiàn)了黃梅戲戲曲角色與場景的3D增強現(xiàn)實效果的呈現(xiàn).黃梅戲曲交互的AR視覺呈現(xiàn)效果如圖5所示.掃描到標記識別圖后顯示模型的同時開始觸發(fā)動作，如若移開識別圖后，則暫停增強交互呈現(xiàn).以下為相機掃描識別標記圖案功能實現(xiàn)的主要代碼：

void Update()

{

if (mTrackableBehaviour.CurrentStatus == TrackableBehaviour.Status.DETECTED||

mTrackableBehaviour.CurrentStatus == TrackableBehaviour.Status.TRACKED||

mTrackableBehaviour.CurrentStatus==TrackableBehaviour.Status.EXTENDED_TRACKED) //定義標記物可識別狀態(tài)

{Debug.Log("Trackable"+mTrackableBehaviour.TrackableName + "found");

OnTrackingFound(); }

else{ OnTrackingLost();}

}

protected virtual void OnTrackingFound() // 識別標記物

{

gt.SetActive(true);

gt.GetComponent().isKinematic = false;

gt.GetComponent().AddForce(Vector3.up * force, ForceMode.Force);

}

protected virtual void OnTrackingLost() // 標記物識別丟失

{

gt.GetComponent().isKinematic = true;

gt.SetActive(false);

}

public void OnTrackableStateChanged(

TrackableBehaviour.Status previousStatus,

TrackableBehaviour.Status newStatus) // 不同追蹤狀態(tài)的改變

}

4 戲曲動畫設計

AR戲曲動畫設計主要包括角色造型設計、戲曲場景設計、動畫設計及特效設計.在進行設計時，需要考慮整體的設計效果及使用的趣味性，即形式新穎、角色設計風趣、審美符合大眾化；圖案新穎有趣，能夠抓取用戶使用的興趣點，從而達到寓教于樂的效果；增強現(xiàn)實使用方便快捷，便于初學者快速上手應用.本文以安徽黃梅戲為主要創(chuàng)作背景，設計一個用于科普的戲曲APP設為例，進行以下幾點的闡述.

4.1 戲曲角色造型設計

由于傳統(tǒng)戲曲藝術在傳統(tǒng)認為上有程式化、古板、角色生硬等刻板印象，所以在造型設計上選用人們喜愛的角色造型為藍本進行造型設計.本文從趣味性和可欣賞性兩方面探討基于寓教于樂理念的AR戲曲卡通角色設計采用卡通造型設計，角色比例為大頭小身的二頭身造型原則.造型設計圖如圖6(a)所示.角色服裝根據不同的戲曲情景進行分類設計.本文選取了黃梅戲《女駙馬》選段的服裝作為案例進行設計，服裝以大紅色為底色，配以裝飾圖案進行設計[9].服裝設計圖如圖6(b)圖所示.

圖6 黃梅戲《女駙馬》造型與服裝圖 Fig.6 Character and clothing design of Huangmei opera "female prince consort"

4.2 戲曲場景設計

傳統(tǒng)的戲曲表演主要局限在固定不變的舞臺上，因而在觀眾的觀賞角度上受到了很大的制約，基于AR增強現(xiàn)實戲曲場景設計可以根據故事的背景進行二次設計與創(chuàng)作，讓戲曲的場景更加的具有臨場性和沉浸性.本文設計了《女駙馬》《對花》兩出戲的舞臺場景與應景場景的設計.如圖7所示.

圖7 《女駙馬》《對花》場景設計圖Fig.7 Scene design of "female prince consort" and "check flowers"

4.3 標識圖案設計

AR戲曲科普識別圖案設計在形式上進行區(qū)分.本文選取了4幕黃梅戲經典片段作為藍本，并對應設計了4組AR圖案.2款黃梅戲曲類目的識別，2款劇目的代表圖案，4款圖案風格明確、像素清晰、圖案生動形象，符合戲曲藝術豐富多彩的造型特征.然后，可在手機端應用APP掃描相應靜態(tài)圖案，彈出相應場幕的舞臺場景與戲曲形象，音樂聲效隨著戲曲動畫的開場而漸現(xiàn).可選擇戲曲劇情的背景介紹，以下是截選的《女駙馬》情節(jié)：

您現(xiàn)在進入的是黃梅戲《女駙馬》的經典選段，故事講述的是荊楚襄陽道臺之女馮素貞與李兆廷自幼青梅竹馬，由其母親作主訂親.后來李家家道中落，馮母也去世.馮素貞繼母欺貧愛富，竟逼迫李兆廷退婚.此后，使得馮素貞被迫女扮男裝進京尋兄馮少英，隨即冒李兆廷之名應試，不料中得狀元，被朝廷招為駙馬.洞房花燭之夜馮素貞將實情告訴公主.皇帝得知消息后，只好予以赦免馮素貞，并命李兆廷以狀元之名與馮

素貞完婚.

因此，可以讓觀者在欣賞藝術的同時了解戲曲古詩源流及背景，豐富用戶對戲曲的認知，達到寓教于樂的效果.AR圖案設計如圖8所示.

4.4 動畫設計

戲曲動畫的制作主要取決于動作的流暢性與準確性，動作的采集與優(yōu)化需從身段、執(zhí)法、水袖方面考慮.戲曲動作具有象征性，因此戲曲動作趨于舞蹈藝術化是戲曲藝術呈現(xiàn)美感的重要組成部分.如走邊、行船、跑城、起霸、趟馬、登山、泅水等都具有明顯的舞蹈化特性.因此在動作的設計上不能采用Key幀的方式進行設計，而需要進行規(guī)范的動作數據采集.通過對專業(yè)戲曲演員的舞蹈動作進行數據化捕獲與處理，構建戲曲動畫數據庫，進而再將數據綁定到戲曲三維虛擬角色上.本文運用光學動作捕捉技術進行黃梅戲舞蹈動作數據采集，再通過Motion Builder進行數據的優(yōu)化.再者，通過3Ds Max三維動畫制作軟件進行3D角色與動畫數據的整合.相較于普通動畫創(chuàng)建方式，動作捕獲技術則需要對所獲得的動作信息進行數據轉換，即便如此，動捕技術在制作效率上會大大提高，卻并不會增加制作的成本.適合大型戲曲舞蹈動作數據庫的建立，動作數據庫技術框架如圖9所示.

圖9 戲曲動畫數據庫框架Fig.9 Framework of opera animation database

4.5 測試效果

依據上述設計思路，結合戲曲故事與動畫情節(jié)演繹，設計的戲曲科普主要為黃梅戲經典戲曲《女駙馬》、《對花》經典段落為主題，數字文化內容則主要是由動畫演繹和戲曲角色場景立體模型兩方面構成.動畫演義的特點在于向用戶“傳達”戲曲的藝術特點與程式由來，突出戲曲元素的藝術內涵.立體模型則是為了讓用戶可以更加細致近距離的觀賞戲曲模型的細節(jié)特征，如服裝、頭飾等.當然，為了突顯視覺效果，增加模型自旋轉效果，使用戶可以全角度多方位欣賞到戲曲角色或場景的細節(jié).為使用戶獲得較佳的交互體驗，突出簡約且易操作的主題.設計對AR交互界面的UI進行隱匿，僅在用戶掃描標記識別圖時UI才會出現(xiàn)在屏幕上，UI顯示效果如圖10所示.用戶可通過選擇切換疊加的增強信息內容，測試效如圖11所示.

5 結束語

目前，基于AR技術開發(fā)的科普教育類產品層出不窮，但將AR技術與傳統(tǒng)戲曲科教方面的應用研究相對較少，推出的相關產品更是屈指可數.AR戲曲科普教育應用采用新技術與傳統(tǒng)戲曲藝術相融合，能在一定程度上有利于傳播諸如黃梅、豫劇、越劇等亟待傳承與保護的傳統(tǒng)戲曲藝術門類，極大意義地實現(xiàn)科教融合，寓學于樂，在一定程度上滿足了戲曲藝術科普和欣賞的信息化需求，符合市場對于多功能娛樂科普教育類APP產品的需求.