貴州儺面具數字化及增強現實技術研究

王 磊，王存睿，白海娟

(大連民族大學 a．計算機科學與工程學院; b.大連市民族文化數字技術重點實驗室，遼寧 大連 116605)

儺文化是中國傳統文化的重要組成部分。王國維說，“面具之興古矣。周官方相周官方相氏，掌蒙熊皮，黃金四目，玄衣朱裳，執戈揚盾，似已為面具之始。”[1]。在2016年貴陽舉辦的國際民族民間文化旅游產品博覽會上，其實際銷售的旅游產品大多數集中在傳統的民族蠟染、刺繡、銀飾上，儺文化相關的旅游產品局限于傳統儺雕工藝美術，產品顯示性質雷同、思維局限，以儺戲面具為元素與現代設計相結合的文創產品極度缺乏[2]。足可見儺面具還有許多應用場景與領域等待開發。

隨著移動平臺硬件水平的提升及虛擬現實技術的發展，移動增強現實(Mobile Augmented Reality，MAR)這項技術在教育、娛樂、醫療、旅游等眾多領域具有良好的應用前景[3-5]。增強現實技術是一種將虛擬世界信息“無縫”疊加到真實世界的技術，通過將計算機生成的信息疊加到真實世界而使用戶達到超越現實的感官體驗。為了實現這種無差別融合，需要檢測增強的對象(物體識別)和估計虛擬模型的位置及旋轉(注冊追蹤)。目前主流的圖片特征檢測技術有SURF，SIFT，ORB等[6]。虛擬模型的三維注冊標識方法有兩種，一種是通過在興趣物體上設置人工標識的方法來實現，另一種是無標識三維注冊追蹤，依靠場景中圖片特征或物體自身特征完成追蹤[7]。然而，對于儺文化面具的細節表現，如何表現細節紋理清晰的模型，形成實時性強且有參考性的儺面具移動增強現實系統，這方面的研究幾乎沒有。為給儺面具的保護與發展提供支持，確保系統的實時性與模型的表現力，本文著重研究了對快速掃描的非復雜模型網格的局部特征優化，虛實融合的3D模型表現力與標識管理，并通過實驗驗證虛實融合方法在實際運行中的可靠和高效系統構建思路如圖1。

圖1 系統建構思路

1 面具虛擬模型的采集處理和渲染

手機端在模型渲染、讀取以及色彩表現力等方面，因其自身硬件的限制遠遠不能與PC相比。將增強現實技術應用于其上，要保證效果和性能平衡，必須要嚴格控制三維模型的面數和燈光數，盡量避免使用實時光影這些功能，因為這會成倍數的增加模型面數和頂點數。因此首先要考慮的是對三維虛擬模型的優化處理。其次，MAR虛實融合要保證虛擬模型和真實場景有正確的位置、透視和遮擋關系，還要保證它們之間明暗、陰影等光照匹配關系，估計真實場景的光照信息，完成虛擬物體的渲染與融合。

1.1 面具虛擬模型的采集和預處理

傳統的3D掃描儀體積龐大還要依靠電腦支持，嚴重受限于地點，快速照片掃描建模方法[8]，使用方便靈活大大加快數據采集過程，采集后會得到相應的網格模型和紋理貼圖，面具采集如圖2。

圖2 面具模型采集

三維掃描生成的面具模型包含較多幾何信息，圖形紋理，噪點等最原始的數據。直接采集的模型數據都有多余且精度不一的部分，所以要經過一定的處理。本文提供一種高效的建模工作流程，涵蓋了復原處理，降維處理，特征增強等內容，數字化流程如圖3。

Step1：首先將采集的點陣數據導逆向生成點云數據，對比原始高清圖像，根據面具的邊緣特征，去除多余的噪點，生成粗模;

Step2：使用算法實現網格重構，逐步實現面具模型的四邊形網格的重新拓撲，得到網格清晰的OBJ格式模型，對于模型表面凹凸明顯的部分，需要通過一定的算法使網格沿模型輪廓做一定的傾斜，使網格傾斜增強部分特征，實現幾何重構;

Step3:經過模型重構的逆向工程及優化，需要對采集的紋理信息，特征色彩提取處理，提取帶有不同光照、陰影和色彩等信息的貼圖，最后合成貼圖材質加載到固體模型，通過實時渲染展示儺面具的紋理細節。

1.2 面具的特征增強化處理

在文物保護領域，文物表面的樣式、眉眼細節、嘴部特征、面具的凹凸感、材質的粗糙度等信息對分析文物都尤為重要。面具的三維模型數據是四邊形的網格模型，首先要識別出需要進行特征增強處理的修補區域，即特征選擇。網格方向都是縱橫交錯的，沒有任何曲線這就造成了模型邊沿鋸齒和圖形立體感不平滑，被采集物經過長時間的保存或使用，表面一些細節已經被淡化或者缺失。在模型補洞以及頂點優化方面，本文利用改進的基于泊松方程的孔洞修補特征增強算法[9]，通過使用統一的局部平滑算子，根據曲面平均彎曲度對帶有顯著特征的孔洞修補區域進行識別，采用指定的鄰域頂點加權法向量對頂點進行調整，從而加強曲面特征。將曲面重新網格化為各向同性的三角形或四元網格，從而優化輸出網格中的邊緣方向和頂點位置。生成具有高各向同性的網格，同時自然地將邊緣對齊并捕捉到清晰的特征。后期針對模型特征趨勢和深度，優化網格方向和曲度，增強面具特征在三維空間中形象塑造更生動。主要算法如下：

圖3 儺面具模型處理流程

Step1:遍歷檢測輸入網格模型孔洞。

Step2:對孔洞周邊的顯著曲度特征相鄰頂點進行選擇。

Step3:估計鄰域范圍所有頂點的曲率

(1)

式中:Di為三角網格上任意點；NDi為Di的法向量；Dj為Di的相鄰頂點；Cij為曲率。

Step4：計算曲面平均彎曲度，指定曲面的變化程度。

通過頂點曲率計算得到曲面平均彎曲度，與設定閾值比較，若大于閾值，則增強該區域存在顯著特征，曲化效果如圖4。

圖4 網格曲化與特征增強

1.3 模型的儲存管理與渲染

為了方便對虛擬場景中的模型管理和讀取，本文統一使用當前主流的3D模型數據通用格式OBJ存儲模型。模型的儲存方式有很多，序列化數據、SQLite數據庫等，本系統采用一種壓縮包管理辦法。Assetbundle是unity3D中的一種壓縮包，可以將模型文件與圖片音樂等文件寫入一個高度壓縮的文件，只需要將記錄有空間坐標的網格模型與多種貼圖信息圖片打包到一個包內，通過從Assetbundle類中加載儺面具模型與對應的貼圖，相應的通過定義和更換Assetbundle內的資源就可以實現對模型資源的管理，達到特征識別圖像不變，虛擬模型可變的效果，大大減輕了系統的體量。

為了檢測Hsp90α與惡性腫瘤的相關性，筆者分別檢測了惡性腫瘤疾病組(肺癌、白血病、肝癌、乳腺癌)及健康對照組血漿中Hsp90α表達水平。結果顯示，惡性腫瘤疾病組血漿Hsp90α水平均顯著高于健康對照組(P<0.01)。 此外，本研究還發現，肺癌組血漿Hsp90α水平顯著高于肺部良性疾病組和健康對照組(P<0.01)。這些結果表明，Hsp90α水平在惡性腫瘤血漿中明顯升高，具有良好的廣譜性，可以作為早期診斷惡性腫瘤的通用指標。

真實的三維虛擬模型可以提高增強現實系統的視覺感受和豐富體驗樂趣，本文通過使用3d Max建模軟件，對于模型紋理信息采用“低模+貼圖”制作模式，把模型在三維軟件的UV展開，然后輸出一個含有UV線條的圖片，使用Photoshop軟件進行繪制或處理。儺面具MAR系統采用Unity3D渲染引擎在真實場景中繪制三維模型，實現虛實場景的融合顯示。將基于物理渲染后帶有光照信息環境光、法線、漫反射光照貼圖組合的使用實現模型紋理的高清逼真還原。這樣對三維模型材質的實時渲染烘焙，大大提高了圖像渲染的效果。

2 一種簡化的圖像匹配跟蹤注冊方法

跟蹤注冊技術是增強現實系統的基礎，它決定了系統感知定位真實世界中識別圖片的能力。對于圖片的快速識別以及顯示高精度紋理的模型定位問題，本文采用基于計算機視覺的無標識跟蹤注冊方法，通過C#語言實現圖片特征提取匹配與無標識跟中注冊，算法的具體流程如下：

Step1：從相機中捕獲真實世界的圖像作為參照圖像；

Step2：根據計算機視覺特征提取和匹配，決定虛擬場景的空間坐標；

Step3：通過位姿估計算法計算3D模型與參照面的位置關系；

Step4：在匹配正確的參考圖像區域現實對應的3D模型。

2.1 特征提取與匹配

在計算機視覺領域，能被精確定位的像素點，代表其獨特性的像素點就被認為是這幅圖像的特征，即特征點。特征點是圖像特征匹配的基礎。圖像特征匹配常用的算法有SURF，SIFT，ORB，AKAZE等等。雖然SURF，SIFT算法廣泛應用與目標識別領域，對圖像的特征檢測，匹配精度較好，但是這兩種算法特征描述子復雜，計算量較大，對計算時間有一定影響[10-11]，所以不適用本系統對實時性的要求。AKAZE是通過尋找不同尺度歸一化后的Hessian局部極大值點來實現特征檢測，并在圖像域中進行非線性擴散檢索過程[12]。FREAK是從人眼識別物體的原理上得到啟發提出的[13]。ORB(Oriented FAST and Rotation BRIEF)特征中具有尺度和旋轉不變性特點的特征點提取和描述方法，使用的是FAST算法提取的特征點，BRIEF算法計算描述子[14]。FAST(Features from Accelerated Segment Test)特征提取是一種角點檢測法，抽取圖像中的檢測像素周圍的像素，如果16個像素與該點像素值不同，則判斷其為角點，即為FAET-16。本文對ORB算法進行適應儺面具圖像識別的改進，設置FAST角點閾值為8，即FAST-8，特征點數量不超過300，對紋理特征點距離閾值設為0.02，再設定一個閾值75%。當匹配的的描述子的相似度大于75%時即可判斷是相同特征。

圖5 FAST-16與FAST-8示意圖

K-Meas算法是最近鄰匹配算法，實現圖像特征聚類分析，提取和描述特征點群后，需要匹配特征點到關鍵點，實現單應性映射，最后根據特征點集進行打分的方式來判定識別的目標。

2.2 相機位姿估計

模型在虛擬空間中成像，首先需要統一模型的幾何中心對應的在虛擬空間中進行空間坐標系變換，將模型的本地坐標關聯到虛擬世界坐標系。對模型的頂點進行世界坐標變換，將模型中的紋理和頂點轉換成對應的像素點，通過網格生成器顯示頂點網格模型，著色器對網格模型渲染紋理信息。將虛擬空間中模型坐標系與圖像投影轉換為相機坐標系的幾何變換，相機位姿估計就是實時的計算手機攝像頭的姿態，在獲取上述的圖像與標識圖像特征匹配后得到的初始化匹配點集。確定儺面具圖像的特征區域后，使用文獻[15-17]的方法通過EPnP算法計算攝像頭的位姿，EPnP算法得到一個位姿估計，用單應性矩陣變換，從實射影平面到射影平面的可逆變換，這種映射可以用矩陣相乘的方式表示

P=A×W×M。

(2)

式中：P表示二維圖像的坐標；A表示相機參數矩陣；W存放相機內部參數；M是三維世界的坐標。W由用于定位觀察的物體平面的物理變換和當前攝像機內參數矩陣的投影R，T兩部分組成，[R|T]是一個3×3矩陣，世界坐標系變換到相機的坐標系中，對應投影變換關系如

W=[R|T]。

(3)

Unity3D 渲染引擎使用的世界坐標系和攝像機坐標系均為左手坐標系，采用文獻[18]的方法實現坐標系轉化，不同的是在Android平臺上通過Android JDK 實現JAVA和C#方法的互相調用，實現參數矩陣R和T從Andriod到Unity3D的相機位姿參數傳遞，進而實現虛擬模型從二維到三維的跟蹤注冊。

3 實驗結果分析

以儺面具為例建立儺文化圖像識別MAR系統，開發與測試的環境如下：CPU采用Intel(R) Xeon(R)E5、內存容量32.0GB、顯卡NVIDIA TITAN Xp，WIN10操作系統，建模軟件3Dmax，unity3D開發工具、算法通過C#調用導入Unity 3D中C++動態鏈接庫(DLL)實現。測試用移動端設備為小米5，系統為MIUI8。

MAR系統工作過程如下：初始化移動設備攝像頭，獲取真實場景的關鍵幀照片，通過匹配特征點識別特征圖像，對移動端位姿估計，確定虛擬模型與真實場景間空間距離，在當前的視窗上疊加生成虛擬模型融合輸出。本例采用儺面具中開路將軍插圖作為被識別圖，在復雜環境下對本文MAR系統進行測試，被識別圖與攝像機捕捉的圖片的特征提取與匹配結果如圖6，不同特征檢測算法效果對比見表1。不難發現AKAZE與FREAK特征數量大計算速度慢，ORB的特征提取數量較少速度快，改進的ORB算法，計算速度更快，特征點識別效能更高，適用在移動端顯示儺面具復雜紋理的特征識別。檢測局部特征，算法對于光線、噪聲、和微小視角改變的容忍度相當高，有較高的識別相率。且在特征分布上ORB特征的分布也正確區域較多，匹配正確率相對較高，在MAR系統的實時性高效性，改進的ORB特征匹配算法有較好的表現。

表1 不同特征檢測算法效果對比

儺面具MAR系統在現實情況下的跟蹤和顯示應用情況如圖7。從圖中可以看出，移動端設備在不同角度已一定的距離變化范圍內，本MAR系統都能顯示紋理清晰，輪廓突出，光影分明的虛擬模型。MAR系統采用改進的ORB特征識別圖像，通過特征匹配計算虛擬模型在真實場景中應現實的方向和位置，通過使用EPnP算法與Unity3D自帶的相機位姿捕捉方法來確定將虛擬模型投影到真實世界中的位置，實現高精度紋理清晰的儺面具的三維顯示。

圖6 特征匹配結果

圖7 不同位置角度下的顯示效果

4 結 語

MAR系統雖然在教育等諸多領域取得了一定的應用成果，但對于民族文化保護，特別是本文中的儺面具數字化展示，還需要解決在模型特征顯示、快速數字化建模，高度仿真與渲染等問題。儺面具MAR系統使用改進的ORB算法做特征檢測和匹配，并通過EPnP算法與Unity3D自帶的坐標系轉換方法，進行虛擬模型在真實世界中的相對位置估計，融合現實虛擬模型，最終完成儺面具的虛實融合場景構建。本文中的被識別圖均被做成明信片樣式，給儺文化愛好者在旅游中更好的便攜式交互體驗。今后的工作將繼續解決儺面具與人臉之間的匹配識別問題，通過識別人臉的表情，來顯示不同的文化內涵豐富的面具表情，進一步完善移動端在展示儺面具的其他交互式體驗增添新功能。