基于Hololens的書法實踐課程設計

張越　趙露

摘要：本文利用unity3d引擎，實現手勢、語音、凝視等交互，讓使用者在“枯燥”的書法實踐中體驗到科技感，提高對國學類傳統技藝的興趣。此實踐還可應用于其他科目的教學設計中。

關鍵詞：Hololens;混合現實;MR教育;書法實踐

中圖分類號：TP391.9 文獻標識碼：A 文章編號：1007-9416（2019）02-0130-02

0 引言

近年來，HTC、Oculus（現已被Facebook收購）等互聯網巨頭公司先后發布基于增強現實技術、虛擬現實技術的系列產品，引發了醫療、教育、游戲等傳統領域與高新科技技術交叉應用的新浪潮。“混合現實技術”試圖將人與虛擬世界和現實世界三者同時聯結起來[1]，使用者會在不同的角度獲得沉浸式的深度交互。微軟公司生產的Hololens是目前技術較為成熟的可穿戴式頭盔。基于該設備的前沿應用大多投入于醫療、軍事等領域。技術受限及高額預算使其普及度大大降低。將其應用于教育方面的開發與實踐探索，在國內尚屬起步階段[2]。

1 實踐特點

書法，作為我國極為重要的優良傳統文化，它的教育意義可以說是毋庸置疑[3]。如何在課堂上實現書法教學，讓學生通過書法感受到中國古代文化的博大精深，并得到思想與意識的陶冶？這一話題始終存在，但可實現的解決方案卻受限于地點、教資、學生可支配時間等各項因素。書法在實踐前期是極其枯燥的，并且無法在較短的時間內得到書寫水平的迅速提高。由此導致了青少年過早的興趣缺失，轉而投入其他課外領域。而基于混合現實情景下的書法教學會使高新科技與傳統國學擦出火花。使用者將沉浸式感受電子教學，并在觸手可得的區域進行書法練習。這種教學模式可以避免學生的消極態度，并降低了來往于培訓機構、學校場地的時間成本。

2 前期開發準備

2.1 計算機開發環境

硬件配置：64位Windows10專業版，16GB內存，4核CPU，微軟Hololens可穿戴頭盔。

編譯環境：Visual Studio2017， Unity 5.6.3p2。

2.2 注意事項

在BIOS中進行設置，確保PC機虛擬化（virtualization），并啟用 Hyper-V。安裝VS2017時添加Win10 SDK（10.0.14393.0）組件。將PC機與Hololens更改為開發者模式，并確保兩者的網絡連接所屬同一局域網。

3 內容設計

3.1 npc引導

利用3dsMax建模書童人物，當使用者進入應用后，播放開場提示。手勢對準npc張合后，其產生高亮狀態，說明進入學習模式。人物四周設置附加功能的UI面板，通過凝視射線進入/移出區域控制UI面板顯示。在進入書寫動畫主面板前，npc將一直存在，“陪伴”使用者熟悉使用流程。

3.2 書寫動畫控制及附加功能

書寫動畫控制：用戶語音“Show Me The Detail”，卷軸顯示并啟動書法學習模式。扇形模型顯示進度。加載完成后顯示主面板，字體動畫主面板如圖1所示。此處包含凝視功能，實現移至某一字體小面板，其自動更改顏色以提示用戶的實現實況。

用戶可選擇上下頁切換以及返回功能。手勢控制打開每個面板，對單個字體進行選中后，主面板自動進行隱藏。根據用戶手冊，可查詢每個字體動畫播放的語音。以戈字為例，若用戶語音說出“The First Video”，即可打開動畫播放界面。并以手勢控制字體的動畫的關閉。

附加功能：

（1）唐詩朗誦 增設真人朗讀功能，下同。若使用者選取《中秋月二首》，用戶語音說出：“Ask the moon”。其他詩詞對應參見手冊，后臺根據語音自動切換音頻。

（2）小故事 此處選取柳公權的故事進行四部分節選，語音控制為“The First One”，剩下的為second，third，fourth，后臺可自動切換音頻。

包含上述兩項的附加功能面板如圖2所示。

4 核心算法

4.1 空間定位

增加空間映射讓Hololens掃描并讀取空間網格數據。在可移動物體上 放置TapToPlace腳本，使用Raycast視線檢測，實時對其進行定位，選中時顯示空間網格，反之隱藏網格，優化用戶體驗。建立一個空物體綁定用來管理全息空間的物體錨點，優化物體反應速度。

4.2 語音

首先打開microphone權限，使用關鍵詞管理器keyword Manager組件定義語音內容并實現具體函數。如調用字體書法主面板，即使用ShowPlane（）方法，將npc綁定的object設置為false，字體面板綁定的object設置為true。

4.3 凝視

凝視（Gaze）可以幫助我們確定視線的具體位置，其具體意義可類比為pc端的光標。相機位置為起始點，raycast射線“擊中”綁定碰撞體的物體后，產生不同反應，此處為腳本具體實現。

4.4 手勢交互

Hololens提供的底層API獲取手的位置、速度、姿態（開張合、平移）信息。如平移操作：在三維坐標系環境中，獲取用戶手勢的起始和終止位置，對相應物體添加平移remove（）腳本，根據rotate的在x、y、z軸移動的不同角度與時間進行相關運算來控制其平移事件，其他交互動作根據不同腳本實現。

5 結語

本文探索的基于Hololens的書法實踐課程，以微軟混合現實頭戴設備為用戶體驗終端，在配置好windows環境后，成功實現pc端與設備端的連接。再利用unity引擎實現具體功能腳本。該項目可使佩戴者在任意的地點觀看書法視頻字體教學，并可根據習慣調整位置再進行寫字練習。后續將著重于開發字體展示效果及補充其他國學類相關內容。

參考文獻

[1] 陳寶權，秦學英.混合現實中的虛實融合與人機智能交融[J].中國科學：信息科學，2016，46（12）：1737-1747.

[2] 畢盈盈.混合現實技術在數字化產品展示設計中的應用[D].中國美術學院，2012.

[3] 曲詔菁彥.中小學美術課書法教學研究[D].魯東大學，2018.

Design of Calligraphy Practice Course Based on Hololens

ZHANG Yue，ZHAO Lu

（Chongqing University of Posts and Telecommunications，Chongqing? 400065）

Abstract：This article uses the unity3d engine to realize gestures， voices， gaze and other interactions， allowing users to experience the sense of science and technology in the "boring" calligraphy practice and improve their interest in traditional Chinese art. This practice can also be applied to instructional design in other subjects.

Key words：Hololens; mixed reality;MR education;calligraphy practice