基于增強現實技術的浮跡系統設計

伊丹雪子，周星辰,2，饒培倫

（1.清華大學，北京 100084；2.北京師范大學，北京 100091）

隨著信息技術的快速發展，人們正置身于一個大數據時代，海量的數據被創造、挖掘、利用，一方面極大地增加了工作與生活的便利，一方面對人類的信息處理能力提出了新的挑戰。相較于技術的飛速進步，人類個體的認知能力在短時間內的提升十分有限，如何利用技術讓信息的呈現與交互適應于人類的認知水平是信息產品設計的一個重要命題。增強現實（Augmented Reality，AR）是大數據時代中一個充滿前景的信息呈現與交互的方向。通過將虛擬對象疊加到真實世界的事物上，增強現實技術能提供給用戶一個包含更多信息且感知效果更豐富的環境，用虛擬的信息增強用戶對現實的感知。虛擬的信息該如何疊加在現實事物上，既增強用戶的認知，又不造成過多的負荷，是增強現實人機界面設計亟須解決的問題。在二維環境中，近年來廣泛流行的視頻彈幕是一種通過用戶的評論性文字對視頻內容進行增強的方式。通過滾動的短評論字幕，視頻觀眾可以進行互動，他們的觀影體驗得到了增強——這與增強現實的核心理念十分契合。因此，受視頻彈幕的啟發，筆者設計了一套基于增強現實技術的文字信息系統——浮跡系統，探索彈幕式文字在增強現實環境中的應用。

1 增強現實技術與彈幕的結合

1.1 增強現實技術

增強現實的概念最早由Caudell等[1]在1992年提出。增強現實通過計算機技術合成虛擬物體并將其疊加在現實的場景中，完成虛擬與現實環境的交互與融合。通過虛擬物體對現實場景的增強，個體可以了解更多關于所處環境或所面對對象的信息，從而能更好地完成目標任務或獲得更豐富的情景體驗[2]。

目前，市場上消費者級別的增強現實設備主要分為兩大類。第一類為平板類移動設備，如手機、平板電腦等。這類設備通過自帶的攝像頭進行視頻采集來識別和跟蹤標志物，從而實現虛擬信息對現實場景的增強。第二類是頭戴式的增強現實設備，如Google glass、HoloLens、Lumus、Magic Leap等。這一類設備相較于平板式移動設備，解放了雙手對設備的持握需求，且具有更大的視域，能提供給用戶更強的沉浸感和更自然的交互方式。

近年來，增強現實的技術廣泛地應用于機械設備的裝配與制造、醫療外科手術、虛擬商業與零售、休閑娛樂等各種不同的領域。可以預見，隨著信息技術和普適計算的進一步發展，增強現實技術會扮演越發重要的角色。

1.2 增強現實中的信息呈現與交互

增強現實的環境豐富了信息呈現的方式，但也產生了新的信息交互問題與挑戰。從信息呈現范圍的角度講，頭戴式增強現實相比于屏幕顯示方式具有更大的顯示空間，這對于信息呈現的位置和布局提出了新的挑戰。有學者對于增強現實環境下的信息布局進行了研究，他們發現，因為相較于電腦熒幕來講信息呈現空間更大，在增強現實環境中來回獲取不同位置的信息時，切換距離和切換路徑對信息呈現效果有更大的影響[3]。頭戴式增強現實設備信息定位的不同方式也會影響信息的呈現效果和用戶的交互體驗。Billinghurst等[4]總結了頭戴式AR設備的三類定位方式。第一類定位方式與成像設備鎖定。信息會隨個體視域的變化而保持相對靜止的運動。第二類定位方式與個體身體鎖定。當身體不動時，頭部運動不會造成虛擬影像的移動，因此能讓人從多個角度觀察虛擬影像。第三類定位方式與外部環境鎖定。個體運動時與虛擬影像產生的相對運動會與自然世界保持一致。

從信息呈現形式的角度來講，增強現實的環境對于信息形式產生了新的要求。因為增強現實的環境包含了虛擬影像與現實環境的疊加，所以很多使用場景都要求信息達到既可以被感知又沒有太強干擾作用的效果[5]。文字是信息傳遞的一種重要載體，在增強現實的環境中文字信息的呈現形式也受到了廣泛關注。影響文字信息呈現效果的主要因素包括字體、字號、行間距、顏色與背景屬性等[6]。在增強現實環境中，研究者們發現，文字屬性對呈現效果的影響與電腦屏幕有所區別[7]。微軟公司發布了增強現實環境下文字呈現形式的建議[8]，該建議得到了一些學術研究成果的支持[5]。

從信息交互方式的角度來講，增強現實環境帶來了交互方式的改變。目前，語音交互、手勢交互等自然交互方式在頭戴式增強現實設備中被廣泛使用。而基于頭戴式設備的特征，研究人員還開發了如眨眼交互等多種多樣的可適用于增強現實設備的交互方式[9]。此外，增強現實技術的使用場景也對信息的呈現與交互提出了挑戰。研究表明，在社交場景下，虛擬信息的呈現會對社交活動中個體的任務表現、非語言行為和情感聯結產生顯著影響[10]。因此，在社交場景中，虛擬信息的呈現方式需要經過精心設計。在大數據時代，增強現實環境中也可能存在需要展現過量信息的場景，超過個體認知負荷的大量信息該如何呈現也是一個巨大的挑戰。

1.3 彈幕信息交互

“彈幕”這種信息呈現和交互方式，最早起源于日本的著名視頻網站Niconico，近年來在東亞各國的年輕群體中十分流行[11]。彈幕的出現，最初是為了解決獨自一人觀看視頻節目時無法與人交流的痛點。彈幕將用戶生成內容（User Generated Content, UCG）以子彈飛過一樣的形式動態呈現在視頻之上，讓觀看者產生實時交流的感覺[12]。與通過社交媒體交流觀影體驗的方式相比，彈幕具有三個主要特點[12]。第一個特點是消除了社交壓力。如果通過社交媒體交流觀影體驗，因為用戶彼此知道對方的身份，不可避免地會產生社交壓力，交流的自由性受到了妨礙。第二個特點是彈幕提供了“偽同步”的感覺[13]。偽同步是指彈幕評論不是真正的同步產生，評論會依據視頻內容的時間來呈現，給用戶營造了一種大家在同時看視頻并進行交流的錯覺，產生了更好的參與感與沉浸感。第三個特點是彈幕信息直接呈現在視頻內容上，如果與視頻內容高度相關，這種呈現方式能極大地增強觀眾對原視頻內容的理解。但是這種呈現方式不可避免地吸引了用戶的注意，造成了彈幕信息與原視頻信息的相互干擾。

基于上述特點，彈幕信息呈現方式在實際應用中有利有弊。相比于傳統視頻，彈幕能增強觀看者的參與感，并提高視頻觀看的趣味性[11]；另外彈幕能促進與視頻內容實時的討論和交流，能增強視頻觀看的互動感和知識性[14]，現已被探索用于網絡視頻教學中[15]，這些都是有利的地方。彈幕信息呈現方式的主要弊端是：過多的信息遮擋屏幕阻礙了用戶的有效信息獲取。一方面，大量動態文本吸引了用戶的注意，使他們不能專注于視頻本身，降低了對視頻的深入體驗；另一方面，用戶需要同時觀看視頻和彈幕，有了更高的多任務需求，需要消耗用戶更多的認知資源[11]。目前，各大視頻網站解決彈幕信息對視頻信息產生遮擋干擾的一個方法是：通過人臉識別技術將視頻中的人臉置于彈幕之上。人臉是視頻觀看中吸引用戶注視點的主要來源，這樣的方法，一定程度上解決了彈幕與視頻信息相互干擾的問題。

增強現實技術與彈幕呈現方式存在互補的可能。基于屏幕顯示的彈幕，其文字信息與視頻信息產生干擾的一個原因是，受限于視域大小，文字和視頻內容需疊加在一起。在頭戴式增強現實的環境中，用戶的視域更寬廣，且信息呈現從二維擴展到了三維，能支持更加豐富的信息呈現效果，也有更多的方法讓不同信息同時存在且盡量減少相互干擾。彈幕提供了一種大量信息實時呈現的方式，這種方式為增強現實環境下的大量信息呈現提供了一條設計思路和發展路徑。

2 浮跡系統的設計

“浮跡”系統，從字面意思理解，即為“漂浮在空中的字跡”，描繪了在增強現實的環境下，疊加在現實場景之上的虛擬文字影像。受到二維平面空間中彈幕增強影視作品信息的啟發，設計了這套在增強現實環境下使用的文本增強系統，主要希望解決增強現實環境中大量虛擬內容同時存在可能帶來的冗余問題和社交場景中虛擬內容的呈現問題，旨在為今后增強現實產品的文本信息交互設計提供方向。在浮跡系統中，針對單用戶視頻場景和多用戶社交場景，一共設計了6種文本呈現方式以滿足不同的使用需求（見表1）。

表1 浮跡系統功能設計Tab.1 The function design of the Foj system

2.1 單用戶視頻場景

在單用戶場景中，人們關注與視頻觀看類似的活動。在這些活動中，用戶不直接與其他用戶在同一現實場景中進行互動，但是他們可以將想法以文字的形式上傳到網絡上進行交流；而這些帶有時間標簽的文字可以以彈幕的形式呈現，并疊加在現實場景中。在頭戴式增強現實環境中疊加的彈幕相比于平面顯示器視頻彈幕有兩個主要優勢。其一，頭戴顯示器視域更加寬廣，減少了彈幕信息對觀看內容本身的干擾。其二，頭戴式增強現實彈幕可以應用于更廣泛的場景，不限于觀看網絡視頻。觀看現實場景中的體育比賽、舞臺表演時，也可以通過虛擬現實彈幕的方式，讓觀眾進行交流，并通過彈幕的形式，在個人的視窗中疊加不同觀眾的評論，信息共享，提升觀看體驗。

在單用戶場景中，浮跡系統一共設計了三種文本呈現方式：可交互彈幕、特效文字和跟蹤顯示文字。以觀看中國女排的視頻直播為例來解釋三種文本呈現方式的不同效果。如圖1所示，顯示了傳統視頻彈幕和增強現實可交互彈幕的差異。圖1a顯示了傳統視頻彈幕信息對于原視頻的遮擋，這樣過多的信息產生了負面的作用。圖1b顯示了在增強現實的環境下，因為視域更廣，彈幕可以與視頻隔離開，且不會造成遮擋，又因為增強現實環境中多了深度信息，用戶的視焦點能夠更方便地在不同深度的內容間進行切換。圖1c展示了頭戴式增強現實設備能讓用戶更自然地與彈幕信息進行交互。運動比賽的觀看需要一定的知識儲備，當在彈幕中看到一些專業的術語而又不理解時，用戶可以輕松點選彈幕，浮跡系統會通過網絡搜索并反饋相應知識，幫助用戶更好地理解比賽。

圖1 浮跡系統中的增強現實可交互彈幕功能Fig.1 The AR interactive bullet screen in the Foj system

在單用戶場景中，浮跡系統的第二個功能是增強現實特效文字功能。特效文字比一般文字具有更醒目的效果，能表達更加強烈的感情色彩，這也造成了在二維視窗中特效文字對視頻內容本身的遮擋較大（見圖2a）。在浮跡系統中，增強現實的特效文字相比于平面顯示設備中的特效文字有兩個優點。第一，在增強現實的環境中，因為包含了深度信息，特效文字可以在深度上與原視頻區隔開，造成的干擾較小。第二，增強現實的特效文字可以產生立體效果，也有更多的移動方向，能實現比平面特效文字更多的視覺效果，增加趣味性。

圖2 浮跡系統中的增強現實特效文字功能Fig.2 The AR special effect text in the Foj system

在單用戶場景中，浮跡系統的第三個功能是增強現實跟蹤顯示文字功能（見圖3）。仍以觀看中國女排的現場直播視頻為例，通過人臉識別的技術可以識別出各個隊員的身份，并通過浮跡系統的跟蹤文本顯示，標識出運動員的姓名。用戶可以通過自然交互的方式點擊運動員標識來查看個人詳細信息。這樣對于不是特別熟悉排球的用戶來說，他們實時了解一些相關知識，能獲得更好的觀賽體驗。

圖3 浮跡系統中的增強現實跟蹤顯示文字功能Fig.3 The AR tracking display text in the Foj system

2.2 多用戶社交場景

在多用戶社交場景中，浮跡系統也設計了三種文字呈現功能以增強用戶間的社交活動。第一個功能是語音識別彈幕功能（見圖4）。該功能通過語音識別技術，將面對面交流中的語音信息轉化為文字信息，通過彈幕的形式呈現出來。如此一來，單模態的語音信息變成了視聽雙模態的信息，增強了用戶對于交流內容的理解。而且在增強現實的環境下，用戶可以調整作為支持的文字信息的呈現位置，以減少可能產生的干擾。語音轉化為文字后，用戶還可以實時對相關內容進行檢索，以增進對其的理解；面對特別重要的內容，還能即時標記。

圖4 浮跡系統中的增強現實語音識別彈幕功能Fig.4 The AR voice recognition bullet screen in the Foj system

在多用戶場景下，浮跡系統的第二和第三個功能尤其針對非熟人社交的環境。第二個功能是個人標簽呈現功能（見圖5）。在互聯網時代下，用戶有很多公開信息可以獲取，在不侵犯隱私的前提下，合法地呈現一些公開個人特征，有助于非熟人之間盡快找到溝通話題。尤其是在跨文化交流中，呈現一些文化特征的標簽，能幫助用戶掌握對方的文化習慣，避免一些因為不了解而造成的冒犯對方的問題。同樣地，用戶可以對個人標簽進行編輯、標記和檢索，以增強社交體驗。

圖5 浮跡系統中的增強現實個人標簽呈現功能Fig.5 The AR personal tag display in the Foj system

多任務場景中的第三個功能是情緒信息展示功能（見圖6）。在社交活動中，感知對方的情緒是十分重要的能力。中文里就有“察言觀色”一說，但不是所有人都擅長這一能力。不能準確地識別交流對象的情緒，很可能損害溝通效果。尤其是在跨文化溝通中，不同文化背景中的人對情緒的表露方式不一樣，如何準確地獲知對方的情緒是一個十分重要的問題。隨著圖像識別和深度學習方法的發展，計算機已經能很好地識別不同文化背景下的人的情緒，其識別準確率甚至高過人類。利用情緒識別技術識別情緒，再用浮跡系統對情緒進行實時呈現，有利于用戶進行良好的溝通；而頭戴式增強現實的呈現方式也不會對交流造成阻礙。

圖6 浮跡系統中的增強現實情緒信息展示功能Fig.6 The AR emotion information display in the Foj system

3 浮跡系統原型開發與用戶測試

3.1 浮跡系統原型開發

本研究中，主要開發展示各功能的視頻原型來探索用戶對于各功能設計的態度和意見。展示功能效果的場景動畫主要用Unity 3D完成。在Unity 3D中設置了兩個攝像頭，分別用第一人稱視角和第三人稱視角展現增強現實浮跡系統的呈現效果，以增強用戶測試中參試者的臨場感。動畫中使用的3D模型來源于從Adobe公司旗下Mixamo下載的任務角色模型。該模型的優點是可以自動綁定骨骼，能夠直接使用3D模型完成角色和動作編輯。浮跡系統的功能展示，主要使用Unity 3D自帶的Animator功能，根據用戶測試任務設計的呈現效果來明確Animation觸發的邏輯條件。

3.2 用戶測試方案

測試的目的是評測不同用戶對浮跡系統在兩種場景下六種功能的滿意程度，探索影響用戶滿意度的因素，為浮跡系統的設計提供進一步改進的方案。本階段，浮跡系統的設計主要關注用戶體驗和系統可用性。放開測試的時間限制以盡可能地探索可用性，因此績效指標不是測試任務的關注點。在測試過程中，主要使用主觀評分和訪談匯報的方法，沒有進行生理信息和績效信息等客觀性指標的測量。為提高測試結果的效度，采用定性、定量結合的方式進行分析，將主觀量表的定量結果與半結構訪談的定性結果進行三角論證（Triangulation）。

參試者通過網絡進行招募，并通過網絡觀看原型視頻進行測試。測試正式開始前，參試者需仔細閱讀測試說明并填寫知情同意書。與實驗員溝通充分了解測試內容和要求后，參試者填寫年齡、彈幕使用頻率、社交頻率等基本信息，隨后開始正式的測試。

在測試中，每名參試者被要求通過視頻原型體驗浮跡系統的六種文字呈現功能，每種功能體驗完成后填寫滿意度量表。該量表為五度李克特量表，共包含四個題項的描述，分別是“我可以容易地找到我所需要的信息”“我認為系統的這個功能有效地幫助我”“我認為系統提供了我期望的功能”“總體來說，我對這個功能感到滿意”。將四個題項的平均分作為參試者對于該功能滿意度的打分。

完成針對每個功能的測試和打分后，參試者參與一個簡單的半結構訪談，解釋他們的打分原因，并提出他們對浮跡系統的看法和建議。

3.3 參試者信息

共計25名參試者參與了本次系統原型的用戶測試。在所有參試者中，女性11名，男性14名。20歲以下參試者2名，20～25歲參試者15名，26～30歲參試者7名，31歲及以上參試者1名。曾使用過頭戴式增強現實設備的參試者10名，對增強現實技術有了解的參試者16名。

另外調研了參試者平時對彈幕的使用頻率和社交頻率。從彈幕使用頻率來看，其中12名參試者具有低彈幕使用頻率，13名參試者具有高彈幕使用頻率。從社交頻率來看，14名參試者被認定為具有低社交頻率，11名參試者具有高社交頻率。

3.4 結果分析

3.4.1 滿意度評分結果分析

用戶測試的所有結果都通過R3.5進行分析。首先計算量表的克朗巴哈系數。結果顯示，針對每一個功能的評測打分，其量表的克朗巴哈系數都大于0.8，顯示出參試者的回答內部一致性良好。

在單用戶場景下，重復性測量單因素方差分析的結果顯示，參試者對于三種文字顯示功能的滿意度存在顯著性差異（F2，42=10.71，p＜0.001）。參試者對跟蹤顯示文字的滿意度（平均值=4.69，標準差=0.40）顯著高于對可交互彈幕（平均值=3.92，標準差=0.77）和特效文字（平均值=3.75，標準差=0.96）的滿意度。而在多用戶場景下，參試者對三種不同功能的滿意度沒有顯著性差異。

進一步分析彈幕使用頻率和社交頻率對滿意度的影響，發現彈幕的使用頻率對于參試者的滿意度沒有顯著影響。這表明沒有習慣二維環境彈幕使用的用戶也能對浮跡系統的彈幕功能有較好的滿意度。另一方面，本身的社交頻率對于參試者對情緒展示功能的滿意度有較顯著的影響(F1，22=4.32，p=0.051)。低社交頻率的用戶對于情緒展示功能的滿意度（平均值=4.07，標準差=0.58）顯著高于高社交頻率的用戶對于情緒展示功能的滿意度（平均值=3.20，標準差=1.44）。這表明低社交頻率的用戶可能更不擅長感知社交對象的情緒狀態，他們會覺得情緒展示功能可以有助于社交。評分結果中沒有發現社交頻率對于其他功能滿意度評價的顯著影響。

3.4.2 訪談結果分析

針對單用戶使用場景，很多參試者認為浮跡系統能有效降低彈幕的遮擋，例如有參試者提到“視頻彈幕太多會很糾結要不要開彈幕，如果是增強現實彈幕就會好很多”。另外，大部分參試者都認為跟蹤顯示是一個非常實用的功能，尤其是觀看體育賽事的時候。例如有參試者提到“有時候想看看各種體育賽事，但是都不認識（選手），很喜歡這個功能”“我平時看籃球比較多，要是能跟蹤顯示運動員個人成績的話，會非常方便”。另外，不少參試者還表達了對自定義彈幕顯示方式的需求。

針對多用戶使用場景，參試者的個人看法分歧較大。有兩名平時社交頻率較高的參試者表示“社交是比較私人的，不想讓系統感知到情緒”因此非常不喜歡情緒顯示功能。而另外一些社交頻率較低的參試者則表示，增加個人標簽和情緒感知能有助于和不熟的人進行社交，短時間內找到話題，化解尷尬的氣氛。有一位參試者表示自己特別不擅長“讀表情”，如果有浮跡系統輔助判斷會方便很多。這些結果顯示，浮跡系統的社交功能針對不同的用戶其接受度差異很大。社交活動與用戶隱私息息相關，如何保護用戶隱私并提升用戶的隱私保護體驗是一個非常重要的問題。

4 結語

基于視頻彈幕的呈現方式，設計了通過文本對現實環境進行增強的“浮跡系統”。該系統包括6種不同的文本呈現和交互方式以滿足單用戶視頻觀看場景和多用戶社交場景的使用需求。通過開發相應的功能原型并基于原型進行用戶測試，探索了浮跡系統的使用效果。在單用戶視頻觀看場景中，浮跡系統通過彈幕文字和跟蹤顯示文字增強了個體對現實環境的理解；通過自然交互方式，讓用戶能輕松展開信息檢索；通過特效呈現增強了觀看的趣味性。在多用戶社交場景中，浮跡系統能幫助不擅長社交的個體獲取有效的社交信息，并通過同時提供語音和文字視聽雙通道信息提升社交過程中信息獲取的準確性。總的來說，浮跡系統的設計，解決了二維空間中的彈幕遮擋問題和增強現實環境中大量信息同時呈現的問題，解決了社交場景中虛擬信息的呈現方式問題，是增強現實環境下文字呈現和交互設計的一個嘗試，為今后的增強現實文字系統設計提供了方向。