面部表情追蹤技術在VR設備中的發展研究

王海榮

摘要：文章對面部表情追蹤技術在VR設備中的發展趨勢進行了研究，首先對面部表情追蹤的原理加以說明，分析了以接觸式傳感器和非接觸式傳感器為基礎的兩種面部表情追蹤技術。并通過對虛擬現實設備發展概況的介紹，著重闡述了VR設備中面部表情追蹤技術硬件系統實現的三種主流類型，并對這三種類型的性能進行了分析比較。探討了以主流的VR頭戴式顯示設備為開發平臺的面部表情追蹤技術在各領域內的應用，并對面部表情追蹤技術的應用前景進行了總結和展望。

關鍵詞：面部表情追蹤;VR設備;接觸式傳感器;非接觸式傳感器;VR頭戴式顯示設備

中圖分類號：TP37 文獻標識碼：A

文章編號：1009-3044（2019）32-0232-04

人的面部表情是人體行為信息的主要體現，在人與人的交流過程中，除了聲音外，面部表情也是至關重要的通信方式，據統計，人類在社交中的信息傳達只有30%是通過語言來實現的，剩余70%是通過表情和肢體動作來實現。面部表情傳遞著情感線索，也是人類生理特征的評價因素，而表情識別是綜合了心理學、生理學、計算機視覺、模式識別的交叉課題，對面部表情的追蹤研究是人工智能的基礎，是未來VR（虛擬現實）的一個重要部分。

虛擬現實技術作為下一代的信息平臺，將面部表情追蹤技術應用到VR設備中，讓VR用戶產生身臨其境的感覺，不僅使人在虛擬的交流平臺上更具沉浸感，也可以通過VR設備來傳遞人類情緒信息，通過對傳遞情緒信息的分析，來判斷人類心理和生理特征，這無論是在通信領域還是在醫學領域都將具備極大的應用前景。近年來，VR設備的發展也為面部表情追蹤提供了良好的平臺，Veeso、Emteq、HTCVivePre、Oculus Rift等一些世界領先的VR頭盔顯示器亮相市場，在業界推動下，滲入到多領域的應用中去。

目前在VR設備中進行面部表情追蹤時還存在很多阻礙，當用戶使用VR頭戴式顯示設備時，面部60%的區域被遮擋㈣，不能實現準確的面部表情識別，很難恢復完整的面部運動。對于這個問題，國內外研究者也給出了不同的解決方案。

1面部表情追蹤原理與實現技術

1.1面部表情追蹤原理

面部表情的實時追蹤在視頻監控和人機交互領域有著廣泛的應用，面部表情追蹤不是簡單的表情識別，面部表情識別是對靜止圖像中的相關特征進行處理并識別，而面部表情追蹤則是研究在連續的圖像幀中定位面部的運動情況，獲取基于位置、速度、形狀、紋理、色彩等有關特征量與面部表情的匹配問題。

1.2VR面部表情追蹤技術

面部表情追蹤即尋找面部特征變化，根據面部各器官的變化來判斷人的情感狀態。目前面部表情追蹤技術都是以硬件為基礎來獲取面部特征，從而還原面部運動。以硬件為基礎的面部表情追蹤技術的基本原理是利用傳感器來檢測面部關鍵器官的運動，借助VR設備來采集相關信息，然后對采集到的信息進行處理。這里將VR設備上面部運動檢測傳感器分為兩種類型，即接觸式與非接觸式形式。

1）接觸式傳感器面部表情追蹤。在VR頭盔內安裝一些接觸式傳感器，緊貼臉部不同的部位，獲取不同器官的運動信息，這對用戶的干擾比較大，面部表情追蹤的準確度也會受到很大的影響。Babiloni F等人通過對腦電信號（EEG）的獲取來追蹤人的面部表情;Gruebler A等人通過電極在人臉側面進行表面肌電信號（EMG）的采集，Nakayama Y等人通過肌電信號的檢測來識別微笑;Roias J、Rantanen v、1wasaki M等人針對人臉能夠體現人類情感的關鍵器官如眼睛、眉毛、嘴巴等的運動檢測。刪來進行面部表情追蹤。

2）非接觸式傳感器面部表情追蹤。目前面部表情的追蹤多采用在VR設備上安裝攝像頭，先利用攝像機獲取人眼、嘴或臉部圖像，然后用軟件來實現人臉或臉部各器官的定位和跟蹤，從而來計算、識別面部表情。攝像設備與用戶非接觸，對用戶的干擾較小，用戶的面部表情能比較準確的體現心理情感。B.Romera-Paredes等人提出了在VR頭戴式顯示設備內置攝像頭，使用戶在遠程端采用動畫的化身來參加會議或聚會，由于相機非常貼近臉部，很難全方位的觀察人臉，而B.Romera-Paredes使用的Kinect深度傳感器很好解決了相機視角有限的問題;K.Bhat等人通過拍攝到的視頻流結合眼瞼和內嘴的輪廓來重建動畫原型;Yanchao Dong等人使用單目攝像機實現實時三維面部運動跟蹤，如眼瞼運動和口腔運動，實現對表隋的分析和心理推斷。

2VR設備面部表情追蹤技術的硬件實現

目前在VR頭戴式顯示設備中引入了面部表情追蹤技術，獲取面部表情的主流方法有三種，一種是相關傳感器的形式，一種是使用攝像頭的形式，還有一種是傳感器+攝像頭的形式。Wolfprint 3D公司利用3D掃描技術為用戶拍出一個高分辨率的3D面部模型，從而通過電腦技術實現數字化重建;Emteq公司通過Emteq面部活動遠程監視眼鏡追蹤用戶的面部表情，并把表情實時顯示到emoji表情中;BinaryVR公司通過3D攝像頭追蹤用戶的嘴巴、下巴和面頰運動，該攝像頭可以識別20種不同的面部表情;High Fidelity使用3D掃描儀和深度傳感攝像頭，結合高端的PC虛擬現實頭顯來進行真實感圖像渲染。

2.1 VR設備面部表情追蹤硬件實現系統類型

VR中面部表隋追蹤技術的三種主流系統：

1）傳感器。這種系統的主流開發團隊是Emteq公司，Em-teq公司的Faceteq臉部追蹤技術即通過應用多種生物傳感器，如肌電圖、心電圖、心率等技術，將其植入VR頭顯中，當臉部肌肉運動時，會通過傳感器追蹤到電流，從而讀取用戶臉部的運動情況。

2）攝像頭。Veeso團隊開發了世界首個公開的可支持面部追蹤的VR頭顯，設備中的一個攝像頭會追蹤用戶的口部、嘴唇和下巴，另一個攝像頭追蹤眼皮、眉毛以及瞳孔，追蹤到的所有數據可實時映射到3D虛擬化身中，實現表情同步。Olszews-kiK在Veeso團隊的基礎上做了進一步的研究，改進的原型如圖1所示：

實現了面部表情跟蹤重建、音頻對齊和頭部運動檢測的功能，而面部表情的跟蹤和重建主要是實現了眼部區域和嘴部區域的跟蹤重建，在面部表情跟蹤重建上，具體硬件系統的實現如圖2所示，2個IR攝像機跟蹤眼部區域的運動，6個IRLED燈安裝在眼睛周圍，便于在光線暗淡的情況下觀察眼部區域的運動;而RGB攝像機則跟蹤嘴部區域的運動。

3）傳感器+攝像頭。Olszewski K團隊則在Emteq公司的基礎上融合傳感器和攝像頭技術，主要功能是實現了面部表情的追蹤和重建。集成原型如圖3所示：

VR設備采用的是Oculus Rift DK2的頭顯設備，與附加的8個應變傳感器實現無縫銜接，應變傳感器用來實現對眼部區域的運動檢測，外掛一個RGB-D攝像頭，用來實現對嘴部動作的檢測，將傳感器與攝像頭分別檢測到的信號進行融合，最后來實現對面部表隋的追蹤和重建。

2.2VR設備面部表情追蹤性能分析比較

VR設備面部表情追蹤應該具備以下性能：首先是面部表情識別的準確性，由于多數VR頭顯設備都會由于設備本身而遮擋住臉部的大部分區域，識別遮擋區域的表情信息是關鍵，這直接影響著數據重建的準確性;其次是VR設備本身的重量問題，所使用的頭顯設備需按照工效學的設計原理，輕便耐用，所添加的傳感器或其他設備不會影響其重量，不會對人類情緒造成外部干擾，能做到無約束;要求實時性，數據采集的實時性，具有實時反饋功能，在表情追蹤和重建上同步性能要好。

以上團隊所使用的VR設備面部表情追蹤硬件系統有著各自的優勢和缺點，Emteq團隊由于只使用傳感器來進行面部表情追蹤，受外部干擾大，準確性欠佳，而Veeso則僅用攝像頭來進行表情追蹤，被遮擋區域的識別效果將受到影響，影響準確性;而Olszewski K團隊在Veeso的基礎上添加了IRLED燈，使光線暗淡處都能被準確地識別，其準確性相對Veeso有所提高，而增加的IRLED燈重量較小，也不會影響整個VR設備的重量;Olszewski K團隊在Emteq團隊的基礎上添加追蹤嘴部區域的攝像頭，準確性、實時性都有所提高，但給整個VR設備增加了重量。將以上性能進行等級劃分，相對情況如表1所示：

3VR設備中面部表情追蹤技術的相關應用研究

VR技術自誕生就備受矚目，現已經在航空航天、軍事模擬、科學計算、游戲影視、醫學教育等領域得到了非常有價值的應用，很多國家已經將VR技術的研究應用提升到戰略地位。隨著VR硬件設備的發展和升級，基于VR設備的應用研究也有了更好的平臺，尤其是VR頭戴式顯示器的活躍發展，VR頭戴式顯示器中面部表情追蹤技術變得更有意義。本節著重介紹VR頭顯設備中面部表情追蹤技術的應用研究，這些應用將對VR面部表情追蹤技術的研究具有借鑒意義。

3.1游戲影視業的應用

無疑目前VR頭戴式顯示設備已成為娛樂界的寵兒，它在游戲界、影視界掀起了不小的浪潮。以三大主流頭戴式顯示器Oculus Rift、HTC Vive、PlayStation VR為平臺的游戲產品已有不少，更多的游戲開發者把眼光投向VR平臺。英國新興VR公司Emteq開發的一項新技術——臉部追蹤技術Faceteq，在游戲玩家通過頭戴VR顯示設備，能夠身臨其境，通過對玩家面部表情的追蹤以數字的化身投入到迷人的虛擬世界中去，能豐富角色扮演游戲的角色情感，又能追蹤表情識別疲勞，實時的提醒玩家休息。2009年由詹姆斯·卡梅隆執導的一部科幻電影《阿凡達》的成功上映，引發了全世界對3D電影制作的熱潮，觀眾在頭戴式VR顯示設備的觀看模式下，有最好的沉浸式體驗。同樣處于世界各地的你在虛擬的平臺上進行遠程交流，在不方便采用真實圖像的情況下，使用虛擬的數字化身進行身臨其境的包含感情的面對面交流將是最好的方式。

3.2醫療行業中的應用

將新技術引人醫療一直是人們關注的話題，人工智能和VR技術的介入都將對醫療行業起到巨大的作用。例如，VR頭戴設備應用于對自閉癥兒童的治療中，Newbutt N等人使用新設計的頭盔顯示器Oculus rift對自閉癥參與者進行測試，通過VR設備研究測試者的意愿、存在感和沉浸感，據悉，斯坦福大學正在開發能夠識別人情緒的軟件，并希望能夠在GoogleProject Glass（谷歌眼鏡）中安裝該應用程序，能透過眼鏡對佩戴者情緒進行識別，這種技術一方面能幫助醫生判斷患者的心理狀況，另一方面也能幫助自閉癥患兒識別并理解他人的面部表情和不同情緒。

3.3旅游業中的應用

VR給用戶帶來“睜著眼睛做夢”的感覺，2015年的F8開發者大會上，扎克伯格為希望去意大利小鎮的觀光者展示了一段VR旅游視頻，觀光者以虛擬方式“實地”考察，如在市場或城市廣場上閑庭信步。如今海灘、叢林、瀑布、金字塔和世界其他奇觀都可以通過VR系統來“實地”體驗。WenlongZhang等人對水下虛擬現實體驗的低成本的頭戴式顯示設備進行了研究，潛水活動需要專業的訓練，即使有了適當的訓練和經驗，潛水活動仍然是一項危險且昂貴的活動，有些人也由于先天的生理不足而不能體驗這項刺激的活動，利用低成本的VR頭戴式顯示設備實現逼真的水下體驗，讓任何人都能身臨其境來體驗這種刺激。

4總結和展望

近年來，面部表情追蹤技術取得了顯著的技術進步，許多國家都在積極研究其在虛擬現實中的應用，尤其是在主流的VR頭戴式顯示設備亮相市場以來，基于此平臺的科研成果已迅速轉化為各領域的實用技術。本文在總結了各類文獻的基礎上對面部表情追蹤原理進行了說明，并分析了以接觸式傳感器和非接觸式傳感器為基礎的兩種追蹤技術。通過對VR設備發展狀況的介紹，闡述和分析了VR設備中面部表情追蹤硬件實現系統的三種主流類型，并對其性能進行了比較分析，以及基于VR頭戴式顯示設備的面部表情追蹤技術在各個領域的應用研究。

以VR頭戴式顯示設備為平臺的面部表情追蹤技術已經得到了學術界和產業界的廣泛關注，無論是在硬件裝置、識別精度、應用開發等方面都得到了快速的發展和提高。雖然VR頭戴式顯示器開發的主流都是國外的團隊，但國內的發展和應用研究也在不斷進步，2017年7月在中國蘇州召開的“虛擬現實/增強現實技術應用與標準化論壇”上，中國電子技術標準化研究院副院長孫文龍在論壇上正式發布了《虛擬現實頭戴式顯示設備通用規范》英文版團體標準，這是中國在虛擬現實領域首個自主制定的標準，同時也是虛擬現實領域內第一個英文版的標準。國內外的研究已取得了一定的成績，但基于VR頭顯設備面部表情追蹤技術的應用研究有待開發更廣泛的應用領域，另外在面部表情追蹤的實現方法和數據處理上，還有很多工作可做，相信隨著計算機技術和高性能傳感器、攝像頭的出現，面部表情追蹤將朝著高準確度、高實用性、實時性和低成本的方向發展。