Animoji表情為什么會這么好玩

技術宅

2017年發布的iPhone X中有一項重要的新功能就是人臉識別和定制表情（Animoji），使用者可以通過iPhone X的前置攝像頭來捕捉人的臉部表情，即時轉為手機可用的表情包（圖1），這個在iPhone X上很好玩的組件，操作起來也非常的簡單。今天我們就來探討一下這背后蘊藏什么樣的技術，看看蘋果通過什么技術手段來實現。

Animoji 臉部表情是這樣到手機的

現在無論是聊天還是留言、發朋友圈，每個人幾乎都在用各種表情包。iPhone X的Animoji功能則可以讓每個用戶的實時臉部表情轉換為手機可用的表情包。在iPhone X上打開信息APP，選擇3D表情圖標，接著將自己的臉部放置于iPhone X的取景框中，然后開始錄制并發送即可。iPhone X的前攝像頭會自動捕捉到用戶的臉部表情，通過這些面部信息，設備就可以讓虛擬形象即時表現出和用戶相似的表情來（圖2）。

看似簡單的背后——臉部追蹤技術解讀

Animoji這個看上去很簡單的功能，背后的研發路程卻頗為艱辛。因為大家知道每個人的臉部表情是非常豐富的，而且它不同于靜態物體，人臉表情總是持續變化，因此沒有一個普遍的運算法可以通用，算法的缺失導致機器很難有效捕捉并識別人臉表情。

在臉部動態追蹤領域，為了可以有效捕捉到用戶臉部數據，最早人們是通過在臉部添加標記點的方法實現?？催^《阿凡達》的朋友都知道，該劇3D人物臉部有非常細膩逼真的表情，這個臉部表情追蹤的幕后功臣就是貼在演員臉部的各種追蹤傳感器。這樣當演員的面部表情發生變化時，這些傳感器會感應到臉部這些變化，并將這些變化傳輸到光學系統中，捕捉系統收到這些變化的數據后會在電腦上建模并生成3D人物表情，這樣才讓《阿凡達》里的3D人物栩栩如生（圖3）。

雖然使用傳感器的方法可以有效地實現對人臉部表情的追蹤和捕捉，但是缺點也是顯而易見的。首先是麻煩，在現實生活中我們不可能為了捕捉臉部表情而在用戶臉上貼上各種追蹤器；其次是投資大，我們需要在捕捉現場配備運動捕捉套件、工作站（用于3D建模）等配套設備。

那么如何在更低的成本、更簡單的環境下實現臉部跟蹤？蘋果的Animoji功能就是一個臉部追蹤技術在手機上的典型應用。為了讓機器可以識別出面部運動，首先機器就必須看懂各種各樣的面部表情。為此蘋果工程師開發了一整套復雜的算法，通過一系列面部數據和表情數據、訓練算法，讓它們建立多個可以描述的靜態3D模型，同時借助人工智能技術自主學習來實現對面部表情的識別和建模（圖4）。

當然由于臉部表情和人種、環境光線、情緒等因素相關，因此這套算法捕捉到的信息里就包含上述這些差異信息。這樣通過這些計算模型，再借助iPhone X集成的深度感應相機的長鏡頭，捕捉掃描到的3D點陣面譜就能和實際的面部表情聯系起來，從而實現了Animoji功能的應用。因此Animoji實際上是硬件（深度感應相機）和軟件（iPhone X內置的識別算法和人工智能技術）在臉部追蹤技術上的一個結合體（圖5）。

臉部追蹤 不僅僅是好玩

隨著iPhone X的發售，Animoji功能讓很多果粉們覺得有趣、好玩。當然面部表情模仿僅僅是個開始，隨著臉部追蹤技術的發展和手機性能的提升，以后在我們手機上借助一張照片和攝像頭，系統就可以打造出真實度極高的虛擬形象，甚至達到能讓人誤以為是真人在說話和做出表情的程度。想一想，以后在微信、QQ、彩信里，想發表情就直接使用自己的實際臉部表情來發給對方，這樣聊天是不是更有趣（圖6）？

當然除了好玩外，其內部蘊含的臉部識別技術其實在我們的生活中還有很多的用處。比如Snapchat照片分享應用，它開發的面部匹配濾鏡功能得到很多用戶的喜愛。 S n a p c h a t支持了iPhone X的原深感系統后，借助Phone X的臉部追蹤技術，它能更精準地匹配面部表情，讓用戶在分享照片時得到更多的樂趣。當然類似的功能還可以在更多的生活場景中得到應用，比如在監控中對運動人臉的識別，通過人臉識別技術來快速找到特定人物等。endprint