Animoji表情為什么會這么好玩

技術(shù)宅

2017年發(fā)布的iPhone X中有一項重要的新功能就是人臉識別和定制表情（Animoji），使用者可以通過iPhone X的前置攝像頭來捕捉人的臉部表情，即時轉(zhuǎn)為手機可用的表情包（圖1），這個在iPhone X上很好玩的組件，操作起來也非常的簡單。今天我們就來探討一下這背后蘊藏什么樣的技術(shù)，看看蘋果通過什么技術(shù)手段來實現(xiàn)。

Animoji 臉部表情是這樣到手機的

現(xiàn)在無論是聊天還是留言、發(fā)朋友圈，每個人幾乎都在用各種表情包。iPhone X的Animoji功能則可以讓每個用戶的實時臉部表情轉(zhuǎn)換為手機可用的表情包。在iPhone X上打開信息APP，選擇3D表情圖標，接著將自己的臉部放置于iPhone X的取景框中，然后開始錄制并發(fā)送即可。iPhone X的前攝像頭會自動捕捉到用戶的臉部表情，通過這些面部信息，設(shè)備就可以讓虛擬形象即時表現(xiàn)出和用戶相似的表情來（圖2）。

看似簡單的背后——臉部追蹤技術(shù)解讀

Animoji這個看上去很簡單的功能，背后的研發(fā)路程卻頗為艱辛。因為大家知道每個人的臉部表情是非常豐富的，而且它不同于靜態(tài)物體，人臉表情總是持續(xù)變化，因此沒有一個普遍的運算法可以通用，算法的缺失導(dǎo)致機器很難有效捕捉并識別人臉表情。

在臉部動態(tài)追蹤領(lǐng)域，為了可以有效捕捉到用戶臉部數(shù)據(jù)，最早人們是通過在臉部添加標記點的方法實現(xiàn)。看過《阿凡達》的朋友都知道，該劇3D人物臉部有非常細膩逼真的表情，這個臉部表情追蹤的幕后功臣就是貼在演員臉部的各種追蹤傳感器。這樣當演員的面部表情發(fā)生變化時，這些傳感器會感應(yīng)到臉部這些變化，并將這些變化傳輸?shù)焦鈱W系統(tǒng)中，捕捉系統(tǒng)收到這些變化的數(shù)據(jù)后會在電腦上建模并生成3D人物表情，這樣才讓《阿凡達》里的3D人物栩栩如生（圖3）。

雖然使用傳感器的方法可以有效地實現(xiàn)對人臉部表情的追蹤和捕捉，但是缺點也是顯而易見的。首先是麻煩，在現(xiàn)實生活中我們不可能為了捕捉臉部表情而在用戶臉上貼上各種追蹤器；其次是投資大，我們需要在捕捉現(xiàn)場配備運動捕捉套件、工作站（用于3D建模）等配套設(shè)備。

那么如何在更低的成本、更簡單的環(huán)境下實現(xiàn)臉部跟蹤？蘋果的Animoji功能就是一個臉部追蹤技術(shù)在手機上的典型應(yīng)用。為了讓機器可以識別出面部運動，首先機器就必須看懂各種各樣的面部表情。為此蘋果工程師開發(fā)了一整套復(fù)雜的算法，通過一系列面部數(shù)據(jù)和表情數(shù)據(jù)、訓(xùn)練算法，讓它們建立多個可以描述的靜態(tài)3D模型，同時借助人工智能技術(shù)自主學習來實現(xiàn)對面部表情的識別和建模（圖4）。

當然由于臉部表情和人種、環(huán)境光線、情緒等因素相關(guān)，因此這套算法捕捉到的信息里就包含上述這些差異信息。這樣通過這些計算模型，再借助iPhone X集成的深度感應(yīng)相機的長鏡頭，捕捉掃描到的3D點陣面譜就能和實際的面部表情聯(lián)系起來，從而實現(xiàn)了Animoji功能的應(yīng)用。因此Animoji實際上是硬件（深度感應(yīng)相機）和軟件（iPhone X內(nèi)置的識別算法和人工智能技術(shù)）在臉部追蹤技術(shù)上的一個結(jié)合體（圖5）。

臉部追蹤 不僅僅是好玩

隨著iPhone X的發(fā)售，Animoji功能讓很多果粉們覺得有趣、好玩。當然面部表情模仿僅僅是個開始，隨著臉部追蹤技術(shù)的發(fā)展和手機性能的提升，以后在我們手機上借助一張照片和攝像頭，系統(tǒng)就可以打造出真實度極高的虛擬形象，甚至達到能讓人誤以為是真人在說話和做出表情的程度。想一想，以后在微信、QQ、彩信里，想發(fā)表情就直接使用自己的實際臉部表情來發(fā)給對方，這樣聊天是不是更有趣（圖6）？

當然除了好玩外，其內(nèi)部蘊含的臉部識別技術(shù)其實在我們的生活中還有很多的用處。比如Snapchat照片分享應(yīng)用，它開發(fā)的面部匹配濾鏡功能得到很多用戶的喜愛。 S n a p c h a t支持了iPhone X的原深感系統(tǒng)后，借助Phone X的臉部追蹤技術(shù)，它能更精準地匹配面部表情，讓用戶在分享照片時得到更多的樂趣。當然類似的功能還可以在更多的生活場景中得到應(yīng)用，比如在監(jiān)控中對運動人臉的識別，通過人臉識別技術(shù)來快速找到特定人物等。endprint