3D視覺成像的下一站

3D視覺成像的三個方向

曾經，智能手機只要做到性能強、網速快、拍照清晰、續航持久就可以了。然而，如今的人們已經不再滿足于“屏幕內的視界”，除了需要拍攝更具立體感的照片，更安全的面部識別/支付、3D試妝、AR裝潢、AR游戲、體感游戲、全息影像交互等需要“3D視覺成像”技術支撐的應用環境（圖1），才是智能手機未來的發展趨勢。

根據原理和硬件實現方式的不同，智能手機領域最靠譜的3D視覺成像技術逐漸衍生出了三個方向，它們分別是雙目立體成像、3D結構光以及TOF技術。下面，就讓我們依次了解一下這三種技術的差異吧。

雙目立體成像：無解的光線

我們去電影院通過立體眼鏡觀看3D電影，就是雙目成像技術的一種表現形式：由于雙眼會有視覺差距，從而呈現出立體的畫面。在手機領域，配備兩顆攝像頭陣列，就滿足了雙目成像技術的最基本要求。

雙攝手機能干啥

如今幾乎所有千元以上的新品都在主打雙攝模塊（圖2），而兩顆鏡頭的組合，也賦予了智能手機在一定程度上偵測物體遠近的能力，可以拍攝出具備硬件級背景虛化效果的照片。此外，以華為/榮耀手機為代表的品牌，在相機APP中還提供了“3D動態全景”模式（圖3）。點擊開啟后，只要按住快門將攝像頭對準被攝物體，然后繞著它沿固定方向移動，松開手即可完成拍攝。

在相冊預覽時，我們只要點擊照片中對應的3D圖標，就能將這張靜止的圖片變成動態的視頻，通過陀螺儀轉動手機，或手指的拖拽移動欣賞拍攝物體的不同角度。總之，在拍攝具備景深信息和3D動態的立體照片，以及時下流行的AR合影和AR萌拍時（圖4），雙攝手機的表現總會優于單攝手機，而這就是類似雙目成像技術背后的功勞。

來自光線的困擾

智能手機所武裝的標準攝像頭能否拍攝清晰的圖像，完全取決于環境的光線，過亮或過暗的光線都會造成識別上的困難。就拿時下流行的“面部識別”功能為例（圖5），無論手機前置攝像頭是1顆還是2顆，其本質上還是2D成像，不僅存在被面部照片或面部視頻“欺騙”的風險，在漆黑環境下也將徹底失效。

為此，很多手機還會額外搭配專用的前置紅外補光單元，從而解決漆黑環境下的面部識別難題。比如小米8，就在屏幕的劉海部分添加了隱藏式的紅外照明原件和紅外相機（圖6）。需要注意的是，紅外補光單元的加盟，依舊無法解決此類手機屬于2D成像面部識別的事實，與iPhone X可以用于安全支付的Face ID不可同日而語。

換句話說，目前智能手機通過雙攝模擬雙目成像技術的方案，最多只能算是2.5D，無論是精準度還是對光線敏感度的要求，都還不足以幫助手機進入真正的3D視覺成像時代。

3D結構光：距離是死穴

iPhone X是一款里程碑式的產品，它在手機領域首次實現了深度機器視覺技術，依靠名為“結構光技術”的硬件模組，實現了對面部信息采集從2D到3D的進化。

淺析結構光技術

簡單來說，iPhone X在采集面部信息時，前置攝像頭基本就是擺設，而是依靠由紅外鏡頭、泛光感應元件和點陣投影器構成的“結構光模具”（圖7）。其中，點陣投影器會發射3萬多個肉眼不可見的光點投影在你的臉部，繪制出三維建模的立體面譜（圖8），紅外鏡頭則會讀取這些點陣圖案，并將信息發送到A11處理器的安全隔離區進行匹配對照，而泛光感應則是確保識別面部不受環境光線的影響。

和前文提到的已經逐漸普及的、基于前置攝像頭和軟件算法實現的2D面部識別方案相比，iPhone X通過結構光帶來的Face ID，具備金融級別的安全等級，因此蘋果才敢讓Face ID在解鎖手機之外，還能用于購買應用以及支付Apple Pay。

如今，結構光技術已經不再是iPhone X的專利，小米8探索版、OPPO Find X等手機都先后引入了類似的技術，從而實現了媲美iPhone X的Face ID能力。需要注意的是，小米8探索版的結構光模塊暫時只能用來解鎖（通過屏下指紋識別用于支付），而OPPO Find X則已支持支付寶刷臉支付的功能。

從技術上來看，iPhone X、小米8探索版和OPPO Find X的結構光模塊大致相同，只是在元器件的叫法、點陣傳感器類型和發射點的數量上存在差異。比如iPhone X將關鍵元件稱為點陣投影器（散斑結構光，可發射3萬個識別點）、紅外鏡頭和泛光感應元件；小米8探索版叫點陣投影器（編碼結構光，可發射3.3萬個識別點）、紅外相機和泛光照明元件（圖9）；Find X則稱為點陣投影器（散斑結構光，可發射1.5萬個識別點）、IR補光燈和IR攝像頭（圖10）。雖然細節上存在不同，但幾款手機在面部解鎖的體驗上卻基本相同。

結構光技術的缺陷

結構光技術幫助手機進入了3D視覺成像時代，但它的實際應用范圍還是相對有限，比如它只能放在手機正面與前置攝像頭做鄰居，目前比較成熟的方案也就是面部解鎖、面部支付、3D美顏以及類似Animojis的3D表情制作（圖11）。而未來結構光的優化方向則是實現3D靜態建模，掃描用戶3D頭像信息用于游戲、3D視頻通話或進行3D打印（圖12）。

此外，結構光的特點是不必獲取被拍攝物體的表面紋理，而是將一簇簇的光線投影到物體的表面，進而通過光線采集物體的位置以及三維縱深等信息。然而，正是因為結構光投射的是一簇簇的光線，如果距離過遠，光線就會發散從而失去識別能力，這也就造成了結構光僅能作用于近距離識別。

無論是iPhone X、小米8探索版還是Find X，只要手機距離面部超過1米左右，解鎖就會失效。當然，現實中手機解鎖時距離我們也就是一臂的距離，并不影響結構光的識別，但如果用于更遠距離的AR/VR交互就有些不夠看了。

TOF技術：未來的趨勢

TOF（Time of flight，飛行時間測距法）同樣是一種用于3D視覺成像的技術，它和結構光一樣，都是通過光線進行物體的識別，但二者在底層技術和識別效果方面卻存在著極大的差異。

TOF技術的原理和優勢

TOF技術的原理，就是通過專用傳感器，給目標連續發送光脈沖，然后用傳感器接收從物體返回的光，最終通過探測光脈沖的飛行（往返）時間來得到目標物的距離。和結構光的點陣傳感器相比，TOF技術在距離和精度上有了極大的改善：

1結構光技術發射的是一簇簇的光線，而TOF技術發射的是一整面光線（圖13），可見有效深度信息點從3萬個提升到30萬個甚至更多。當用戶進行解鎖和支付等涉及安全的操作時，TOF技術可帶來更精細的深度成像，最大限度提升人臉識別的安全性，做到金融級別的安全保護（圖14）；

2結構光技術的最佳工作距離為0.2米到1.2米，而TOF技術的最佳工作距離為0.4米到5m米（理論最高可達10米），更遠的有效距離，可以進一步擴展3D視覺成像應用的范圍和潛力；

3TOF技術的傳感器比結構光模塊更少更小，成本相對更低，也可以簡化手機主板布局，哪怕是僅有屏幕1/3寬度的“劉海”里也足夠容納相關的硬件單元；

4TOF技術既可以與手機前置攝像頭聯姻，放在手機的額頭位置，也能與手機后置鏡頭搭檔，實現背部三攝的豪華布局。

前置TOF設計方案

vivo曾在2018世界移動大會（上海）中發布了前置TOF方案（圖15），并將其命名為“vivo TOF 3D超感應技術”。由于TOF的功能與結構光有所重疊，所以前置TOF設計同樣可以帶來與結構光相似的功能，比如金融級的面部解鎖、面部支付、3D美顏、3D表情、3D頭像建模等，利用TOF有效距離更遠的優勢，在應用范圍和實際體驗上的表現會更好（圖16）。

比如，利用手機將萬物（比如自己的頭像）建模，再將模型與其他虛擬游戲結合，讓玩家自己作為“新世界”的主角，兼顧沉浸式視覺體驗與體感操作的樂趣。此外，在購物方面，TOF可以帶來更真實和精確的3D試衣效果，無需逛賣場試衣就能放心下單。

后置TOF設計方案

OPPO最新發布的R17 Pro屬于后置TOF方案的代表，它在后置雙攝的上方安裝了第三顆鏡頭（圖17、圖18），也就是所謂的TOF模塊，從而將后置拍照從2D時代推向3D時代。

和前置TOF方案相比，后置TOF自然不再適用于面部解鎖和面部支付等功能了，但它在后置鏡頭的3D美顏、AR裝潢、AR游戲、體感游戲、全息影像交互等功能上，卻可以帶來比前置TOF方案更好的體驗。

其中，AR無疑是后置TOF方案的主戰場，因為時下大部分AR應用都是使用后置攝像頭拍攝真實世界的畫面并進行算法識別，然后再進行內容的填充。有了TOF技術加持的后置攝像頭，可以將更完美的3D建模填充到畫面里（圖19），讓AR效果更真實。

理性看待TDF技術前景

對智能手機而言，TOF是比結構光更具前景的3D視覺成像技術，它可以讓手機屏幕從單純的2D畫面轉變到更具空間感的3D畫面，無論是畫面的信息還是內容都將兀然增多。通過TOF模塊與前置或后置鏡頭的搭配，還可以讓TOF更有針對性地滿足具體應用場景的安全和體驗需求。

可惜的是，TOF技術才剛剛進入商業化量產的前期階段，與其搭配的應用環境還不成熟，所以如今它的玩法還不夠豐富，相關手機的售價也談不上性價比，短期內還是屬于偏概念的技術。想讓TOF技術真正爆發，還需要等待5G網絡的普及，屆時TOF搭配更極致的網速和帶寬，它將在3D視頻通話、遠程VR、遠程AR、遠程JR等泛現實迎來殺手級的體驗（圖20）。

讓我們共同期待吧。