3D感知引領人機交互應用新方向

文/周路菡

3D感知引領人機交互應用新方向

文/周路菡

在移動端的應用，未來將引導機器人、無人駕駛、體感識別、實景購物、智能家居、3D感知等多個領域的變革，3D感知也將開啟人機交互新時代

蘋果在新一代iPhone發布會上正式推出了“FaceID”面部識別技術，首次在移動終端實現了3D識別以及AR功能。蘋果大規模率先采用3D感知技術，說明3D識別應用已經從實驗室踏入市場，這也讓與3D識別相關聯的所有相關的產業和應用領域，都迎來了真正的革命性的風口。3D識別技術在移動端的應用，未來將引導機器人、無人駕駛、體感識別、實景購物、智能家居、3D感知等多個領域的變革，3D感知也將開啟人機交互新時代。

3D感知應用迎來“超級周期”

2017年9月13日，蘋果在新一代iPhone發布會上推出了iPhone 8、iPhone X等一系列新產品。在這次發布的新產品中，iPhone手機引領新一輪的硬件創新浪潮，其中柔性OLED、雙攝、3D攝像頭、玻璃外觀、無線充電、雙電芯、類載板、聲學升級、SiP封裝、激光加工已成為新的看點。

在所有的硬件中，最被業內人士看好的是在蘋果手機上率先應用的3D Sensing（3D感知）技術。據悉，該技術將重新定義手機的前相機地位，蘋果可能憑借3D感知技術重回創新領導者的寶座。

蘋果手機的3D感知技術之所以成為此次iPhone的最大亮點，主要是其讓一向被長期探索的技術正式進入應用層面。蘋果的3D感知技術原理為使用Light Coding技術，透過紅外線發射器將空間編號，利用打出至空間或物體上的散斑來記錄深度資訊，因此可模擬出3D效果。據悉，蘋果通過手機前端的紅外線原生感攝像頭，投射超過30000個肉眼不可見的光點到人臉之上，并繪制出一個完整的面部3D圖形。據了解，以往Light Coding曾被應用在Microsoft第一代Kinect上，以便偵測玩家動作，如今iPhone將此技術導入人臉辨識應用上，透過3D感測來紀錄使用者的五官外觀特征。而由3D感測驅動的人臉辨識所產生的最直接影響，就是取代了原本由iPhone帶起的指紋辨識功能。換言之，不管在手機解鎖或是Apple Pay使用都將由人臉辨識取代。

根據實際的檢測結果，3D感知技術的應用將大大方便使用者的解鎖步驟。iPhone X可感知用戶只需要看手機就可以讓手機自動解鎖，這樣就在使用者習慣上大大簡化了操作步驟。以往使用者在解鎖過程中需要把手指置于Home Button上，但是有時手指臟污，手機無法辨識指紋，所以還得需要輸入密碼。此外，蘋果的Apple Pay功能也更加方便，因為使用該功能以往需要指紋辨識以達到驗證目的，如今iPhone X的人臉辨識讀取完用戶的臉部資訊后，用戶在手機側邊的睡眠/喚醒切換鍵輕點兩下確認后，就可完成付費程序。

在資訊安全部分，蘋果3D感知技術的應用強調其所采用的人臉辨識功能通過導入機器學習的神經網絡，可以讓安全性較指紋辨識功能大幅提升，容錯率僅1：1,000,000，這也降低市場原本對于人臉辨識在安全上的疑慮。

蘋果在iPhone X上大規模采用感知技術，將徹底激活這一領域，消費電子也將從此進入“AI+AR”新時代，未來會給3D感知技術研發、圖像處理芯片、系統模組等多個產業帶來巨大的市場空間。在這種背景下，可以說與3D感知技術所有相關的產業和應用領域，都迎來了革命性的風口。未來，3D深度感知技術進入消費級智能終端將是大勢所趨，一旦實現大規模應用，將對現有的消費電子產品產生顛覆性的影響，人機交互將進入新時代。

3D感知應用進入成熟期

目前，主流的3D感知成像技術有三種：雙目視覺、結構光技術和時差測距技術（Time of Flight，TOF）。雙目視覺基于立體視覺原理，模擬人眼成像；結構光技術通過收集激光照射到粗糙物體后返回的斑點得到3D圖案；TOF方法通過接收反射回來的光線，由測量時間差算出目標距離。

3D感知成像三種方案各有優缺點。其中雙目視覺方案，軟件算法復雜，技術還不成熟；結構光方案，技術成熟，功耗低，平面信息分辨率高，但是容易受光照影響，識別距離近；TOF方案抗干擾性好，識別距離遠，但是平面分辨率低，功耗較大。綜合來看，結構光方案更加適合消費電子產品前置近距離攝像，可應用于人臉識別、手勢識別等方面，TOF方案更加適合消費電子產品后置遠距離攝像，可應用于AR、體感交互等方面。

2012年以來，3D感知成像開始受到全球各大科技巨頭的重視，值得注意的是，除了蘋果之外，谷歌、微軟、英特爾、索尼、三星等科技巨頭，均在深度相機、體感交互、動作捕捉等領域展開了深度布局，研發先進的3D感知技術。

如2012年左右，微軟收購了3D-TOF相機公司Canesta和3dv；2013年，英特爾推出Real Sense實感技術，谷歌推出Project Tango項目，蘋果收購結構光先驅Prime Sense；2015年索尼收購了3D感知技術綜合技術供應商SoftKinetic，Facebook旗下Oculus收購3D手勢識別公司Pebbles。作為全球消費電子的王者，蘋果公司投入最為積極，早在2010年左右便開始在3D感知技術方面展開布局。2010年9月蘋果收購了瑞典三維圖像識別公司PolarRose；2013年11月以3.6億美元收購了3D感知技術結構光方案先驅Prime Sense，獲得大量專利和技術；在2015年之后，在3D感知技術、人臉識別、圖像識別等方面，蘋果先后收購了Linx、Faceshift、Emotient、Flyby Media、Real Face等多家公司，形成了全面的產業布局。

自 2013 年收購 Prime Sense 之后，蘋果推動 Prime Sense 的3D體感傳感器向小型化方向發展，在3D視覺方面加大投入，不斷推出技術升級和專利布局。其中2015年4月，美國專利局公布蘋果3D手勢控制技術專利，是一種能夠精確識別人手手勢的3D機器視覺系統。2015年7月，美國專利局批準了一項蘋果提交的面部識別專利，名為“低門檻面部識別”，基于前攝像頭捕獲的圖像，然后圖像處理器對該圖像進行處理，隨后便與存儲在參考模塊中的圖像進行對比。2015年10月，蘋果公司關于手勢和面部識別的專利再次出現；2016年7月，蘋果公布新型3D手勢控制專利，是一個3D圖像投影儀，內嵌在一個諸如iPhone手機這樣的iOS設備上，可以識別出用戶的手勢操作；2017年3月,蘋果發布3D感知新專利——利用景深信息進行人臉識別，該專利有望用于下一代iPhone的3D相機系統，該專利的部分技術出自PrimeSense公司。可以說,蘋果公司在3D感知各個方面都進行了深度布局，蘋果移動端3D感知技術已進入成熟期，具備大規模應用的技術基礎。

目前，3D感知技術已經在工業和醫療領域取得成功。根據相關報告，2016年全球3D感知技術市場規模約為13億美元，其中60%為工業級市場。但是由于成本較高，市場空間有限，應用定制化強，并未大規模普及。在工業市場主要用于機器視覺檢測等領域，在醫療市場主要用于機器人輔助手術等領域。

3D感知技術產品在消費級市場的嘗試適于微軟Kinect游戲配件和英特爾Realsense體感配件，但是整體而言，由于缺乏較佳的應用場景，同時技術還不夠成熟，導致目前消費級3D感知技術市場并未激活。

由于蘋果的帶動作用，2017年被認為是3D感知技術元年，預計2018年3D感知技術進入爆發增長期。在蘋果的帶動之下，3D感知技術將打開消費級市場，隨后行業將加速發展，預計2018年在移動和計算領域將會有大量3D感知和傳感產品上市，特別是人臉識別、體感交互將成為3D感知技術獲得突破的關鍵應用，同時AR也是極有潛力的應用領域，無人機和機器人市場也將受益于3D感知技術的崛起。

根據Yole的報告，預計2022年全球3D感知技術市場規模將達到90億美元，從2017年到2022年的復合年均增速將達到38.05%，增長的動力主要來自于消費級市場的放量，預計2022年消費級3D感知技術市場規模將達到60億美元。

3D 感知引導消費電子進入“AI+AR”新時代

目前手機的攝像頭主要用于拍照，但3D感知及成像不只是為了拍照，更關鍵的是要獲取更多的深度信息，彌補2D成像特征信息損失的缺陷，重建真實世界。那么獲取深度信息都有哪些應用領域呢？3D感知成像的創新又在何處呢？

筆者對比后發現，3D感知并不是普通的功能性組件創新，而是電子業在繼圖形界面、觸控之后的第三次人機交互跨越的功能體現。3D感知通過激活光學交互屬性，可以實現二維到三維的交互升級。隨著信息量持續提升，人機交互就開始向更高效、更簡單、更自然方向演進。

通過3D感知深度獲取了更多的信息，意味著用戶可以對真實世界進行更真實、更高質量的圖像描述，配合激增的信息處理能力，商家和用戶就可以圍繞3D建模衍生出多樣化的應用：比如生物識別、AR/VR到機器視覺、自動駕駛、無人機、安防等。

但是在所有的應用領域中，“AI+AR”的深度應用是最值得期待的。蘋果也希望讓3D感知視覺來為蘋果打造的先進AR體驗提供重要支持。

2017年6月，在蘋果全球開發者會議上，蘋果發布ARKit開發平臺，該平臺能夠利用每一部iPhone和iPad上的攝像頭，以及各種傳感器，創造出不同凡響的AR體驗。憑借蘋果龐大的iOS用戶群和開發者群體，ARKit一舉成為全球最大的AR開發平臺。但是，目前該平臺主要基于傳統攝像頭，在AR體驗方面與3D攝像頭相比有較大差距。

蘋果CEO蒂姆庫克強調，AR將是蘋果未來不可或缺的重要環節，有了AR，蘋果的iPhone手機將更加具有吸引力。庫克表示在2017年秋季推出iOS11后，能看到各種各樣的AR應用，目前開發人員正在開發大量基于ARKit的應用和游戲。

3D感知在AR領域應用潛力巨大，提供強大建模能力。對于AR而言，其核心功能是在現實物體上疊加虛擬信息，將真實世界和虛擬世界“無縫”集成，從而為用戶提供真實與虛擬疊加的全新體驗。因此，在AR眾多相關技術中，3D建模是至關重要的，需要借助3D視覺景深相機在現實物體的基礎之上構建虛擬的圖像畫面。

盡管目前ARKit主要利用iPhone、iPad等設備現有的攝像頭實現AR體驗，但是如果iOS設備添加3D感知及視覺功能之后，蘋果將在AR體驗方面全面升級，3D視覺所提供的景深信息和建模能力是現有普通攝像頭無法比擬的，借助3D視覺蘋果的AR體驗將更加出色。

3D感知開啟人機交互新時代

回顧消費電子發展歷程，可以發現真正被用戶認可并買單的技術總是集中在人機交互領域，并圍繞輸入輸出體驗的提升而展開：比如電容觸控、Retina屏、大尺寸屏幕、3D玻璃、指紋識別技術、3DTouch技術、OLED技術、雙攝技術……

從功能上看，3D感知不僅僅在識別精度方面大幅提升，更重要的是打開了更加廣闊的人工智能應用空間。例如利用三維人臉識別可以直接獲取消費者面部表情，通過人工智能技術，可計算出用戶的生理年齡、精神狀態甚至健康程度，這些功能都將為消費電子帶來全新的玩法；人臉識別還可以用于移動端自拍的快速對焦，用戶自拍美顏等功能。所以我們有理由相信人們對交互體驗更高效、更簡單、更自然的追求將帶來更多的3D感知市場滲透率，3D感知的普及力度或將超出市場預期。特別是在以下的市場應用中，3D感知技術將具有非常大的市場空間。

三種主流的3D感知成像技術

在生物識別系統中，3D感知獲取的深度信息可與模型鏈接，迅速精準地完成匹配檢測；在AI領域，機器視覺是人工智能的下一個前沿，而3D感知技術則是機器視覺的關鍵解決方案。

在智能汽車上，3D感知可以用于自動駕駛，通過3D感知技術對行車環境進行感知，從而獲取環境信息以增加安全性，此外還可以用于汽車內的乘客離位檢測。

在家庭娛樂方面，3D感知作為一個性能優異的輸入設備，實現手勢識別功能，為第一人稱游戲提供直觀的接口。

在安防領域，視頻監控中3D感知可以增加深度信息實現全方位的監控，而在人臉識別門禁中導入3D感知則大大提高了其安全性。

在無人機領域，3D感知主要用于避障功能。

更有專家認為，在移動終端應用和用戶體驗方面，3D感知技術蘊含著億萬美元的市場價值。一旦人們習慣了3D感知技術，并與我們所習慣的三維世界相融合，將會在衣食住行等各個生活場景里，爆發出無數應用領域和商業機會。

例如，在2016年4月，阿里巴巴宣布成立阿里GM Lab后，阿里就一直進行一系列商品3D化以及VR/AR展示相關的技術布局。目前阿里以手機淘寶為運營平臺，陸續上線3D / AR主圖、二樓VR店鋪以及AR Buy+掃一眼功能。同時輔以相應的活動推廣，包括AR眾籌、潮玩購物活動、男人節女人節3D購物節、618、雙11等，取得了積極的市場反饋。目前阿里也成立研究機構開始對3D感知與深度神經網絡、循環神經網絡、卷積神經網絡、支持向量結合方面進行深入研究。

另外一家公司易尚展示自2016年開始便與阿里VR/AR團隊進行了接觸并確立了合作關系，同時作為第一家3D感知ISV進駐阿里服務市場，與阿里就如何快速高質量地對商品進行3D數字化重建進行研究與探索。易尚展示深耕3D數據領域多年，成為國內此領域的領軍企業。不久前，該公司收到了科技部關于“三維數字彩色成像測量儀”的立項通知，也佐證了其在國內3D數據領域的龍頭地位。

隨著信息量的持續提升，人機交互始終在向更加高效、更低學習成本、更加自然的方向演進。在新一輪創新周期中，AR/VR、AI大量導入，信息需求和信息處理能力激增，“觸”和“聽”將升級為信息量更大的“看”， 3D感知技術的輸入輸出方式是大勢所趨?；?D感知技術的新模式，未來將會誕生出一批全新的公司，也勢必會誕生出很多具有卓越技術和市場把握能力的獨角獸。