基于RK3399平臺的3D人臉建模設計與實現

關耀樞　汪金輝

關鍵詞：醫美；3D建模；RK3399；DSP

近幾年，醫美行業迅猛發展，但目前存在獲客成本高、轉化率低、潛在客戶整形前顧慮較多等痛點，因此基于行業現狀以及發展前景，開發一款基于人臉高精度掃描，得到客戶面部數字化彩色三維高還原人臉模型，通過對模型進行面部特征分析，并按客戶需求進行預整形并呈現最終效果的一體解決方案，才能很好地滿足消費者的需求，帶來更好的應用體驗，占領魔鏡產品的中高端市場，提高用戶黏性，提升品牌認知度。本項目采用瑞芯微新一代應用處理器方案RK3399+DSP 芯片RK1608，RK3399 芯片是一款低功耗、高性能的處理器，集成雙核Cortex-A72+ 四核Cortex-A53 CPU，集成ARM NEON 技術，可增強較多的多媒體應用體驗。另外集成高性能Mali-T860 MP4 GPU，嵌入式3DGPU 使RK3399 完全兼容OpenGL ES1.1/2.0/3.0/3.1、OpenCL 和DirectX 11.1，并且帶有MMU 的專用二維引擎將最大限度地提高顯示性能并提供非常平穩的操作。RK1608 用于對MIPI CSI 信號進行DSP 加速等預處理。方案支持各主流的多媒體解碼、USB3.0、SD3.0、TYPE C 信源輸入；視頻解碼支持H.264/H.265/VP9 等，支持H.264/MVC/VP8 1080P@30Hz 視頻編碼，同時可支持多屏異顯。采用RTK 的codec ALC5616，功放采用ESMT 的模擬功放ESMT52050，同時該項目還具有網絡、多路USB、串口、RS232 接口等功能，完全滿足醫美行業需要的各種性能要求，使產品具備強勁的競爭力。

1 3D人臉建模硬件設計

1.1 硬件系統架構

本項目采用瑞芯微的RK3399+RK1608 集成方案，在核心處理模塊，RK3399 需要將3D CAMERA 采集的USB 數據解碼后再編碼成MIPI DSI 信號發送到RK1608，2D 攝像頭直接將MIPI CSI 信號送入RK1608，經RK1608 做DSP 加速以及預處理后送入RK3399 做ISP 處理，此時需要通過HDMI OUT 轉LVDS 進行屏顯。方案同時兼容3 個2D 攝像頭輸入設計，可擴展性極強。在信號輸入部分，由于芯片內部沒有集成PHY，網絡信號MDI/MDIX 經PHY 芯片轉換成RMII 信號送入主芯片處理。3G/4G 信號需經模塊轉換成USB 信號送入主芯片。SD 以及TYPEC 信號直接送入主芯片處理。USB 信號因兼容設計，部分經過HUB 后送入主芯片。在信號輸出部分，本方案兼容兩路屏輸出（LVDS+EDP），支持雙屏異顯或者同顯，支持HDMI OUT；音頻信號，因RK3399 芯片接口只有I2S 輸出，需要外接CODEC芯片進行轉換成模擬音頻信號，為兼容大功率要求，模擬音頻信號送入功放進行放大后輸出，另外耳機以及MIC 均由codec 芯片進行處理。系統框圖如圖1 所示。

1.2 系統電源框圖

系統采用單12 V 供電，通過PMIC RK808-D 產生核心系統部分供電，通過其他DCDC/LDO 產生其他部分供電，如SY837/SY838/SY8120 系列IC 等，TYPE C供電需要考慮外部3D 攝像頭瞬間抽電需求，因此預留單獨DCDC 供電給TYPE C 接口。整體系統電源框圖如圖2 所示。

1.3 核心攝像頭選型以及設計要素

本方案采用intel 3D 攝像頭+12MPFF 2D camera（sony IMX378），1 200萬像素高清拍攝，100 萬像素紋理貼圖，3 萬深度信息，完美呈現人臉細節，實現3D 精準建模。因RK3399 自帶ISP 處理，支持MIPI CSI 信號輸入，因此2D 攝像頭采用MIPI 接口接入到RK3399，考慮到整機尺寸較大，2D 攝像頭走線較長，約360 mm，而MIPICSI 信號因信號幅度低，容易受干擾，業內普遍建議線材長度不能長于70mm。同時該攝像頭Sensor 功耗較大，對于MIPI 走線（軟FPC 銅線）要求非常高。因此我們對線材進行了優化，包括信號走線阻抗控制，供電走線線寬以及銅厚處理等措施確保2D 攝像頭信號質量，考慮到人臉建模過程中的用戶體驗感，我們設計2D 攝像頭的焦距在45 cm 左右。3D 結構光模組采用TYPE C 接口，因此RK3399 主板同樣采取TYPE C 接口以保證線材的通用性，支持正反插設計，支持固定電壓供電。在結構設計上，需要保證3D 結構光模組與2D 攝像頭的相對位置固定，并且3D結構光模組的視角范圍要小于2D 攝像頭以確保3D結構光的貼圖數據完整。

2 3D人臉建模軟件設計

2.1 軟件系統架構

軟件系統采用安卓8.1，自主開發醫美整形APP，主要核心是將Camera 經過RK1608 處理后的數據通過3D 建模算法形成3D 人臉模型。通過人臉模型可以進行人臉美學分析、整形模擬。其次我們也可以導入客制化的AI 肌膚檢測SDK，實現肌膚檢測功能，并可推薦相關產品。除了整形模擬、人臉美學分析、AI 肌膚檢測，我們還自研商城模塊，可根據人臉分析結果，智能推薦醫美商品，并可后臺配置，在線升級等功能。軟件系統架構如圖3 所示。

2.2 3D建模軟件流程圖

設備開機后，系統先進行初始化以及自檢，正常后直接進入3D 建模APP，此時2D、3D 攝像頭開啟，系統通過2D 攝像頭生成的預覽流實時偵測是否有人臉處于合適位置。當系統檢測到人臉處于合適位置時，提示用戶可以開始建模，用戶點擊確認后，系統打開補光燈，同時開始掃描用戶人臉數據，采樣頻率為30 Hz，待掃描完成后系統會將精確的2D/3D 數據進行貼圖，生成人臉3D 數據模型，接下來用戶就可以根據3D 模型做整形模擬分析等。流程圖如下圖4 所示。

3 結束語

隨著大家對更高生活品質的要求，醫美市場前景非常廣闊，本文簡要介紹了醫美魔鏡的市場現狀以及行業痛點，詳細闡述了通過RK3399 平臺開發來實現3D 人臉建模設計的設計流程以及注意要素，對后續其他品類醫美魔鏡開發具備一定借鑒意義。