基于RK3399的AI攝像頭軟硬件設計

周勝杰

摘 要：本文設計一款基于RK3399方案的AI攝像頭，主控采用瑞芯微RK3399，傳感器索尼IMX335，攝像頭通過USB接口直連電視，實現4K高清呈現。支持UVC協議，具有行人追蹤功能。

關鍵詞：AI攝像頭；RK3399；IMX335；UVC協議

隨著智能電視的普及和家庭視頻會議、家庭娛樂健身的需求，本文開發了一款基基于RK3399 方案的AI攝像頭，通過USB 連接線直連智能電視，即可實現AI攝像頭和智能電視連接，滿足人們家庭視頻會議、家庭娛樂健身的需求，AI 攝像頭應用系統見圖1。

1 整機系統方案

整體系統方案將索尼IMX335 采集圖像信息輸入到海思RK3399 中，RK3399 對圖像進行編解碼后經過USB 接口輸入到電視，電視顯示圖像，并通過IO 口控制電機，實現AI 攝像頭的升降。為了防止升降電機體驗效果不佳，預留反饋電路，整機系統方案見圖2。

2 硬件系統設計

硬件主控采用RK3399 方案，傳感器使用索尼IMX335，硬件系統框圖見圖3。

RK3399 芯片是一款低功耗、高性能的處理器， 集成雙核Cortex-A72+ 四核Cortex-A53 CPU， 集成ARM NEON 技術，可增強較多的多媒體應用體驗。另外集成高性能Mali-T860 MP4 GPU， 嵌入式3D GPU 使RK3399 完全兼容OpenGL ES1.1/2.0/3.0/3.1、OpenCL 和DirectX11.1，并且帶有MMU 的專用二維引擎將最大限度地提高顯示性能并提供非常平穩的操作。RK1608 用于對MIPI CSI 信號進行DSP 加速等預處理。方案支持各主流的多媒體解碼、USB3.0、SD3.0、TYPE C 信源輸入；視頻解碼支持H.264/H.265/VP9 等，支持H.264/MVC/VP8 1080P@30HZ 視頻編碼，同時可支持多屏異顯。

索尼傳感器芯片IMX335 是一款CMOS 固態的有源像素型圖像傳感器。芯片內部有模擬電壓、數字電壓和IO 電壓3 種類型，其中模擬電壓2.9 V，數字電壓1.2 V，IO 電壓1.8 V。它具有無污跡，低暗電流和高靈敏度等效果。IMX335 內置始終反饋電路，串行驅動電路，寬動態電路，12 位A/D 轉換器。

3 軟件系統設計

軟件采用 DB 架構方案。業務邏輯功能代碼通過媒體處理抽象層調用平臺芯片相關代碼， 根據編譯選項編譯對應平臺芯片的實現。業務邏輯代碼主要分為 Media，UVC， UAC，Upgrade 等模塊; 使用生產者消費者模式來處理圖像幀數據， 生產者與消費者之間通過幀隊列進行數據交互，AI 攝像頭軟件框圖見圖4。

攝像頭數據處理主要包括Media模塊和UVC 模塊。Media 模塊包含YUV Service，Encode Service 和Media Manager。YUV Service： 負責從 VPSS 獲取 YUV 幀數據并放到YUV 幀隊列。Encode Service： 負責從 VENC 獲取 H264 幀數據放到H264 幀隊列。Media Manager： 負責管理 YUV Service 及 Encode Service 的創建，初始化及銷毀。并給外部其他模塊提供分辨率切換，圖像參數設置等接口。UVC 模塊包括UVC Event Service，UVC Data Service和UVC Manager。UVC Event Service： 負責從 V4L2 中獲取解析 TV 端的 UVC 請求事件。比如打開關閉預覽，設置分辨率等。

UVC Data Service：負責從 H264 幀隊列中獲取幀數據，通過V4L2 接口發送給TV。

UVC Manager： 負責管理 UVC Event Service及 UVC Data Service 的創建，初始化及銷毀。

4 結束語

本文硬件采用RK3399 方案，軟件采用 DB 架構，通過傳感器采集圖像，用RK3399 編解碼，通過USB傳輸到智能電視顯示。實驗結果表明，本方案設計的AI 攝像頭應用于家庭視頻會議、家庭娛樂健身，得到消費者的一致好評。