智能攝像頭白盒化技術方案研究

［李四維 林健］

1 智能攝像頭發展概況

國內視頻監控市場呈家庭化、民用化的發展趨勢。目前，家用智能攝像頭產品銷量以線上為主，據BCI 數據監測，智能攝像頭市場過去2～3 年快速增長，現已達到平穩發展階段；預計2021 年線上市場將較小幅度增長，如圖1 所示，銷量將達到1 070 萬部。

圖1 國內智能攝像頭線上銷量數據

攝像頭品牌主要分為傳統監控品牌和互聯網品牌，其中互聯網品牌中小米和360 占據較大的市場份額，而傳統品牌中如海康威視和大華等在原有業務的基礎上也加入智能領域，分別推出了螢石和樂橙等專注于智能攝像方面的產品。小米以低價銷售為策略，占據大部分低價格帶市場，螢石則更注重高端化市場。

2 智能攝像頭結構

智能攝像頭的內部主要是在傳統攝像頭的基礎上增加了數字化處理、數字視頻壓縮以及網絡接入功能，即將數字化的視頻信號轉換成符合網絡傳輸協議（如TCP/IP協議）的數據流，以便送到網上傳輸。能夠捕獲影像并直接通過IP 網絡進行傳輸，從而使授權用戶能夠通過標準的基于IP的網絡基礎構架，在本地或者遠程地點實現觀看、存儲和管理視頻數據，或者監聽該攝像機內置麥克風采集的現場聲音。從而，傳感器與處理能力比普通攝像頭要求更高，硬件能力更強。

2.1 硬件結構

常見的智能攝像頭硬件結構如圖2 所示，由前后蓋、PCB 板、鏡頭、紅外補光燈等組成，PCB 板上器件包括芯片、無線模塊、電源IC、電池、傳感器（PIR 人體感應器）等。攝像頭中最重要的是芯片部分，分別為處理芯片和成像傳感器。

2.2 芯片

IPC SoC 芯片集成ISP 技術和視頻編解碼技術，具備高壓縮比的視頻編解碼技術的IPC SoC 芯片將逐步占領市場。主要廠家包括海思、德州儀器、安霸、MStar、國科微、富瀚微、升邁等，可以提供支持H.264/H.265 的IPC SoC，其中H.264/H.265 分4 種畫質，分別是基本畫質、進階畫質、主流畫質、高級畫質。

成像傳感器是將光信號轉化為電信號的裝置，是攝像頭中最為重要的部件之一，分為CCD 和CMOS 兩大類。相比于CCD，CMOS 雖然成像質量不如CCD，但是CMOS 因為耗電低、體積小、重量輕、集成度高、價格低迅速占領市場，目前除專業攝像機，大部分帶有攝像頭設備使用的都是CMOS。

3 智能攝像頭關鍵技術

智能攝像頭的構成與技術相對穩定和成熟，且實現智能攝像頭的監控功能需要軟硬件的密切配合。智能攝像頭的關鍵技術包括紅外熱成像、圖像傳感技術、視頻處理技術、流媒體技術。

（1）紅外熱成像，利用紅外線的成像技術來探測夜間目標，通過光電轉換將目標物體的溫度分布圖像轉換成視頻圖像，可實現夜間和能見度低場景下的監控，完成防煙霧、防火監控，識別隱藏目標和偽裝目標。

（2）圖像傳感技術，利用感光二極管進行光電轉換，將圖像轉換為數字數據，監控攝像頭的畫面傳感從CCD向CMOS 轉變，CMOS 探頭的集成度更高，成本更低。

（3）視頻處理技術，視頻處理分析功能通過人工智能技術實現圖像以及圖像描述建立映射關系，從而進行圖像分析處理，減少降低人工勞動，實現運動目標跟蹤、運動目標分類、運動目標行為分析。

（4）流媒體技術，將音視頻文件經過壓縮處理,存儲在網絡服務器上,通過網絡采用流式傳輸技術分段傳送，客戶端將起始幾秒的數據先下載到本地的緩沖區中，即開始播放，后面收到的數據會不斷輸入到緩沖區,實現即時收看。優點在于用戶不需要花費很長時間將多媒體數據全部下載至本地后才能播放。

人工智能、深度學習等技術持續引入至智能攝像頭，可實現自定義區域偵測、人形跟蹤、聲音跟蹤等功能，但目前智能攝像頭具備AI 能力占比低。隨著人工智能與傳統監控系統的加速融合，傳統的攝像頭正被賦予新的功能與任務。

4 攝像頭前端智能化挑戰

（1）環境約束性強，極端環境下成像質量惡化。智能攝像頭應用場景越來越多時，會遇到強光、反射光、玻璃，或者室內照門口的情況，出現易反光、發白的情況影響監控畫面效果，除了調整攝像頭角度外，普通智能攝像大多不具備這種處理復雜光線的能力。

（2）數據利用率低。隨著安防行業走向高清化與智能化的時代，視頻數據呈指數性增長。采集視圖數據無法充分解析，復雜場景無法有效識別，可用性不足。利用結構化、聚類、大數據挖掘、深度學習等先進技術對超大規模視頻圖片資源進行綜合數據治理，實現從海量視頻數據中匯聚歸檔，簡歷標準化的數據管理體系。

（3）場景碎片化，應用場景長尾化。用戶需求個性化，安防市場呈現出“長尾特征”，由于產品種類型號多、需求零散等，智能攝像頭市場碎片化的形態存在已久。智能化時代到來后，安防行業內涌現出很多AI 感知智能需求的機會，此前未被滿足的客戶需求有了實現的可能，市場空間進一步打開，但碎片化這一特征仍然存在，導致安防企業在市場競爭中很難集中發力。

5 智能攝像頭白盒化技術方案

“白盒化”的概念最早在服務器、交換機等IT 領域出現。為了更好地應對日益增長的新業務需求，智能攝像頭需要一個更加靈活、更加開放、更加智能的解決方案。通過白盒化技術方案實現軟硬分離。可以帶來的靈活度提高是未來網絡架構的發展趨勢，隨著通用硬件的進一步發展，白盒化設備的成本和功耗可能進一步降低。如圖3 所示，智能攝像頭白盒化方案匯聚AI 算法及增強網管功能，AI 算法轉換及打包發布，設備及應用健康與安全監控。采用標準化硬件接口，統一系統及IPC 接口，支持不同型號終端，支持不同芯片平臺。

圖3 智能攝像頭白盒技術方案系統架構

通過AI 算法商城打造開放的合作產業鏈，豐富AI應用，形成可持續運營的產品體系。具體方式包括：第一是開放商城與架構，實現算法公司和第三方開發者外部算法的移植，通過許可（license）或業務分成方式運營；第二是算法轉換與移植，支持采用本地環境和訓練數據實現模型AI 框架；第三是實機/虛擬機調試，實機加載算法進行實際環境測試和調整參數與虛擬機調試，通過云平臺模擬攝像頭算力，導入訓練集測試和調整參數；第四是打包發布人臉識別、人形檢測、寵物檢測等算法到算法商城；按設備需求加載家庭室內、門鈴貓眼、平安農村等應用場景。

運營方、算法公司、第三方開發者可通過在算法商城發布算法，實現商城利潤分成，具體的發布流程如圖4所示。

圖4 AI 算法商城架構

6 智能攝像頭發展趨勢

6.1 軟件定義攝像機帶給行業新顛覆

相較于傳統攝像機因軟硬件綁定而產生的應用局限性，采用智能算法與硬件底座分離的設計理念，在硬件底座算力充足的情況，通過對攝像機前端算法的不斷在線迭代實現一次硬件投資、全生命周期內算法可持續。從架構上，“靈活、開放、敏于管理”的攝像機是軟件定義攝像機架構是一個軟件系統的骨架，要改變的就是傳統的一體化架構，打造一個靈活的、開放的、便于管理的軟件體系。

6.2 芯片、產品功能AI 化

傳統的智能監控設備通常是在硬件上增加一顆CPU芯片-DSP、ARM 或者FPGA，負責完成攝像機內部智能分析算法的運算，能滿足當前的需求，但卻限制了后期攝像機的升級空間。隨著城市場景日益復雜，對于人、車、物的分析深度和廣度要求也越來越高，提升單算法的精度，以及多細分場景下的智能算法并行已經提上日程，算力瓶頸問題開始突顯。專業的AI 芯片算力高，最大功耗低，擁有極致性能低功耗，是最為理想的前端智能芯片。智能攝像頭逐漸步入智能階段，將持續引入人工智能如：自定義區域偵測、人形跟蹤、聲音跟蹤等。開放的OS，全景感知，開放架構，多維感知。

6.3 廠商打造產業生態聯盟，生態逐步豐富

多數廠商推出的智能攝像頭為單品，單一地為攝像頭連接上互聯網監控功能，部分廠商通過產品打造完整和全面的智能家居生態鏈平臺，使其在平臺化、生態鏈化發展方面形成新的格局，是智能攝像頭在發展過程將面臨的趨勢。