摘 要: 為了實現高清視頻的智能分析功能,設計了一種以TI公司的DM8168為核心的高清視頻智能分析系統,從硬件設計和軟件設計兩個方面介紹了硬件組成、工作流程、軟件架構,并詳細描述智能分析算法的構成、實現和優化。該高清視頻智能分析系統能實現對復雜場景的晝夜不間斷監控,具有架構簡單、可靠性高、誤報警率低等特點。
關鍵字: 視頻智能分析系統; DM8168; 晝夜監控; 硬件設計; 軟件設計
中圖分類號: TN964?34 文獻標識碼: A 文章編號: 1004?373X(2013)22?0090?03
0 引 言
視頻智能分析系統是指以數字視頻處理技術為核心,在傳統視頻監控系統上發展而來的一種新型系統,充分利用了這些年高速DSP、光電傳感器、工業以太網和人工智能等領域的技術成果[1]。視頻智能分析系統除具有傳統安防監視系統的功能以外,還有復雜場景的晝夜監控、不間斷檢測、智能識別及預警入侵目標、自動異常檢測、視頻傳輸、后端回放、誤報率低等特殊功能。
傳統基于PC平臺的安防系統維護成本高、功耗體積大,一般不具備智能視頻分析功能,X86體系的處理器的實時性不強,使用范圍受限制。
目前大部分的視頻監控系統是基于DM642平臺的,少部分采用了DM6467平臺,處理器性能較弱,無法滿足今后的高清視頻智能分析的需求。TI公司在2011年推出TMS320DM8168圖像處理器,內嵌有ARM核和DSP核,ARM核為 1.2 GHz ARM?Cortex??A8 RISC MPU,DSP核為1 GHz C674x?VLIW DSP,帶有SGX530顯示加速器、高清視頻協處理器(HDVICP)、高清視頻處理子系統(HDVPSS)[5]。
本文以美國德州儀器(TI)公司的圖像處理器處理器TMS320DM8168為核心,設計及實現一種高清視頻智能分析系統,能智能分析高清視頻流,對威脅目標具有檢測、識別、跟蹤及預警功能,通過千兆以太網將視頻壓縮傳輸給監控后端。該高清視頻智能分析系統處理器運算能力很強,能滿足多路高清視頻的分析處理和編碼傳輸需求,有很大的實用價值。
本文從硬件設計和軟件設計兩個方面,對該高清視頻智能分析系統進行了詳細的描述。
1 系統硬件組成
高清視頻智能分析系統用于實現對現場大面積的覆蓋監控,以及對目標事件的特寫監控。主要由A/D轉換器、DM8168處理器、電源轉換電路等組成。如圖1所示。
高清視頻智能分析系統采用12VDC供電。電源轉換電路通過TPS54620芯片轉換成5 V,3.3 V和1.5 V三路電壓,然后再轉換給各功能電路需要的電壓供功能電路使用。
高清模擬視頻信號通過YPbPr接口進入系統,由高清視頻解碼器TVP7002進行AD采集,由DM8168的VIP0口捕獲。
處理器DM8168的高清視頻處理子系統(HDVPSS)提供了視頻輸入接口和視頻輸出接口,負責視頻捕獲、顯示、縮放和反交錯處理,視頻輸出接口擴展有HDMI顯示輸出接口。
處理器DM8168的高清視頻協處理器(HDVICP)來處理H.264,MPEG4,MJPEG編解碼。
處理器DM8168的SGX530顯示加速器可以有效提升視頻流顯示速度和質量。
處理器DM8168的DSP內核上完成高清視頻信號的分析、理解,主動提取目標并實現對目標跟蹤。
處理器DM8168的ARM內核運行基于Linux操作系統的應用程序,主要負責系統的控制、通信以及網絡傳輸等工作,輸出報警信號,通過千兆以太網將視頻壓縮傳輸給監控后端,
本設計的工作流程如圖2所示。
2 系統軟件設計
本設計中,處理器DM8168的雙核架構中的ARM內核是主處理器,能引導加載DSP內核,并將預處理后的視頻數據通過SysLink傳送到DSP內核進行處理。SysLink是TI新推出的DSP/BIOS LINK實現,允許在處理器各個內核之間的通信。ARM內核、DSP內核、HDVPSS和HDVICP的通信由SysLink負責[4]。軟件系統架構如圖3所示。
本設計的智能分析算法如圖4所示。智能分析算法由視頻預處理、目標檢測與跟蹤、目標識別與理解、視頻編碼壓縮共4個模塊構成[2]。
在實際應用中,通過視頻輸入接口捕獲的原始視頻由于運動、光照、噪聲等原因,導致原始視頻的信息量過于繁雜,必須對原始視頻進行預處理,提取需要的信息。在捕獲原始視頻后,因為成像的過程中不可避免地受到各種干擾的原因。在本設計中,對原始視頻進行預處理是必不可少的,把干擾因素的影響降到最低,并且把質量較低的視頻進行處理,原因就是直接對待測目標的特征數據庫去提取特征很難做到[3]。
預處理模塊主要包括攝像機標定、濾波、增強與恢復等環節。在使用攝像機之前需要對其進行參數的標定,包括攝像機模型的內部參數和外部參數。
目標檢測與跟蹤模塊主要是把目標從視頻圖像中提取出來,并進行判斷。同時將目標完成的從背景中分割出來,最后實現對目標的持續穩定跟蹤。完成對目標的檢測和跟蹤,是實現更復雜的識別功能的基礎。目標的檢測與跟蹤模塊包括背景建模、目標分割、特征模板建立、目標跟蹤。目標識別與理解模塊內容包括主要包括目標模型建立、目標分類識別、行為理解、識別和模板更新,是在目標檢測與跟蹤模塊的基礎上,進一步研究各目標的性質以及目標之間的相互聯系,并得出對視頻內容的理解以及對客觀場景的解釋。完成目標的鎖定后,通過更為深度的分析和理解和采用基于學習機制的識別和理解算法,進一步研究視頻中各目標的性質。對目標進行分類識別和行為理解,從而指導和規劃行動。
經過目標識別和理解,將分析結果送入決策模塊,送出報警信息。同時,在分析后視頻上疊加標志信息,進行視頻編碼后通過以太網傳輸到監控后端設備。如圖5、圖6所示。
為了優化系統性能,由ARM內核對DSP內核、高清視頻處理子系統和高清視頻協處理器的工作進行精確同步并行,保證ARM內核在預處理N幀視頻、將N-3幀視頻通過千兆以太網送出的同時,DSP內核在分析第N-1幀視頻,HDVICP對N-2幀視頻編碼壓縮,HDVPSS正好采集N+1幀視頻[6]。
3 結 論
本設計在DM8168平臺上設計并實現了高清視頻智能分析系統,構造了較為先進的智能分析軟件算法,該系統能實現對復雜場景的晝夜不間斷監控,具有架構簡單、可靠性高、誤報警率低等特點,滿足今后的高清視頻智能分析的需求,應用前景相當廣闊。
參考文獻
[1] 劉歆瀏,田瑞娟,陳陽,等.基于高速球的運動目標自適應PTZ跟蹤研究[J].兵工自動化,2009,28(9):78?81.
[2] 曾啟明,廖江海,紀震.基于TI OMAP3平臺的多參數監護儀設計與實現[J].電子產品世界,2011,18(4):28?29.
[3] 周建平,劉歆瀏.基于DM3730平臺的智能數字視頻監控系統設計與實現[J].兵工自動化,2012,31(9):78?81.
[4] 張濤,車彥寧,李賀寧.基于DM6467的視頻監控系統設計[J]. 電子產品世界,2013,20(1):66?67.
[5] Texas Instruments. TMS320DM816x DaVinci video processors data sheet [M]. USA: Texas Instruments, 2012.
[6] Texas Instruments. TMS320DM816x DaVinci video processors technical reference manual [M]. USA: Texas Instruments, 2012.