基于DM8127全景視頻網絡監控系統設計與實現

李 劍，王五桂，張 鶴

?

基于DM8127全景視頻網絡監控系統設計與實現

李 劍，王五桂，張 鶴

（中國艦船研究設計中心，武漢 430060）

與傳統視頻監控系統只能實現單向監控不同，文章基于TMS320DM8127研究設計了一套反射式全景視頻網絡監控系統，該系統由外殼體、拋物反射鏡面和DM8127數字處理平臺三部分組成。系統工作時，拋物反射鏡面可360度反射周視成像，DM8127數字處理平臺負責系統控制和任務調度，對采集圖像進行展開算法處理和壓縮編碼，然后進行網絡傳輸并遠程顯示。試驗結果表明，該全景視頻監控系統可在單一嵌入式平臺上，實現1920x1080P分辨率、幀率約30幀/秒的實時圖像采集、算法處理、圖像編解碼、網絡傳輸等一體化功能。

全景 拋物面反射 視頻監控 DM8127

0 引言

視頻圖像技術作為人類信息獲取的重要來源，在監控安防領域得到了廣泛應用。但視頻監控技術發展至今，從第一代傳統模擬閉路電視監控系統（CCTV）到當前“模擬-數字”監控系統（DVR），均存在視場小等缺點，容易產生監控死角。或者為了消除監控死角，采用多臺相機組合或云臺監控，增加了視頻數據量和結構復雜性。目前，為了解決這一問題，國內外在魚眼式全景視覺[1-2]、折反式全景視覺[3-5]和反射式全景視覺[6]展開了大量研究。本全景視頻監控系統結合全景視覺技術[7]和第三代IP視頻監控技術，采用拋物反射鏡面可單次水平方向360度視頻監控，基于TI公司DM8127嵌入式數字處理平臺可片上實現視頻實時處理，壓縮編解碼并進行網絡傳輸和遠程輸出顯示，結構簡單，功能完備，在空間探測、機器人導航、安防監控以及船舶甲板監控領域，具有很好的實用價值。

1 系統總體設計

1.1 系統結構設計

為滿足集成化要求，系統采用一體化筒狀結構，總體結構設計如圖1所示。系統主要由三部分組成，即外殼體、拋物反射鏡面[2]和DM8127數字處理平臺。外殼體包括頂蓋、底座以及玻璃保護罩幾部分，起結構支撐保護和透光作用，其中底座由兩部分組成，通過螺紋連接，與DM8127數字處理平臺通過螺栓固連，頂蓋、基座與玻璃保護罩通過強力膠粘接，系統可通過旋轉底座螺紋銜接處進行拆裝。拋物反射鏡面安裝時，必須保證鏡面中心與DM8127數字處理平臺遠焦鏡頭光軸重合，以避免采集的全景圖像偏心。系統工作時，光線穿過玻璃保護罩經拋物反射鏡面反射，透過DM8127遠焦鏡頭在圖像傳感器表面成像。

圖1 DM8127全景視頻監控系統總體示意圖

1.2系統方案設計

DM8127嵌入式全景視頻監控系統可在片上對所獲取的全景圖像進行算法處理，處理后的圖像數據可直接通過方案一高清媒體接口HDMI輸出到顯示器顯示，或者方案二片上先對處理后的原始圖像數據進行壓縮編碼，然后將碼流數據基于網絡發送至上位機解碼顯示，具體如圖2所示。

圖2 DM8127全景視頻監控系統總體方案

2 系統硬件設計

2.1 TMS320DM8127功能組成

TMS320DM8127是TI公司推出的一款高性能異構多核芯片，立足系統高度完成功能設計，將系統級目標處理機制、算法模型、芯片架構、模塊電路、乃至器件設計緊密結合在一起，單顆芯片即可實現整個系統的功能[8]。DM8127芯片內部集成了1GHz的ARM Cortex-A8處理核心、750 MHz的C674x DSP運算核心以及VPSS M3和Video M3兩個圖像協處理器，各處理器核分工如表1所示。

表1 TMS320DM8127功能組成

DM8127數字處理平臺由DM8127處理單元、圖像采集模塊、存儲模塊、外設接口、電源模塊幾部分組成，硬件框圖如圖3所示。圖像采集模塊采用MT9J003高分辨率CMOS采集前端，圖像分辨率最高可達3856x2764。電源模塊采用12V外部直流供電。外圍集成了RS485、RS232、USB、HDMI、千兆網口等多種外部接口，其中RS232接口可通過轉接板供PC端進行用戶開發調試，HDMI接口可將未經編碼或解碼后的圖像數據直接輸出到標準輸出設備進行輸出顯示，千兆網口可用于視頻流數據網絡傳輸。存儲模塊采用512MB大小的DDR3內存，整個內存可分為系統運行內存、共享內存及各處理器專屬內存等多個部分。

3 系統軟件設計

為縮短TMS320DM8127軟件開發周期，TI公司提供了專門IPNC_RDK開發環境。該環境由驅動層、系統層、核間通信層、MCFW層以及應用層等幾部分組成。程序開發時，需對IPNC_RDK開發環境進行交叉編譯移植，然后在MCFW層及應用層進行修改。其中，MCFW層中最主要的是link組件和Chain數據鏈，link組件指TI封裝的最小功能組件，Chain數據鏈指具備完整功能的link組件的有機組合，兩者共同組成應用層usecase程序。

3.1系統開發環境搭建

程序設計前，搭建TFTP及NFS開發環境，TFTP主要用于編譯后的uboot和內核由linux本地向DM8127數字平臺網絡傳輸加載，NFS則是用于掛載本地文件系統便于在線調試，具體如圖4所示。

圖4 DM8127平臺調試示意圖

該過程可通過如下uboot命令實現，具體如下：

3.2系統應用程序開發

為實現全景監控視頻的網絡輸出遠程顯示，需要進行usecase應用層程序設計。為實現上述總體方案，整個圖像數據需經過VPSSM3核采集縮放，如需進行圖像算法，還需經VPSSM3核傳送至DSP核進行算法處理，再傳給VideoM3核進行像素編碼，再將編碼后的碼流數據交給ARMA8進行網絡傳輸。

圖5 3路視頻輸出usecase程序設計

圖5所示，為針對本方案所設計的usecase程序，可支持720x480標清、1920x1080高清兩路視頻直接輸出顯示，還可支持1920x1080網絡輸出顯示。如圖所示，每個link可實現單一功能，圖像數據進出不同處理器核時，需通過IPCLink進行中轉，未編碼數據通過IPCFramesLink進行，已編碼數據通過IPCBitsLink進行核間傳遞，整個Chain數據鏈需經過link組件的創建、啟動、控制、停止和銷毀等過程。然后還基于同心圓展開算法，對全景環形圖像進行了展開還原處理。

3.3上位機顯示程序設計

ARM A8將編碼后的碼流數據發送至上位機后，需開發上位機視頻碼流接收程序，并進行解碼顯示。其中，碼流接收程序主要是對接收到的RTP報文進行解協議操作，并將解析后的視頻數據單元重新打包重組成完整的視頻流數據，然后交給上位機進行FFmpeg解碼顯示，解碼顯示流程圖如圖6所示。

圖6 上位機FFmpeg解碼顯示流程圖

3.4試驗結果

樣機設計完成后，進行了試驗。圖7所示為階段一對未經算法處理的數據通路試驗，圖中顯示器大圖分辨率為1920x1080P，顯示器屏幕右下角小圖分辨率為720x480，視頻幀率30幀/秒，中間部分為系統樣機，兩路視頻通過Mosaic組件同時輸出顯示。階段二，對灰度化后的原始圖像進行了DSP展開算法處理，并對展開后的圖像進行了網絡輸出解碼顯示，顯示圖像如圖8所示。

4 結論

本文研究設計了一套拋物反射式全景視頻監控系統，并對系統樣機進行了試驗。試驗結果表明，本系統可在不增加視頻數據量條件下，快速實現水平方向360度范圍實時視頻監控和片上解算處理，并進行壓縮編碼，實現視頻網絡輸出遠程顯示，具有很好的實際應用價值和意義。但實驗過程中發現，環形全景圖像偏心，且解算圖像分辨率較高時視頻幀率較低，說明系統結構和解算算法還有待進一步優化。

圖7 樣機原始圖像采集2路輸出顯示

圖8 樣機展開圖像網絡輸出解碼顯示

[1] 廖訓佚. 魚眼圖像全景拼接系統[D]. 重慶大學, 2009.

[2] 李劉生. 基于嵌入式的全景視覺移動目標跟蹤系統[D]. 天津理工大學, 2012.

[3] 田曉東. 折反射全景成像系統分析與設計[J]. 儀表技術與傳感器, 2006(4): 48-50.

[4] 程鋼, 熊志輝, 陳立棟, 等. 一種DSP折反射全景圖像實時展開方法[J]. 計算機應用, 2008, 28(9): 2285-2287.

[5] 朱齊丹, 徐從營, 蔡成濤. 船載折反射全景視覺系統電子穩像算法[J]. 吉林大學學報(工), 2015, 45(4): 1288-1296.

[6] 袁于程. RoboCup中型組足球機器人全景視覺系統的研究[D]. 蘇州大學, 2009.

[7] 曾吉勇. 折反射全景立體成像[D]. 四川大學, 2003.

[8] 賈文全, 李勇, 王軍輝. 基于TMS320DM8168硬件平臺的智能網絡視頻監控系統[J]. 計算機與數字工程, 2012, 40(9): 60-62.

Design and Implementation of a Panoramic Network Video Monitoring System Based on DM8127

Li Jian, Wang Wugui, Zhang He

(Chinese Ship Research and Design Center, Hubei Wuhan 430060, China )

TP39

A

1003-4862（2018）02-0057-04

2017-11-20

李劍（1991-），男，工程師。研究方向：計算機視覺。Email：1143286225@qq.com