基于DM 8168的視頻服務器設計

程勇策，高 喆，張志萍

(中國電子科技集團公司第三研究所，北京100015)

基于DM 8168的視頻服務器設計

程勇策，高 喆，張志萍

(中國電子科技集團公司第三研究所，北京100015)

采用基于DM8168的硬件平臺，利用豐富的外圍接口擴展視頻服務器的各種通訊接口和音視頻接口。在DM8168的DSP中植入以高斯模型獲得背景圖像，以當前圖像與背景圖像差獲得目標，根據目標運動軌跡判斷目標行為的圖像智能分析算法。在ARM中植入Linux操作系統，在Linux上開發的人機交互軟件通過調用DM8168的驅動來控制其各種功能模塊實現圖像壓縮、存儲、回放、多畫面合成、音視頻輸入輸出等功能，以滿足視頻服務器所需的人機交互功能。

DM8168;DSP;ARM;Linux

當前的視頻監控向著多樣化、智能化、一體化方向發展，監控系統中的設備功能也不再單一，而是向著多功能、高度集成、信息融合的方向發展。因此，人們需要高性能、多接口、超大存儲容量、具有簡潔靈活的人機交互軟件的視頻服務器來滿足當前的發展需要。

本視頻服務器采用TI公司新推出的基于達芬奇架構的視頻處理器DM8168，該處理器集成了1.125 GHz的C674X DSP和1.35 GHz的ARM8，利用高清視頻圖像協處理器可以對視頻進行H.264或 MPEG4編解碼［1］。采用DM8168的超強運算能力及豐富的外圍接口來實現具備視頻采集、儲存、回放、畫面分割合成、圖像智能識別、各種接口形式的視頻顯示終端及靈活的人機交互軟件于一體的視頻服務器。

1 系統組成

本服務器以DM8168為核心，利用豐富的接口擴展各種外設，各接口、DSP、ARM之間采用EDMA進行數據交換和共享。系統組成框圖如圖1所示。

1.1 音視頻AD

采用TI公司的TVP5158來對輸入到視頻服務器端的模擬音視頻實現A/D操作。TVP5158支持各種格式的PAL制、NTSC制視頻輸入，單片TVP5158支持4路音頻和視頻同時采樣，每個視頻A/D以27 MHz頻率對輸入視頻采樣，可以配置為108 MHz頻率從A口輸出4路采樣數據［2］。TVP5158附帶的音頻AD以64 kHz的采樣率對4路音頻同時進行采樣，使每路音頻的采樣率達到16 kHz。

DM8168通過I2C總線控制4片TVP5158，使其對16路音視頻同時采樣，16路音頻數據通過TVP5158音頻級聯功能，進行I2S編碼后通過一片TVP5158輸出到DM8168的 MCASP0接口上;配置 4片 TVP5158以BT656格式輸出視頻數據，4個視頻輸出A口分別連接到DM8168的2個視頻數據輸入口，由此可以大大減少DM8168硬件接口的開銷。

1.2 語音編解碼器

視頻服務器的本地語音輸入輸出采用AIC3104語音編解碼器。AIC3104具有兩個信噪比達92 dB、采樣率高達96 kHz的專用音頻A/D和兩個信噪比達102 dB、采樣率高達96 kHz的專用音頻D/A，音頻A/D和D/A均支持6路立體聲同時轉換，輸出方式可以配置單端和差分方式［3］。A/D前端和D/A后端連接運放，輸入可直接連接MIC或傳聲器，輸出可以直接驅動耳機或揚聲器。

圖1 視頻服務器系統組成圖

DM8168通過I2C總線控制AIC3104進行采樣和D/A轉換，通過MCASP1口與AIC3104進行語音數據收發。當視頻服務器本地錄音時，DM8168獲取A/D數據進行編碼保存，當視頻服務器處于回放時，DM8168解碼后將數據發送給AIC3104進行D/A轉換，當視頻服務器處于實時監控時，AIC3104對輸入的語音信號放大后直接輸出。

1.3 開關面板

DM8168自帶有一個4×4的鍵盤掃描接口，操作十分方便，但是當開關面板開關數量超過16個，或者需要在面板上擴展數碼顯示管時，DM8168不能完全滿足需求。因此，本視頻服務器采用一種簡單、靈活、可靠的開關面板設計。

開關面板采用PCF8574來實現I2C總線轉I/O，采用多片PCF8574來實現5×5開關矩陣，并將多個發光二極管連接在I/O口上，同時通過I/O口設置MC1543來驅動LED，DM8168通過I2C 2口讀寫開關面板來實現鍵盤掃描、狀態燈設置、LED驅動，其原理如圖2所示。

圖2 開關面板原理框圖

1.4 串行通信接口

DM8168含3個串行通信接口UART。UART1通過MAX3231轉換為標準的RS232通信接口，實現與上位機的通信;UART2通過MAX488轉換為標準的RS422通信接口，可用來實現視頻服務器與其他設備之間的通信;UART3通過SN65HD08轉換為標準的RS485通信接口，用來實現視頻服務器與云臺之間進行通信。

1.5 視頻輸出接口

DM8168提供了多種視頻輸出形式的接口:1個HDMI視頻輸出接口;4個標清 DAC視頻輸出 IOUTD，IOUTE，IOUTF，IOUTG;3個高清DAC視頻輸出IOUTA，IOUTB，IOUTC。采用 6通道視頻運放 THS7360對DM8168的6個視頻DAC進行視頻驅動，THS7360的3個標清視頻運放配置為CVBS，S-Video視頻輸出接口，3個高清視頻運放配置為VGA或YPbPr高清分量視頻輸出接口，如圖3所示。

采用TPD12S512驅動DM8168的HDMI視頻接口后，視頻服務器的HDMI接口輸出HDMI 1.3標準電平，實現與HDMI接口的顯示設備直連。TPD12S512不僅是視頻驅動器，還是ESD防護設備，可以防護高達8 kV的靜電。

DM8168有兩個高清數字視頻輸出口，采用其中一個數字視頻輸出口與SIL9134連接，DM8168通過I2C2總線控制SIL9134，使其將高清數字視頻輸出轉換為標準的DVI數字高清接口輸出。

1.6 以太網接口

DM8168集成了兩個10 Mbit/100 Mbit/1 000 Mbit自適應千兆以太網EMAC，通過擴展ET1011C作為千兆網PHY設備，可實現視頻服務器的以太網通信，兩個以太網接口讓視頻服務器支持高達2 Gbit/s帶寬的網絡吞吐能力。

圖3 模擬視頻接口圖

1.7 SATA接口

DM8168帶有兩個集成了PHY的SATA3.0串行硬盤驅動接口，可以直接連接兩個硬盤。為了增加視頻服務器的存儲能力，本設計采用JMB321B作為SATA擴展器，將單個SATA接口擴展為5個SATA接口，使視頻服務器可以同時連接10個SATA硬盤。

1.8 USB接口

DM8168支持兩個USB 2.0接口，每個USB接口帶有PHY，USB1直接連接USB插座，設計為高速USB接口，用于視頻服務器對外部USB存儲設備的高速訪問。USB2通過USB HUB專用芯片USB2514擴展為4個USB接口，用于鼠標、鍵盤等相對低速的USB設備訪問視頻服務器。

2 處理流程和任務分解

2.1 處理流程

視頻服務器不僅支持NVR，更是支持模擬視頻輸入的DVR，可同時支持數字系統和模擬系統。數字輸入和模擬輸入同時處理，處理流程如圖4所示。

圖4 視頻處理流程

2.2 任務分解

視頻服務器功能及任務繁多，同時DM8168資源豐富，需要充分利用資源，合理調度各資源完成不同的任務，讓DM8168的DSP和ARM協同工作。本著硬件資源充分利用、操作控制方便靈活的原則，對DSP和ARM進行任務分配。在DSP中實現圖像處理算法，完成圖像智能分析功能。在ARM中植入Linux操作系統，在Linux中開發人機交互軟件，并通過調用驅動訪問DM8168的外圍資源，不僅降低了系統的開發難度，還可以實現靈活多變、簡單方便的操作控制。通過I2C總線配置音視頻輸入解碼芯片和掃描鍵盤，控制HDVICP2模塊對視頻進行H.264編解碼，控制SGX530 3D圖形引擎進行多畫面合成，控制HDVPSS模塊進行圖像縮放、字符疊加，控制SATA總線存儲訪問壓縮視頻，通過驅動設置串口、USB、以太網等接口與其他設備或上位機進行通信。

DSP完成的功能:圖像智能分析。

ARM完成的功能:1)控制音頻、視頻輸入輸出; 2)多畫面合成;3)網絡視頻解碼;4)圖像壓縮編碼存儲;5)視頻查詢及回放;6)外部通信接口控制;7)人機交互。

3 DSP設計實現

視頻服務器根據用戶要求，對重點監控區域的輸入圖像進行目標入侵、穿越警戒面、進入區域、離開區域等行為進行智能分析，并在出現上述行為時發出告警。

圖像智能分析的種類雖然很多，在本設計中采用相同的圖像處理算法，通過判斷運動目標行為軌跡來實現不同行為的智能分析。采用記錄用戶輸入的圖像區域選擇，通過高斯模型獲取背景，通過圖像與背景差分獲得運動前景分割出目標，從而計算出目標位置并生成目標軌跡，當目標出入用戶輸入區域時［5］，結合目標軌跡來判斷目標行為，發出相應的告警。其處理流程如圖5所示。

圖5 智能分析流程圖

3.1 背景獲取

背景選擇對目標的分割顯得尤為重要，此處采用高斯模型來獲得背景。如果某點或某區域為圖像背景，其灰度概率密度函數分布滿足高斯特性，滿足高斯分布的隨機變量四階統計量為0［4］。根據上述特性，使用以下算法可以獲得背景區域。

首先對第n幀和第n+1幀圖像做差分運算

將結果分為C個子塊，塊大小為W×W，記為{Bk (i)}(i=0，1，…，C-1)。求出每個子塊的能量E和四階統計量H4

當滿足式(4)時，該子塊為背景。

在不同幀圖像中相同的位置子塊均檢測出為背景時，對該子塊內各像素取平均值后作為背景。

式中:l為在L幀圖像中檢測到特定子塊的數量;d(x，y)為獲取的背景在(x，y)處的灰度值;dn(x，y)為第n幀圖像在(x，y)處的灰度值。

3.2 目標分割

利用背景差分的方法來獲取運動目標，實現目標的分割，采用當前的圖像灰度值減去背景圖像灰度值，然后用式(6)對圖像進行二制化即可分割出目標

式中:T為分割閾值。

3.3 位置計算

為了避免目標在運動過程中受到形變、旋轉等因素影響，采用目標重心作為目標的位置

3.4 目標軌跡生成

連續記錄某目標在圖像中的位置，當目標進入或離開用戶指定區域時，目標在n幀圖像的位置序列{(x1，y1)，…，(xn，yn)}經過線性運算可以判斷目標的運動方向角度，結合目標當前位置(Δx，Δy)和運動方向角θ可以分析出目標的行為狀態。

4 ARM設計實現

4.1 控制音視頻輸入輸出

利用TI官方提供的Linux內核，配置DM8168的Linux音頻驅動，調用音頻驅動控制ARM，使其通過I2C 1接口控制 AIC3104語音編碼器，配置其采樣頻率為16 kHz，采樣精度為10 bit，工作在TDM模式下。ARM通過MCASP1接口采用AIC3104的DSP串行總線模式向其發送音頻數據，傳輸時序如圖6所示，AIC3104進行D/A后輸出雙聲道語音信號。

圖6 MCASP1通訊時序

ARM通過外部數據總線控制DM8168的HDVPSS (高清視頻處理子系統)，可以靈活方便的控制各種視頻輸出接口并完成字符疊加功能。HDVPSS包含顯示處理、字符疊加、視頻編碼、視頻DA、HDMI發射器功能模塊。DSP控制顯示處理單元使不同分辨率的輸入視頻進行縮放，以滿足輸出視頻格式的分辨率，顯示處理單元可以同時對2路1 080p@60 Hz的高清視頻進行縮放，因此，利用顯示處理單元強大的視頻縮放能力，可以實現不同的視頻輸出口顯示不同的視頻。

4.2 多畫面合成

多畫面合成是指將多路視頻合成在一個畫面上輸出顯示，常見的為4畫面、9畫面、16畫面合成，多畫面合成原理是將各輸入視頻按水平和垂直方向上進行抽點，將圖像縮小到一定比例后重新排列各圖像組成單幅圖像進行顯示。

DM8168包含一個SGX530 3D圖形引擎，調用視頻驅動控制ARM調用操作該圖像引擎，利用SGX530圖像縮放、并列窗口處理能力，將各輸入視頻依次進行縮小、存放在窗口中，以此達到多畫面合成的目的。

4.3 視頻編解碼及存儲

按照圖4的視頻處理流程，視頻編解碼及存儲分為模擬視頻和數字網絡視頻。模擬視頻經過視頻AD后進行H.264編碼后存儲在本地硬盤，網絡視頻則從網絡接收后直接存儲在本地硬盤上。

在ARM的Linux開發環境中加載Encoders/Decoders and other helper chips視頻驅動程序，調用視頻驅動中的H.264encode()函數控制HDVICP2高清視頻圖像協處理器對模擬視頻 A/D采樣后的數字視頻進行H.264壓縮編碼，壓縮編碼采用D1分辨率。加載以上視頻驅動后，調用H.264decode()函數可以將需要用于顯示或畫面合成的網絡視頻進行H.264解碼。DM8168含有3個HDVICP2高清視頻圖像協處理器，每個圖像協處理器可以對1 080p@60 Hz的高清視頻進行編碼或解碼，因此，視頻服務器支持同時對36路視頻進行D1分辨率的編碼，或同時對7路1 080p@25 Hz的高清網絡視頻進行H.264解碼。

在ARM的Linux開發環境中加載SATA Port Multiplier support和Platform AHCI SATA support驅動程序，調用文件操作函數在SATA硬盤中創建基于視頻通道和時間標識的H.264文件名，將壓縮的視頻媒體流直接寫在文件中完成視頻存儲。

4.4 視頻查詢及回放

利用Linux文件系統函數，根據視頻文件名中的通道和時間標識查找定位視頻文件，獲得文件的絕對路徑和完整文件名，打開文件獲得壓縮視頻流，調用H.264視頻解碼功能和視頻輸出顯示控制功能完成視頻回放。

4.5 外部通信接口控制

視頻服務器的外部通信接口包含串行通信接口、USB接口、以太網接口。通過加載各通信接口相應的驅動程序，調用配置函數設置各通信接口的通信方式、通信速率、通信地址及通信時序等，實現視頻服務器與上位機或其他設備之間的通信。

4.6 人機交互軟件

ARM開發系統安裝的操作系統選擇為 ubuntu10.04LTS，desktop版本，進入系統后安裝GCC標準的C、C++編譯環境，安裝交差編譯器cross后在bash文件中配置環境變量［6］。從TI官網下載并安裝arm-linuxgnueabi-dvs8168內核包，配置好驅動后完成內核模塊編譯，搭建完成開發人機交互軟件的交叉編譯開發環境。

要開發出靈活美觀的人機交互軟件，必須采用圖形界面的形式，由于視頻服務器的功能很多，圖形界面的開發頗為復雜，為了降低開發難度，采用Linux下的GUI來實現圖形界面的開發，本設計中采用的GUI為QT，開發出的人機交互軟件如圖7所示。

圖7 人機交互軟件效果圖(截圖)

5 測試結果及結論

本文采用的SGX530 3D作為多畫面合成引擎，得出的4畫面合成效果如圖8所示。圖像智能分析結果如圖9所示，對圖9a源圖像以高斯模型獲得的圖像背景如圖9b所示，以源圖像與背景圖像差得到的目標圖像如圖9c所示，最終獲得的目標軌跡如圖9d所示。

本文采用的視頻服務器通過DM8168內部的C674X DSP實現圖像智能分析，通過ARM控制各協處理器和外圍功能單元完成了圖像壓縮、存儲、縮放、輸出等功能，實現了視頻服務器應具備的高性能、多接口、多功能、大容量、靈活的人機交互的要求，滿足視頻監控領域發展的需求。

圖8 四畫面合成效果圖(截圖)

［1］Texas Instruments.TMS320DM816x DaVinci technical referencemanual［EB/OL］.［2014-08-12］.http://www.ti.com.cn/cn/lit/ug/ sprugx8b/sprugx8b.pdf.

［2］Texas Instruments.TVP5158 four-channel NTSC/PAL video decoders datamanual［EB/OL］.［2014-08-15］.http://www.ti.com.cn/cn/ lit/ds/symlink/tvp5158.pdf.

［3］Texas Instruments.TLV320AIC3104 low-power-stereo audio codec for portable audio/telephony［EB/OL］.［2014-08-18］.http:// www.ti.com.cn/cn/lit/ds/symlink/tlv320aic3104.pdf.

［4］魏巍，李志慧，趙永華，等.基于智能相機的混合交通流檢測方法［J］.吉林大學學報:工學版，2013，43(4):866-869.

圖9 圖像智能分析結果圖(截圖)

［5］鄭素貞，方向忠，王慈.數字視頻智能編輯算法研究［J］.電視技術，2010，34(6):16-18.

［6］何世曉，杜朝暉.Linux系統案列精解［M］.北京:清華大學出版社，2010.

Design of Video Server Based on DM 8168

CHENG Yongce，GAO Zhe，ZHANG Zhiping
(The Third Research Institute of China Electronics Technology Group Corporation，Beijing 100015，China)

Based on DM8168 hardware platform，the communication interface，audio interface and video interface of video server is extended by using abundant peripheral.Embedding gaussmodel to obtain the background，difference between current image and the background image is obtained as target，according to the target trajectory judgment target behavior，intelligent image analysis algorithm is achieved in DM8168 DSP.In order tomeet the video server for powerful and flexible operation of the human-computer interaction function，Linux operating system is embedded in ARM，the human-computer interaction software is developed on Linux by calling DM8168 driver to control the various functionalmodules to realize image compression，storage，playback and image synthesis，audio and video input and output，and other functions.

DM8168;DSP;ARM;Linux

TN87;TP23

A

?? 薇

2014-09-15

【本文獻信息】程勇策，高喆，張志萍.基于DM8168的視頻服務器設計［J］.電視技術，2014，38(23).