摘要:針對實現移動視頻監控系統面臨實時性高、運算量大、可用帶寬有限的挑戰,提出一種新穎的以TI DaVinci技術為支持、TMS320DM6446 Soc為基礎的解決方案;完成了相應軟硬件設計,并通過GPRS網絡實現了移動視頻監控的功能。該方案具有實時性高、部署靈活、性能優越、體積小、成本低的特點,隨著3G網絡的開通和手機處理能力的增強,在移動視頻監控領域有著廣泛的應用前景。
關鍵詞:移動視頻監控; DM6446; DaVinci技術; 通用無線分組服務
中圖分類號:TP273.5文獻標志碼:A
文章編號:1001-3695(2008)03-0823-03
數字視頻監控是指通過前端視頻采集設備采集監控現場的視頻信息并進行數字化處理,然后通過傳輸網絡將數據傳送至后端顯示設備[1],供監控人員決策、反應。它具有抗干擾能力強、便于存儲、易于數據壓縮處理等優點,還可在此基礎上實現運動檢測、人臉識別、動態跟蹤、場景理解等增值應用。傳統的數字監視系統由前端圖像采集處理設備(包括攝像頭、PC等)、傳輸網絡、后端顯示處理設備(PC機)等構成,通過有線IP網絡傳輸數據,其存在設備成本高、網絡安裝費用高、部署費時、無法應用于移動場所等缺點。
當監控系統的前端視頻采集設備或后端顯示設備具有移動能力時,稱之為移動監控系統。目前市場對移動視頻監控需求很大,應用場景如下:a)離家在外,需要查看家里孩子、老人情況;b)經理出差,在火車上查看公司運行情況;c)交警通過手機了解其他路口的交通情況;d)醫生對運輸途中的危急病人進行緊急搶救指導;e)保安不必呆在監控室里,移動監控各個監控點;f)許多危險場合的遠程現場指揮等。
目前手機是最方便、最普及的通信工具,能夠隨時隨地使用,而且其處理器能力在不斷提高。如果能夠通過手機實現移動監控,將提供一種通用靈活的解決方案。但是這種方案的實現必須解決以下挑戰:a)高實時性,視頻信號要求低延時傳送;b)高計算量,對視頻信號進行解壓縮處理需要很大計算量;c)帶寬有限,目前GPRS、CDMA無線網絡只能提供30 kbps、50 kbps穩定數據網絡帶寬。
基于上述技術與應用的發展背景,本文提出了一種新穎的基于DM6446的嵌入式移動視頻監控系統的解決方案,解決上述挑戰,實現了強大的視頻監控功能。
1系統總體結構
本系統采用高速雙核TI DM64446 Soc芯片+嵌入式Linux+H.264壓縮算法,解決實時性高、運算量大、可用帶寬有限的挑戰。總體結構如圖1所示,主要由三大部分構成:
a)前端圖像采集處理設備。采用TI(Texas Instruments)生產的TMS320DM6446芯片設計實現嵌入式攝像頭,可以實現實時視頻數據的采集、壓縮、存儲、發送功能,PTZ功能;配上德國BOSCH生產的DS835iT紅外微波探測器,可實現運動檢測、事件報警等。其中最重要的是視頻壓縮算法,本設計采用H.264算法,因為其數據壓縮率比MPEG-4、MJPEG更高,適于在GPRS等帶寬有限的移動網絡上傳輸。
圖1總體結構圖
b)傳輸網絡。采用目前覆蓋率最高的GPRS,其數據網絡帶寬能夠穩定在30 kbps,而CDMA1x的帶寬能夠穩定在50 kbps;無須單獨架設網絡,在較低帶寬的GPRS上的設計同樣能用在CDMA1x上,甚至將即將開通的3G網絡上服務質量提至更高。
c)后端顯示裝置。采用現有具有較高處理能力的智能手機,進行H.264算法的視頻解碼、顯示,實現隨時隨地視
頻監控。
2硬件設計
本系統只需對前端視頻采集終端進行硬件設計。設計以TI公司的最新一代視頻處理芯片TMS320DM6446(DM6446)為中心。DM6446具有高性能的TMS320C64+ DSP(600 MHz)和精簡指令集的ARM926EJS(300 MHz)的雙核體系結構[2],能夠充分滿足視頻處理實時性、運算量的需求。本系統的總體結構框圖如圖2所示,主要包括TMS320DM6446 CPU、視頻捕捉模塊、音頻輸入/輸出模塊、紅外探測模塊、GPRS通信模塊等主要功能模塊;還包括時鐘管理、電源管理模塊、DDR內存、flash、ATA硬盤接口等。以下將對主要的功能模塊設計進行詳細設計分析。
2.1圖像采集模塊
本設計中圖像采集芯片采用Micron公司MT9T001 CMOS數字圖像傳感器芯片。該芯片支持三百萬像的QXGA(2 048×1 536)格式,最高數據率可達48 MPS,片上ADC分辨率為10 bit,通過I2C總線控制即可采集動態視頻又可采集單幀圖像[3]。
DM6446內集成了視頻處理前端(VPFE),能夠為圖像傳感器、視頻解碼器等提供輸入接口。它由CCD控制器、圖像預覽器、H3A控制器、窗口尺寸調整器、柱狀圖生成器組成。其前三者根據輸入視頻產生所需分辨率的預覽圖像;后兩者支持自動調焦、自動白平衡、自動曝光的閉環調節[4,5]。MT9T001與DM6446可直接連接,無須其他解碼芯片,其接口如圖3所示。
圖3視頻輸入接口框圖
2.2音頻模塊
DM6446集成有音頻數據流的雙向McBSP通道,通過設置采樣頻率、采樣寬度、串行數據格式可以支持多種音頻格式。本設計采用TI的TLV320AIC33立體聲編/解碼器,可對超小型駐極體話筒的模擬數據進行采樣、編碼,也可將數字音頻輸出在迷你揚聲器上。音頻接口框圖如圖4所示。
DM6446通過I2C總線對TLV320AIC33的寄存器進行單向設置,利用I2S格式進行雙向聲音數據的傳輸。利用可編程PLL1705 數字鎖相環向AIC33 CODEC提供18.432 MHz的時鐘,通過分頻產生48 kHz和8 kHz的采樣時鐘[6]。
2.3GPRS通信模塊
為通過移動網絡傳輸視頻、音頻數據,本設計采用了Siemens公司的MC35模塊。MC35為 GSM900和GSM1800雙頻GPRS模塊,它體積小,易于集成到便攜式手持終端中,支持Voice、Data、FAX以及SMS等業務;數據接收速率可達85.6 kbps,發送速率可達21.4 kbps(最大的數據吞吐量還依賴于GPRS網絡的支持);供電電源采用3.3~4.8 V的單一電源,可采用DM6446的3.3 V電源;通過RS-232雙向總線直接與DM6446的UART0相連,利用AT 命令進行數據和命令的傳輸[7]。MC35模塊還必須與SIM卡相連接, SIM卡中存有卡號、國際移動用戶識別號、用戶服務表、密鑰、認證算法和防盜個人密碼識別號PIN(personal identity number)等信息,可供GSM系統對用戶身份進行鑒別。同時,用戶通過它完成與系統的連接和信息保存與交換。其連接框圖如圖5所示。
2.4紅外探測模塊和PTZ控制模塊
為實現防盜報警功能,本設計采用德國BOSCH公司的DS835iT紅外微波防盜探測器,它采用先進的信號處理技術,提供了超高的探測和防誤報性能。通過探測區域時,探測器將探測區域內人體的活動,如有動態移動現象,它則向控制主機發送報警信號,探測器會忽略體型較小活動的探測。該模塊一旦檢測到人體活動,立刻發送脈寬為3 s、幅值為3.3 V的脈沖。該脈沖可以通過GPIO通道傳送到DM6446中ARM處理器,引發中斷,進行相應的采集、保存視頻、進行事件報警等處理。
DM6446有71個GPIO信號(54個GPIO[53:0]為1.8 V,17個GPIOV33[16:0]為3.3 V)。其中許多GPIO信號用做帶邊緣檢測的中斷源。本設計采用GPIOV3310作為紅外探測報警信號輸入,設置DIR4寄存器使GPIOV3310為輸入,設置BINTEN允許中斷,設置SET_RIS_TRIG4為上升沿觸發[8]。
PTZ的調節采用步進電機調節,在額定功率范圍內,電機的轉速只取決于脈沖信號的頻率和脈沖數,而不受負載變化的影響,即給電機加一個脈沖信號,電機則轉過一個步距角。DM6446有三個PWM脈寬調制器,可以產生所需的脈沖序列,PWM0用做音頻時鐘信號的生成,PWM1、PWM2未用。本設計使用PWM1、PWM2產生進行平移(pan)、傾斜(tilt)的步進電機的控制信號,輸入步進電機驅動控制芯片,通過PCR、START、RPT、PER、PH1D、CFG寄存器的設置實現[9]。對于焦距(zoom)控制,采用PIOV3311 引腳設置為輸出,控制焦距調整步進電機。
3軟件設計
視頻顯示端(手機端)采用瘦客戶端設計,其開發環境為Motorola A760手機+Linux操作系統+J2ME編程環境和無線開發包WTK2.0,實現視頻的解碼、顯示及相應控制。
視頻采集端(服務器端)是基于TI DaVinci技術進行軟件開發的。DaVinci技術是TI公司為數字視頻提供的一種集成解決方案,它包括高度集成硅芯片、優化的API應用接口、ARM/DSP集成的開發環境CCS3.2(codec composer studio)和系統解決方案等。完整的達芬奇軟件架構涵蓋底層的驅動程序乃至應用 API,使開發人員無須投入過多力量編寫及優化編解碼器或進行 DSP 編程,即能夠實現數字視頻功能,屏蔽了數字視頻實現的復雜性,大大縮短產品的開發周期,降低了系統的成本。服務器端軟件設計主要包括以下幾部分工作:
a)Linux裁減移植。由于目前DM6446只支持Linux嵌入式操作系統,本設計采用MontaVista提供的基于Linux 2.6.10內核的MontaVista Linux專業版4.0。該操作系統具有實時性高、可搶占式多任務并發的特點,能夠充分利用系統資源,完成多任務調度。通過Linux標準API接口(如open、close、read、write等)能夠以簡單直接方式訪問各種外圍設備和視頻源,屏蔽掉許多底層接口細節,加速視頻系統的開發。設計中根據硬件設計編寫必要的底層硬件驅動,實現硬件的初始化、資源管理和為上層應用程序提供服務接口,在交叉編譯環境下重新對裁減過的MontaVista Linux進行編譯。
b)CGI程序。本設計通過Apache Web server下的CGI(通用網關接口)程序實現外部擴展應用程序與Web server交互,給Web 服務器提供一個執行外部程序的通道。CGI程序由客戶端軟件發送的基于HTTP協議的請求和命令觸發,然后將客戶端的請求和命令傳給服務器應用程序;在服務器應用程序完成相應操作后,CGI 程序將結果返回給客戶端。
c)H.264編碼器。這是軟件設計關鍵環節,采用具有高壓縮率、無線傳輸容錯性好的H.264作為編碼方案,在帶寬有限的GPRS上實現視頻傳輸。本設計利用TI高度優化的C64x+IMGLIB提供的圖像/視頻處理函數進行H.264編碼器設計實現。
d)其他程序設計。傳輸模塊利用處于TCP/IP上層RTP/RTCP(實時傳輸與控制協議)將H.264的碼流傳送到客戶端;GPRS通信程序負責短信的收發、GPRS的連網工作;運動檢測、紅外檢測模塊完成入侵檢測工作(由于篇幅所限,程序開發過程不再詳述)。
4實驗結果
本設計以TI的TMDXEVM6446視頻評估模塊為中心,配以TM9T001 CMOS攝像頭傳感器、DS835iT紅外微波探測模塊、MC35 GPRS模塊等搭建設計原型,完成設計目標。利用Motorola A760手機發送短信給采集終端,采集終端接到短信后進行GPRS連接,連接成功后將獲得動態IP以短信形式通知手機(短信發送時間1~5 s,GPRS連接時間3~5 s,獲得IP時間平均約為12 s),手機通過該IP地址登錄監控終端的Web服務器,進行身份驗證、參數設置、PTZ控制和視頻查看。圖6為通過手機監控的實際場景。由于帶寬限制目前只能以5 fps速度傳輸QCIF(176×144)質量JPEG圖像,圖像傳輸延遲在5 s以內。目前基于H.264的視頻編/解碼器正處在優化當中,預計在目前GPRS帶寬下可實現10~15 fps的圖像。在防盜模式下,當監控終端檢測到有人入侵,立刻存儲視頻圖像,同時連接GPRS,發送短信通知手機用戶進現場進行監看(約需10 s時間)。
5結束語
本文提出一種新穎的基于TI DM6446的GPRS嵌入式視頻監控系統的設計方案。該系統實現了身份驗證、參數設置、PTZ控制、事件報警、視頻監看、音頻通信、信息存儲等功能,可廣泛應用于家居看護、車庫監控、遠程指揮、辦公監控等場所。由于帶寬限制系統提供的監控圖像質量較低。隨著我國3G網絡的開通、H.264編/解碼器軟硬件實現和智能手機處理能力的提高,該系統會提供質量更高、價格更便宜的移動視頻監控,有著非常廣泛的應用前景。
參考文獻:
[1]MAHONEN P. Wireless video surveillance: system concepts[C]//Proc ofInternational Conference on Image Analysis and Processing. Venice:[s.n.],1999:1090-1095.
[2]Texas Instruments. TMS320DM6446 digital media systemonchip[EB/OL]. [2007-03-05].http://wwws.ti.com.
[3]Micron Technology Inc. MT9T001 3megapixel digital image sensor datasheet[EB/OL].http://www.micron.com.
[4]Texas Instruments. TMS320DM644x DMSoC video processing front end (VPFE)[EB/OL]. (2007-08).http://wwws.ti.com.
[5]Texas Instruments. Interfacing a CMOS sensor to the TMS320DM642 using raw capture mode[EB/OL]. (2004).http://wwws.ti.com.
[6]Spectrum Digital Inc. DaVinci evaluation module technical reference[EB/OL].(2001). http://www.spectrumdigital.com.
[7]Siemens Inc. MC35 hardware interface description[EB/OL].(2001). http://www.siemens.com.
[8]Texas Instruments. TMS320DM644x DMSoC generalpurpose input/output (GPIO)[EB/OL]. (2005-03).http://wwws.ti.com.
[9]Texas Instruments. TMS320DM644x DMSoC pulsewidth modulator (PWM)[EB/OL]. (2005-03).http://wwws.ti.com.
“本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文”