基于OMAP3530 的嵌入式網絡視頻服務器

張 帥，蔣華龍，黃學達

(1.南陽師范學院，物理與電子工程學院，河南 南陽473061;2.重慶重郵信科通信技術有限公司，重慶400065)

0 引 言

數字視頻服務器(Digital Video Server，DVS)是一個復雜的系統，它以流媒體技術、視頻編解碼技術、因特網通訊技術為基礎，以視頻信號采集、壓縮、存儲、傳輸和播放為核心，以圖像分析為特色，是以后視頻采集壓縮設備發展的新方向，廣泛地應用于安全生產、樓宇安防、火災監控、視頻會議等場合。它的主要作用是對采集的視頻圖像信號進行壓縮，在確保一定的重建質量的基礎上，使用盡量少的比特數來代表視頻信息，從而降低視頻信號對傳輸帶寬和存儲容量的要求。

為了實現上述目標，必須解決以下問題:①需要有支持實時多媒體處理的硬件平臺;②需要有先進的視頻壓縮標準。由TI 公司推出的新一代的OMAP 3530 嵌入式多媒體處理器，采用ARM+DSP 雙內核及3D 加速設計，具備一流的數字信號處理性能和微處理器功能，支持MPEG4、H.264/AVC，并能實現與ITU-R 656 視頻編解碼器的無縫連接，使用該處理器能夠很方便地構建視頻服務器系統，加快產品的開發速度，降低成本。

本文討論和分析了基于OMAP3530［1］處理器和Linux 操作系統的嵌入式網絡視頻服務器的基本結構及具體的實現方法。

1 系統總體結構

該網絡視頻服務器具有以下3 個特點:①整體方案采用ARM + DSP 的雙核結構;②采用H.264 標準作為視頻壓縮編碼標準;③采用開放的Linux 操作系統。系統總體結構如圖1 所示，主要由視頻輸入/輸出模塊、音視頻信號處理模塊、音頻輸入/輸出模塊、以太網通信模塊、存儲模塊構成。具體工程流程:首先服務器端OMAP3530 的ARM 內核通過驅動程序啟動攝像頭進行視頻采集→由CCD 攝像頭獲得的模擬視頻信號經視頻解碼器轉換為數字視頻信號→ARM 內核利用DSP/BIOS Link 將得到的視頻信號傳送給DSP 內核→OMAP3530 的DSP 內核利用優化后的H.264 編碼器對視頻流進行H.264 編碼→再把編碼后的視頻流回送給ARM 內核→最后ARM 內核通過嵌入式Linux操作系統的RTP/RTCP 協議棧，將數據打包，并運行Web 服務器，等待客戶端通過網絡訪問數據流。另外系統可以通過以太網接口獲取遠程終端的控制數據，對攝像頭進行控制及參數設置。考慮到進程監控的需要，可同時將數字視頻信號直接輸出到TV 或LCD 等顯示設備上。

圖1 視頻服務器的結構框圖

2 系統硬件設計

系統的視頻輸入模塊采用模擬CCD 攝像頭，由于CCD 攝像頭輸出信號為模擬信號，處理器不能直接處理，因此需要視頻解碼器完成視頻信號的數字化，考慮到產品的兼容性，視頻解碼芯片選擇TI 公司的視頻解碼器TVP5158［2］，它具有以下的優點:①在同一芯片上集成了4 個獨立的視頻解碼器，可接收4 路復合輸入或8 路獨立的攝像輸入［3］;②能夠與OMAP 器件直接連接;③4 個集成視頻解碼器通過I2C 總線可同時或單獨編程;④采用TVP5158 可以構建多通道系統，對多個TVP5158 進行級聯，可以實現多路視頻輸入，大大減少板級空間與布局復雜性;⑤TVP5158 具備內置獨立視頻縮放器，承擔了縮放功能，從而為視頻處理器節省了寶貴的處理能力。在該系統中OMAP3530通過I2C 接口對TVP5158 進行相應的配置并啟動，TVP5158 負責將攝像頭輸出的PAL/NTSC 格式的模擬復合視頻信號轉換成BT656 格式的數字視頻信號，然后通過CAM 接口送給OMAP3530 進行相應的處理。如果系統采用的是數字攝像頭，則不需要進行轉換，可直接連接到 OMAP3530 的 CAM 接口。由于OMAP3530 的內部集成了DAC，可以將數字視頻信號直接轉換為PAL/NTSC Video，所以外部監控顯示設備可以直接連接到OMAP3530 的TV/DSI 輸出接口。

系統的視頻信號處理模塊采用TI 公司的OMAP3530，該處理器集成了600MHz 的ARM Cortex-A8 內核與430MHz 的TMS320C64x +的DSP 內核，內置圖形加速器，支持數字高清1080p 視頻播放，廣泛應用于便攜式消費類產品、視頻監控、多媒體智能設備、醫療影像、工業控制等領域。該處理器的特點在于把需要大量計算的數據進行合理的分配，數據送到DSP內核中進行單獨處理，而不需要占用到ARM 內核的太多運算資源，因此當系統需要即時處理數據時，ARM 內核就可以承擔即時運算任務進行數據處理，這種分配的優點在于大幅提高了系統的工作效率，避免了大量數據都堆積到同一個微處理器核心進行處理的資源等待時間。ARM 內核與DSP 內核之間的數據傳輸是通過OMAP3530 中的DSP/BIOS Link 來實現的。在該系統中OMAP3530 的ARM 內核負責音/視頻解碼器控制、數據交換、網絡傳輸;而DSP 內核運行優化后的H.264 壓縮編碼算法對采集進來的視頻信號進行處理及音頻信號的處理。

系統的存儲器模塊采用的是一塊Micron 公司的MT29C1G24MADLAJA-6 IT［4］，該存儲芯片內部集成了128 MB 的DDR 和128 MB 的NandFlash，它通過OMAP3530 的SDRC 與GPMC 接口與之進行連接。NandFlash 用于固化程序，每次上電都從Flash 啟動;DDR 用于作為整個硬件系統的工作內存，分配給ARM和DSP 使用。該系統還使用了MMC/SD Interface 用來外接SD 卡，用來存儲Linux 操作系統的圖形界面和應用程序。另外系統還通過OMAP3530 的MMC 接口外擴了一塊硬盤(Hard Disk)，可以將壓縮后的視頻數據保存到硬盤設備上，等待客戶端讀取。

系統的以太網通信模塊選用SMSC 公司的LAN9211［5］，該芯片支持多種嵌入式CPU 或SoC 接口，支持快速以太網10/100 Mbps 網絡傳輸速度。LAN9211 內部用于接收和發送數據的存儲有16kB，LAN9211 芯片還集成了CSMA/CD 協議的MAC 和PHY，符 合 IEEE 802. 3/802. 3u 標 準。因 為OMAP3530 的GPMC 接口同時外接了兩個器件，一個Flash，一個LAN9211，就是說它們共用了數據線和地址線，所以必須用總線隔離器將它們隔離開，該系統使用兩片Philips 公司的74ALVC164245 芯片作為總線隔離器，連 接 在 Flash 和 OMAP3530、LAN9211 和OMAP3530 中間，通過GPMC 的控制總線，如NCS6、NOE，和地址總線配合起來進行控制，從而使處理器在訪問其中一個器件的時候另一個器件對外呈現高阻態。

系 統 采 用 電 源 管 理 芯 片 TPS65930［6］配 合OMAP3530 工作并承擔一定的任務，它們之間通過I2C總線進行通信。TPS65930 功能強大，內部集成了眾多組件，不但提供系統所需要的時鐘、各種電源，還提供雙通道音頻編解碼器與驅動器、各種監控特性、電池充電器、LED 驅動器、10 位3 輸入模數轉換器、帶集成5V 電源的高速USB 收發器、I2C 通信接口等。因為TPS65930 內置了Audio 編解碼器，所以系統輸入/輸出的Audio 信號的編解碼工作由其完成。由于OMAP3530 內部集成有Audio 接口，所以外部SPK 與MIC 可直接與Audio 接口連接。

3 系統軟件設計

系統的軟件開發分為兩大部分，即ARM 內核與DSP 內核兩部分。ARM 內核軟件主要處理人機交互、網絡通信等非實時多任務請求，采用嵌入式Linux 作為底層操作系統，針對視頻解碼模塊/存儲模塊/網絡通信模塊等外圍器件分別編寫驅動程序、為DSP 分配引導與工作內存、設置的DSP MMU 以及ARM 與DSP之間的Mailbox 中斷服務，同時通過DSP/BIOS Link 來使用DSP 的各種資源，從而控制DSP 進行H.264 編碼，移植Qt Embedded 作為系統的GUI 庫，DSP 內核軟件主要完成對音視頻信號編解碼，采用TI 公司提供的DSP/BIOS 作為操作系統。系統軟件結構如圖2 所示。

圖2 系統軟件結構

3.1 ARM 內核軟件設計

系統上電開機后首先執行Flash 中的ARM 引導程序，完成對系統程序的引導，完成對硬件系統的初始化工作，包括設置OMAP3530 及外圍硬件;接著啟動Linux，加載各種設備，對于ARM 上的Linux 操作系統而言，DSP 相當于它的外設，對DSP 的控制與控制操作系統中的任一個普通外設是一樣的。這里將DSP當作Linux 下的一個字符類型設備來對待，在驅動程序內通過配置Mailbox 的一系列寄存器，實現ARM 與DSP 中斷方式的通信［8-9］。由于Mailbox 中斷方式僅適用于在數據量較小的情況下使用，而在該系統中需要處理的視頻數據量較大，所以還需要采用ARM 與DSP 之間通信的另外一種方式:DSP 的MMU 方式，即配置DSP 的MMU，把一塊屬于DSP 的內存映射到外部共享的內存單元中;同時結合兩者共享DDR SDRAM 內存的方式，實現ARM 和DSP 之間的通信與數據交換。一旦操作系統加載DSP 驅動，在應用程序中就可以通過Linux 統一的系統調用接口open，close，read，write，ioctl 等等來使用和控制DSP。

圖3 ARM 內核軟件結構

由于在Linux 操作系統中集成了一個視頻采集的API 函數Video4Linux(V4L2)，該函數很有用，可以提供open、write、read、ioctl 等功能，用戶可以通過修改control word 來獲取視頻設備的信息、幀緩沖的參數、獲取圖像［10-12］，因此程序中的視頻信號采集通過調用該API 來實現，采集到的視頻數據(以幀為單位)，存入ARM 和DSP 的共享內存中，同時設置對應的全局變量標志，ARM 循環檢測這些變量標志，一旦發現緩沖區有數據時，通過ioctl 函數，通知DSP 進行H.264編碼。ARM 與DSP 之間的共享內存是通過DSP/BIOS Link 來分配，為了防止兩者之間的讀寫沖突，使用MailBox 中斷方式。OMAP3530 中有兩個的MailBox，分別對應ARM 與DSP，ARM 與DSP 都可以通過各自的MailBox 向對方發起中斷，同時傳遞參數并設置狀態，以通知對方自己的狀態和請求類別。當編碼完成后，DSP 產生MailBox 中斷，通知ARM 端從共享內存中取走編碼后的H.264 數據。如果有客戶端提出請求，則通過網絡發送出去;反之則將數據暫時存儲到硬盤中，等待客戶端提出請求。

3.2 DSP 內核軟件設計

DSP 內核軟件設計主要是對傳送過來的視頻流進行H.264 壓縮編碼。首先DSP 準備就緒，接著等待ARM 通過MailBox 向其發送中斷信號，一旦收到中斷信號，DSP 就從共享內存中讀取視頻流，然后執行H.264 編碼，數據編碼完畢，DSP 向ARM 發送MailBox 中斷信號，同時將編碼數據發送至共享內存等待ARM進行相應的處理。具體流程如圖4 所示。

圖4 DSP 內核軟件結構

H.264 編碼的控制與使用是通過調用TI 公司的Codec Engine 中的API 來實現的，并且在DVSDK 軟件提供了工具可以使用兼容XDM/XDAIS 的用戶算法創建自己的編解碼器服務［13-14］。Codec Engine 中的有一類專用于實現視頻、圖像、音頻等算法的 API(VIDENCx_、VIDDECx_)用以實現音視頻信號的編解碼，這里僅使用編碼API-VIDENCx_，在該API 中定義了幾個主要函數:VIDENC_create()、VIDENC_process()、VIDENC_control()、VIDENC_dqbuf()、VIDENC_delete()，分別用來實現創建編碼器、處理編碼器、傳遞控制編碼器的動態參數、驅動視頻數據入列、刪除編碼器(釋放占用的系統資源)。H.264 編碼器的設計框圖如圖5 所示。

4 網絡傳輸

由于流媒體(音頻、視頻)傳輸要求低延時、高實時性、QOS 保證等等，所以TCP/UDP 協議不能滿足它的要求［15-16］。這里網絡傳輸采用RTP/RTCP 傳輸協議來實現，其中RTP 協議負責視頻流數據的傳輸，RTCP 協議負責傳輸控制協議。經過視頻采集/編碼后的視頻數據通過網絡進行傳輸，首先在RTP/RTCP層上進行包封裝，添加定時、同步信息、包序號等信息，然后把這些打包的RTP 數據流傳送到UDP/TCP 層和IP 層，獲得的IP 包在網絡上傳輸。在實際的設計過程中，在Linux 系統中采用了開源的RTP 庫-JRTPLIB。由于JRTPLIB 是一個高度封裝后的RTP 庫，用戶在使用它時不需要關心RTCP 數據報是如何被發送和接收的，因為這些都可以由JRTPLIB 自己來完成。只要PollData()或者SendPacket()方法被成功調用，JRTPLIB 就能夠自動對到達的RTCP 數據報進行處理，并且還會在需要的時候發送RTCP 數據報，從而能夠確保整個RTP 會話過程的正確性。

圖5 H.264 編碼器的設計框圖

5 結 語

本文重點介紹了基于OMAP3530 雙核處理器的網絡視頻服務器的設計結構，結合DSP 計算復雜算法的高效率和ARM 精于并行處理數據的優點，為網絡視頻服務器的快速實現提供了高效、靈活的設計方案。該設計具有體積小、成本低、穩定性高、可擴展性強等特點，將在數字視頻服務與監控領域有著廣闊的應用前景。

［1］ Texas.OMAP35x Application Processor Technical Reference Manual［CP/OL］. www.ti.com，2010.04.

［2］ Texas.TVP5158 Data Manual［CP/OL］.www.ti.com，2009.07.

［3］ 范斐斐.基于OMAP5912 的H_264 編解碼器的實現［D］.武漢理工大學，2008.5.

［4］ MICRO. MT29C2G48MAKAMAKC-5 IT Data Manual［CP/OL］.www.micro.com，2007.05.

［5］ SMSC.LAN9211 Data Manual［CP/OL］. www. smsc. com，2003.01.

［6］ Texas.TPS65930 Integrated Power Management Data Manual［CP/OL］. www.ti.com，2009.10.

［7］ 林 林.基于OMAP5910 的無線流媒體系統的設計與實現［D］.天津大學，2007.1.

［8］ 于雪蓮，陳 錢，顧國華. 基于i_MX27 的H_264 網絡視頻監控系統設計［J］.電視技術，2009(5):119-121.

［9］ 鹿寶生，陳啟美，丁勝軍.基于TMS320DM642 的嵌入式網絡視頻服務器的實現［J］.計算機工程與設計，2006(7):2362-2364.

［10］ 楊明極，劉 冰，呂鑫磊. 基于TMS320DM6467 的移動視頻服務器的硬件設計［J］.電視技術，2011(23):51-54.

［11］ 沈 騫，婁淑琴，宿金華，等.基于VW2010 芯片的網絡視頻壓縮編解碼器設計與實現［J］. 計算機測量與控制，2007(12):1814-1816.

［12］ 李 鋒，秦嘉凱. 基于嵌入式Linux 的實時網絡視頻監控系統［J］.電視技術，2011(23):145-148.

［13］ 黃 璞，蔣 挺，周 正.基于OMAP 平臺的嵌入式流媒體傳輸系統設計［C］//中國通信學會第五屆學術年會論文集，2008.1:209-213.

［14］ 薛 漪，馬伍新.基于TMS320DM642 芯片H.264 編碼器的設計［J］.計算機工程與設計，2005(5):1158-1160.

［15］ 劉恩虹，周 兵，葛寶珊，等. 基于H.264 的嵌入式視頻編碼器［J］.計算機工程，2009(9):227-229.

［16］ 劉 源，朱善安，葉旭東.基于DM642 的嵌入式視頻監控系統硬件設計［J］.電子器件，2008(9):907-908.