基于Hi3518E的高清網絡視頻監控系統設計與實現

晉海軍，李明偉

(大連理工大學 信息與通信工程學院，遼寧 大連 116024)

基于Hi3518E的高清網絡視頻監控系統設計與實現

晉海軍，李明偉

(大連理工大學 信息與通信工程學院，遼寧 大連 116024)

摘要:采用了海思Hi3518E+OV9712方案，設計并實現了無線網絡高清實時監控系統。基于B/S架構，通過移植輕量級網絡服務器Boa，實現了客戶端Web訪問。為了達到實時監控的目的，利用了流媒體技術，在服務器端移植了開源RTP庫oRTP，然后利用RTP協議把攝像頭采集并且經過編碼壓縮的H.264碼流通過WiFi模塊傳輸到網絡上，供客戶端實時接收。實驗證明，效果理想可靠，完全達到了實時高清監控的要求，對于無線網絡監控系統設計具有很大參考價值。

關鍵詞:Hi3518E；oRTP；Boa網絡服務器；高清視頻監控；WiFi無線傳輸

隨著通信技術的發展，網絡傳輸速率的加快，使得通過網絡實時傳輸高清視頻成為可能。視頻監控是一個不斷發展的課題，數字化、高清化、無線化成為發展趨勢。以往的通過同軸電纜傳輸模擬信號的監控系統，不僅布線復雜，成本較高，而且維護麻煩[1]。由于計算機網絡的發展，通過網絡來傳輸數字信號不僅方便而且可靠，所以監控系統的數字化成為必然趨勢。無線網絡視頻監控系統是集計算機技術、網絡技術、數字圖像處理技術等于一體的數字化系統。目前在高清網絡視頻監控領域，主要有安霸、TI、海思三種方案，本設計采用目前國內應用較多的海思方案，外接Ralink公司的RT3070WiFi模塊，實現了視頻圖像的高清采集，H.264視頻編碼壓縮，網絡的無線接入，客戶端的實時顯示。

1系統整體設計

系統采用B/S架構，這種架構比C/S架構的優勢在于客戶端不需要復雜的上位機軟件，只要通過Web瀏覽器就能顯示服務器端攝像頭采集的視頻圖像，便于在各種操作系統平臺的實現。本設計通過在服務器端移植嵌入式Boa網絡服務器，RTP流媒體服務器，客戶端只要通過IE瀏覽器輸入服務器端的IP地址，就能對攝像頭采集的視頻圖像進行實時播放。

1.1系統結構圖

系統整體結構主要由OV9712傳感器模組，Hi3518E視頻采集編碼模塊，流媒體服務器，HTTPWeb服務器，RT3070WiFi無線模塊，客戶端IE瀏覽器組成。流媒體服務器主要負責將視頻編碼生成的H.264碼流通過RTP協議打包發送給RT3070WiFi無線模塊進而發送到網絡上，HTTPWeb服務器主要負責響應客戶端的HTTP請求。系統啟動以后，流媒體服務器，HTTPWeb服務器都作為后臺進程同時啟動，等待客戶端的請求和響應消息的接收。Hi3518E芯片內置ARM926內核、64MDDR2、圖像采集編碼模塊，支持720p/25f/s(幀/秒)實時編碼，整個系統外圍電路非常簡單。系統整體框圖如圖1所示。

圖1　系統總體結構

1.2系統工作流程

1.2.1圖像采集編碼流程

Hi3518E芯片內部集成了視頻采集壓縮編碼硬件模塊，大大提升了處理器的處理能力，在開發過程中只要調用相應的接口就能完成對各個功能模塊的控制，極大地提高了開發效率。圖像傳送基本流程如圖2所示，OV9712采用低照度CMOS傳感器，這類傳感器芯片集成度很高，將信號放大器、A/D轉換電路等集成到一塊芯片上，因此能夠直接與Hi3518E的VI(視頻輸入)模塊對接，外圍電路簡單。VI模塊負責視頻圖像的捕獲，并將捕獲到的圖像輸出給VPSS模塊，過程當中可以對捕獲到的圖像進行一些基本處理，如剪切、縮放、鏡像等。VPSS(視頻前處理單元)模塊負責對VI傳送的視頻圖像數據進行處理，如去噪、增強、銳化等，把VI捕獲的視頻圖像進行優化然后傳送到VENC(視頻編碼)模塊。VPSS需要通過調用系統控制模塊的綁定接口，與VI、VENC模塊進行綁定。VENC模塊將VPSS處理后的優化圖像根據不同的協議進行編碼壓縮，輸出相應碼流。Hi3518E支持兩種視頻編碼壓縮格式H.264和MJPEG，由于同等條件下，H.264壓縮編碼格式能實現更低的碼率[2]，所以本系統采用H.264壓縮編碼格式。

圖2Hi3518E視頻采集編碼流程圖

1.2.2圖像傳輸過程

如圖3所示[3]，H.264碼流將會經過RTP協議打包，然后通過UDP與IP協議傳送到網絡上，接收端在接收到數據后會經過相反的過程，對接收到的數據進行解碼顯示。在數據傳輸前，應當先創建一個會話和套接字并初始化，然后加載遠程地址，使服務器端和客戶端建立起正確的連接。

圖3　圖像傳輸過程

1.3系統軟件設計

系統的軟件組成包括系統引導程序U-boot、linux-3.0.8內核、Squashfs只讀文件系統、媒體軟件處理平臺、設備驅動程序、應用程序。媒體軟件處理平臺為上層應用程序屏蔽了底層的細節，用戶只需要調用API接口就能完成相應功能的開發。應用程序包括Web服務器程序、RTP協議、圖像采集編碼程序。整體結構如圖4所示。

圖4　系統軟件結構圖

2網絡協議結構

1)物理層和鏈路層：物理層規范了傳輸介質的特性標準，鏈路層定義了在單個鏈路上如何傳輸數據。

2)網絡層：網絡層使用了網絡協議IP。TCP/IP協議定義了一個在因特網上傳輸的數據包，稱為IP數據報。通過一些路由算法，IP數據報都被作為獨立的報文從發送端傳送到了接收端。由于各個數據報傳輸的路徑不同，有利于提高網絡的安全性和堅固性。

3)傳輸層：傳輸層位于網絡層之上，主要功能是為上層提供可靠的/不可靠的邏輯通信信道。包括兩個協議，用戶數據報協議(UDP)和傳輸控制協議(TCP)[4]。TCP引入了基于重發和超時的錯誤控制機制，提供了面向連接的、可靠的字節流服務。由于不確定的延時，使得TCP不適合于數據的實時傳輸。與TCP相反，UDP提供了簡單的、不可靠的數據報傳輸服務。UDP是一個非連接的協議，數據傳輸之前，發送端與接收端不需要建立連接，傳輸數據的速率僅與應用層數據的生成速率、計算機的性能和網絡帶寬有關[5]。

4)應用層：應用層協議定義了運行在不同端系統上的應用程序進程如何相互傳遞報文。應用層的協議比較多，本設計僅涉及HTTP協議與RTP協議。HTTP是一種請求/響應式的協議。自20世紀90年代起，就已經被廣泛應用于WWW全球信息服務系統。當客戶機與服務器建立連接后，客戶機發送一個請求給服務器，服務器接到請求后，給予相應的響應信息。RTP是由IETF(TheInternetEngineeringTaskForce)于1996年推出的一個標準。RTP(Real-timeTransportProtocol)標準定義了兩個子協議，RTP和RTCP。RTP數據傳輸協議是用于對Internet上多媒體數據流進行實時傳輸的一種傳輸協議，是一種提供點對點或點對多點的實時傳輸協議[6]，通常在UDP上運行RTP以便使用其多路結點和校驗服務。RTP包含了傳輸媒體的類型、格式、序列號、時間戳以及是否有附加數據等信息，為流媒體實時傳輸提供了基礎[6]。RTP控制協議RTCP，用于服務質量的監視與反饋，媒體之間的同步等，在RTP會話期間，各個會話參與者周期性地發送RTCP包[7]。各協議層次結構如圖5所示。

圖5　網絡協議層次圖

3系統實現

3.1圖像采集編碼程序

step1：初始化系統變量。

memset(&stVbConf，0，sizeof(VB_CONF_S))；

其中，stVbConf為緩存池結構體。

step2：初始化軟件處理平臺。

s32Ret=SAMPLE_COMM_SYS_Init(&stVbConf)；

step3：開啟VI模塊和通道捕獲圖像。

s32Ret=SAMPLE_COMM_VI_StartVi(&stViConfig)；

step4：開啟VPSS模塊，并和VI模塊綁定。

s32Ret=SAMPLE_COMM_VPSS_EnableChn(VpssGrp，VpssChn， &stVpssChnAttr，HI_NULL，HI_NULL)；

step5：開啟VENC模塊并和VPSS模塊綁定。

s32Ret=SAMPLE_COMM_VENC_Start(VencGrp，VencChn，enPayLoad，gs_enNorm，enSize，enRcMode)；

s32Ret=SAMPLE_COMM_VENC_BindVpss(VencGrp，VpssGrp，VpssChn)；

step6：VENC編碼，輸出H.264碼流，并通過RTP協議傳輸。

s32Ret=SAMPLE_COMM_VENC_StartGetStream(s32ChnNum)；

step7：退出。

SAMPLE_COMM_VENC_StopGetStream()；

3.2圖像傳輸程序

本系統中RTP協議通過移植oRTP來實現，首先進行RTP協議初始化，建立會話和套接字，得到遠程地址。

RtpSession*rtpInit(char*ipStr，intport)；

{

ortp_init()；ortp初始化

session=rtp_session_new(RTP_SESSION_SENDONLY)；創建會話。

rtp_session_set_remote_addr(session，ipStr，port)；設置接收端地址和端口號。

rtp_session_set_payload_type(session，Y_PLOAD_TYPE)；設置載荷類型，此處Y_PLOAD_TYPE的值為96，代表載荷類型為H.264。

}

其中ipStr為遠程地址字符串，port為UDP端口號。

初始化完成后發送RTP數據包：

intrtpSend(RtpSession*session，char*buffer，intlen)；

session為會話結構體，buffer為數據緩存區，len為H.264碼流包的長度。

3.3網絡服務器實現

嵌入式Web服務器是指將Web服務器引入到嵌入式終端，使其具備了以TCP/IP為底層的通信協議[8]。嵌入式系統由于其自身的特點，各種資源比較有限，而且處理器處理能力受限，所以選擇既能滿足系統要求，又不占用太多資源的網絡服務器就非常重要。本系統選擇輕量級的網絡服務器Boa，安全高效，編譯生成的可執行代碼只有60kbyte多[9]。在本系統中其工作流程如圖6所示[10]。

圖6　Boa網絡服務器工作流程圖

3.4HTML腳本與sdp文件的編寫

由于HTML語言的標準統一性，在嵌入式系統中只要存在一個Web服務器，在上位機就不需要復雜的軟件，通過Web瀏覽器就能實現對服務器端的監測與控制[10]。本系統中，客戶端的IE瀏覽器實時播放流媒體的實現是通過在HTML腳本中內嵌VLC解碼器插件實現的。腳本的播放源為VLC解碼器能識別的sdp文件。sdp是一種會話描述格式，用來傳輸流媒體信息。這兩種文件都可以用Windows自帶的記事本進行編輯，保存文件名分別為index.html和cfg.sdp。

3.5RT3070無線網卡驅動移植

本系統中使用的無線模塊采用RalinkRT3070芯片方案，兼容IEEE802.11b/g/n三種標準，傳輸速率為150Mbit/s，對海思芯片提供了很好的支持。首先配置Linux內核，使其支持無線網絡以及Ralink的驅動，然后修改RT3070驅動源碼中的Makefile文件，更改為海思的交叉編譯工具，選擇目標為Linux，使用芯片為RT3070，平臺為5VT，修改config.mk文件以及rtmp_chip.c文件。最后將編譯生成的rt3070sta.ko驅動程序拷貝到文件系統/ko目錄下，將配置文件RT2870STA.dat拷貝到/etc/Wireless/RT2870STA/目錄下。

4實驗與結論

本實驗在局域網內對監控系統進行了測試，客戶端與圖像采集終端通過無線路由器組成局域網。首先分別配置兩端的IP地址，網關，然后進行網絡的測試，如果能互相連通，說明無線鏈路正常工作。實驗結果如下：

1)視頻實時顯示

為了支持流媒體在客戶端IE瀏覽器的實時播放，需要在IE瀏覽器安裝流媒體播放插件。本實驗在瀏覽器內部嵌入了VLC解碼器插件，只要打開IE瀏覽器，地址欄輸入服務器的IP地址，就能實時看到監控視頻，如圖7所示。通過實驗可以觀察到監控畫面非常清晰，而且播放非常流暢，完全達到了實時視頻監控的要求。

圖7　視頻實時顯示(截圖)

2)網絡協議監測

為了監測系統的工作過程，利用了抓包工具對數據包進行獲取分析，如圖8所示。通過分析可以清楚地看到系統的工作流程，首先可以看到系統源地址為192.168.1.10，目標地址為192.168.1.6，端口號為8080。系統啟動后，視頻碼流經過RTP協議打包，通過UDP協議向客戶端發送。當客戶端通過IE瀏覽器向服務器發出HTTP請求時，HTTP協議經過TCP協議與服務器連接，TCP在連接之前要經過三次握手過程，之后如果連接成功則返回一個HTTP響應給客戶端。客戶端收到HTTP響應后就能顯示服務器端發送過來的視頻圖像。

圖8　數據包捕獲結果(截圖)

3)碼率測試

為了進一步檢驗系統的性能，對抓取的數據包進行了統計分析，如圖9所示。可以看到共抓取了12 027個數據包，用時44.617s，平均每秒傳送269.558個數據包，碼速率為2.108Mbit/s，滿足低碼率的要求。

圖9　數據包統計分析(截圖)

參考文獻：

[1]梅大成，楊大千，趙娜. 基于Linux的嵌入式網絡攝像機設計[J].微計算機信息，2007，23(23)：45-47.

[2]畢厚杰.新一代視頻壓縮標準H.264/AVC[M].北京：人民郵電出版社，2005.

[3]CHENSY，SHIZY.H.264codingstreamtransferbasedonmediastreamframework[C]//SecondInternationalConferenceonMultimediaandinformationTechnology. [S.l.]：IEEEPress，2010，1：262-265.DOI： 10.1109/MMIT.2010.33.

[4]ZHAOHW，CHENX，LIZ，etal.Thedesignofembeddedvideosystembasedboaserver[C]//InternationalConferenceonComputerScienceandServiceSystem. [S.l.]：IEEEPress，2012， 127：483-486.DOI： 10.1109/CSSS.2012.127.

[5]WENGERS.H.264/AVCoverIP[J].IEEEtransactionsoncircuitsandsystemsforvideotechnology，2003，13(7)：645-656.DOI： 10.1109/TCSVT.2003.814966.

[6]操龍敏，蔣建國，齊美彬.RTP協議在嵌入式網絡攝像機中的設計及實現[J].計算機技術與發展，2008， 18(3)：214-217

[7]楊明極，許雪松，李天池.基于流媒體技術的移動視頻服務器的設計[J].電視技術，2013，37(17)：167-169.

[8]宋凱，嚴麗平，甘嵐.嵌入式Web服務器的設計與實現[J].計算機工程與設計，2009，30(4)：808-810.

[9]高巍，鐘梅，徐松惠.嵌入式Linux下基于BOA的遠程控制[J].電腦知識與技術，2009，5(31)：8703-8705.

[10]翁彬彬，徐塞虹.基于boa的嵌入式視頻監控系統的研究與實現[J].軟件，2014，35(11)：66-72.DOI： 10.3969/j.issn.1003-6970.2014.11.014.

ImplementationanddesignofhighdefinitionvideomonitoringnetworksystembasedonHi3518E

JINHaijun，LIMingwei

(School of information and Communication Engineering Dalian University of Technology，Liaoning Dalian 116024，China)

Abstract:Hisilicon Hi3518E+OV9712 scheme is adopted， wireless network HD real-time monitoring system is designed and implemented. Based on B/S architecture， the Web client access is achieved by porting the Boa web server. In order to achieve the purpose of real-time monitoring， the streaming media technology is used， the open source RTP library oRTP is transplanted on the server， then the RTP protocol is used to put the stream which is collected by the camera and compressed by H.264 to the network through the WiFi transmission module， for the client to receive. Experiments show that the effect is ideal and reliable and there is a great reference value for design of wireless network monitoring system.

Key words:Hi3518E；oRTP；Boa Web server；high definition video monitoring；WiFi wireless transmission

中圖分類號:TN919.8

文獻標志碼：A

DOI：10.16280/j.videoe.2016.03.008

作者簡介：

晉海軍(1984— )，碩士研究生，主要研究方向為嵌入式系統與圖像處理；

李明偉(1957— )，教授，碩士生導師，主要研究方向為嵌入式系統、圖像采集、無線網絡等。

責任編輯：閆雯雯

收稿日期：2015-11-18

文獻引用格式：晉海軍，李明偉. 基于Hi3518E的高清網絡視頻監控系統設計與實現[J].電視技術，2016，40(3)：34-37.

JINHJ，LIMW.ImplementationanddesignofhighdefinitionvideomonitoringnetworksystembasedonHi3518E[J].Videoengineering，2016，40(3)：34-37.