基于iOS平臺的移動視頻監(jiān)控軟件設計

肖遠東,蔡聲鎮(zhèn)

(福建師范大學軟件學院,福州350108)

基于iOS平臺的移動視頻監(jiān)控軟件設計

肖遠東,蔡聲鎮(zhèn)

(福建師范大學軟件學院,福州350108)

傳統(tǒng)的遠程視頻監(jiān)控系統(tǒng)所需軟硬件資源大、視頻傳輸協(xié)議和視頻采集設備控制協(xié)議相互獨立,系統(tǒng)傳輸帶寬要求高、時延長、實時性不高。為解決這些問題,利用開放無線監(jiān)控協(xié)議中的信息體結構,將視頻信息傳輸、視頻采集設備控制和其他信息融合在一個數(shù)據(jù)包中,并基于iOS移動操作系統(tǒng)和H.264視頻編碼標準,設計并實現(xiàn)一種集視頻傳輸與控制于一體的移動視頻監(jiān)控軟件。測試結果表明,該移動視頻監(jiān)控軟件可有效提高移動視頻監(jiān)控系統(tǒng)的性能,具有控制響應速度快、傳輸帶寬要求低、分辨率自適應以及實時視頻播放流暢等特點。

移動視頻監(jiān)控;開放無線監(jiān)控協(xié)議;H.264格式;iOS操作系統(tǒng);FFmpeg編解碼庫;分辨率自適應

1 概述

在視頻監(jiān)控已廣泛運用于各行各業(yè)的今天,隨著移動網絡帶寬的提升和移動終端的普及,人們對傳統(tǒng)視頻監(jiān)控的需求也悄然發(fā)生變化,移動視頻監(jiān)控迅速成為應用開發(fā)的熱點。傳統(tǒng)的視頻監(jiān)控多數(shù)采用實時傳輸協(xié)議(Real-time Transport Protocol, RTP)進行視頻傳輸,并配合實時傳輸控制協(xié)議(Real-time Transport Control Protocol,RTCP)、實時流傳輸協(xié)議(Real-time Streaming Protocol,RTSP)進行視頻數(shù)據(jù)質量控制[1-2]。這種架構的流媒體系統(tǒng)主要應用于大規(guī)模流媒體直播和點播等系統(tǒng),需要專門的流媒體服務器支持,協(xié)議棧的邏輯實現(xiàn)較為復雜,因此支持RTP/RTSP客戶端所需的軟、硬件資源要求高、規(guī)模大,對于移動終端而言實現(xiàn)的難度很大[3]。此類視頻點播系統(tǒng)雖然能得到較好的畫質,但由于RTP/RTSP的附加信息多,流量開銷大、帶寬要求高[4-5],連接時需要進行多次握手,無形中增加了數(shù)據(jù)傳輸和解析的時延,降低了監(jiān)控系統(tǒng)的實時性。此外,以上協(xié)議只對視頻的播放、暫停等進行控制[6],而在遠程視頻監(jiān)控系統(tǒng)中,通常需要對監(jiān)控現(xiàn)場的視頻采集設備進行控制,如攝像機視角的移動和焦距的調整等,對于這些非視頻流的事務處理信息,一般需要單獨進行控制指令交互的研發(fā)[7]。顯然,上述實時傳輸協(xié)議不能適應軟硬件資源相對較小的移動視頻監(jiān)控系統(tǒng)的需求。

針對以上問題,本文采用開放無線監(jiān)控協(xié)議(Open Wireless Surveillance Protocol,OWSP)作為視頻傳輸及控制信息的承載,基于iOS移動操作系統(tǒng)以及H.264視頻編碼標準[8],設計并實現(xiàn)一種能與多數(shù)現(xiàn)場主流監(jiān)控設備對接的移動視頻監(jiān)控系統(tǒng)。

2 OWSP簡介

實時視頻監(jiān)控系統(tǒng)與傳統(tǒng)視頻點播系統(tǒng)不同,它更加注重視頻數(shù)據(jù)的實時性與可控制性。OWSP是針對遠程視頻監(jiān)控設計的一種實時視頻監(jiān)控協(xié)議,能適應各類視頻編碼標準。其主要特點是附加信息的字節(jié)數(shù)少,可同時傳輸視頻、音頻和其他控制指令,而且支持用戶定制的功能拓展,特別適合于注重實時性而對畫質要求不高的遠程視頻監(jiān)控系統(tǒng)。

2.1 OWSP數(shù)據(jù)包結構

OWSP基于可靠的TCP協(xié)議[9],每個數(shù)據(jù)包均有一個8 Byte的公共包頭,其中,前4 Byte用于存儲該數(shù)據(jù)包除這4 Byte以外的總長度(即length),另4 Byte用于描述該數(shù)據(jù)包在本次連接中的包序號。除公共包頭外,每個數(shù)據(jù)包還具有一個或多個信息體,信息體中包含各類控制信息、設備參數(shù)和視頻數(shù)據(jù)。每個信息體分為3個部分,即信息體編號(2 Byte)、信息體長度(2 Byte)和信息體內容。OWSP的數(shù)據(jù)包結構如圖1所示。

圖1 OWSP數(shù)據(jù)包結構

2.2 OWSP的主要特點

與傳統(tǒng)的傳輸協(xié)議相比,OWSP的主要特點可體現(xiàn)在表1中。

OWSP僅用公共包頭中的包序號和包長信息校驗丟包和包信息的完整性,省略了大量的校驗信息,其優(yōu)勢在于有效減少數(shù)據(jù)包的附加信息量;代價是削弱了數(shù)據(jù)完整性的校驗能力,但對于移動視頻監(jiān)控系統(tǒng)而言,存在個別丟包或數(shù)據(jù)包不完整的現(xiàn)象,對重現(xiàn)圖像效果影響不大。

OWSP特殊的信息體結構可方便地將包括控制指令在內的附加信息整合到數(shù)據(jù)包體中,對于多個現(xiàn)場設備的應用場合,可將相應的控制指令設計為不同編號的信息體,現(xiàn)場終端解析對應編號的信息體即可獲得相應現(xiàn)場設備的控制指令。

表1 RTP/RTSP與OWSP對比

3 移動視頻監(jiān)控軟件設計

3.1 軟件架構設計

移動視頻監(jiān)控系統(tǒng)主要由視頻采集端和移動客戶端組成,兩者通過Internet[10]建立通信鏈路。

視頻采集端包括視頻監(jiān)控錄像機和視頻攝像機,其中視頻監(jiān)控錄像機采用Linux內核,具有強大的二次開發(fā)功能,支持同時記錄多路視頻并對與之連接的攝像設備進行控制,通過其網絡連接端口,可方便搭建連接服務,實現(xiàn)視頻連接和設備控制管理。

移動客戶端基于iOS移動終端開發(fā),客戶端通過移動網絡或Wi-Fi網絡接入Internet并連接視頻監(jiān)控錄像機,實現(xiàn)設備信息或視頻數(shù)據(jù)的交互。系統(tǒng)整體架構如圖2所示,其中視頻采集端軟件由視頻編碼、數(shù)據(jù)切片和OWSP封裝3個模塊構成;移動客戶端軟件由數(shù)據(jù)緩沖、OWSP解析、視頻解碼和視頻播放4個部分構成。

圖2 移動視頻監(jiān)控系統(tǒng)架構

3.2 視頻采集端軟件簡介

本文的視頻采集端軟件是在原視頻監(jiān)控錄像機系統(tǒng)軟件基礎上進行二次開發(fā)。通過移植FFmpeg開源框架并采用H.264視頻編碼標準對監(jiān)控視頻進行編碼。然后以幀為單位對編碼后的視頻數(shù)據(jù)進行切片,即一幀為一個數(shù)據(jù)切片。最后按照OWSP協(xié)議對切割好的視頻數(shù)據(jù)進行封裝,并提供給iOS移動終端調用。

3.3 移動客戶端軟件設計

2）建立新坐標系。根據(jù)計算的三角形邊長，構建計算用三角形，其三角形頂點為M1、M2、M3，把M1點作為新坐標系的原點（0，0），M1及M2構成的邊作為X軸，如圖3所示，則這3個點在新坐標系下的坐標

3.3.1 軟件架構設計

移動客戶端軟件安裝于iPhone、iPad等移動終端上,使移動終端具備與視頻采集端進行連接和實現(xiàn)監(jiān)控的功能,該軟件的架構如圖3所示。

圖3 客戶端軟件架構

圖3 所示客戶端軟件分為UI、視頻解碼、數(shù)據(jù)解析與封裝以及網絡通信4個模塊。其中,網絡通信模塊采用TCP協(xié)議,通過Internet與視頻采集端連接,獲取以OWSP協(xié)議封裝的數(shù)據(jù)包。接著由數(shù)據(jù)解析/封裝模塊對接收到的數(shù)據(jù)包進行拆包和數(shù)據(jù)類型識別,并根據(jù)識別結果對不同信息采取不同的解析方式,獲得H.264視頻數(shù)據(jù)和設備參數(shù)等信息;同時,該模塊也對UI模塊下發(fā)的連接請求或控制操作指令進行OWSP封裝,然后下發(fā)至網絡通信模塊等待發(fā)送。視頻解碼模塊利用設備參數(shù)信息配置解碼參數(shù),再使用該參數(shù)對H.264視頻數(shù)據(jù)進行解碼并生成RGB數(shù)據(jù)。最后通過UI模塊呈現(xiàn)至屏幕,完成監(jiān)控視頻的重現(xiàn)。UI模塊還提供用戶選擇鏈接請求和設備控制操作輸入。本設計的視頻數(shù)據(jù)解碼模塊移植了FFmpeg至iOS操作系統(tǒng)作為解碼內核,實現(xiàn)對H.264視頻數(shù)據(jù)的解碼。

本文客戶端軟件除了視頻監(jiān)控外,還具有監(jiān)控設備控制、分辨率自適應、通道切換、連接自動檢測等功能。限于篇幅,以下僅對移動客戶端軟件主程序進行介紹。

3.3.2 軟件主程序設計

本文移動客戶端軟件的主程序流程如圖4所示。與視頻采集端的連接請求由移動客戶端發(fā)起,當用戶名及密碼驗證通過后,視頻采集端則根據(jù)需求發(fā)送對應通道的視頻數(shù)據(jù);若驗證失敗則結束流程并提示連接失敗。

圖4 移動客戶端軟件的主程序流程

圖4所示流程在實際應用中加入了iOS特有的Delegate機制[11],系統(tǒng)可自動檢測網絡狀態(tài),若網絡無法連接或斷開,則通知用戶并釋放系統(tǒng)資源。視頻解碼部分則加入SPS[12]探測技術,利用H.264數(shù)據(jù)中的SPS信息獲得視頻數(shù)據(jù)的真實分辨率,實現(xiàn)解碼分辨率的自適應調整功能,可避免分辨率參數(shù)與實際分辨率不符而導致解碼失敗。

4 系統(tǒng)測試與分析

4.1 測試環(huán)境與方法

本文的測試環(huán)境由監(jiān)控視頻采集端和移動終端構成。其中采集端使用1臺通用硬盤錄像機及4臺球形攝像機,硬盤錄像機通過有線網絡接入Internet或本地局域網;移動終端選用安裝了本文客戶端軟件的iPhone4智能手機,并通過Wi-Fi或移動網絡或本地無線局域網與視頻采集端進行連接。測試在不同網絡環(huán)境下,視頻采集端至移動客戶端之間的連接時間、視頻播放流暢度、控制視頻采集設備的響應時間。另外,還針對OWSP與RTSP協(xié)議進行傳輸及解碼的時延對比測試。視頻采集端所采集視頻圖像分辨率分別為352×288及174×144,幀率為25 f/s。

4.2 測試結果及分析

4.2.1 不同網絡環(huán)境的系統(tǒng)響應測試

本測試使移動客戶端分別通過Wi-Fi、聯(lián)通3G、移動2G三種不同網絡環(huán)境進行連接響應、播放流暢度、控制響應時間的測試,測試結果見表2,各類型網絡測試視頻畫面如圖5～圖7所示。

表2 不同網絡環(huán)境下系統(tǒng)測試結果

圖5 Wi-Fi網絡測試視頻畫面

圖6 3G網絡測試視頻畫面

圖7 2G網絡測試視頻畫面

4.2.2 不同傳輸協(xié)議的延時特性測試

使用無線路由搭建本地局域網,視頻采集端采用有線方式接入局域網路由器,移動客戶端通過無線網絡方式接入本地局域網。分別使用RTSP及OWSP作為傳輸協(xié)議,統(tǒng)計真實環(huán)境與對應視頻從采集開始到解碼完成的時間差。所采集視頻圖像分辨率為352×288,幀率為25 f/s。由實驗統(tǒng)計結果可以看出,同等情況下,OWSP的實時效果優(yōu)于RTSP協(xié)議。測試結果如圖8所示。

圖8 2種協(xié)議延時對比

5 結束語

本文提出的移動視頻監(jiān)控客戶端基于iOS操作系統(tǒng)研發(fā),采用開放無線視頻接入規(guī)范,通過移動網絡進行數(shù)據(jù)交互,具有帶寬要求低、連接快、延時少等特點。測試結果表明,即使在2G網絡下亦可流暢播放監(jiān)控視頻,且具有較好的實時性。OWSP強大的可拓展性,還能為音頻、控制、數(shù)字水印等功能的拓展提供支持。

[1] 樊 姍.基于RTP的H264視頻傳輸技術的研究[D].濟南:山東大學,2008.

[2] 徐鵬宇,許子燦.基于SIP協(xié)議的監(jiān)視系統(tǒng)設計與實現(xiàn)[J].計算機工程,2013,39(11):289-294.

[3] 驥君子.淺談HTTP Adaptive Streaming技術及其前景[J].世界寬帶網絡,2011,18(5).

[4] Schulzrinne H,Rao A,Lanphier R.Real Time Streaming Protocol[S].RFC 2326,1998.

[5] Schulzrinne H,Casncr S,Frederick R,et al.RTP: Atransport Protocol for Real-time Applications[S]. RFC 3550,2003.

[6] 褚 典,江春華,基于SIP、RTP/RTCP和RTSP協(xié)議的視頻監(jiān)控系統(tǒng)[J].計算機與現(xiàn)代化,2013(11): 139-142.

[7] 徐鵬宇,許子燦.基于SIP協(xié)議的監(jiān)視系統(tǒng)設計與實現(xiàn)[J].計算機工程,2013,39(11):289-294.

[8] 畢厚杰.H.264/AVC視頻編碼標準的技術特點和評價[J].世界電信,2004,(9):34-36.

[9] 馮先成,李德駿.計算機網絡及應用[M].武漢:華中科技大學出版社,2011.

[10] Wikipedia.Internet[EB/OL].[2014-03-16].http:// en.wikipedia.org/wiki/Internet.

[11] Apple.iOS Developer Library[EB/OL].[2014-03-16]. https://developer.apple.com/library/ios/navigation/ index.html.

[12] Grecos C,Yang Mingyuan.Fast Inter Mode Prediction for P Slices in the H264 Video Coding Standard[J]. IEEE Transactions on Broadcasting,2005,51(2): 256-263.

編輯 顧逸斐

Design of Mobile Video Surveillance Software Based on iOS Platform

XIAO Yuandong,CAI Shengzhen
(Faculty of Software,Fujian Normal University,Fuzhou 350108,China)

For large software and hardware resources required of traditional remote video surveillance system, independence between video transmission protocol and video capture device control protocol,high bandwidth requirements,large delay,and real-time differential,this paper uses Open Wireless Surveillance Protocol(OWSP)specific information structure,puts the video data transmission,device control,and other information in a packet,and based on the iOS mobile operating system and H.264 video standard,designs and implements a set of video transmission and control in one of the mobile video monitoring software.Test results show that this monitoring software effectively improves the performance of mobile video surveillance system with fast control response,low transmission bandwidth,adaptive resolution,and real-time video play smooth.

mobile video surveillance;Open Wireless Surveillance Protocol(OWSP);H.264 format;iOS operating system;FFmpeg codec library;adaptive resolution

肖遠東,蔡聲鎮(zhèn).基于iOS平臺的移動視頻監(jiān)控軟件設計[J].計算機工程,2015,41(2):268-271,277.

英文引用格式:Xiao Yuandong,Cai Shengzhen.Design of Mobile Video Surveillance Software Based on iOS Platform[J].Computer Engineering,2015,41(2):268-271,277.

1000-3428(2015)02-0268-04

:A

:TP393

10.3969/j.issn.1000-3428.2015.02.051

教育部基金資助重點項目(212087);福建省科技廳基金資助重大項目(2011H6009);福建高新技術開發(fā)計劃基金資助重點項目(2012H0021)。

肖遠東(1989-),男,碩士研究生,主研方向:移動平臺,嵌入式系統(tǒng);蔡聲鎮(zhèn)(通訊作者),教授。

2014-04-11

:2014-05-05E-mail:csz@fjnu.edu.cn