基于iOS平臺的移動視頻監控軟件設計

肖遠東,蔡聲鎮

(福建師范大學軟件學院,福州350108)

基于iOS平臺的移動視頻監控軟件設計

肖遠東,蔡聲鎮

(福建師范大學軟件學院,福州350108)

傳統的遠程視頻監控系統所需軟硬件資源大、視頻傳輸協議和視頻采集設備控制協議相互獨立,系統傳輸帶寬要求高、時延長、實時性不高。為解決這些問題,利用開放無線監控協議中的信息體結構,將視頻信息傳輸、視頻采集設備控制和其他信息融合在一個數據包中,并基于iOS移動操作系統和H.264視頻編碼標準,設計并實現一種集視頻傳輸與控制于一體的移動視頻監控軟件。測試結果表明,該移動視頻監控軟件可有效提高移動視頻監控系統的性能,具有控制響應速度快、傳輸帶寬要求低、分辨率自適應以及實時視頻播放流暢等特點。

移動視頻監控;開放無線監控協議;H.264格式;iOS操作系統;FFmpeg編解碼庫;分辨率自適應

1 概述

在視頻監控已廣泛運用于各行各業的今天,隨著移動網絡帶寬的提升和移動終端的普及,人們對傳統視頻監控的需求也悄然發生變化,移動視頻監控迅速成為應用開發的熱點。傳統的視頻監控多數采用實時傳輸協議(Real-time Transport Protocol, RTP)進行視頻傳輸,并配合實時傳輸控制協議(Real-time Transport Control Protocol,RTCP)、實時流傳輸協議(Real-time Streaming Protocol,RTSP)進行視頻數據質量控制[1-2]。這種架構的流媒體系統主要應用于大規模流媒體直播和點播等系統,需要專門的流媒體服務器支持,協議棧的邏輯實現較為復雜,因此支持RTP/RTSP客戶端所需的軟、硬件資源要求高、規模大,對于移動終端而言實現的難度很大[3]。此類視頻點播系統雖然能得到較好的畫質,但由于RTP/RTSP的附加信息多,流量開銷大、帶寬要求高[4-5],連接時需要進行多次握手,無形中增加了數據傳輸和解析的時延,降低了監控系統的實時性。此外,以上協議只對視頻的播放、暫停等進行控制[6],而在遠程視頻監控系統中,通常需要對監控現場的視頻采集設備進行控制,如攝像機視角的移動和焦距的調整等,對于這些非視頻流的事務處理信息,一般需要單獨進行控制指令交互的研發[7]。顯然,上述實時傳輸協議不能適應軟硬件資源相對較小的移動視頻監控系統的需求。

針對以上問題,本文采用開放無線監控協議(Open Wireless Surveillance Protocol,OWSP)作為視頻傳輸及控制信息的承載,基于iOS移動操作系統以及H.264視頻編碼標準[8],設計并實現一種能與多數現場主流監控設備對接的移動視頻監控系統。

2 OWSP簡介

實時視頻監控系統與傳統視頻點播系統不同,它更加注重視頻數據的實時性與可控制性。OWSP是針對遠程視頻監控設計的一種實時視頻監控協議,能適應各類視頻編碼標準。其主要特點是附加信息的字節數少,可同時傳輸視頻、音頻和其他控制指令,而且支持用戶定制的功能拓展,特別適合于注重實時性而對畫質要求不高的遠程視頻監控系統。

2.1 OWSP數據包結構

OWSP基于可靠的TCP協議[9],每個數據包均有一個8 Byte的公共包頭,其中,前4 Byte用于存儲該數據包除這4 Byte以外的總長度(即length),另4 Byte用于描述該數據包在本次連接中的包序號。除公共包頭外,每個數據包還具有一個或多個信息體,信息體中包含各類控制信息、設備參數和視頻數據。每個信息體分為3個部分,即信息體編號(2 Byte)、信息體長度(2 Byte)和信息體內容。OWSP的數據包結構如圖1所示。

圖1 OWSP數據包結構

2.2 OWSP的主要特點

與傳統的傳輸協議相比,OWSP的主要特點可體現在表1中。

OWSP僅用公共包頭中的包序號和包長信息校驗丟包和包信息的完整性,省略了大量的校驗信息,其優勢在于有效減少數據包的附加信息量;代價是削弱了數據完整性的校驗能力,但對于移動視頻監控系統而言,存在個別丟包或數據包不完整的現象,對重現圖像效果影響不大。

OWSP特殊的信息體結構可方便地將包括控制指令在內的附加信息整合到數據包體中,對于多個現場設備的應用場合,可將相應的控制指令設計為不同編號的信息體,現場終端解析對應編號的信息體即可獲得相應現場設備的控制指令。

表1 RTP/RTSP與OWSP對比

3 移動視頻監控軟件設計

3.1 軟件架構設計

移動視頻監控系統主要由視頻采集端和移動客戶端組成,兩者通過Internet[10]建立通信鏈路。

視頻采集端包括視頻監控錄像機和視頻攝像機,其中視頻監控錄像機采用Linux內核,具有強大的二次開發功能,支持同時記錄多路視頻并對與之連接的攝像設備進行控制,通過其網絡連接端口,可方便搭建連接服務,實現視頻連接和設備控制管理。

移動客戶端基于iOS移動終端開發,客戶端通過移動網絡或Wi-Fi網絡接入Internet并連接視頻監控錄像機,實現設備信息或視頻數據的交互。系統整體架構如圖2所示,其中視頻采集端軟件由視頻編碼、數據切片和OWSP封裝3個模塊構成;移動客戶端軟件由數據緩沖、OWSP解析、視頻解碼和視頻播放4個部分構成。

圖2 移動視頻監控系統架構

3.2 視頻采集端軟件簡介

本文的視頻采集端軟件是在原視頻監控錄像機系統軟件基礎上進行二次開發。通過移植FFmpeg開源框架并采用H.264視頻編碼標準對監控視頻進行編碼。然后以幀為單位對編碼后的視頻數據進行切片,即一幀為一個數據切片。最后按照OWSP協議對切割好的視頻數據進行封裝,并提供給iOS移動終端調用。

3.3 移動客戶端軟件設計

2）建立新坐標系。根據計算的三角形邊長，構建計算用三角形，其三角形頂點為M1、M2、M3，把M1點作為新坐標系的原點（0，0），M1及M2構成的邊作為X軸，如圖3所示，則這3個點在新坐標系下的坐標

3.3.1 軟件架構設計

移動客戶端軟件安裝于iPhone、iPad等移動終端上,使移動終端具備與視頻采集端進行連接和實現監控的功能,該軟件的架構如圖3所示。

圖3 客戶端軟件架構

圖3 所示客戶端軟件分為UI、視頻解碼、數據解析與封裝以及網絡通信4個模塊。其中,網絡通信模塊采用TCP協議,通過Internet與視頻采集端連接,獲取以OWSP協議封裝的數據包。接著由數據解析/封裝模塊對接收到的數據包進行拆包和數據類型識別,并根據識別結果對不同信息采取不同的解析方式,獲得H.264視頻數據和設備參數等信息;同時,該模塊也對UI模塊下發的連接請求或控制操作指令進行OWSP封裝,然后下發至網絡通信模塊等待發送。視頻解碼模塊利用設備參數信息配置解碼參數,再使用該參數對H.264視頻數據進行解碼并生成RGB數據。最后通過UI模塊呈現至屏幕,完成監控視頻的重現。UI模塊還提供用戶選擇鏈接請求和設備控制操作輸入。本設計的視頻數據解碼模塊移植了FFmpeg至iOS操作系統作為解碼內核,實現對H.264視頻數據的解碼。

本文客戶端軟件除了視頻監控外,還具有監控設備控制、分辨率自適應、通道切換、連接自動檢測等功能。限于篇幅,以下僅對移動客戶端軟件主程序進行介紹。

3.3.2 軟件主程序設計

本文移動客戶端軟件的主程序流程如圖4所示。與視頻采集端的連接請求由移動客戶端發起,當用戶名及密碼驗證通過后,視頻采集端則根據需求發送對應通道的視頻數據;若驗證失敗則結束流程并提示連接失敗。

圖4 移動客戶端軟件的主程序流程

圖4所示流程在實際應用中加入了iOS特有的Delegate機制[11],系統可自動檢測網絡狀態,若網絡無法連接或斷開,則通知用戶并釋放系統資源。視頻解碼部分則加入SPS[12]探測技術,利用H.264數據中的SPS信息獲得視頻數據的真實分辨率,實現解碼分辨率的自適應調整功能,可避免分辨率參數與實際分辨率不符而導致解碼失敗。

4 系統測試與分析

4.1 測試環境與方法

本文的測試環境由監控視頻采集端和移動終端構成。其中采集端使用1臺通用硬盤錄像機及4臺球形攝像機,硬盤錄像機通過有線網絡接入Internet或本地局域網;移動終端選用安裝了本文客戶端軟件的iPhone4智能手機,并通過Wi-Fi或移動網絡或本地無線局域網與視頻采集端進行連接。測試在不同網絡環境下,視頻采集端至移動客戶端之間的連接時間、視頻播放流暢度、控制視頻采集設備的響應時間。另外,還針對OWSP與RTSP協議進行傳輸及解碼的時延對比測試。視頻采集端所采集視頻圖像分辨率分別為352×288及174×144,幀率為25 f/s。

4.2 測試結果及分析

4.2.1 不同網絡環境的系統響應測試

本測試使移動客戶端分別通過Wi-Fi、聯通3G、移動2G三種不同網絡環境進行連接響應、播放流暢度、控制響應時間的測試,測試結果見表2,各類型網絡測試視頻畫面如圖5～圖7所示。

表2 不同網絡環境下系統測試結果

圖5 Wi-Fi網絡測試視頻畫面

圖6 3G網絡測試視頻畫面

圖7 2G網絡測試視頻畫面

4.2.2 不同傳輸協議的延時特性測試

使用無線路由搭建本地局域網,視頻采集端采用有線方式接入局域網路由器,移動客戶端通過無線網絡方式接入本地局域網。分別使用RTSP及OWSP作為傳輸協議,統計真實環境與對應視頻從采集開始到解碼完成的時間差。所采集視頻圖像分辨率為352×288,幀率為25 f/s。由實驗統計結果可以看出,同等情況下,OWSP的實時效果優于RTSP協議。測試結果如圖8所示。

圖8 2種協議延時對比

5 結束語

本文提出的移動視頻監控客戶端基于iOS操作系統研發,采用開放無線視頻接入規范,通過移動網絡進行數據交互,具有帶寬要求低、連接快、延時少等特點。測試結果表明,即使在2G網絡下亦可流暢播放監控視頻,且具有較好的實時性。OWSP強大的可拓展性,還能為音頻、控制、數字水印等功能的拓展提供支持。

[1] 樊 姍.基于RTP的H264視頻傳輸技術的研究[D].濟南:山東大學,2008.

[2] 徐鵬宇,許子燦.基于SIP協議的監視系統設計與實現[J].計算機工程,2013,39(11):289-294.

[3] 驥君子.淺談HTTP Adaptive Streaming技術及其前景[J].世界寬帶網絡,2011,18(5).

[4] Schulzrinne H,Rao A,Lanphier R.Real Time Streaming Protocol[S].RFC 2326,1998.

[5] Schulzrinne H,Casncr S,Frederick R,et al.RTP: Atransport Protocol for Real-time Applications[S]. RFC 3550,2003.

[6] 褚 典,江春華,基于SIP、RTP/RTCP和RTSP協議的視頻監控系統[J].計算機與現代化,2013(11): 139-142.

[7] 徐鵬宇,許子燦.基于SIP協議的監視系統設計與實現[J].計算機工程,2013,39(11):289-294.

[8] 畢厚杰.H.264/AVC視頻編碼標準的技術特點和評價[J].世界電信,2004,(9):34-36.

[9] 馮先成,李德駿.計算機網絡及應用[M].武漢:華中科技大學出版社,2011.

[10] Wikipedia.Internet[EB/OL].[2014-03-16].http:// en.wikipedia.org/wiki/Internet.

[11] Apple.iOS Developer Library[EB/OL].[2014-03-16]. https://developer.apple.com/library/ios/navigation/ index.html.

[12] Grecos C,Yang Mingyuan.Fast Inter Mode Prediction for P Slices in the H264 Video Coding Standard[J]. IEEE Transactions on Broadcasting,2005,51(2): 256-263.

編輯 顧逸斐

Design of Mobile Video Surveillance Software Based on iOS Platform

XIAO Yuandong,CAI Shengzhen
(Faculty of Software,Fujian Normal University,Fuzhou 350108,China)

For large software and hardware resources required of traditional remote video surveillance system, independence between video transmission protocol and video capture device control protocol,high bandwidth requirements,large delay,and real-time differential,this paper uses Open Wireless Surveillance Protocol(OWSP)specific information structure,puts the video data transmission,device control,and other information in a packet,and based on the iOS mobile operating system and H.264 video standard,designs and implements a set of video transmission and control in one of the mobile video monitoring software.Test results show that this monitoring software effectively improves the performance of mobile video surveillance system with fast control response,low transmission bandwidth,adaptive resolution,and real-time video play smooth.

mobile video surveillance;Open Wireless Surveillance Protocol(OWSP);H.264 format;iOS operating system;FFmpeg codec library;adaptive resolution

肖遠東,蔡聲鎮.基于iOS平臺的移動視頻監控軟件設計[J].計算機工程,2015,41(2):268-271,277.

英文引用格式:Xiao Yuandong,Cai Shengzhen.Design of Mobile Video Surveillance Software Based on iOS Platform[J].Computer Engineering,2015,41(2):268-271,277.

1000-3428(2015)02-0268-04

:A

:TP393

10.3969/j.issn.1000-3428.2015.02.051

教育部基金資助重點項目(212087);福建省科技廳基金資助重大項目(2011H6009);福建高新技術開發計劃基金資助重點項目(2012H0021)。

肖遠東(1989-),男,碩士研究生,主研方向:移動平臺,嵌入式系統;蔡聲鎮(通訊作者),教授。

2014-04-11

:2014-05-05E-mail:csz@fjnu.edu.cn