基于Android和Raspberry Pi的遠(yuǎn)距離視頻監(jiān)控系統(tǒng)的設(shè)計

劉智旸+馬婭婕　余湧

摘 要： 為了實現(xiàn)視頻監(jiān)控的移動性和遠(yuǎn)程操控，結(jié)合無線網(wǎng)絡(luò)、Java語言和Eclipse開發(fā)編譯工具，提出一種使用Android和Raspberry Pi組合，實現(xiàn)遠(yuǎn)程實時視頻監(jiān)控的新思路。攝像頭獲取圖像數(shù)據(jù)，通過Raspberry Pi處理后以視頻流的形式上傳到圖像服務(wù)器，以Android智能手機(jī)作為移動控制終端，通過WiFi訪問圖像服務(wù)器，獲取圖像數(shù)據(jù)并在控制界面進(jìn)行顯示，用戶通過視頻信息對移動機(jī)器人進(jìn)行遠(yuǎn)程控制，達(dá)到遠(yuǎn)程實時監(jiān)控的效果。通過實驗測試，該系統(tǒng)可以有效地進(jìn)行遠(yuǎn)程視頻監(jiān)控，具有良好的可用性。

關(guān)鍵詞： 遠(yuǎn)程視頻監(jiān)控； Android； Raspberry Pi； 圖像服務(wù)器； 移動機(jī)器人；實時監(jiān)控

中圖分類號： TN948.4?34 文獻(xiàn)標(biāo)識碼： A 文章編號： 1004?373X（2017）07?0012?04

Design of remote video surveillance system based on Android and Raspberry Pi

LIU Zhiyang， MA Yajie， YU Yong

（School of Information Science and Engineering， Wuhan University of Science and Technology， Wuhan 430081， China）

Abstract： In order to implement the mobility and remote control of the video surveillance， a new thought of the real?time video surveillance implemented based on the Android and Raspberry Pi is proposed in combination with the wireless network， Java language and Eclipse tool. The image data is acquired with the camera， which is processed with the Raspberry Pi to upload it to the image server with the video streaming. The Android smart phone is used as the mobile control terminal， which can access the image server via WiFi to acquire the image data and display it on the control interface. The user can control the mobile robot remotely with the video information to realize the remote real?time monitoring effect. The system was performed with experimental test. The results show that the system can monitor the remote video effectively， and has high availability.

Keywords： remote video surveillance； Android； Raspberry Pi； image server； mobile robot； real?time monitoring

0 引 言

傳統(tǒng)的視頻監(jiān)控系統(tǒng)大部分采用PC機(jī)作為控制終端，在使用過程中受到工作環(huán)境和網(wǎng)絡(luò)環(huán)境等其他因素的影響，極大地限制了監(jiān)控者控制的靈活性。并且隨著監(jiān)控需求的不斷改變和發(fā)展，視頻傳輸?shù)膶崟r性、監(jiān)控設(shè)備的移動性等一些實際需求也越來越高。

由于Android系統(tǒng)的開放使得Android軟件的開發(fā)變得更加容易，并且基于Android移動設(shè)備使用的普遍性和靈活性，結(jié)合Raspberry Pi強(qiáng)大的圖像處理能力和體積小的特點，本文提出了基于Android和Raspberry Pi的遠(yuǎn)距離實時視頻監(jiān)控系統(tǒng)的設(shè)計方案。

在系統(tǒng)中使用搭載Web攝像頭的移動機(jī)器人進(jìn)行視頻采集，移動機(jī)器人使圖像采集更加靈活、采集范圍更廣；為了方便圖像數(shù)據(jù)的傳輸，減少控制終端圖像數(shù)據(jù)下載壓力，使用圖像服務(wù)器緩存圖像數(shù)據(jù)；為了保障視頻流暢度，使用SurfaceView控件播放視頻，獨(dú)特的鎖定銷毀機(jī)制減少播放過程中黑屏或者花屏現(xiàn)象的發(fā)生。

1 系統(tǒng)整體框架和功能需求分析

系統(tǒng)由移動機(jī)器人終端、圖像服務(wù)器和移動控制終端三部分組成，其中移動機(jī)器人終端是搭載了Raspberry Pi開發(fā)板和車載Web攝像頭的移動小車，移動控制終端以Android智能手機(jī)作為控制平臺，兩者通過WiFi無線網(wǎng)絡(luò)連接圖像服務(wù)器并進(jìn)行數(shù)據(jù)通信，系統(tǒng)整體設(shè)計圖如圖1所示。

在整個系統(tǒng)的運(yùn)行過程中，圖像服務(wù)器作為兩個終端視頻數(shù)據(jù)傳輸?shù)闹薪椋鸬綀D像數(shù)據(jù)緩存的作用。

移動機(jī)器人終端的主要功能有兩個：

（1） 通過USB無線網(wǎng)卡連接到無線網(wǎng)絡(luò)，接收和執(zhí)行控制終端發(fā)送的控制指令。

（2） 車載Web攝像頭實時獲取圖像數(shù)據(jù)并進(jìn)行壓縮編碼，通過無線網(wǎng)絡(luò)上傳到圖像服務(wù)器，完成視頻數(shù)據(jù)的傳輸。

Android控制終端的主要功能有兩個：

（1） 通過無線網(wǎng)絡(luò)訪問圖像服務(wù)器，獲取上傳的視頻圖像數(shù)據(jù)，將圖像數(shù)據(jù)解碼后在控制界面中進(jìn)行視頻顯示。

（2） 通過無線網(wǎng)絡(luò)與移動小車取得連接，在控制界面中通過圖像信息實現(xiàn)對移動小車的遠(yuǎn)程控制。

2 圖像服務(wù)器

在系統(tǒng)中，使用MJPG?Streamer圖像軟件提供的圖像服務(wù)器進(jìn)行視頻圖像數(shù)據(jù)的緩存。MJPG?Streamer是一款開源的輕量級視頻服務(wù)器軟件[1]。該軟件可應(yīng)用在基于IP協(xié)議的網(wǎng)絡(luò)中，將Web攝像頭獲取到的圖像數(shù)據(jù)以視頻流的形式上傳到圖像服務(wù)器中進(jìn)行緩存。

圖像服務(wù)器在整個系統(tǒng)運(yùn)行過程中扮演著機(jī)器人終端和控制終端視頻傳輸?shù)闹薪椤？刂平K端在獲取視頻數(shù)據(jù)時，不需要等到整個視頻下載完成，通過無線網(wǎng)絡(luò)訪問圖像服務(wù)器，下載實時圖像數(shù)據(jù)即可。

圖像服務(wù)器的使用保證了圖像數(shù)據(jù)的完整性和傳輸?shù)姆€(wěn)定性，同時也方便對視頻數(shù)據(jù)進(jìn)行存儲、刪除等其他操作。并且系統(tǒng)利用MJPG?Streamer調(diào)用Web攝像頭的硬件壓縮功能，降低服務(wù)器的載荷，使整個系統(tǒng)具備節(jié)約資源、減少內(nèi)存占用、運(yùn)行速度快的優(yōu)點[2]。

3 移動機(jī)器人終端的設(shè)計

機(jī)器人終端是以二輪驅(qū)動的小車作為移動平臺，采用Raspberry Pi + Arduino作為主控制器，分別實現(xiàn)不同的控制功能。其中Raspberry Pi是一款基于Linux系統(tǒng)、只有一張信用卡大小的卡片式計算機(jī)，具有強(qiáng)大的視頻、圖像、音頻處理能力，且具有體積小、價格低廉、功能強(qiáng)大的特點[3]，特別適合作為小型移動設(shè)備的多媒體信息處理及傳輸平臺。Arduino控制平臺是一塊基于開放源代碼的USB接口板，簡單易用，程序的燒寫和修改變得更加容易[4]，并且可以方便地與現(xiàn)有的電子元器件進(jìn)行連接以實現(xiàn)控制和交互功能，在本系統(tǒng)中可以作為移動機(jī)器人的電機(jī)和舵機(jī)的控制平臺。

移動機(jī)器人終端的結(jié)構(gòu)圖如圖2所示。在機(jī)器人終端通過Arduino平臺接收并判斷手機(jī)發(fā)送的控制指令，實現(xiàn)對小車電機(jī)運(yùn)轉(zhuǎn)和舵機(jī)轉(zhuǎn)動的控制；Raspberry Pi控制Web攝像頭進(jìn)行圖像攝取，然后通過無線網(wǎng)卡上傳到圖像服務(wù)器。

由此可見，機(jī)器人終端主要完成兩個工作：控制指令的判別和執(zhí)行；攝像頭獲取到的實時圖像數(shù)據(jù)的處理和上傳。

3.1 控制指令判別和執(zhí)行

手機(jī)發(fā)出的控制指令通過無線網(wǎng)絡(luò)和socket通信接口發(fā)送給Raspberry Pi，Raspberry Pi將控制指令通過USB數(shù)據(jù)線傳送給Arduino，在Arduino中對指令進(jìn)行判別和執(zhí)行：通過控制兩個電機(jī)的運(yùn)行狀態(tài)來控制移動機(jī)器人的行動狀態(tài)；Arduino控制板通過輸出不同脈寬的信號進(jìn)行舵機(jī)轉(zhuǎn)動角度控制[5]。將攝像頭固定在舵機(jī)上，舵機(jī)的旋轉(zhuǎn)帶動攝像頭的旋轉(zhuǎn)，擴(kuò)大了攝像頭的視角，增加可視范圍。

3.2 視頻處理和上傳

移動機(jī)器人使用Web攝像頭，通過UVC協(xié)議免驅(qū)動安裝與Raspberry Pi進(jìn)行連接。因為Web攝像頭中包含MJPEG編碼器，采用JPEG圖像壓縮技術(shù)實現(xiàn)視頻數(shù)據(jù)的壓縮處理[6]。然后將每一幀圖像數(shù)據(jù)傳送給Raspberry Pi，通過Raspberry Pi的MJPG?Streamer圖像開發(fā)軟件將圖像數(shù)據(jù)以視頻流的形式通過無線網(wǎng)絡(luò)傳送到圖像服務(wù)器中。作為控制終端的手機(jī)可以訪問圖像服務(wù)器下載每一幀圖像數(shù)據(jù)，然后進(jìn)行相應(yīng)的解碼和顯示操作。

3.3 圖像質(zhì)量保證

為了減少視頻數(shù)據(jù)傳輸時占用的帶寬，使圖像傳輸更加流暢，采用減小圖像分辨率和圖像傳輸幀率的方法。

（1） 圖像分辨率的選取：分辨率是指單位長度中的像素數(shù)目。在調(diào)試過程中對常用分辨率下每幀圖像的效果和大小進(jìn)行記錄和比對，如表1所示。

為了兼顧圖像的質(zhì)量和圖像數(shù)據(jù)的大小，最后選擇320×240作為圖像分辨率。

表1 不同分辨率圖片大小和效果

[分辨率 圖片大小 圖片效果 160×120 6 KB左右 模糊 320×240 10 KB左右 清晰 600×400 14 KB左右 清晰 640×480 16 KB左右 清晰 ]

（2） 圖像傳輸幀率：幀率是指單位時間內(nèi)顯示的圖片數(shù)量，單位為f/s。系統(tǒng)選用的Web攝像頭支持的幀率為1～30 f/s，根據(jù)人眼的視覺暫留效應(yīng)，當(dāng)傳輸?shù)膱D像為24幀以上時會認(rèn)為畫面是連續(xù)的，為了基本滿足人眼的觀看效果，并且保證視頻圖像顯示的流暢度和視頻播放的穩(wěn)定性，選用20～24 f/s作為測試幀率。

4 移動控制終端的設(shè)計

系統(tǒng)以Android智能手機(jī)作為控制終端，Eclipse作為應(yīng)用軟件開發(fā)平臺，設(shè)計一款A(yù)PP應(yīng)用，實現(xiàn)對機(jī)器人的遠(yuǎn)程控制以及視頻顯示。

在功能實現(xiàn)上將視頻顯示和遠(yuǎn)程控制分別放在兩個線程中運(yùn)行，避免線程阻塞，減少系統(tǒng)資源的損耗。控制終端的工作流程圖如圖3所示。

移動控制終端的設(shè)計主要包括三個部分：UI控制界面，移動機(jī)器人的遠(yuǎn)程控制以及視頻的顯示。

4.1 UI控制界面

UI控制界面是通過調(diào)用Android的SDK編寫控制端的可視化界面[7]。在控制界面中，連接Button按鈕完成與移動機(jī)器人終端的遠(yuǎn)程連接，前后左右Button按鈕完成對移動機(jī)器人的行進(jìn)控制，攝像頭旋轉(zhuǎn)Button按鈕完成對攝像頭的轉(zhuǎn)動控制，SurfaceView控件進(jìn)行視頻圖像的顯示。

當(dāng)機(jī)器人終端正常工作后，用戶點擊APP進(jìn)入到控制界面，實時采集的圖像信息會通過SurfaceView控件顯示在屏幕上，遠(yuǎn)程連接移動機(jī)器人后，用戶通過圖像信息對移動機(jī)器人進(jìn)行遠(yuǎn)程控制。

4.2 遠(yuǎn)程控制

控制界面提供給用戶不同的控制按鈕，通過點擊不同的Button對移動機(jī)器人進(jìn)行控制。控制按鈕的主要功能有：與移動機(jī)器人的遠(yuǎn)程連接和斷開、移動機(jī)器人前后左右的行進(jìn)、車載攝像頭的旋轉(zhuǎn)。

控制指令的發(fā)送是通過使用Socket接口通信技術(shù)來實現(xiàn)。Socket有兩種通信方式：面向連接的方式和無連接方式[8]，本設(shè)計采用面向連接的方式來提高通信的可靠性。通過機(jī)器人的IP地址和端口號創(chuàng)建Socket，獲得輸出流OutputStream，然后使用流套接字完成對機(jī)器人控制指令的傳輸，實現(xiàn)對機(jī)器人的遠(yuǎn)程控制。Socket通信的創(chuàng)建和數(shù)據(jù)傳輸流程圖如圖4所示。

Socket通信包括三個步驟：建立連接、發(fā)送數(shù)據(jù)、關(guān)閉套接字。函數(shù)核心代碼如下：

public void WiFiSend（String command）{

socket = new Socket（"192.168.199.213"，8000）；

WiFiout = socket.getOutputStream（）；

WiFiout.write（command.getBytes（））；

Socket.close（）； }

4.3 視頻顯示

4.3.1 視頻圖像的獲取

通過無線網(wǎng)絡(luò)訪問指定的圖像服務(wù)器，從圖像服務(wù)器下載由Raspberry Pi上傳的每一幀實時圖像數(shù)據(jù)，下載后的圖像數(shù)據(jù)在控制終端進(jìn)行圖片解碼操作，獲取數(shù)據(jù)包中的有效數(shù)據(jù)并存入數(shù)據(jù)緩沖區(qū)。

每一幀圖片的格式為JPEG格式，JPEG文件主要包括文件起始符、壓縮數(shù)據(jù)和文件結(jié)束符[9]。讀取數(shù)據(jù)找到圖片壓縮數(shù)據(jù)的起始標(biāo)記碼和結(jié)束標(biāo)記碼，除去標(biāo)記碼后獲得有效壓縮數(shù)據(jù)，獲取圖片壓縮數(shù)據(jù)的主要函數(shù)代碼如下：

public void DecodedPic（） {

try {

header = new String（jpg_buf，"utf?8"）；

int index = header.indexOf（conLenString）；

if （index ！= -1）{

int index2 = header.indexOf（"＼r"， index）；}

if （index2 ！= -1） {

String frameLenString = header.substring

（index+contentLenString.length（），index2）；}

for （i=0；i

if （jpg_buf[i] == （byte） 0xFF） {

Arrcopy（jpg_buf，i，jpg_buf，0，pos-i）；

pos = pos-i；}

}}}

4.3.2 視頻的播放

在控制終端下載每一幀圖像數(shù)據(jù)后，對數(shù)據(jù)進(jìn)行解碼并創(chuàng)建位圖進(jìn)行顯示，循環(huán)繪制位圖達(dá)到視頻的效果。

采用傳統(tǒng)的View控件繪圖存在三個缺陷：View缺乏緩沖機(jī)制；當(dāng)程序需要更新圖像時，程序必須重繪View上的整張圖片，并且沒有銷毀機(jī)制，導(dǎo)致在重繪過程中會出現(xiàn)黑屏或者花屏的現(xiàn)象，影響視頻觀看效果；View的繪圖必須在當(dāng)前UI線程中進(jìn)行，更新View組件時總要采用Handler處理，程序需要花較長的時間進(jìn)行重繪，主線程將會被阻塞，使得視頻觀看不流暢[10]。

為了保證視頻的觀看效果和流暢度，選用SurefaceView控件進(jìn)行位圖的繪制，SurfaceView與SurfaceHolder結(jié)合使用，在主線程之外的線程中在屏幕上進(jìn)行位圖的繪制。其中SurfaceView控件的更新機(jī)制會更新SurfaceView的繪制，通過不斷進(jìn)行位圖的重繪達(dá)到實時視頻的效果。由于SurfaceView控件在單獨(dú)的線程中更新畫面，不會阻塞主UI線程，從而提高了程序的反應(yīng)速度，也保證了圖像顯示的流暢度。

圖形顯示的過程如下：實現(xiàn)SurfaceHolder.Callback接口；獲得SurfaceHolder對象；SurfaceHolder.addCallback（）添加回調(diào)函數(shù)；SurfaceHolder.lockCanvas（）鎖定畫布；Canvas繪圖；SurfaceHolder.unlockCanvas（）解鎖提交圖形。

5 系統(tǒng)調(diào)試

系統(tǒng)的綜合測試主要測試兩個方面的內(nèi)容：控制終端對機(jī)器人終端的遠(yuǎn)程控制，檢查機(jī)器人是否能準(zhǔn)確地執(zhí)行控制指令；控制終端的視頻顯示，查看視頻播放的流暢度和清晰度。

裝配完畢的移動機(jī)器人小車如圖5所示。正常運(yùn)行后，在APP中通過WiFi無線網(wǎng)絡(luò)與機(jī)器人取得連接，在操作界面中用戶根據(jù)實時圖像信息對機(jī)器人進(jìn)行遠(yuǎn)程控制，點擊操作界面中的方向控制按鈕，觀察到機(jī)器人能夠準(zhǔn)確快速地執(zhí)行相應(yīng)的指令。通過對圖像幀數(shù)的設(shè)置和對比，機(jī)器人攝像頭圖像采集的幀數(shù)最終設(shè)置為20 f/s。在10M帶寬的無線網(wǎng)絡(luò)下，圖像下載速度可以達(dá)到96 Kb/s，并且20 f/s在畫面品質(zhì)和播放流暢度方面達(dá)到平衡，更高或更低帶寬需要專門調(diào)試并設(shè)置。視頻顯示的效果圖如圖6所示。

6 結(jié) 語

本系統(tǒng)通過Android和Raspberry Pi的組合，提供了一種能夠?qū)崿F(xiàn)遠(yuǎn)程實時視頻監(jiān)控的新方案。Raspberry Pi增強(qiáng)了下位機(jī)的視頻圖像處理能力，Android APP增加了控制終端使用的靈活性和便捷性，移動車載攝像頭相比固定攝像頭大大增加了監(jiān)控范圍。該系統(tǒng)具有成本低、功耗小、操作方便快捷、移動靈活性大等優(yōu)點，實現(xiàn)了遠(yuǎn)距離、可移動、實時視頻監(jiān)控。

參考文獻(xiàn)

[1] 周鵬飛.基于MJPG?Streamer的移動視頻監(jiān)控系統(tǒng)的設(shè)計與研究[D].淮南：安徽理工大學(xué)，2013.

[2] 劉濤，呂勇，毛海波.基于WiFi技術(shù)的無線視頻監(jiān)控系統(tǒng)設(shè)計[J].現(xiàn)代計算機(jī)（專業(yè)版），2015（1）：49?53.

[3] 張占軍，陳詩偉，趙煜，等.智能家居系統(tǒng)的無線控制方案設(shè)計[J].科教導(dǎo)刊?電子版，2015（1）：283?284.

[4] 卞云松.基于Arduino單片機(jī)的避障小車機(jī)器人[J].自動化技術(shù)與應(yīng)用，2014，33（1）：16?19.

[5] 蔡睿姸.基于Arduino的舵機(jī)控制系統(tǒng)設(shè)計[J].電腦知識與技術(shù)，2012，8（15）：3719?3721.

[6] 劉塵塵.基于ARM的遠(yuǎn)程視頻監(jiān)控系統(tǒng)設(shè)計[J].計算機(jī)測量與控制，2012，20（8）：2127?2129.

[7] 王辰，周杰，季櫸.基于Android平臺的實時視頻技術(shù)的實現(xiàn)[J].計算機(jī)應(yīng)用與軟件，2014，36（6）：120?121.

[8] 閻秀英，周亞建，胡正名.基于Java的網(wǎng)絡(luò)實時遠(yuǎn)程監(jiān)控系統(tǒng)設(shè)計[J].計算機(jī)工程，2009，35（5）：74?75.

[9] 蔡紅亮.靜止圖像壓縮技術(shù)（JPEG）芯片的設(shè)計[D].南京：東南大學(xué)，2003.

[10] 張雅楠，楊璐，鄭麗敏.基于Android手機(jī)的遠(yuǎn)程視頻監(jiān)控系統(tǒng)的設(shè)計與開發(fā)[J].計算機(jī)應(yīng)用，2015，33（z1）：283?286.