基于WiFi的遠程目標跟蹤系統設計*

管鳳旭， 杜俊琪， 趙 拓， 徐 健

(哈爾濱工程大學 自動化學院，黑龍江 哈爾濱 150001)

基于WiFi的遠程目標跟蹤系統設計*

管鳳旭， 杜俊琪， 趙 拓， 徐 健

(哈爾濱工程大學 自動化學院，黑龍江 哈爾濱 150001)

提出了遠程目標跟蹤系統的概念并實現一種遠程目標跟蹤系統。系統主要分為移動機器人端和遠程服務器端，主要功能是移動機器人通過USB攝像頭采集到實時現場視頻，將實時采集到的現場視頻從YUV格式硬編碼為H.264格式，再通過WiFi傳出給遠程服務器，服務器將接收到的視頻流解碼并對指定目標進行跟蹤算法處理后控制移動機器人追蹤目標。實驗結果表明：該系統可以有效實現遠程的目標跟蹤，驗證了該設計的可行性。

移動機器人； 目標跟蹤； 遠程監控； 時空上下文

0 引 言

在構建智慧城市與平安城市的大浪潮下[1]，智能監控系統[2]的身影出現在越來越多的領域。特別是安防系統和智能交通系統，在可靠性、實時性、智能性等方面對現有的監控系統提出了日益嚴格的要求。傳統的遠程安全監控系統往往基于單一攝像頭或攝像頭陣列，不夠智能化，在某些監控目標行為動作規律的場合，完全可以通過機器學習[3,4]，目標自動檢測[5]和跟蹤[6]等現代技術來減少人力的消耗。

遠程目標跟蹤系統作為本文提出的概念，就是以特殊定制的移動機器人為基礎對遠程目標進行追蹤并將目標信息實時反饋給服務器的一整套系統。事實上，遠程目標跟蹤系統已經悄然地走進了每一個人的生活，如在安防領域，完全可以通過攝像頭來自動識別罪犯的外貌特征，以快速、高效地追捕罪犯。遠程目標跟蹤系統對不便于人工參與的危險工作，節約不必要的人力成本，提高系統工作效率等方面有著重要的理論意義和應用價值。

本文設計了一整套遠程目標跟蹤系統，在區域WiFi網絡覆蓋的范圍內可以對指定目標進行穩定跟蹤，網絡帶寬占有率低，反應靈敏。

1 移動機器人硬件設計

1.1 移動機器人結構總覽

移動機器人由機器人運動控制平臺和視頻流控制平臺構成。機器人運動控制平臺為移動機器人提供了移動性能，運動控制平臺必須保證足夠的驅動能力使得機器人可以駛過復雜地形，必須保證運動期間相對穩定使得機器人能采集到高質量的視頻。視頻流控制平臺為采集并傳輸實時視頻流提供硬件基礎，需要提供高速接口接收攝像頭采集到的實時視頻，必須提供有足夠運算能力的嵌入式核心以處理采集到的視頻。移動機器人實物整體如圖1所示。

1.2 移動機器人運動控制平臺設計

移動機器人控制平臺由車體機械結構、主控制器電路、

控制器輔助電路和直流電機驅動電路組成，圖1中顯示了移動機器人運動控制平臺的各部分電路在移動機器人整體結構中的位置。主控制器電路是飛思卡爾單片機MC9S12XS128[7]的最小系統板電路；控制器輔助電路主要包含最小系統板接口電路、電源電路、轉向舵機接口電路、測速編碼器接口電路，以及后輪直流電機驅動電路的接口電路等。在本設計中的直流電機驅動電路采用脈寬調制(pulse width modulation,PWM)驅動方式，具體使用H橋驅動電路來驅動四輪小車的直流電機。

圖1 移動機器人實物圖

1.3 視頻流控制平臺設計

視頻流控制平臺由視頻流控制機能電路、USB 2.0 攝像頭，TP-LINK無線USB網卡組成，圖1中顯示了視頻流控制平臺在移動機器人整體結構中的位置。由于本設計中的視頻流控制平臺需要完成數據量巨大的視頻采集、壓縮、傳輸工作，對控制器的運算能力尤其是多媒體處理能力提出了較高要求，故選擇三星ARM處理器S5PV210[8]作為視頻流控制平臺的主控制器。為加快本設計完成速度，選用的是承載S5PV210處理器的OK210開發板作為視頻流控制平臺的載體。

2 遠程目標跟蹤系統軟件框架

整個遠程目標跟蹤系統軟件采用C/S架構。下位機的客戶端為機器人運動控制模塊和Linux操作系統環境下的視頻流控制模塊，上位機的服務器端為Windows操作系統環境下的流媒體服務模塊。服務器端軟件利用第三方的jrtplib庫、FFmpeg庫、OpenCV庫，基于VS2010 MFC框架，分別實現了視頻接收、H.264解碼、以及STC目標跟蹤算法的多線程跟蹤系統。圖2為遠程目標跟蹤系統軟件結構圖，下面對該結構的各個模塊功能進行簡要介紹：

1)基于V4L2框架的視頻采集[9]模塊：設定采集圖像的分辨率、幀率、質量等參數。編寫程序將采集到的yuv420p格式的視頻流轉換為S5PV210處理器自帶的硬件編碼模塊MFC所需要的NV12格式。

2)S5PV210 MFC硬件編碼模塊：將NV12視頻喂給集成在ARM內部的硬件壓縮模塊，將視頻壓縮為H.264格式[10,11]。

3)基于jrtlib庫的視頻發送模塊：機器人端的功能是將H.264視頻流的NALU單元按照RTP協議拆分，再通過jrtplib的API函數將拆分后的NALU單元封裝為RTP網絡包發送給服務器。

4)基于jrtlib庫的視頻接收模塊：服務器將RTP包接收校驗，并重組為完整的H.264的NALU單元。

5)基于FFmpeg庫的視頻解壓模塊：利用FFmpeg庫的API函數將接收到的H.264視頻流解碼為OpenCV需要的BGR888視頻流。

6)基于OpenCV的目標跟蹤算法模塊：利用OpenCV庫編寫STC目標跟蹤算法程序，對視頻流進行運算分析，根據跟蹤控制策略，得出機器人的控制信號后通過無線網絡發送給移動機器人。

7)串口信號發送模塊：Linux系統將接收到的機器人控制信號通過串口發送給機器人運動控制系統。

8)XS128機器人運動模塊：接收串口控制信號控制機器人追蹤目標。

圖2 遠程目標跟蹤系統軟件框架圖

3 系統綜合實驗

在夜晚燈光不足的教學樓走廊環境下，將自由行走的行人作為跟蹤目標，使用本設計中的遠程目標跟蹤系統對目標行人進行追蹤。服務器位于5樓實驗室內，行人位于2樓走廊內。實驗中服務器為Win7 64位操作系統， i3 CPU M 330 @2.13 GHz,4 GB內存，以PPPOE方式撥號，其IP地址為111.117.59.3，如圖3所示。

圖3 服務器網絡環境

移動機器人的IP地址為192.168.1.99，通過TP-LINK無線USB網卡，以WiFi方式連接到一臺無線路由器，該路由器通過PPPOE撥號，IP地址為111.117.50.158，如圖4所示。再在路由器中設置轉發規則以實現端口映射，即完成靜態方式NAT轉換的配置，具體設置見圖5。

圖4 路由器網絡環境

圖5 路由器中的端口映射設置

移動機器人的內網IP地址就是192.168.1.99，內部端口8000被用于發送和接收RTP包，內部端口8001被用于發送和接收RTCP包。

從圖6和圖7中可見行人出現在機器人前方，機器人鎖定追蹤目標并向其移動追蹤目標。圖6第一排圖片序列顯示，目標向前走穿過第一扇大門并向左轉彎走向窗臺的過程中，機器人也保持距離緩緩跟蹤目標。機器人的視野如圖第二排圖片序列所示，整個過程從第624幀持續到1 124幀，耗時33 s。

圖6 目標跟蹤過程

如圖7第一排圖片序列顯示，目標從窗臺向右轉動穿過大廳走向樓道，機器人也保持距離緩緩跟蹤目標。機器人的視野如圖7第二排圖片序列所示，整個過程從第1 358幀持續到1 893幀，耗時36 s。

圖7 目標跟蹤過程

如圖8所示，用網路流量監測軟件監測服務器軟件系統占用網速大約為20 kB/s左右。

圖8 360網絡流量監控界面

從網絡環境要求上看，本設計傳輸的是高度壓縮的H.264格式的視頻，僅占用極小的網速，無論是局域網或校內網都可以滿足本設計的通信環境；從跟蹤效果來看，在晚上的實驗中，由于受燈光影響，而且跟蹤目標是特征點少的行人背部，故跟蹤的中心有稍許偏差不過大體上仍然表現良好；從服務器端軟件的處理速度上來看，在光線不足的實驗中處理速度仍達到15幀/s。

4 結束語

本文設計的系統以四輪小車作為機器人的運動控制平臺，以處理器S5PV210為核心構建機器人的視頻流控制平臺，并開發出C/S架構的軟件系統。本文設計的遠程目標跟蹤系統具有基于WiFi的遠程網絡監控和運動目標跟蹤兩大核心功能，兩者有機結合使本設計較傳統的安防監控系統更智能，可擴展性強，和傳統安防監控系統配合可以被定制應用于更多場合。

[1] 吳 冬.模式識別技術在智慧城市安防領域的應用[J].計算機應用與軟件,2013,30(7):331-333.

[2] 曾輝艷,鄢 萍,賀曉輝,等.可配置的智能監控軟件開發方法[J].計算機工程,2010,36(10):239-241.

[3] Kalal Z,Matas J.Online learning of robust object detectors during unstable tracking[C]∥Proceedings of The 12th International Conference on Computer Vision,New York:IEEE X-plore,2009:1417-1424.

[4] Kalal Z,Matas J.P-N learning: Bootstrapping binary classify-RS by structural constraints[C]∥Proceedings of Conference on Computer Vision and Pattern Recognition,New York：IEEE,2010:49-56.

[5] Kalal Z,Mikolajczyk K.Forward-backward error:Automatic de-tection of tracking failures[C]∥Proceedings of The 20th International Conference on Pattern Recognition,New York：IEEE,2010:2756-2759.

[6] Kalal Z,Mikolajczyk K.Tracking-learning-detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(7):1409-1422.

[7] 許 寰,魯五一,趙治平.攝像頭路徑識別和小車控制策略[J].計算機工程與科學,2009,31(5):110-111.

[8] 杜偉龍,曹江濤.基于ARM-Linux無線視頻監控系統的設計[J].測控技術,2015,34(3):109-112.

[9] 付 力,焦斌亮.基于GPRS和DaVinci技術的視頻監控系統設計[J].傳感器與微系統,2011,30(6):100-102,105.

[10] 任守華,王勝華,劉士雷,等.基于3G和H.264技術的無線視頻監控系統[J].計算機應用研究,2010,27(4):1554-1556.

[11] 孫書為,陳書明.高效的H.264并行編碼算法[J].電子學報,2009,37(2):357-361,392.

Design of remote target tracking system based on WiFi*

GUAN Feng-xu， DU Jun-qi， ZHAO Tuo， XU Jian

(College of Automation，Harbin Engineering University，Harbin 150001，China)

The concept of remote target tracking system is proposed and a kind of remote target tracking system is realized.The design of the system is mainly divided into mobile robot and remote server.Real-time live video in YUV format is collected by mobile robot via USB,YUV format video is encoded into H.264 format and the video is sent to the remote server through WiFi.H.264 format video is decoded and processed with target tracking algorithm by the remote server,according to the results the mobile robot is controlled to track the target.Experimental results show that the system can effectively realize the remote target tracking,and the feasibility of the design is verified.

mobile robot; target tracking; remote monitor; spatio-temporal context(STC)

10.13873/J.1000—9787(2017)03—0101—03

2016—04—12

國家自然科學基金資助項目(51409055)

TP 242.6

A

1000—9787(2017)03—0101—03

管鳳旭(1973-)，男，博士，副教授，從事生物特征識別與智能監控，計算機控制及應用等研究工作。