無人機高清視頻跟蹤監控系統的設計

劉宏娟，賀若飛，馬麗娜，趙　娜

(1.西安愛生技術集團公司，陜西 西安 710065；2.西北工業大學 第365研究所，陜西 西安 710065)

?

無人機高清視頻跟蹤監控系統的設計

劉宏娟1，賀若飛2，馬麗娜1，趙娜1

(1.西安愛生技術集團公司，陜西 西安 710065；2.西北工業大學 第365研究所，陜西 西安 710065)

針對無人機地面控制站上，操縱手實時監測飛機飛行準備、起飛和飛機回收階段的需求，提出了一種應用在地面控制站內的高清視頻跟蹤監控系統的設計方案。該方案有效地解決了操作手在地面控制站內視野狹隘，獲取飛機狀態信息量不足的問題，使得飛行起飛階段和回收階段操作更加簡單直觀，且系統借用無人機系統數據鏈天線對準功能與視頻跟蹤功能實現了自動化監控飛機狀態，系統硬件采用嵌入式平臺，尺寸小，經濟、可靠，節約了地面控制站內部的寶貴空間。

地面控制站；無線數據鏈；監控系統；嵌入式

0　引言

地面控制站是無人機系統的重要組成部分，承擔著無人機系統的飛行監控、導航監控和任務載荷監控等功能。現有的地面控制站，在飛行準備、起飛和回收階段，需要密切關注飛機的狀態，除了通過數據鏈交互的飛機參數外，還需要用目視的方式觀察飛機舵面是否按照指令動作，飛機俯仰角度是否符合慣導參數，飛機起飛過程是否正常，火箭脫落是否正常等。傳統的方式是由飛機附近的工作人員使用對講機與地面控制站上的操作手進行溝通，每個指令需要地面控制站告知指令發出，飛機端觀察飛機動作，然后飛機端告知飛機動作狀況。這種功能指令循環費時費力，對于地面控制站工作人員，十分不便；在回收階段，地面控制站工作人員觀察范圍有限，獲得的飛機信息量更加不足。

目前國內將視頻監控系統應用在無人機地面控制站內的設計不斷涌現[1]，但是僅僅是人工手動控制攝像頭云臺，監控飛機狀態，沒有實現實時自動化監控[2]，而且并無精確跟蹤飛機功能[3]。

本文將高清視頻跟蹤監控系統應用在無人機地面控制站上，操作手可以利用地面控制站上任意一臺計算機監控視頻，實現實時自動監測飛機在地面起飛準備狀態和飛機回收等情況，為操縱手提供了判定飛機真實狀態和飛行姿態的輔助信息功能，利用數據鏈的跟蹤引導功能，完成了攝像頭自動對準飛機，免去了在監控飛機狀態時操作手的手動控制操作，實現粗略跟蹤飛機，然后利用視頻跟蹤算法，精確跟蹤飛機，使操作手即使在飛機飛行時也能輕松觀察到飛機的飛行狀態。

該高清視頻監控系統處理視頻數據量大、壓縮數據率高、傳輸碼流可自適應不同帶寬，視頻顯示人機界面設計友好，可實現1080p和720p的實時高清視頻解壓存儲顯示，滿足操作手清晰地觀察飛機狀態的目標。

1　系統工作原理

1.1系統組成

高清視頻跟蹤監控系統的自動監控功能利用數據鏈的跟蹤功能與圖像跟蹤算法實現。視頻監控部分包括視頻采集設備和視頻顯控軟件，視頻采集設備安裝在地面控制站內，接收地面控制站數據鏈天線上的攝像頭數據，進行編碼壓縮，通過網絡將壓縮碼流傳輸至地面控制站內部計算機，操作手通過安裝在地面控制站內部計算機上的視頻顯控軟件對高清視頻圖像進行顯示與控制，系統組成如圖1所示。

圖1　系統組成

圖1中，視頻采集設備即視頻采集模塊，采用嵌入式軟件編程方式，完成攝像頭高清視頻的采集，編碼壓縮與傳輸等工作。

視頻顯控軟件實現接收編碼碼流和解壓編碼碼流，進行實時顯示或者存儲，并且可控制攝像頭焦距，視場變化等；圖像跟蹤算法嵌入視頻顯控軟件內，實現精確跟蹤標注飛機功能。

1.2工作原理

系統利用數據鏈系統的跟蹤引導功能捕捉到飛機，通過攝像頭采集視頻數據，直接傳輸至視頻采集設備，視頻采集設備對視頻數據進行轉換編碼壓縮，通過網口輸出，傳輸至地面控制站內路由器，地面控制站內計算機可通過路由器獲得壓縮后的視頻流，視頻顯控軟件安裝在地面控制站內各個計算機上，將獲得的視頻流進行解壓顯示。

攝像頭云臺安裝于地面控制站天線上，可隨天線自動引導粗略跟蹤飛機，然后在視頻顯控軟件內利用圖像跟蹤算法，在圖像上自動精確跟蹤標注飛機，或者也可通過人工手動控制攝像頭云臺查看飛機周邊狀態。系統工作原理如圖2所示。

圖2　系統工作原理

2　視頻采集模塊設計

視頻采集模塊將采集到的視頻數據經攝像頭連線接口送入核心處理器中進行圖像信號處理，利用處理器的硬件加速器(協處理器)進行相應的編碼壓縮等操作，得到編碼流數據；基于TCP/IP協議通過網絡將編碼后的數據傳輸至與它同網絡的地面控制站計算機中。

2.1硬件設計

視頻采集設備硬件平臺的核心處理器為TI公司片上系統TMS320DM365芯片[1]，集成有ARM等子系統。其中ARM子系統的內核為ARM926EJ-S，是一個32位處理器內核，主頻為300 MHz。為了保證系統的正常有效運行，采用了一片容量為128 MByte的K9F1G08U0B-PIB0的NAND Flash芯片，以及一片容量為128 MByte的MT47H64M16HR-3的DDRII存儲器。以太網模塊則采用了10BASE-T/100BASE-TX/FX物理層收發器KS8001L。

視頻采集模塊硬件平臺核心電路板實物如圖3所示。

圖3　硬件電路板實物

2.2軟件設計

選用TI公司專門用于開發DaVinci系列產品的MontaVista Linux(MVL)操作系統，其內核為2.6.18[4]。根文件系統采用特定制作的ramdisk，u-boot使用1.2.0版本，ubl作為系統的啟動引導程序。應用程序方面采用了AV SERVER的架構，編寫獨立的多線程應用程序核心代碼。

當系統啟動時，將激活4個主要線程：

① 數據獲取線程

通過圖像傳感器捕獲視頻數據，采用內存映射方式，內存映射返回的地址為存放圖像數據的起始地址。通過循環，不斷捕獲視頻。數據獲取線程流程如圖4所示。

圖4　數據獲取流程

② 編碼流線程

對視頻數據進行處理(去噪等)并編碼，可進行多種編碼方式[5]，包括CIF、H.264[6]、MPEG[7]和JPEG等，在循環緩沖區和高速緩存緩沖中管理和存儲編碼數據；接收視頻顯控軟件指令，執行其他應用的請求。

③ 系統服務線程

存儲和恢復系統參數，根據報警信息或者日程時間表保存或上傳視頻文件到FTP服務器或者本地磁盤。

④ http以及rtp線程

通過內嵌Web Server創建相應文件目錄生成ramdisk；根據TCP/IP協議，設置視頻采集設備為服務器，發送客戶端所需視頻碼流。

3　視頻顯控軟件設計

視頻顯控軟件采用面向對象的C++設計，界面分為視頻顯示區和控制區，包括接收編碼流線程、編碼流解壓線程、視頻流播放線程和控制視頻采集功能。

3.1接收編碼流線程

設置TCP/IP協議網絡客戶端，實時監聽網絡上的數據狀態，發送通知消息，循環獲取網絡上傳輸來的視頻信息頭與視頻編碼流。

3.2編碼流解壓線程

在網絡接收獲取的碼流中尋找視頻信息頭，提取信息頭后，對每一幀收到的編碼數據進行數據解碼，形成可以播放的幀圖像。可自適應選擇多種編碼解壓方式，包括H.264、MPEG、JPEG和CIF等編碼方式[5]。

3.3視頻流播放線程

利用DirectX11.0根據顯控軟件顯示區域大小，自適應顯示每幀圖像。

3.4控制視頻采集

3.4.1控制視頻采集模塊

通過可視化界面控制區按鈕對編碼傳輸系統進行相應的控制操作，如將視頻數據通過FTP以文件的形式保存至地面控制站計算機上，或者選取何種編碼壓縮方式，視頻是否需要去噪去霧、視頻顯示大小的設置等。

3.4.2控制攝像頭

拖動鼠標控制云臺轉動方向查看飛機狀態，滾動鼠標轉輪變化攝像頭的視場大小。

視頻顯控軟件界面布局除標題欄外，整個窗口為攝像頭顯示視頻，控制攝像頭操作完全通過鼠標拖拽和滾輪完成。對于視頻的其他設置通過菜單欄完成。視頻顯控軟件設計流程如圖5所示。

圖5　視頻顯控軟件設計流程

4　自動跟蹤引導功能實現

本系統自動跟蹤引導功能的實現利用了無人機系統數據鏈的跟蹤引導功能與圖像跟蹤算法實現。

無人機系統數據鏈具備2種對準飛機的模式：模式1為搜索跟蹤模式[8]，即地面控制站天線自動對無人機數據鏈信號進行搜索并尋找最強信號方向進行對準跟蹤；模式2為數字引導模式[9]，即地面控制站根據飛機位置與地面控制站位置計算出地面控制站天線指向飛機天線的方位角和俯仰角，數據鏈系統根據這2個角度引導天線對準飛機，達到粗略跟蹤飛機，實現自動監控飛機狀態的第1步。

攝像頭安裝在數據鏈天線上時，當數據鏈天線對準飛機時，則攝像頭自動對準了飛機方向。考慮到對準的誤差，攝像頭云臺還具有微調功能，可以在視頻顯控軟件上利用鼠標微調使飛機位于畫面中心。

第2步精確對準監控飛機狀態，采用圖像跟蹤算法，將開源Opencv[10]的代碼，嵌入在視頻顯控軟件中，直接對解壓后顯示的圖像，進行算法實現尋找飛機目標，進行跟蹤標注，實現精確跟蹤飛機，自動監控飛機狀態。

5　應用結果分析

將本系統應用在無人機地面控制站內，由天線引導跟蹤飛機，獲得安裝在天線上的攝像頭圖像，經過壓縮傳輸解壓后，顯示在地面控制站內計算機上，飛行驗證前的調試準備階段在夜間，所以選用了夜間模式的紅外攝像頭，手動控制鼠標操作視頻顯控軟件，實時觀察飛機狀態。在視頻顯控軟件中，觀察飛機夜晚飛行前準備狀態如圖6所示。

圖6　飛行準備監控

由天線引導粗略跟蹤飛機，捕獲安裝在天線上的攝像頭圖像，經過壓縮傳輸解壓后，顯示在地面控制站內計算機上，通過操作視頻顯控軟件，調用圖像跟蹤算法，精確跟蹤飛機，實時觀察飛機狀態，在白天起飛、回收和飛行階段，圖像清楚連續，均可清晰地觀察飛機的狀態，安排飛行驗證一次，完整自動跟蹤飛機回收過程，調用圖像跟蹤算法后，在視頻上用方框標注出飛機，如圖7所示，自動跟蹤監控飛機回收狀態。

圖7　回收跟蹤監控

6　結束語

經過多次飛行試驗驗證，通過天線自動引導粗略跟蹤飛機狀態與圖像跟蹤算法精確跟蹤飛機狀態配合應用，將這種自動化監控系統應用在無人機系統，很好地解決了操作手視野狹隘，在地面控制站內獲得外界信息不足的情況，且此監控系統組件靈活，自動化程度高，功能擴展性強，標準化程度高，方便在多型無人機系統地面控制站內推廣使用。

[1]李曉慶，楊奇，高峰.基于FPGA的無人機多路視頻監控系統設計[J].電子設計工程，2012，20(24)：51-52，56.

[2]李淼.基于H.264的無人機地面站視頻監控終端研究[D].成都：電子科技大學，2011.

[3]GUO M,AMMAR M H,ZEGURA E W.V3:a Vehicle-to-vehicle Live Video Streaming Architecture[C]∥Third IEEE International Conference on Pervasive Computing and Communications,2005:171-180.

[4]NASCIMENTO J C,MARQUES J S.Performance Evaluation of Object Detection Algorithms for Video Surveillance[J].IEEE Transactions on Multimedia,2006,8(4):761-774.

[5]李娜，王中元，朱福喜.國際主流視頻編碼標準優化代碼的對比測試[J].計算機應用研究，2008，25(10)：3 075-3 077,3 087.

[6]WIEGAND T,SULLIVAN G J,BJONTEGAARD G,et al.Overview of the H.264/AVC Video Coding Standard[J].IEEE Transactions on Circuits and Systems for Video Technology,2003,13(7):560-576.

[7]RICHARDSON Iain E G.H.264 and MPEG-4 Video Compression-Video Coding for Next-generation Multimedia[M].New York:John Wiley & Sons Ltd.,2003.

[8]李瑞榜.地空高速數據鏈跟蹤測角技術研究[J].無線電工程，2005，35(2)：23-25.

[9]劉國棟，李華偉，底哲，等.Kalman濾波在天線數字引導跟蹤中的應用[J].無線電工程，2010，40(8)：22-25.

[10]王福斌，李迎燕，劉杰，等.基于OpenCV的機器視覺圖像處理技術實現[J].機械與電子，2010(6)：54-57.

劉宏娟女，(1987—)，碩士，工程師。主要研究方向：無人機任務控制、無人機情報信息處理等。

賀若飛男，(1982—)，博士，助理研究員。主要研究方向：無人機自動任務規劃、導航控制等。

Design of UAV High-definition Video Tracking and Monitoring System

LIU Hong-juan1,HE Ruo-fei2,MA Li-na1,ZHAO Na1

(1.Xi’anASNTechnologyGroupCo.,Ltd,Xi’anShaanxi710065,China;2.The365thResearchInstitute,NorthwestPolytechnicalUniversity,Xi’anShaanxi710065,China)

This paper introduces the design of a high-definition video tracking and monitoring system to satisfy the monitoring demand of UAV operator in the preflight take-off and recovery phases.The issues of narrow vision and insufficient UAV status information are solved effectively,which makes the take-off and recovery phases more simple and intuitive.By the functions of radio data link antenna alignment and target tracking in images,the UAV can be automatically monitored by the operator.And with the use of an embedded platform,the hardware is small,economical and reliable,thus the space of GCS is saved.The experiment results show that the proposed system provides an effective monitoring approach for GCS.

GCS;radio data link;monitoring system;embedded

10.3969/j.issn.1003-3106.2016.09.13

2016-05-13

國家自然科學基金資助項目(61074155)。

VTP311.1

A

1003-3106(2016)09-0051-04

引用格式：劉宏娟,賀若飛,馬麗娜,等.無人機高清視頻跟蹤監控系統的設計[J].無線電工程,2016,46(9):51-54.