基于iOS設備的自主航拍巡檢控制終端的設計

褚世沖，徐耀良，孫振宇，楊　寧

(1．上海電力學院 自動化工程學院，上海 200082；2．國家電網(wǎng)上海松江供電公司，上海 201600)

?

基于iOS設備的自主航拍巡檢控制終端的設計

褚世沖1，徐耀良1，孫振宇2，楊寧1

(1．上海電力學院 自動化工程學院，上海 200082；2．國家電網(wǎng)上海松江供電公司，上海 201600)

針對無人機航拍巡檢操作繁瑣、效率低下等問題，提出了一種基于iOS設備和圖像跟蹤算法的無人機自主航拍巡檢控制終端。使用無人機控制軟件開發(fā)包搭建了終端與無人機、航拍云臺、無線圖像傳輸設備、無人機控制器之間的通信鏈路。基于FFmpeg實現(xiàn)視頻解碼，提出了基于自適應尺度的時空上下文跟蹤算法，引入尺度參數(shù)變化率以在線糾正更新尺度參數(shù)的過激變化，大幅增強了航拍云臺在復雜背景下的跟蹤穩(wěn)定性，實現(xiàn)了無人機航拍系統(tǒng)對不同尺度目標的自主、穩(wěn)定跟蹤，提高了航拍巡檢效率。

無人機巡檢；時空上下文；iOS；軟件開發(fā)包；自適應尺度

隨著多旋翼無人機相關(guān)技術(shù)的成熟和功能擴展，無人機已不是封閉、單一的飛行工具，而是集成了飛行控制、云臺控制、航拍攝像、無線圖像傳輸、無線控制、在線路徑規(guī)劃等功能于一身，成為了飛行航拍平臺。使用航拍無人機用于電力行業(yè)設備巡檢是解決傳統(tǒng)巡檢任務效率低下、周期長、安全性差等問題的有效嘗試。但是由于目前多旋翼無人機系統(tǒng)不是針對巡檢場景設計的，使用無人機進行設備巡檢往往操作繁瑣、效率低下，無法取得預期巡檢效果，阻礙了無人機在這些領(lǐng)域的應用發(fā)展。基于無人機控制軟件開發(fā)工具包(Software Development Kit，SDK)構(gòu)建適應航拍巡檢任務要求的控制終端可以擴展無人機的控制方式，提高無人機自動化程度，使無人機成為航拍巡檢系統(tǒng)。

本文在iOS設備及其開發(fā)環(huán)境下，提出了基于圖像跟蹤算法的無人機自主航拍巡檢系統(tǒng)。在iOS的MVC(Model View Controller)開發(fā)模式下，使用DJI Mobile SDK提供的控制軟件接口，構(gòu)建iOS控制終端與無人機之間的通信鏈路，在Xcode開發(fā)環(huán)境下調(diào)用FFmpeg庫并基于H.264標準對實時獲取的無人機航拍視頻解碼，基于OpenGL ES For iOS圖像庫進行視頻顯示，重點提出高效的改進STC跟蹤算法實現(xiàn)對巡檢目標的實時跟蹤以獲得目標在像平面的位置。根據(jù)目標成像位置與像平面中心的偏差，自動調(diào)整航拍云臺方位偏航角和俯仰角，使目標時刻處于像平面中心[1]，實現(xiàn)對巡檢目標的自主航拍跟蹤。

1　總體架構(gòu)

文中使用的自主航拍系統(tǒng)客戶端基于DJI于2015年5月推出的Mobile SDK APIs，該系列SDK開放了相機、云臺、飛行姿態(tài)、地面站控制、電池、信號、航點信息等接口，因此本系統(tǒng)具備了改變無人機相機航拍參數(shù)、操控云臺、獲取飛行器飛行姿態(tài)以及航拍目標視頻等功能。系統(tǒng)核心為兩大模塊，分別為飛行器云臺控制模塊和基于自適應尺度的STC目標跟蹤算法[2-3]。總體功能框架如圖1所示。

圖1　系統(tǒng)架構(gòu)圖

基本流程為：首先iOS設備通過USB通信接口與無人機控制器連接，機載無線圖像傳輸系統(tǒng)將航拍相機原始YUV格式視頻圖像基于FFmpeg庫實現(xiàn)H.264標準的壓縮和傳輸[4]，iOS設備由無人機控制器獲取接收視頻原始幀，并進行標準解碼、顯示、格式轉(zhuǎn)換。在UIImageview對象下[5]，調(diào)用了自適應尺度的STC跟蹤器對Mat格式視頻圖像信息進行目標跟蹤，獲得跟蹤目標的中心位置，根據(jù)該位置坐標和像平面中心的誤差，云臺動作控制模塊生成云臺角度調(diào)整參數(shù)并對云臺進行角度調(diào)整，完成一幀的視頻處理過程。

1.1圖像傳輸與顯示模塊

DJI Phantom3飛行器的航拍設備拍攝的視頻分辨率為3 840×2 160，采用H.264標準進行視頻編碼，并通過無線圖像傳輸系統(tǒng)進行無線傳輸。為完成對該編碼視頻的解碼、顯示、處理，在Xcode開發(fā)環(huán)境下，在鏈接庫中添加FFmpeg的頭文件和.a格式靜態(tài)庫文件[6]，在Frameworks下，添加DJI Mobile SDK相關(guān)庫，包括DJISDK.framework和libz.dylib。在視頻解析、顯示函數(shù)中定義基于H.264標準的視頻接收、解碼部分代碼位于SDK中VideoFrameExtractor.m和ViewPreviewer.mm，視頻的顯示函數(shù)位于MovieGLView.m內(nèi)。

通過調(diào)用OpenGL庫中GLView控件實現(xiàn)圖像的渲染，使用接口函數(shù)_glView render：_renderYUVFrame[]完成對YUV格式視頻幀的渲染。在實際渲染中由于iOS不支持直接渲染YUV顏色制式圖像，視頻解碼后首先進行了由YUV到RGB顏色制式的轉(zhuǎn)換。轉(zhuǎn)換涉及公式如下

(1)

為實現(xiàn)圖像處理算法對圖像的調(diào)用，在ViewPreviewer.mm增加了基于UIImageView控件，以上圖像格式轉(zhuǎn)換流程如圖2所示。

圖2　格式轉(zhuǎn)換流程圖

1.2圖像處理算法

圖像處理算法模塊是實現(xiàn)自主航拍跟蹤的核心，為了提高算法實時性和穩(wěn)定性，系統(tǒng)基于Opencv For iOS實現(xiàn)STC跟蹤算法，Opencv是一種包含了常見圖像幾何變換、濾波、分割、特征提取等操作的開源方案，具有較好的跨平臺運行性能和優(yōu)異的執(zhí)行效率，在Xcode平臺下進行C++ /Object-C混合編程。

在Xcode的Building Phase Framework下添加Opencv2.framework，在ViewPreviewer.mm頭文件中添加Opencv相關(guān)頭文件，創(chuàng)建基于UIImageview控件的跟蹤視頻顯示，實現(xiàn)方法為創(chuàng)建UIImageview對象UIImage *image，并通過調(diào)用CGRecmake()對image. frame 屬性進行設置。完成UIImageview的創(chuàng)立后，使用delegate方式實現(xiàn)對圖像處理算法的調(diào)用，使用GCD(Grand Center Dispatch)dispatch_async方式完成對主線程的分配，方式如下：

dispatch_async(dispatch_get_main_queue()， ^{

}；

對H.264標準視頻解碼、顯示、處理需要進行高復雜度、多線程運算，對iOS應用程序、CPU負擔極大，其中一個堵塞會引起視頻卡頓甚至程序崩潰，這對iOS應用程序的多線程設計提出了較高要求。本系統(tǒng)使用iOS多核多線程特有的GCD任務并行執(zhí)行線程池解決方案，該技術(shù)能夠根據(jù)系統(tǒng)負載自動增減線程數(shù)量，并且實現(xiàn)方式簡單，占用資源極少，有效避免了視頻卡頓和線程擁堵。

Delegate切合iOS的MVC、單線繼承編程思想，可以使主線程中對象更加規(guī)范化同時滿足對多重場景的及時響應。在主線程中調(diào)用圖像處理算法前，將UIImage格式圖片轉(zhuǎn)換為Mat格式以適應Opencv中特殊制式的圖像處理操作，調(diào)用方式為：

UIImageToMat(image，matImage)；

轉(zhuǎn)換完成后，調(diào)用processImage：matImage完成圖像跟蹤算法，當外部再次觸發(fā)設置的delegate則結(jié)束圖像處理，將圖像轉(zhuǎn)換為UIImage進行顯示，完成主線程任務。

1.3云臺控制接口

在Gimbal.m文件中定義了云臺方位偏航角和俯仰角控制函數(shù)接口，其實現(xiàn)函數(shù)分別為：

-(void) onGimbalAttitudeYawRotationForward；

-(void) onGimbalAttitudeYawRotationBackward；

-(void) onGimbalAttitudeScrollUp；

-(void) onGimbalAttitudeScrollDown；

分別用于設置方位偏航角度向前、向后，俯仰角度向上、向下。以俯仰角度向上調(diào)整為例，其具體實現(xiàn)方式如下：

首先在以上函數(shù)內(nèi)進行云臺角度調(diào)整結(jié)構(gòu)體參數(shù)設置DJIGimbalRotation pitch = {YES， 15， RelativeAngle， RotationForward}；

調(diào)用setGimbalPitch完成角度設定命令的發(fā)送setGimbalPitch：pitch Roll：roll Yaw：yaw withResult：nil。

2　自適應尺度的STC跟蹤器的實現(xiàn)

圖像跟蹤算法是自主航拍系統(tǒng)實現(xiàn)的核心任務，要求算法具備良好的實時性、穩(wěn)定性，同時能以較高成功率完成對目標的跟蹤。STC跟蹤器是由Zhang等于2014年提出的基于貝葉斯框架下的高效目標跟蹤算法，與目前常用的Meanshift、尺度不變特征等跟蹤算法相比，在執(zhí)行效率、抗遮擋能力、對目標尺度變化的適應性等方面均有顯著優(yōu)勢[7]。

2.1STC算法原理

在STC算法執(zhí)行中，當前幀目標中心位置設為x*，上下文特征定義為集合Xc

Xc={c(z)=(I(z),z)|z∈Ωc(x*)}

(2)

其中：I(z)定義了該點的圖像灰度；Ωc(x*)是以x*為中心的局部鄰域。當前幀跟蹤位置x相對于跟蹤目標存在的概率可表示為c(x)=P(x|o)，o為跟蹤目標。根據(jù)概率公式有

c(x)=∑c(z)∈XcP(x|c(z),o)P(c(z)|o)

(3)

顯然對于當前幀上下文區(qū)域內(nèi)任意位置x其置信圖由兩部分組成，P(x|c(z),o)為跟蹤區(qū)域內(nèi)具備上下文特征的各點相對跟蹤目標的存在概率，P(c(z)|o)為上下文先驗概率，即跟蹤目標出現(xiàn)在上下文局部區(qū)域的先驗概率。

根據(jù)當前幀與前一幀相關(guān)性可知，距前一幀中目標所在位置較近的點在當前幀中屬于目標區(qū)域的可能性越大，并且其可能在一定范圍內(nèi)，滿足距離目標中心位置越近其存在可能性越大，一般認為該分布滿足高斯分布，在STC跟蹤器中，使用了簡化的高斯分布，并將置信圖函數(shù)表示為

c(x)=∑c(z)∈XcP(x|c(z),o)P(c(z)|o)=

∑c(z)∈Xchsc(x-z)I(z)wσ(z-x*)=

hsc(x)?(I(x)wσ(x-x*))

(4)

F(c(x))=F(hsc(x))⊙F(I(z)wσ(z-x*))

(5)

其中：F代表快速傅里葉變換；⊙表示像素乘積。

STC跟蹤器將圖像跟蹤問題轉(zhuǎn)化為非參數(shù)估計問題，并通過FFT求解置信圖極值獲取新一幀圖像跟蹤目標位置。

2.2自適應尺度STC算法設計

根據(jù)式(5)可知置信度與某像素點的二維卷積有關(guān)，對式(4)做適當改動。設上下文區(qū)域集合Xc={c(z)=(I(z),z)|z∈Ωc(x*)}中某像素點為z(x,y)，記

(6)

(7)

為文獻[8]提出Harris角點協(xié)方差矩陣。

根據(jù)式(7)中Harris角點和STC跟蹤器在目標判別方法上的相似性，本文提出使用Harris角點表征STC算法中的特征分布情況，并根據(jù)包含跟蹤目標特征角點最多的凸包確定初始化目標的尺度，通過角點分布確定跟蹤中心點位置。在圖形學中，常用凸包表示可以將所有具備特征的點集包圍的凸多邊形。采用Graham掃描法獲取包圍風機角點的凸包。

在實時巡檢視頻中為實現(xiàn)在線逐幀更新STC尺度，將尺度算法更新如下

1)跟蹤窗尺寸、尺度參數(shù)初始化

(8)

其中：S(Ω(h(xi)))為獲得的目標特征聚類角點多邊形的面積；S0為初始化跟蹤區(qū)域面積；η取1.5～2.5之間較為合適；k文中設定為1/S(Ω(h(xi)))。

2)在線更新尺度參數(shù)。其中引入尺度參數(shù)變化率vσ用于表征尺度變化速度，如尺度變化超過閾值，則此時跟蹤器跟蹤效果較差，需重新執(zhí)行步驟1)，設置跟蹤窗面積和尺度參數(shù)，未超過閾值情況下尺度參數(shù)在線更新方法如下

(9)

3　云臺角度調(diào)整算法

設當前幀像平面內(nèi)目標中心坐標為(ucurrent,vcurrent)，像平面中心坐標為(ucenter,vcenter)，則像平面內(nèi)水平和豎直方向目標需要移動的像素分別為

(Δu,Δv)=(ucurrent-ucenter,vcurrent-vcenter)

(10)

需要將像平面的移動距離轉(zhuǎn)化為云臺在方位偏航角和俯仰角的轉(zhuǎn)動角度，建立基于小孔成像模型的相機成像數(shù)學模型，如圖3所示。

圖3　相機成像原理圖

根據(jù)相機的視場計算公式

FOV=2arctan(D/2f)(D=W,H)

(11)

其中：W和H分別是拍攝設備像平面圖像水平和豎直方向的像素值大小， f為拍攝設備鏡頭焦距。根據(jù)式(11)得到目標偏移成像公式

(12)

其中：α和β分別為拍攝設備在水平和豎直方向上拍攝視角，根據(jù)式(12)有

(13)

式(13)說明了云臺在俯仰和方位偏航方向上角度的調(diào)整值與當前幀目標中心位置與像平面中心位置的像素差之間的轉(zhuǎn)換關(guān)系。目前航拍設備采用的拍攝設備拍攝視角94°，已達到廣角鏡頭的標準。可以看出云臺的轉(zhuǎn)動對目標在像平面成像位置影響較大，因此實現(xiàn)對目標成像位置的實時調(diào)整非常重要。

4　實際調(diào)試與測試

圖4展示了自主航拍系統(tǒng)客戶端界面，界面中“Captrue”按鈕用于啟動對航拍視頻的顯示跟蹤，“Record”則將實時保存接收、緩沖到的視頻數(shù)據(jù)，“ImagePro”用于觸發(fā)圖像處理算法，滑動條用于手動控制云臺俯仰角度上下調(diào)整。為了說明STC跟蹤算法實際效果，圖5為Meanshift、原始STC、改進STC跟蹤算法在實際航拍目標跟蹤過程中跟蹤效果測試和對比。圖中虛線跟蹤窗為Meanshift算法，深色實線跟蹤窗為原始STC算法，淺色實線跟蹤窗為改進STC算法。航拍場景為無人機進行旋轉(zhuǎn)以改變飛行方向，同時需要航拍系統(tǒng)繼續(xù)跟蹤目標，此時無人機旋轉(zhuǎn)速度可達1.5 πrad/s，對跟蹤算法執(zhí)行效率和穩(wěn)定性要求極高。由于初始幀可以正面拍攝到風機，因此分機形狀較為分散，改進STC跟蹤器的初始化跟蹤窗口面積比原始算法要大，與原始STC跟蹤器在旋轉(zhuǎn)中后期丟失目標相比，改進的STC算法可以實現(xiàn)目標完整的跟蹤，且跟蹤誤差趨于平穩(wěn)。Meanshift算法誤差開始較小，但隨著拍攝角度和距離發(fā)生變化，造成目標顏色特征變化，Meanshift算法跟蹤誤差無法趨于穩(wěn)定，而STC跟蹤器和改進STC跟蹤器對于目標的形變和形態(tài)變化不敏感，可以穩(wěn)健跟蹤。

圖4　控制終端界面(截圖)

圖5　飛行器旋轉(zhuǎn)下跟蹤算法效果

定義跟蹤誤差計算方式為

(14)

5　結(jié)束語

本文搭建了基于DJI Mobile SDK的無人機自主跟蹤航拍云臺控制終端，研究了基于STC框架的適應實際電力行業(yè)航拍巡檢的目標跟蹤算法。在iOS開發(fā)環(huán)境下采用OpenGL ES對視頻進行渲染、顯示，采用GCD方式避免了視頻播放、圖像處理、云臺控制等線程擁堵，在Opencv for iOS基礎上，實現(xiàn)了自適應尺度的STC跟蹤算法，有效解決了航拍目標在遮擋、尺度變化、航拍無人機旋轉(zhuǎn)、目標重疊等情況下跟蹤效果下降的問題，實現(xiàn)了航拍巡檢系統(tǒng)在不同場景下對目標的跟蹤。

[1]MIGUEL A， PASCUAL C， CAROL M， et al. A pan-tilt camera fuzzy vision controller on an unmanned aerial vehicle [C]// Proc. IEEE/RSJ International Conference on Intelligent Robots and Systems.[S.l.]：IEEE， 2009：2879-2884.

[2]ZHANG K H， ZHANG L， YANG M H. A Fast compressive tracking [J].IEEE transactions on pattern analysis and machine intelligence， 2014， 36(10)： 2002-2015.

[3]ZHANG K H， ZHANG L， LIU Q S， et al. Fast visual tracking via dense spatio-temporal context learning [C]//Proc.ECCV 2014. Czech Republic： Springer， 2014：127-141.

[4]趙紅超，李琦，韓瑾，等.基于Andriod平臺的實時監(jiān)控系統(tǒng)客戶端設計[J].電視技術(shù)，2015，39(20)：111-115.

[5]楊揚.iOS系統(tǒng)上基于P2P的視頻直播功能的設計與實現(xiàn)[D]. 北京：北京郵電大學，2014.

[6]楊正洪，蘇偉基.iPhone應用程序設計開發(fā)[M].北京：清華大學出版社，2007.

[7]徐建強，陸耀.一種基于加權(quán)時空上下文的魯棒視覺跟蹤算法[J].自動化學報，2015，41(9)：1901-1911.

[8]HARRIS C， STEPHENS M. A combined corner and edge detector [C]// Proc. the 4th Alvey Vision Conference. [S.l.]：IEEE，1988：52-59.

褚世沖(1990— )，碩士生，主研嵌入式系統(tǒng)設計與圖像處理；

徐耀良(1953— )，碩士生導師，教授級高級工程師，主要研究方向為過程檢測與儀表；

孫振宇(1986— )，國家電網(wǎng)上海松江電力公司，本科，高級工，主研電力巡檢、調(diào)度自動化；

楊寧(1976— )，博士，教授，碩士生導師，主要研究方向為電網(wǎng)運行中設備測量與控制、車輛導航與調(diào)度及智能算法。

責任編輯：閆雯雯

Design of autonomous aerial inspection client based on iOS devices

CHU Shichong1， XU Yaoliang1，SUN Zhenyu2，YANG Ning1

(1.CollegeofAutomationEngineering，ShanghaiUniversityofElectricPower，Shanghai200082，China；2.ShanghaiSongjiangElectricPowerSupplyCompany,StateGridCorporationofChina,Shanghai201600,China)

A new design scheme of autonomous aerial inspection client based on iOS devices and object tracking algorithm for the complex and inefficient operation of traditional inspection system is presented. The communication link between the UAV， gimbal， wireless transmission system and the UAV controller is completed by Mobile SDK. Use FFmpeg lib in the decoding process. The adaptive scale STC (spatio-temporal context) algorithm which can update scale parameters according to the tracking windows dimension changing for object tracking is proposed. The experimental results show that the new client enhances the tracking stability comparing with the original inspection system in complex background situation， improves the efficiency of UVA inspection system.

unmanned aerial vehicle inspection； spatio-temporal context； iOS； mobile SDK； adaptive scale

TN919.8

ADOI： 10.16280/j.videoe.2016.10.012

2016-01-22

文獻引用格式：褚世沖，徐耀良，孫振宇，等. 基于iOS設備的自主航拍巡檢控制終端的設計[J].電視技術(shù)，2016，40(10)：55-59.

CHU S C， XU Y L， SUN Z Y， et al. Design of autonomous aerial inspection client based on iOS devices [J]. Video engineering，2016，40(10)55-59.