基于視覺的無(wú)人機(jī)導(dǎo)航技術(shù)研究

盧艷軍,劉 颯

(沈陽(yáng)航空航天大學(xué)自動(dòng)化學(xué)院,遼寧 沈陽(yáng) 110136)

0 引言

無(wú)人機(jī)以其成本低、效率較高、無(wú)人員傷亡風(fēng)險(xiǎn)、機(jī)動(dòng)性能好、使用方便等優(yōu)勢(shì),被廣泛應(yīng)用于軍事和民用領(lǐng)域。無(wú)人機(jī)導(dǎo)航可以通過(guò)慣性導(dǎo)航系統(tǒng)(inertial navigation system,INS)、全球定位系統(tǒng)(global position system,GPS)、歐洲伽利略導(dǎo)航系統(tǒng)以及中國(guó)北斗衛(wèi)星導(dǎo)航來(lái)實(shí)現(xiàn),然而其信號(hào)不是總能獲取的。當(dāng)失去GPS 信號(hào)時(shí),隨著時(shí)間的推移,慣性測(cè)量單元(inertial measurement unit,IMU)的累積誤差會(huì)越來(lái)越大,導(dǎo)致導(dǎo)航無(wú)法滿足任務(wù)要求,甚至?xí)斐筛鼑?yán)重的后果。計(jì)算機(jī)視覺可以通過(guò)視覺采集設(shè)備對(duì)視覺信息進(jìn)行采集,并通過(guò)計(jì)算機(jī)系統(tǒng)對(duì)視覺信息進(jìn)行處理、分析,實(shí)現(xiàn)對(duì)目標(biāo)的檢測(cè)、識(shí)別、跟蹤、定位等功能,且抗干擾能力很強(qiáng)。因此,將視覺采集引入無(wú)人機(jī)導(dǎo)航,利用視覺采集的實(shí)時(shí)信息與IMU 和GPS 進(jìn)行融合,可以很好地解決系統(tǒng)失去定位的問(wèn)題。

視覺導(dǎo)航通過(guò)視覺傳感器選取一個(gè)既定目標(biāo)作為絕對(duì)零點(diǎn),將其作為坐標(biāo)系的原點(diǎn)供IMU 參照比對(duì),并將二者信息融合實(shí)現(xiàn)無(wú)人機(jī)自身定位,以便完成更高級(jí)的任務(wù),如無(wú)人機(jī)自主著陸控制[1-3]和撞線回收[4]等。

1 視覺導(dǎo)航

隨著計(jì)算機(jī)視覺技術(shù)的迅速崛起,視覺傳感器在無(wú)人機(jī)導(dǎo)航領(lǐng)域引發(fā)了新的研究熱潮。以單目相機(jī)、雙目立體相機(jī)、RGB-D 相機(jī)和魚眼相機(jī)等為代表的視覺傳感器,可采集豐富的環(huán)境信息,且價(jià)格低廉、魯棒性好。

本文以多種視覺傳感器在導(dǎo)航系統(tǒng)中的視覺處理流程為主線,對(duì)近年來(lái)該領(lǐng)域的相關(guān)科研成果進(jìn)行了梳理,詳細(xì)分析了視覺導(dǎo)航中各種圖像處理和信息融合方法的優(yōu)勢(shì)和缺陷,并對(duì)該領(lǐng)域的發(fā)展前景進(jìn)行了展望。

2 視覺處理過(guò)程

在無(wú)人機(jī)視覺導(dǎo)航中,計(jì)算機(jī)視覺技術(shù)首先對(duì)視覺傳感器采集到的、反饋到上位機(jī)上的圖像信息進(jìn)行預(yù)處理,然后對(duì)圖像信息進(jìn)行特征提取和圖像識(shí)別,最終將輸出位置信息與IMU 融合,完成后續(xù)定位跟蹤導(dǎo)航任務(wù)。視覺處理過(guò)程如圖1 所示。

圖1 視覺處理過(guò)程圖Fig.1 Visual processing diagram

2.1 圖像預(yù)處理

獲取圖像質(zhì)量的優(yōu)劣直接關(guān)系到識(shí)別算法的設(shè)計(jì)和精度。為了保證獲取圖像的質(zhì)量,通常需要對(duì)視覺傳感器采集到的原始圖像信息進(jìn)行去噪、灰度化和二值化等預(yù)處理。

濾波是一種典型去噪方法,可以有效抑制噪聲并保留真實(shí)的信息。楊磊[5]等通過(guò)一種自適應(yīng)高通濾波器,較大程度地保留圖像中小目標(biāo)對(duì)象的頻率信息,提高了圖像預(yù)處理的魯棒性;尹業(yè)宏[6]等使用GAUSS 濾波,克服了邊界效應(yīng)以獲得較好的圖像。林國(guó)清[7]等采用填充的方法去除孔類噪聲;符宇[8]在單目避障系統(tǒng)中采用維納濾波和基于邊緣檢測(cè)的小波去噪算法,提高了圖像復(fù)原的質(zhì)量。

灰度化在實(shí)際圖像預(yù)處理時(shí)往往不會(huì)單獨(dú)出現(xiàn),而是伴隨著其他方法同時(shí)處理目標(biāo)圖像。如:柴洪林[9]在實(shí)現(xiàn)無(wú)人機(jī)夜間自主著陸時(shí),采用灰度形態(tài)學(xué)和鄰域處理的方法對(duì)視頻圖像進(jìn)行預(yù)處理;索文凱[10]通過(guò)灰度變換、色相飽和度(hue,saturation,valus,HSV)色彩變換、HU 不變距匹配等方法,保障了合作目標(biāo)的準(zhǔn)確識(shí)別率;王輝[11]還提出了改進(jìn)的非線性全局映射灰度化方法,以應(yīng)對(duì)邊緣特性丟失和模糊的情況。

二值化旨在區(qū)分環(huán)境和目標(biāo)。王紅雨和尹午榮[12]等通過(guò)將簡(jiǎn)單的二值化描述方式擴(kuò)充到三維向量,增強(qiáng)了局部二值模式算子(local binary patterns,LBP)對(duì)局部紋理特征的描述能力及其抗噪能力,進(jìn)而使目標(biāo)與環(huán)境區(qū)分開。

2.2 目標(biāo)特征檢測(cè)提取

無(wú)人機(jī)在執(zhí)行導(dǎo)航定位任務(wù)時(shí),需要以某個(gè)或某些靜態(tài)或動(dòng)態(tài)的目標(biāo)作為參照物,從而確定坐標(biāo)零點(diǎn)以獲取全局信息,或者鎖定已識(shí)別目標(biāo)進(jìn)行跟蹤。因此,對(duì)“零點(diǎn)”的特征檢測(cè)提取尤為重要。這關(guān)乎接下來(lái)的定位導(dǎo)航精度。

2.2.1 靜態(tài)目標(biāo)特征檢測(cè)提取

常見的靜態(tài)目標(biāo)檢測(cè)提取方法包括角點(diǎn)檢測(cè)、尺度不變特征轉(zhuǎn)換(scale-invariant feature transform,SIFT)算法檢測(cè)、加速穩(wěn)健特征(speeded up robust features,SURF)檢測(cè)、隨機(jī)抽樣一致(random sample consensus,RANSAC)算法等。

角點(diǎn)特征對(duì)圖像圖形的分析理解具有重要的作用,是圖像圖形的重要特征信息之一。灰度圖像、二值圖像、輪廓邊緣等均可作為角點(diǎn)檢測(cè)的依據(jù)。在實(shí)際應(yīng)用中,基于灰度圖像的角點(diǎn)檢測(cè)方法以其快速性好、準(zhǔn)確性高和魯棒性突出等優(yōu)勢(shì),成為較為合適的角點(diǎn)檢測(cè)方法。Harris 角點(diǎn)檢測(cè)和SUSAN 角點(diǎn)檢測(cè)是典型的基于灰度圖像的角點(diǎn)檢測(cè)方法。趙世杰在研究基于雙目視覺融合慣性導(dǎo)航的無(wú)人機(jī)狀態(tài)估計(jì)時(shí),采用Harris 角點(diǎn)檢測(cè)保留圖像特征提高算法速度[13]。劉磊提出了一種改進(jìn)的SUSAN 特征檢測(cè)算法,提高了檢測(cè)算法的魯棒性[14]。

SIFT 算法基于尺度不變特征,在處理圖像幾何變形、分辨率差異、旋轉(zhuǎn)等方面有較好效果,是計(jì)算機(jī)視覺的典型特征提取算法[15]。Jean Liénard 等利用SIFT特征檢測(cè),實(shí)現(xiàn)了在低成本無(wú)人機(jī)處理硬件條件下圖像的三維場(chǎng)景重建[16]。包曉安和詹秀娟等利用SIFT特征檢測(cè),解決了目標(biāo)丟失重新找回的問(wèn)題[17]。Xing C 等為了提高無(wú)人機(jī)序列圖像的匹配精度,使用了SIFT 算法對(duì)其進(jìn)行特征匹配[18]。

SURF 算法則是SIFT 算法的高效變種,在模糊邊緣或特征點(diǎn)較少的影像中能更為精準(zhǔn)地提取目標(biāo)物的角點(diǎn),且實(shí)時(shí)性更強(qiáng)[19]。李鮮在研究未知環(huán)境中的無(wú)人機(jī)物體識(shí)別系統(tǒng)時(shí),使用SURF 特征檢測(cè)并利用雙目立體視覺技術(shù)完成了三維點(diǎn)云的表面重建[20]。王亭亭等利用SURF 算法,在復(fù)雜環(huán)境下較好地實(shí)現(xiàn)了對(duì)目標(biāo)的追蹤效果[21]。劉琴琴等在提高圖像偽造內(nèi)容的檢測(cè)精度研究中,利用 Forstner 檢測(cè)算子提取圖像的特征點(diǎn),同時(shí)改進(jìn)SURF 生成特征向量,提高了檢測(cè)算法的精度[22]。R.A.Persad 等使用SURF 描述符匹配關(guān)鍵點(diǎn),以提高準(zhǔn)確性[23]。

RANSAC 可在被觀測(cè)數(shù)據(jù)包含噪聲、外點(diǎn)等各類缺陷時(shí),通過(guò)迭代的方法估算其數(shù)學(xué)模型參數(shù),并從中得到有用樣本數(shù)據(jù)。Shirin M 等使用RANSAC 算法實(shí)現(xiàn)了對(duì)包括房屋、墻體以及地面的建筑物平面圖像的三維點(diǎn)云重建,且提高了算法精度[24]。

2.2.2 動(dòng)態(tài)目標(biāo)特征檢測(cè)提取

無(wú)人機(jī)在執(zhí)行飛行任務(wù)時(shí),通常選取運(yùn)動(dòng)目標(biāo)作為既定目標(biāo)完成跟蹤或定位。根據(jù)檢測(cè)原理,將運(yùn)動(dòng)目標(biāo)檢測(cè)方法分為背景差法、幀間差分法和光流法三類。

將一幅或多幅背景圖像的平均值作為背景圖像,利用此背景圖像減去后續(xù)序列圖像的當(dāng)前幀和背景圖像,以實(shí)現(xiàn)背景去除的方法被稱為背景差分法。采用該方法所得到的像素?cái)?shù)大于設(shè)定閾值,即可判定運(yùn)動(dòng)物體存在于被監(jiān)控場(chǎng)景中。背景差分法的數(shù)學(xué)表達(dá)式如下:

式中:IDL為背景幀差圖;BL為背景亮度分量;i為幀數(shù);N為序列總幀數(shù);T為閾值。

利用序列的兩幀相減得到亮度差的絕對(duì)值。將其與閾值作比較,以判定運(yùn)動(dòng)物體是否存在于被監(jiān)控場(chǎng)景中的運(yùn)動(dòng)目標(biāo)檢測(cè)方法被稱為幀間差分法。其數(shù)學(xué)表達(dá)式如下:

式中:IDM為相鄰幀差圖;IM為亮度分量。

光流法的基本原理是:基于亮度恒定、幀間小運(yùn)動(dòng)和空間一致的假設(shè)前提,根據(jù)圖像序列中像素在時(shí)間域上的變化和圖像相鄰幀之間的相關(guān)性,得到圖像當(dāng)前幀與上一幀之間存在的對(duì)應(yīng)關(guān)系,從而計(jì)算出相鄰幀之間物體的運(yùn)動(dòng)信息。光流法的數(shù)學(xué)表達(dá)式如下:

式中:Ix、Iy、It分別為圖像像素點(diǎn)灰度沿x、y、t方向的偏導(dǎo)數(shù);(u,v)為所求光流矢量。

龍迎春等利用混合高斯模型的背景差法,在攝像頭靜止階段對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè),實(shí)現(xiàn)了對(duì)目標(biāo)的靜止跟蹤[25]。賈其臣使用背景差法檢測(cè)目標(biāo)完成了對(duì)行人的檢測(cè)與跟蹤計(jì)數(shù)[26]。劉磊采用RASUAC 算法剔除誤匹配點(diǎn),同時(shí)使用三幀差法對(duì)目標(biāo)進(jìn)行檢測(cè),并實(shí)現(xiàn)準(zhǔn)確定位[14]。祝奔奔等使用金字塔LK 光流法檢測(cè)目標(biāo)提高了障礙物識(shí)別的精度[27]。李成美等使用Shi-Tomasi 角點(diǎn)檢測(cè)和金字塔LK 光流法結(jié)合檢測(cè)目標(biāo)[28]。邱鵬瑞使用改進(jìn)的光流法解決了無(wú)人機(jī)由于飛行不穩(wěn)導(dǎo)致的無(wú)法定點(diǎn)懸停的問(wèn)題[29]。吳琦使用補(bǔ)償角速率的光流微分法計(jì)算幀間像素點(diǎn)小位移,并用前后誤差算法提取精度較高的點(diǎn),以避免像素點(diǎn)跟蹤錯(cuò)誤,提高了光流測(cè)速的精度[30]。

另外,王長(zhǎng)亮使用方向梯形度直方圖(histogram of oriected gradient,HOG)特征和局部二值模式(local binary patterns,LBP)特征融合,提高了人體檢測(cè)準(zhǔn)確度[31];王松使用改進(jìn)ViBe 檢測(cè)算法,提高了算法的檢測(cè)性能[32]。

2.2.3 存在的問(wèn)題及展望

Harris 角點(diǎn)檢測(cè)算子具有不受光照旋轉(zhuǎn)影響的優(yōu)勢(shì),但是其旋轉(zhuǎn)不變性、對(duì)灰度平移和尺度變化不敏感、不具有尺度不變性等劣勢(shì),使其效果不佳。許佳佳等針對(duì)其不具有尺度不變性的缺點(diǎn),以傳統(tǒng)的Harris算法為基礎(chǔ)構(gòu)建高斯尺度空間,提取了具有尺度不變性的角點(diǎn)特征[33]。雖然SIFT 和SURF 檢測(cè)具有較好的旋轉(zhuǎn)魯棒性,但對(duì)圖像實(shí)時(shí)性要求較高的系統(tǒng),此檢測(cè)將不再適用。李言俊[34]等以SIFT 特征向量生成過(guò)程為基礎(chǔ),把歐氏距離替換為準(zhǔn)歐式距離作為度量,以衡量特征描述符之間的相似度,使SIFT 特征匹配效率得以提高,最終使實(shí)時(shí)性得到提升。胡訪宇[35]等使用圖變換匹配(graph transform matching,GTM)方法對(duì)使用SURF 算法配準(zhǔn)的遙感圖像進(jìn)行去除誤配,使結(jié)果更準(zhǔn)確。韓文靜[36]等在SURF 算法中加入了RANSAC剔除誤匹配點(diǎn)算法的程序,提升了定位精度和實(shí)時(shí)性。而精度和實(shí)時(shí)性都較好的RANSAC 算法在沒有進(jìn)一步優(yōu)化時(shí),算法的計(jì)算量明顯偏大。賈彤[37]在RANSAC 算法中引入了衡量因子η,通過(guò)取η值高的情況作為樣本,從而減少了迭代次數(shù)和時(shí)間消耗。

背景差法勝在原理算法設(shè)計(jì)簡(jiǎn)單。但在各種噪聲干擾和復(fù)雜環(huán)境條件下,其背景建模的難度極大。Hong Liang 使用高斯混合模型背景法減少了物體檢測(cè)和背景建模的時(shí)間,同時(shí)進(jìn)一步提高慢運(yùn)動(dòng)目標(biāo)的檢測(cè)精度和速度[38]。幀間差分法應(yīng)用于動(dòng)態(tài)環(huán)境時(shí)具有較好的適應(yīng)性和穩(wěn)定性,但在環(huán)境運(yùn)動(dòng)速度過(guò)快或過(guò)慢的極端情況時(shí)將出現(xiàn)檢測(cè)失敗[39]。QU J J[40]將背景差法和幀間差分法相結(jié)合,有效地解決了漏檢、誤檢等情況。光流法在檢測(cè)識(shí)別目標(biāo)位置方面具有較高的精度,但其對(duì)光照異常敏感且具有實(shí)時(shí)性差的缺陷。為了提高光流法的檢測(cè)實(shí)時(shí)性,楊葉梅提出一種基于高斯金字塔的改進(jìn)光流法,并將基于最大類間方差的圖像分割法和形態(tài)學(xué)濾波中的開、閉運(yùn)算結(jié)合使用,使運(yùn)動(dòng)區(qū)域提取的時(shí)間得以縮短[41]。

特征提取檢測(cè)的目的在于明顯區(qū)別目標(biāo)與周圍環(huán)境信息,穩(wěn)、準(zhǔn)、快地檢測(cè)、識(shí)別出系統(tǒng)自身所需信息。無(wú)人機(jī)在執(zhí)行飛行作戰(zhàn)任務(wù)時(shí),需要綜合各方面性能要求以及成本問(wèn)題,從而客觀選取更為合適的檢測(cè)方法。

2.3 視覺目標(biāo)跟蹤

當(dāng)視覺傳感器選定的“零點(diǎn)”為動(dòng)態(tài)目標(biāo)時(shí),無(wú)人機(jī)在完成對(duì)此目標(biāo)的檢測(cè)后,需要對(duì)其進(jìn)行識(shí)別定位跟蹤,并協(xié)同導(dǎo)航,以確保后續(xù)導(dǎo)航任務(wù)的精度。在計(jì)算機(jī)視覺領(lǐng)域中,視覺目標(biāo)跟蹤是一個(gè)極為重要的分支,具有廣泛的應(yīng)用范圍。作為人機(jī)交互、無(wú)人駕駛等領(lǐng)域發(fā)展的基礎(chǔ),其越來(lái)越受到學(xué)術(shù)界的重視。在線跟蹤時(shí),為了捕捉目標(biāo)和背景在跟蹤過(guò)程中的變化,必須不斷更新外觀模型。視覺目標(biāo)跟蹤基本框圖如圖2所示。

圖2 視覺目標(biāo)跟蹤基本框圖Fig.2 Basic block diagram of visual target tracking

2.3.1 目標(biāo)跟蹤方法

視覺目標(biāo)跟蹤算法可根據(jù)其觀測(cè)模型分為生成式方法和判別式方法。近年來(lái),以相關(guān)濾波和深度學(xué)習(xí)為代表的判別式跟蹤方法以其速度快、效果好的優(yōu)勢(shì),逐步取代生成式跟蹤方法,一躍成為學(xué)術(shù)界的研究熱點(diǎn)。

基于相關(guān)濾波的跟蹤思想是在目標(biāo)區(qū)域訓(xùn)練回歸器,再在下一幀的目標(biāo)區(qū)域中尋找響應(yīng)最大的位置(即目標(biāo)位置),公式如下:

式中:F為目標(biāo)區(qū)域傅里葉變換;H為濾波模板傅里葉變換,H*為H的共軛轉(zhuǎn)置;G為最終響應(yīng)。

為減少計(jì)算量,采用如下模板更新策略:

式中:η為模板更新速率。

生成類方法的原理是以當(dāng)前幀對(duì)目標(biāo)區(qū)域建立的模型為基礎(chǔ),在下一幀尋找與所建立目標(biāo)區(qū)域數(shù)學(xué)模型最為相似的區(qū)域作為預(yù)測(cè)位置。其中,粒子濾波、卡爾曼濾波、Camshift 和Meanshift 等是具代表性的生成類目標(biāo)跟蹤方法。齊會(huì)云為提高對(duì)動(dòng)態(tài)目標(biāo)的跟蹤效果,使用基于CS 模型的交互式多模型例子濾波算法,提升了跟蹤精度[42]。劉磊使用粒子濾波算法完成了對(duì)運(yùn)動(dòng)目標(biāo)的跟蹤[14]。李成美等利用卡爾曼濾波法預(yù)測(cè)目標(biāo)下一幀位置,完成了動(dòng)態(tài)目標(biāo)的精準(zhǔn)跟蹤[28]。李曉松[43]和賈其臣[26]使用了同樣的方法對(duì)目標(biāo)進(jìn)行預(yù)測(cè)。王長(zhǎng)亮針對(duì)人體形態(tài)易發(fā)生變化和出現(xiàn)遮擋的問(wèn)題,使用了Camshift 算法與擴(kuò)展卡爾曼算法融合的跟蹤算法[31]。賈配洋等針對(duì)目標(biāo)識(shí)別速度慢的問(wèn)題,提出了以Apriltags 識(shí)別算法結(jié)合卡爾曼算法,實(shí)現(xiàn)實(shí)時(shí)跟蹤目標(biāo)[44]。Ha N P 等利用可見光傳感器和卡爾曼濾波,完成了無(wú)人機(jī)在無(wú)GPS 情況下的安全降落[45]。張仁蒲使用改進(jìn)的Meanshift 算法,也同樣解決了目標(biāo)遮擋丟失的問(wèn)題[46]。

判別類方法的原理是將當(dāng)前幀中的目標(biāo)區(qū)域和背景區(qū)域分別作為正、負(fù)樣本用以訓(xùn)練分類器,并使用此分類器在下一幀數(shù)據(jù)中尋找最優(yōu)目標(biāo)區(qū)域。其中,核相關(guān)濾波(kernel correlation filter,KCF)算法、高效卷積算子(efficient convolution operators,ECO)以及基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)式判別跟蹤方法是受到研究者廣泛關(guān)注的基于相關(guān)濾波的判別類跟蹤方法。王松使用KCF 算法完成了對(duì)視頻中運(yùn)動(dòng)目標(biāo)的檢測(cè)[32]。程子一等應(yīng)用改進(jìn)的KCF 算法解決了目標(biāo)被嚴(yán)重遮擋的問(wèn)題[47]。劉金花使用視覺處理器(graphics processing unit,GPU) 加速KCF 算法,實(shí)現(xiàn)了目標(biāo)的高速跟蹤[48]。王楊使用改進(jìn)的KCF 算法解決了目標(biāo)較大形變的問(wèn)題[49]。劉延飛等在KCF 的基礎(chǔ)上提出了一種基于異常值檢測(cè)的方法,為目標(biāo)丟失后何時(shí)載入目標(biāo)重檢測(cè)定位提供可靠的依據(jù)[50]。ECO 算法是以CCOT 算法為基礎(chǔ),從模型大小、樣本集大小和更新策略三個(gè)方面加以提速演進(jìn)而來(lái)的。在對(duì)比了多種相關(guān)濾波算法后,Danelljan M 等闡明了ECO 算法在實(shí)時(shí)性和快速準(zhǔn)確性方面的優(yōu)勢(shì)[51]。翁靜文等提出的ECOHC(ECO+HOG+CN 特征)、跟蹤算法解決了無(wú)人機(jī)指定行人跟蹤中目標(biāo)遮擋嚴(yán)重、尺度變化大的問(wèn)題[52]。由于深度特征對(duì)目標(biāo)具有強(qiáng)大的表示能力,因此其與神經(jīng)網(wǎng)絡(luò)的結(jié)合在計(jì)算機(jī)視覺目標(biāo)跟蹤領(lǐng)域得到了充分的發(fā)展。Michels J 等利用深度學(xué)習(xí)完成了在非結(jié)構(gòu)化的戶外環(huán)境高速駕駛遠(yuǎn)程控制車的任務(wù)[53]。Mannar S 等則利用監(jiān)督學(xué)習(xí)導(dǎo)出與障礙物間的真實(shí)距離,從而實(shí)施避障[54]。Fornari G 等使用人工神經(jīng)網(wǎng)絡(luò)(artificial neural network,ANN)作為邊緣檢測(cè)器,通過(guò)視覺完成GPS 被破壞情況下的無(wú)人機(jī)自主跟蹤導(dǎo)航[55]。另外,Choi H 等又提出一種非線性自適應(yīng)觀測(cè)器,通過(guò)估計(jì)狀態(tài)和參數(shù)仿真實(shí)現(xiàn)無(wú)人機(jī)對(duì)目標(biāo)的跟蹤[56]。李曉偉等也通過(guò)基于上下文的STC 算法驗(yàn)證了其對(duì)運(yùn)動(dòng)目標(biāo)跟蹤的有效性[57]。

2.3.2 存在的問(wèn)題及展望

視覺目標(biāo)跟蹤本身就是一個(gè)極具挑戰(zhàn)的任務(wù),而且運(yùn)動(dòng)場(chǎng)景往往較為復(fù)雜、多變。要想出色地完成目標(biāo)跟蹤的任務(wù),就必須考慮目標(biāo)遮擋、形變、尺度變換以及背景雜亂等問(wèn)題,同時(shí)必須考慮實(shí)時(shí)性和準(zhǔn)確性。

粒子濾波是基于蒙特卡洛方法的一種順序重要性采集法,用于表示從后驗(yàn)概率中提取的隨機(jī)狀態(tài)粒子的分布。盡管它在非線性、非高斯系統(tǒng)中具有優(yōu)勢(shì),但需要大量樣本才能逼近系統(tǒng)的后驗(yàn)概率密度,因而會(huì)由于算法復(fù)雜程度的提升而產(chǎn)生樣本貧化的問(wèn)題。因此,在保證樣本多樣性和有效性的同時(shí),如何克服樣本貧化的是該算法亟待解決的問(wèn)題。卡爾曼濾波的使用過(guò)程中,當(dāng)運(yùn)動(dòng)目標(biāo)長(zhǎng)時(shí)間被遮擋時(shí)會(huì)產(chǎn)生目標(biāo)丟失的問(wèn)題。Camshift 是由Meanshift 推演而來(lái)的。雖然其在目標(biāo)大小發(fā)生變化時(shí)可自適應(yīng)調(diào)整跟蹤區(qū)域,但在目標(biāo)出現(xiàn)運(yùn)動(dòng)過(guò)快的極端情況下仍會(huì)發(fā)生目標(biāo)丟失的問(wèn)題。KCF 使用的是多通道梯度的HOG 特征,其跟蹤響應(yīng)速度極快、實(shí)時(shí)性好。但對(duì)于高速運(yùn)動(dòng)的目標(biāo),無(wú)法實(shí)現(xiàn)跟蹤且目標(biāo),一旦被遮擋也會(huì)導(dǎo)致跟蹤失敗。相比之下,僅以性能來(lái)說(shuō),ECO 是目前較好的相關(guān)濾波算法,但其深度特征的能力并沒有發(fā)揮出來(lái)。未來(lái)對(duì)于ECO 的研究重點(diǎn)應(yīng)該是在不改變現(xiàn)有優(yōu)秀性能的前提下,發(fā)揮其深度特征的作用。而深度學(xué)習(xí)執(zhí)行的分類任務(wù)是區(qū)分類間差距,這與目標(biāo)任務(wù)所研究的對(duì)于環(huán)境信息和目標(biāo)信息的區(qū)分存在著本質(zhì)上的不同。若要使基于深度學(xué)習(xí)的目標(biāo)跟算法得到長(zhǎng)足的發(fā)展,必須將在分類圖像數(shù)據(jù)集上訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)遷移到目標(biāo)跟蹤。

2.4 數(shù)據(jù)融合

從圖像中提取的目標(biāo)特征可用于估計(jì)無(wú)人機(jī)自身的運(yùn)動(dòng)狀態(tài)。無(wú)人機(jī)的定位和導(dǎo)航問(wèn)題的解決將依賴于這些運(yùn)動(dòng)狀態(tài)的準(zhǔn)確估計(jì)。將視覺傳感器信息、GPS 數(shù)據(jù)信息、慣性傳感器數(shù)據(jù)信息進(jìn)行融合,可使無(wú)人機(jī)位置的估計(jì)更加準(zhǔn)確。

一種思路是利用光流傳感器與慣性導(dǎo)航系統(tǒng)融合,以完成無(wú)人機(jī)的自主導(dǎo)航任務(wù)。IMU 組合光流傳感器估計(jì)位置和速度如圖3 所示。

圖3 IMU 組合光流傳感器估計(jì)位置和速度示意圖Fig.3 IMU combined optical flow sensor estimation position and velocity diagram

李濤等提出了一種基于擴(kuò)展卡爾曼濾波的,將慣導(dǎo)系統(tǒng)、光流、磁強(qiáng)計(jì)和氣壓計(jì)數(shù)據(jù)融合的組合導(dǎo)航系統(tǒng)。該系統(tǒng)有效地解決了在速度、位置、姿態(tài)估計(jì)過(guò)程中存在累計(jì)誤差的問(wèn)題[58]。化雪薈在無(wú)人機(jī)靜止或處于勻速運(yùn)動(dòng)狀態(tài)時(shí),將陀螺儀和磁強(qiáng)計(jì)的數(shù)據(jù)進(jìn)行融合,以估計(jì)無(wú)人機(jī)的姿態(tài)。在無(wú)人機(jī)處于加速或減速的狀態(tài)時(shí),使用陀螺儀數(shù)據(jù)來(lái)估計(jì)無(wú)人機(jī)的姿態(tài)。較僅使用捷聯(lián)慣性導(dǎo)航系統(tǒng)對(duì)無(wú)人機(jī)姿態(tài)進(jìn)行估計(jì)而言,該方案使無(wú)人機(jī)姿態(tài)估計(jì)的誤差大大降低[59]。余超凡等通過(guò)將塊匹配法采到的光流值與IMU 數(shù)據(jù)進(jìn)行卡爾曼濾波,實(shí)時(shí)獲取當(dāng)前的環(huán)境信息,為后續(xù)實(shí)時(shí)避障提供了實(shí)時(shí)路徑規(guī)劃[60]。張午陽(yáng)等利用了光流傳感器和超聲波模塊,完成了無(wú)GPS 情況下的定點(diǎn)懸停[61]。曾幼涵等也用光流傳感器和慣性元件的融合,完成了無(wú)人機(jī)在無(wú)GPS 下的導(dǎo)航[62]。Mostafa M 等通過(guò)擴(kuò)展卡爾曼濾波將光流數(shù)據(jù)、雷達(dá)數(shù)據(jù)、IMU 數(shù)據(jù)、氣壓計(jì)和磁力計(jì)計(jì)量值進(jìn)行融合增強(qiáng)了無(wú)人機(jī)在全球衛(wèi)星導(dǎo)航系統(tǒng)(global navigation satellite system,GNSS)信號(hào)中斷期間的導(dǎo)航精度[63]。Amedeo V 等利用車輛之間的差分GPS 和基于視覺的跟蹤(DGPS/Vision)構(gòu)建虛擬的附加導(dǎo)航傳感器,然后將其信息進(jìn)行擴(kuò)展卡爾曼過(guò)濾,以實(shí)現(xiàn)多無(wú)人機(jī)協(xié)作導(dǎo)航[64]。Arreola L 等通過(guò)將密集光流算法、GPS 和慣性元件融合,完成了低成本的懸停和跟蹤[65]。

另一種思路是利用視覺SLAM 法完成定位導(dǎo)航。曹美會(huì)等利用視覺SLAM 輔助測(cè)量位置信息,從而控制無(wú)人機(jī)在GPS 缺失情況下的自主飛行控制[66]。Jean Liénard 等利用VSLAM 完成了三維景象的實(shí)時(shí)重建[16]。

還有一些研究者使用基于模型的信息融合法實(shí)現(xiàn)無(wú)人機(jī)自主導(dǎo)航。Hinas A 等通過(guò)基于OODA 的高級(jí)決策算法,分辨出無(wú)人機(jī)本身是處于定位、下降還是懸停階段,然后通過(guò)Mavros 連續(xù)向自動(dòng)駕駛儀發(fā)送本地位置信息,以實(shí)現(xiàn)導(dǎo)航任務(wù)[67]。

3 結(jié)論

視覺導(dǎo)航的研究?jī)?nèi)容主要集中于視覺圖像預(yù)處理、目標(biāo)檢測(cè)提取、目標(biāo)識(shí)別跟蹤和數(shù)據(jù)融合等方面。背景差法、幀間差分法、光流法等是運(yùn)動(dòng)目標(biāo)跟蹤的典型方法。而在靜態(tài)目標(biāo)跟蹤時(shí),通常使用角點(diǎn)提取、SIFT 算法檢測(cè)、SURF 檢測(cè)、RANSAC 算法等方法。狀態(tài)估計(jì)可由目標(biāo)跟蹤通過(guò)分析特征來(lái)實(shí)現(xiàn),同時(shí)與其他傳感器采集到的數(shù)據(jù)進(jìn)行融合,卡爾曼濾波、粒子濾波、人工神經(jīng)網(wǎng)絡(luò)是常用方法。

由于現(xiàn)實(shí)條件的制約,很多問(wèn)題還亟待解決。首先,由于無(wú)人機(jī)受到載重、續(xù)航等物理?xiàng)l件的約束,需要對(duì)無(wú)人機(jī)視覺導(dǎo)航進(jìn)行更加深入的研究,以適應(yīng)無(wú)人機(jī)在飛行速度上的提升和算法處理實(shí)時(shí)性方面的提高。與理想條件相比,實(shí)際應(yīng)用中的環(huán)境噪聲干擾等不確定因素會(huì)導(dǎo)致實(shí)物試驗(yàn)的失敗。所以,如何將技術(shù)較為成熟的地面機(jī)器人視覺導(dǎo)航研究成果推廣到無(wú)人機(jī)視覺導(dǎo)航中、如何在不過(guò)分犧牲導(dǎo)航精度的前提下提升無(wú)人機(jī)算法的響應(yīng)速度、如何使無(wú)人機(jī)在未知環(huán)境下自適應(yīng)地估計(jì)自身狀態(tài)從而完成導(dǎo)航任務(wù),將成為需要進(jìn)一步探討的重點(diǎn)問(wèn)題。