基于無(wú)人機(jī)的目標(biāo)識(shí)別和追蹤系統(tǒng)設(shè)計(jì)

楊永錚， 鄧梓軒， 鄭丹娜， 馬興灶

（嶺南師范學(xué)院機(jī)電工程學(xué)院， 廣東湛江 524048）

0 引言

隨著自動(dòng)化和計(jì)算機(jī)技術(shù)的不斷提高，無(wú)人機(jī)技術(shù)趨向于成熟，無(wú)人機(jī)在氣象監(jiān)測(cè)、災(zāi)害監(jiān)測(cè)、農(nóng)藥噴灑和地質(zhì)勘測(cè)等民用領(lǐng)域應(yīng)用越來(lái)越廣泛[1-5]。 未來(lái)無(wú)人機(jī)將向小型化、低損耗、低成本、可穿戴和視覺(jué)目標(biāo)檢測(cè)等方向發(fā)展，其中視覺(jué)技術(shù)是無(wú)人機(jī)未來(lái)應(yīng)用方向的熱點(diǎn)。 無(wú)人機(jī)視覺(jué)識(shí)別技術(shù)是將無(wú)人機(jī)作為載體，結(jié)合機(jī)器視覺(jué)技術(shù)，利用無(wú)人機(jī)在飛行過(guò)程中拍攝的圖像， 并且從圖像中提取信息進(jìn)行處理，最終用于無(wú)人機(jī)自主控制的輸入和無(wú)人機(jī)終端應(yīng)用領(lǐng)域的拓展。 安敬蕊[2]針對(duì)海上移動(dòng)目標(biāo)的識(shí)別和跟蹤， 應(yīng)用一種基于不變矩與自適應(yīng)模板匹配相結(jié)合的快速運(yùn)動(dòng)目標(biāo)識(shí)別與跟蹤方法， 利用不變矩的特性進(jìn)行目標(biāo)識(shí)別，并且建立相應(yīng)的搜索區(qū)域，在搜索區(qū)域內(nèi)進(jìn)行目標(biāo)模板的匹配， 待匹配完成后對(duì)其進(jìn)行標(biāo)記并且更新目標(biāo)模板。 余小游等[6]提出一種基于模型的目標(biāo)識(shí)別方法，利用目標(biāo)模型、環(huán)境模型、背景模型和傳感器模型來(lái)對(duì)目標(biāo)進(jìn)行識(shí)別，根據(jù)模型的特性來(lái)匹配實(shí)際目標(biāo)的特征進(jìn)行識(shí)別。 曹遠(yuǎn)寧[7]利用一種基于HSV 空間的彩色圖像分割算法，把圖像的顏色信息作為分割的主要依據(jù)進(jìn)行目標(biāo)識(shí)別，但容易受光污染，需要采用特定技術(shù)消除噪聲。而閾值法[8]是一種最常用和最基本的圖像識(shí)別方法，因其簡(jiǎn)單且高效，有望應(yīng)用于無(wú)人機(jī)目標(biāo)追蹤識(shí)別。 為此，本文擬采用閾值法，開(kāi)發(fā)基于無(wú)人機(jī)的自主飛行系統(tǒng)，實(shí)現(xiàn)無(wú)人機(jī)一鍵啟動(dòng)、 定高懸停和識(shí)別地面的指定目標(biāo)并進(jìn)行目標(biāo)追蹤，研究結(jié)果對(duì)無(wú)人機(jī)應(yīng)用具有一定的促進(jìn)作用。

1 硬件系統(tǒng)

本文使用自制的無(wú)人機(jī)[9]進(jìn)行試驗(yàn)，飛控系統(tǒng)核心為STM32F407V，包括5 個(gè)額外的USART 端口。 同時(shí)配置有慣性傳感器（MPU6050），光流傳感器（Pix4Flow）、激光傳感器、OpenMV 視覺(jué)系統(tǒng)和無(wú)線傳感器（nRF24L01）等多個(gè)傳感器進(jìn)行數(shù)據(jù)采集和增強(qiáng)無(wú)人機(jī)飛行的穩(wěn)定性。 其中，慣性傳感器模塊主要記錄無(wú)人機(jī)姿態(tài)信息，集成于飛控系統(tǒng)中；光流模塊主要作為水平面位置和速度反饋器；激光傳感器主要用于無(wú)人機(jī)測(cè)高、定高，與光流模塊配合使用；OpenMV 視覺(jué)系統(tǒng)主要對(duì)目標(biāo)物體進(jìn)行動(dòng)態(tài)追蹤識(shí)別[10]；無(wú)線傳感器nRF24L01 模塊返回實(shí)時(shí)數(shù)據(jù)給地面站PC。 無(wú)人機(jī)和系統(tǒng)示意圖如圖1 所示。

圖1 無(wú)人機(jī)和系統(tǒng)示意圖

2 目標(biāo)識(shí)別與追蹤系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

本文以無(wú)人機(jī)追蹤智能小車為例， 實(shí)現(xiàn)無(wú)人機(jī)對(duì)智能小車進(jìn)行識(shí)別和追蹤的功能，主要包括兩個(gè)功能：無(wú)人機(jī)一鍵起飛，并使其穩(wěn)定飛行且定高懸停、平緩降落等；追蹤地面的智能小車實(shí)現(xiàn)偏航的跟隨偏轉(zhuǎn)。 主要功能流程如圖2 所示。

圖2 功能實(shí)現(xiàn)流程

2.1 目標(biāo)識(shí)別

在智能小車車身粘貼的黑線標(biāo)志物進(jìn)行目標(biāo)識(shí)別，利用OpenMV 視覺(jué)模塊的RGB 彩色圖像獲得灰度圖和二值圖，并對(duì)二值圖進(jìn)行橫向和縱向掃描，檢測(cè)圖像的邊緣， 將每一行或每一列的黑線中心坐標(biāo)轉(zhuǎn)換至霍夫空間，轉(zhuǎn)換時(shí)以上一幀檢測(cè)出的直線作為檢測(cè)范圍的約束條件，既能減少運(yùn)算量又能實(shí)現(xiàn)對(duì)直線的跟蹤。選擇參數(shù)空間中的極大值點(diǎn)對(duì)應(yīng)的直線作為候選直線，若行掃描和列掃描獲得的兩條直線近似滿足垂直關(guān)系則認(rèn)為檢測(cè)有效，并對(duì)有效檢測(cè)后的兩條直線的交點(diǎn)和斜率進(jìn)行低通濾波。檢測(cè)黑色直線時(shí)，通過(guò)霍夫線變換識(shí)別畫(huà)面內(nèi)的直線，再設(shè)置黑色直線的顏色閥值，過(guò)濾其他顏色直線的干擾。

2.2 目標(biāo)追蹤

利用OpenMV 拍攝的相鄰兩幀圖像獲得兩條黑色直線標(biāo)志物的坐標(biāo)信息， 通過(guò)調(diào)用calculate_ intersection（line1，line2） 函數(shù)計(jì)算得出兩條黑線交點(diǎn)的坐標(biāo)值（x，y），調(diào)用calculate_angle （line1，line2） 函數(shù)得出兩直線相交的角度值， 判斷出目標(biāo)物體的運(yùn)動(dòng)軌跡。 在調(diào)用calculate_intersection （line1，line2）函數(shù)前，采集兩條直線的坐標(biāo)信息，兩條直線的端點(diǎn)分別為（line1.x1，line1.y1）、（line1.x2，line1.y2）和（line2.x1，line2.y1）、（line2.x2，line2.y2），坐標(biāo)值及角度的計(jì)算示意圖如圖3 所示，求解見(jiàn)式（1）～式（12）。最后OpenMV 通過(guò)串口通訊把對(duì)應(yīng)的數(shù)據(jù)發(fā)送到飛控端， 飛控端接收到數(shù)據(jù)后進(jìn)行格式解析， 得出對(duì)應(yīng)的數(shù)據(jù)后進(jìn)行無(wú)人機(jī)的姿態(tài)調(diào)整。

圖3 目標(biāo)點(diǎn)追蹤計(jì)算示意圖

將直線1、直線2 的兩點(diǎn)代入直線方程得：

在霍夫線變換中使用（r，θ）表示一條直線，其中r 是該直線到原點(diǎn)的距離，θ 為該直線的垂線與x 軸的夾角。其中l(wèi)ine1.theta（）為θ1，line2.theta（）為θ2，調(diào)用theta（）函數(shù)直接返回線段的角度，在已知θ1和θ2的情況下通過(guò)算法實(shí)現(xiàn)四邊形的角公式計(jì)算出直線的夾角θ。

3 試驗(yàn)結(jié)果與分析

3.1 定高及懸停

由于相鄰的兩幅圖像總會(huì)存在相同的特征， 通過(guò)對(duì)比這些特征點(diǎn)的位置變化信息可以判斷出物體表面特征的平均運(yùn)動(dòng)， 這個(gè)分析結(jié)果最終被轉(zhuǎn)換為二維的坐標(biāo)偏移量，通過(guò)處理幀與幀之間所采集圖像的特征點(diǎn)的x 和y位移的增量值近似為零，這樣就能使飛機(jī)定點(diǎn)懸停[11]。 根據(jù)光流傳感器的兩種光流數(shù)據(jù)，一種為原始光流數(shù)據(jù)，另一種為融合后的光流數(shù)據(jù)。 基于波形圖可以看出通過(guò)融合解耦后的光流數(shù)據(jù)波形更加平穩(wěn)， 更有可能使飛行器取得良好的懸停效果，如圖4 所示。

圖4 光流數(shù)據(jù)波形

利用上位機(jī)進(jìn)行設(shè)置飛行高度值，進(jìn)行一鍵起飛，待飛行器在指定高度飛行一定時(shí)間再一鍵降落， 觀察飛行器降落后中心位置與起飛前的中心位置之間的誤差值。若落地誤差值較大，且相對(duì)不穩(wěn)定，則通過(guò)調(diào)整光流算法的參數(shù)來(lái)降低落地誤差。 定高懸停測(cè)試試驗(yàn)結(jié)果見(jiàn)表1。

表1 定高懸停測(cè)試試驗(yàn)結(jié)果

由表1 定高懸停測(cè)試結(jié)果可知， 無(wú)人機(jī)在不同的飛行高度和飛行時(shí)間下，能夠?qū)崿F(xiàn)定高懸停穩(wěn)定飛行，落地誤差基本維持在5～13cm 以內(nèi)，基本滿足設(shè)計(jì)要求，未來(lái)可通過(guò)調(diào)整算法，繼續(xù)降低落地誤差。

3.2 目標(biāo)識(shí)別與追蹤

完成室內(nèi)定高懸停試驗(yàn)以及對(duì)光流數(shù)據(jù)波形的分析后，利用OpenMV 視覺(jué)模塊進(jìn)行目標(biāo)識(shí)別與追蹤試驗(yàn)，通過(guò)邊緣處理的圖像后進(jìn)行霍夫圓變換，識(shí)別結(jié)果見(jiàn)圖5。

圖5 目標(biāo)識(shí)別效果圖

在室內(nèi)布置一臺(tái)遙控小車， 小車外殼貼上黑線進(jìn)行標(biāo)記， 該標(biāo)記物為OpenMV 利用霍夫線變換算法進(jìn)行處理的特征點(diǎn)。 利用上位機(jī)一鍵起飛無(wú)人機(jī)， 飛至小車上空，遙控控制小車運(yùn)動(dòng)，無(wú)人機(jī)在空中實(shí)現(xiàn)跟隨小車的試驗(yàn)，目標(biāo)追蹤試驗(yàn)結(jié)果見(jiàn)表2。

表2 目標(biāo)追蹤試驗(yàn)結(jié)果

由表2 目標(biāo)追蹤試驗(yàn)結(jié)果可知， 在不同的飛行高度和飛行時(shí)間下， 追蹤運(yùn)動(dòng)小車， 落地誤差基本保持在18cm 以內(nèi)，表明本文所提供的算法能夠?qū)崿F(xiàn)運(yùn)動(dòng)目標(biāo)的識(shí)別與追蹤。

4 結(jié)論

本文基于開(kāi)源四軸飛控和OpenMV， 設(shè)計(jì)了一款具有目標(biāo)識(shí)別和追蹤功能的飛行系統(tǒng)， 該系統(tǒng)能夠通過(guò)上位機(jī)完成起飛、定高懸停狀態(tài)，并穩(wěn)定地對(duì)指定目標(biāo)進(jìn)行識(shí)別和追蹤。試驗(yàn)結(jié)果表明，光流傳感器輸出的光流數(shù)據(jù)通過(guò)慣導(dǎo)融合和解耦后更加利于飛行器的定點(diǎn)懸停，能夠在一鍵起飛后迅速進(jìn)入懸停狀態(tài)； 同時(shí)， 在懸停狀態(tài)下，能夠穩(wěn)定地對(duì)指定目標(biāo)進(jìn)行識(shí)別和跟蹤。