基于二維碼圖像識(shí)別的無(wú)人機(jī)定位方法研究

張義楨 向 婕 唐立軍

(長(zhǎng)沙理工大學(xué)物理與電子科學(xué)學(xué)院 湖南 長(zhǎng)沙 410114)(近地空間電磁環(huán)境監(jiān)測(cè)與建模湖南省普通高校重點(diǎn)實(shí)驗(yàn)室 湖南 長(zhǎng)沙 410114)

0 引 言

隨著智能物流的迅速發(fā)展，物流無(wú)人機(jī)受到人們的高度重視，精準(zhǔn)投放是無(wú)人機(jī)物流要解決的首要問(wèn)題[1-2]。現(xiàn)有物流無(wú)人機(jī)飛控多采用衛(wèi)星定位方法，定位范圍約為10米[3]，光流定點(diǎn)方法則會(huì)將變化的光線錯(cuò)誤地識(shí)別為光流，從而影響到定點(diǎn)效果的穩(wěn)定[4-5]，隨著智能終端快速發(fā)展，二維碼在倉(cāng)儲(chǔ)物流、資源定位、導(dǎo)航服務(wù)等行業(yè)有廣泛應(yīng)用。二維碼作為位置信息承載的工具，具有成本低、數(shù)據(jù)存儲(chǔ)量大、抗損性強(qiáng)、抗光線干擾等特點(diǎn)。本文在衛(wèi)星定位技術(shù)的基礎(chǔ)上，結(jié)合圖像處理技術(shù)，探索物流無(wú)人機(jī)二維碼精準(zhǔn)定位、實(shí)現(xiàn)定點(diǎn)投放方法。

1 無(wú)人機(jī)定位方案

無(wú)人機(jī)采用衛(wèi)星定位技術(shù)進(jìn)行米級(jí)粗定位，此過(guò)程無(wú)人機(jī)在目標(biāo)地面附近懸停盤(pán)旋同時(shí)檢測(cè)畫(huà)面是否存在二維碼，當(dāng)識(shí)別成功二維碼時(shí)，對(duì)目標(biāo)二維碼進(jìn)行解碼匹配。若匹配失敗，則重新進(jìn)行GPS校準(zhǔn)；若匹配成功，之后只需要對(duì)目標(biāo)二維碼進(jìn)行檢測(cè)，目的是減少解碼的時(shí)間。同時(shí)定位二維碼，利用跟蹤算法引導(dǎo)無(wú)人機(jī)飛行，此時(shí)檢測(cè)高度確保安全降落，總體方案如圖1所示。

圖1 飛控定位流程圖

2 二維碼檢測(cè)與解碼

傳統(tǒng)的定點(diǎn)標(biāo)記方法采用自行設(shè)計(jì)的地面標(biāo)記[6]引導(dǎo)無(wú)人機(jī)運(yùn)動(dòng)，該方法在多地標(biāo)情況存在時(shí)，會(huì)出現(xiàn)無(wú)法正確判斷目的地的問(wèn)題。QR碼是二維碼的一種，可以用來(lái)記錄位置信息，用于表示漢字時(shí)比其他二維碼效率高。采用QR碼作為地標(biāo)，可以應(yīng)用于多目標(biāo)地標(biāo)存在的情況。

由于圖像普遍存在隨機(jī)噪聲，需要先對(duì)圖像進(jìn)行中值濾波和選定合適的閾值通過(guò)Ostu法二值化增強(qiáng)圖像質(zhì)量。針對(duì)二維碼的圖像處理，在環(huán)境簡(jiǎn)單的情況下，挖空算法方法可以提高運(yùn)算速度[7]。考慮到飛控需要快速處理二維碼圖像，且應(yīng)用環(huán)境簡(jiǎn)單，因此，本文的飛控精準(zhǔn)定位算法采用挖空算法，即對(duì)檢測(cè)圖像進(jìn)行一般處理后，保留QR碼的位置探測(cè)圖像，將其他部分挖空，再進(jìn)行QR碼定位檢測(cè)，如圖2所示。

圖2 QR碼的組成部分

二維碼圖像校正方法。考慮到無(wú)人機(jī)拍攝的二維碼成像角度變化，需要根據(jù)QR碼特有的位置探測(cè)圖像，對(duì)檢測(cè)的二維碼進(jìn)行幾何旋轉(zhuǎn)。相機(jī)拍攝角度、鏡頭弧度和無(wú)人機(jī)飛行姿態(tài)等原因，造成圖像幾何失真，可以利用QR碼為方形的特性，采用式(1)投影的變換法進(jìn)行幾何校正，從而實(shí)現(xiàn)圖像幾何校正，如圖3所示。

s=c1x+c2y+c3xy+c4

t=c5x+c6y+c7xy+c8

(1)

二維碼圖像解碼方法。QR碼檢測(cè)成功，將圖2中QR碼的數(shù)據(jù)部分提取出來(lái)，根據(jù)QR碼編碼規(guī)范對(duì)數(shù)據(jù)進(jìn)行解碼操作，解碼成功后得到的字符串與設(shè)定好的字符串進(jìn)行配對(duì)，若字符串一致則目標(biāo)二維碼匹配成功。

圖3 二維碼圖像幾何失真示意圖

3 二維碼空間位置的建模與計(jì)算

3.1 二維碼空間位置的參數(shù)與坐標(biāo)的確定

考慮地面的平坦度，按照地面情況可分為兩種：第一種測(cè)距場(chǎng)景表示地勢(shì)平坦，可視作水平面；第二種測(cè)距場(chǎng)景表示地勢(shì)凹凸不平，可視作一個(gè)平臺(tái)。當(dāng)?shù)诙N測(cè)距場(chǎng)景的h0=0時(shí)，可以轉(zhuǎn)化為第一種，故只討論第二種的測(cè)距場(chǎng)景情況。主要變量符號(hào)說(shuō)明如表1所示。

表1 建模參數(shù)

以無(wú)人機(jī)位置為原點(diǎn)對(duì)二維碼空間位置進(jìn)行定位，建立基于“高度差-航向角-距離即(Δh,ψ,d)”目標(biāo)二維碼的空間坐標(biāo)，如圖4所示。

圖4 目標(biāo)二維碼位置信息坐標(biāo)圖

3.2 基于二維碼的無(wú)人機(jī)位置定位模型

高度差主要依靠無(wú)人機(jī)飛控系統(tǒng)的氣壓傳感器可以直接讀取無(wú)人機(jī)相對(duì)地面的高度h。航向角可由飛控系統(tǒng)的慣性測(cè)量模塊獲得。無(wú)人機(jī)相對(duì)目標(biāo)二維碼的距離由測(cè)量計(jì)算獲得。

第一步，先計(jì)算出無(wú)人機(jī)當(dāng)前位置的角度θ1。如圖4所示，將攝像頭的光學(xué)中心定為原點(diǎn)O，建立三角形OMN和三角形OQP的相似關(guān)系，光軸與地面角度γ為初始固定且角度較大，可以通過(guò)測(cè)量得出。

(2)

得到結(jié)果：

第二步，計(jì)算出無(wú)人機(jī)當(dāng)前位置的角度θ2。按照以上方式計(jì)算出θ1后，控制無(wú)人機(jī)向前沿直線平行飛行運(yùn)動(dòng)水平距離c米，無(wú)人機(jī)懸停后再次采集圖像，得到結(jié)果:

經(jīng)過(guò)大量實(shí)驗(yàn)測(cè)試，發(fā)現(xiàn)此過(guò)程對(duì)要求無(wú)人機(jī)直線飛行距離的準(zhǔn)確度以及懸停的平穩(wěn)性較高。

第三步，計(jì)算出無(wú)人機(jī)相對(duì)目標(biāo)二維碼的距離d。由圖4可知飛行器兩個(gè)不同位置的無(wú)人機(jī)的俯仰角之差為：

(3)

由幾何關(guān)系可得無(wú)人機(jī)相對(duì)目標(biāo)二維碼的距離d滿足如下關(guān)系：

(4)

由式(2)、式(3)和式(4)可得出無(wú)人機(jī)機(jī)身與目標(biāo)二維碼高度差、無(wú)人機(jī)相對(duì)目標(biāo)二維碼距離，根據(jù)前面建立的三維坐標(biāo)系，可得到目標(biāo)二維碼的三維坐標(biāo)。若以攝像頭為原點(diǎn)，目標(biāo)二維碼的中心坐標(biāo)為：

(5)

4 無(wú)人機(jī)目標(biāo)二維碼的跟蹤算法

物流無(wú)人機(jī)在飛行時(shí)，需要實(shí)時(shí)跟蹤目標(biāo)二維碼的坐標(biāo)以保證準(zhǔn)確著陸。當(dāng)路面有許多與目標(biāo)顏色相似的情況下，單方面考慮顏色易導(dǎo)致跟蹤目標(biāo)錯(cuò)誤檢測(cè)，引入跟蹤目標(biāo)的預(yù)測(cè)算法來(lái)降低跟蹤誤差。

采用基于CamShift的QR碼位置探測(cè)圖像算法來(lái)確定跟蹤目標(biāo)。CamShift算法增強(qiáng)了跟蹤算法在目標(biāo)遮擋條件下的穩(wěn)定性和跟蹤效率[8]。但CamShift算法直接應(yīng)用于嵌入式系統(tǒng)將大大增加計(jì)算量。QR碼的位置探測(cè)圖像具備唯一性，提取過(guò)程運(yùn)算量小，形狀穩(wěn)定性強(qiáng)，物流無(wú)人機(jī)在第一次成功識(shí)別并匹配二維碼后，采用基于QR碼的位置探測(cè)圖像作為局部特征的CamShift跟蹤算法，可以大大提高運(yùn)算速度。通過(guò)對(duì)觀測(cè)目標(biāo)幀圖像和位置探測(cè)圖像的特征進(jìn)行匹配，根據(jù)相似度可以判斷是否為跟蹤目標(biāo)。圖5為兩者在HSV空間中運(yùn)算量的對(duì)比，結(jié)果顯示改進(jìn)后的CamShift運(yùn)算量有極大減少。

(a) 二維碼原始圖像

(b) QR碼位置探測(cè)圖形圖5 二維碼的H分量直方圖

從無(wú)人機(jī)攝像頭在空中拍攝到的二維碼圖像如圖6所示，隨機(jī)選取連續(xù)的100幀圖像，分別用基于QR碼的位置探測(cè)圖像的CamShift跟蹤算法和改進(jìn)前的CamShift跟蹤算法計(jì)算平均耗時(shí)，比較兩個(gè)跟蹤算法復(fù)雜度。

圖6 無(wú)人機(jī)拍攝到二維碼圖像

跟蹤算法的運(yùn)算復(fù)雜度比較結(jié)果如圖7所示，處理的圖像為100幀。可以看出，QR碼位置探測(cè)圖像CamShift跟蹤算法的平均運(yùn)算時(shí)間僅為0.017 ms，比改進(jìn)前的CamShift算法的平均運(yùn)算時(shí)間要小得多。因此，QR碼位置探測(cè)圖像CamShift跟蹤算法降低了運(yùn)算復(fù)雜度，提高了運(yùn)算效率。

圖7 算法復(fù)雜度比較

采用PID控制方法來(lái)實(shí)現(xiàn)目標(biāo)跟蹤。單級(jí)的PID控制結(jié)構(gòu)存在魯棒性問(wèn)題[9-11]。采用串級(jí)PID控制結(jié)構(gòu)，外環(huán)為位置PID控制器，內(nèi)環(huán)為角速度PID控制器。外環(huán)根據(jù)攝像頭讀取的實(shí)時(shí)坐標(biāo)信息作為外環(huán)輸入量，由式(5)得到的坐標(biāo)(Δh,ψ,d)轉(zhuǎn)換為(x,y,z)，當(dāng)前三個(gè)方向的位置與目標(biāo)位置的差為系統(tǒng)輸入。經(jīng)過(guò)位置控制算法解算，轉(zhuǎn)化為角速度輸入量。內(nèi)環(huán)根據(jù)姿態(tài)傳感器提供控制角度信息，為實(shí)時(shí)姿態(tài)角速度反饋量，利用角速度PID控制器計(jì)算控制力矩，最后轉(zhuǎn)化為旋翼轉(zhuǎn)速，控制無(wú)人機(jī)飛行運(yùn)動(dòng)。相比直角坐標(biāo)系建模，采用基于“高度差-航向角-距離”坐標(biāo)，可以根據(jù)控制需求先使航向角與目標(biāo)重合，即ψ為0，采樣頻率為1 000 Hz。

5 精準(zhǔn)定位的物流飛控系統(tǒng)

5.1 物流飛控硬件平臺(tái)的實(shí)現(xiàn)

根據(jù)系統(tǒng)需求，飛控系統(tǒng)選擇關(guān)鍵元器件如表2所示。采用STM32F407芯片作為處理器，主控芯片綜合控制所有硬件資源，其內(nèi)核具有FPU單元以及DSP指令，以滿足物流無(wú)人機(jī)飛行控制的浮點(diǎn)計(jì)算。采用雙閉環(huán)PID控制姿態(tài)實(shí)現(xiàn)自穩(wěn)系統(tǒng)。STM32F407更新姿態(tài)數(shù)據(jù)的頻率為1 000 Hz，通過(guò)UART同步衛(wèi)星定位目標(biāo)初步位置。主控芯片內(nèi)部的USART以50 Hz幀率處理圖像信息，對(duì)二維碼圖像進(jìn)行預(yù)處理與校正。

表2 飛控系統(tǒng)硬件選型

設(shè)置TIM定時(shí)中斷間隔20 ms通過(guò)軟件IIC讀取MPU6050、AK8975、MS5611等傳感器的數(shù)據(jù)。IIC總線可以掛接不同地址的IIC設(shè)備，占用的資源少且通訊速率適合嵌入式系統(tǒng)。第一次檢測(cè)到二維碼的存在，需要對(duì)其進(jìn)行解碼匹配。若匹配成功，采用雙幀圖像測(cè)量距離，根據(jù)上述模型，讀取MS5611內(nèi)部的128 bit存儲(chǔ)器，換算成標(biāo)準(zhǔn)氣壓值得出距離地面的高度數(shù)值h，且最大分辨率為10 cm級(jí)別，測(cè)出目標(biāo)距離，計(jì)算目標(biāo)的三維坐標(biāo)(Δh,ψ,d)。

通過(guò)30 A無(wú)刷電調(diào)連接三相無(wú)刷電機(jī)，設(shè)置定時(shí)器TIM為四路PWM輸出模式。坐標(biāo)作為追蹤運(yùn)動(dòng)控制的輸入，系統(tǒng)通過(guò)算法控制PWM脈沖占空比來(lái)控制電調(diào)，實(shí)現(xiàn)無(wú)人機(jī)旋翼的調(diào)速。為了保證穩(wěn)定性，提高效率，主控芯片利用特定圖形挖空算法檢測(cè)二維碼的定位標(biāo)志，在運(yùn)動(dòng)中實(shí)時(shí)追蹤計(jì)算坐標(biāo)。少量灰度值數(shù)量的閾值大于0.5屬于前景。計(jì)算平均100幀圖像處理的時(shí)間。最后進(jìn)入50 Hz的時(shí)間片輪轉(zhuǎn)調(diào)度主循環(huán)之中，檢測(cè)電池電量與遙控范圍。針對(duì)電量過(guò)低與遙控失效進(jìn)行自動(dòng)返航設(shè)計(jì)保護(hù)。

5.2 系統(tǒng)測(cè)試

5.2.1測(cè)試方案

定點(diǎn)投放精度測(cè)試。在無(wú)人機(jī)識(shí)別到二維碼時(shí)，機(jī)身相對(duì)于二維碼底邊的夾角為初始航向角，范圍在0～180°，按照角度范圍分別以小于90°和90°～180°進(jìn)行分組。無(wú)人機(jī)采用的攝像頭精度支持最大高度約5 m，根據(jù)相對(duì)二維碼的高度范圍分別以小于2 m、2～5 m進(jìn)行分組。由衛(wèi)星進(jìn)行粗范圍定位，設(shè)置初始半徑最大范圍為20 m，初始半徑分別以小于10 m和10～20 m進(jìn)行分組。采用的二維碼大小為48 cm×48 cm，每組進(jìn)行50次測(cè)試，計(jì)算最終降落點(diǎn)距離目標(biāo)的中心的平均誤差半徑。

5.2.2測(cè)試結(jié)果

定點(diǎn)投放精度測(cè)試結(jié)果如表3所示。可以看出，在攝像頭識(shí)別精度范圍內(nèi)(即飛行器在高度5米內(nèi))，四旋翼無(wú)人機(jī)定點(diǎn)降落的平均誤差半徑最大不超過(guò)20 cm。因此，在充分考慮無(wú)人機(jī)結(jié)構(gòu)完整、機(jī)身良好和光照條件適宜的情況下，無(wú)人機(jī)精確定位降落準(zhǔn)確性很好。

表3 測(cè)試結(jié)果誤差表

6 結(jié) 語(yǔ)

本文針對(duì)物流無(wú)人機(jī)物資定點(diǎn)投放定位精度不高的問(wèn)題，提出一種基于二維碼圖像識(shí)別的無(wú)人機(jī)精準(zhǔn)投放方法。該方法采用挖空算法處理二維碼圖像，結(jié)合光學(xué)測(cè)距技術(shù)通過(guò)測(cè)量目標(biāo)二維碼的距離進(jìn)行精準(zhǔn)定位，實(shí)現(xiàn)無(wú)人機(jī)的精準(zhǔn)投放。該方法不受光線約束、物流成本低，平均每幀圖像處理時(shí)間為0.017 ms。實(shí)驗(yàn)結(jié)果表明無(wú)人機(jī)定點(diǎn)降落的平均誤差半徑最大不超過(guò)20 cm，可以應(yīng)用于無(wú)人機(jī)精確定位降落投放物資。