基于LSD檢測的無人機視覺著陸定位算法

楊 楠，劉小雄，苗 升，秦 斌

(西北工業大學 自動化學院，西安 710129)

0 引言

無人機的順利著陸是無人機執行任務中重要的一環。在著陸過程中，無人機的姿態、三維位置等導航信息的準確性和實時性將直接決定著陸的成功與失敗。目前，獲取導航信息的方式主要是采用差分GPS、儀表、微波、雷達等傳感器，這種傳統的方式在GPS缺失的拒止環境和復雜的電磁干擾下缺乏穩定性，影響著陸安全。基于視覺傳感器的著陸導航技術利用無人機采集的圖像，對機場跑道等特征進行檢測和識別，從而在無人機飛行過程中確定其與機場跑道的相對位置、姿態等信息。視覺傳感器相比于其他傳感器，具有自主性強、結構簡單、非接觸、成本低和近距精度高等優勢[1]。

文獻[2]用視覺合作標志，通過控制飛機俯仰和滾轉將飛機運動矢量與目標位置矢量對準，從而實現靜止目標和移動目標的降落；文獻[3]將捕獲的跑道圖像與已知跑道的三維位置的圖片進行圖像配準，得到跑道前視圖的投影模型，通過下滑角偏差和與航向偏差來控制飛機保持在正確的下滑路徑上；文獻[4]通過設計地面嵌套合作目標，該目標由3個不同的協作模塊組成，覆蓋無人機在著陸階段的整個高度范圍的定位需求。文獻[5]提出了一種新型的紅外相機陣列制導系統，可以在過程中跟蹤和提供固定翼無人機的實時位置和速度，實驗表明紅外相機陣列系統可以實時安全準確地引導UAV著陸，并且測量和控制距離超過1 000 m。文獻[6]利用色彩空間轉換，將跑道的RGB圖像轉換到HSV色彩空間下，通過跑道表面與跑道周圍的色彩區分圖像中的跑道區域，進一步定位得到當前飛機的位置和朝向。文獻[7]利用霍夫變換檢測圖像中跑道邊線的位置，通過已知跑道的寬度來解算飛機相對于跑道的高度以及橫向偏移量。文獻[8]利用夜間跑道燈光的信息、通過機載相機捕獲的圖像以及飛機自身的狀態構建卡爾曼濾波，從而獲得飛機的位置和姿態信息。國內在此項技術方面也開展大量的研究工作。文獻[9]通過在跑道兩端搭建圖像跟蹤系統，利用圖像跟蹤算法檢測圖像中的無人機，最后通過圖像系統中云臺的俯仰航向角以及兩臺云臺的相對距離來結算無人機相對跑道的三維位置。文獻[10]將著陸的引導過程分為兩個階段，在距離較遠時利用跑道的角點特征引導無人機，在距離較近時利用更加魯棒的AprilTag引導無人機著陸，實驗表明兩階段引導方式滿足著陸精度要求。文獻[11]設置地面合作標識，基于幾何特征和SVM分類器進行目標檢測，然后使用光流法對目標進行跟蹤，最后提取出合作標識亞像素級角點特征，利用PNP算法解算飛機位姿信息。文獻[12]通過對比常見的位姿估計算法，得出RPNP算法適合無人機著陸位姿的結論，并且改進了Tsai算法對平移矩陣求解精度低的問題，最后利用遺傳算法優化了合作目標的構型。文獻[13]在艦船上設置5個紅外合作標識點，通過多次閾值分割和形態學處理得到合作目標的像素點位置，再利用N點算法求解飛機相對于合作目標的相對位置，并且利用卡爾曼濾波對艦船運動導致的位姿偏差進行補償。文獻[14]利用地平線和跑道左右邊線的信息解算出飛機的3個姿態角。文獻[15]利用霍夫變換和RANSAC方法計算跑道邊線消影點，從而估計出無人機的俯仰角，再通過雙目視覺深度估計從而獲得無人機的高度參數。文獻[16]提出一種適用于無人機板載端輕量高效的Onboard-YOLO算法可以實現無人機板載端的實時自主精準降落。分析以上研究方法，國外在此技術方面已經取得試飛驗證的成果，國內在此技術領域的研究還不夠全面，部分研究只局限于定位算法，而對于傳統圖像檢測算法的研究還不夠深入，并且大多數研究采用了一些特定的合作標識，缺乏通用性和泛化能力。

考慮到視覺著陸系統優秀的應用環境和先前的成功試飛實例，我們設計了一種基于LSD(line segment detector)檢測的視覺著陸定位算法，以實現全套著陸定位算法的目標。無人機能夠依靠視覺導航技術，對機場跑道進行識別、檢測和定位，從而獲得無人機相對于跑道的位置信息，最終引導無人機自動著陸。對設計的算法進行編碼設計，分別在仿真和真實機場環境下進行分析驗證，結構表明本文設計算法的有效性。本文的研究成果對提高無人機起降的能力和安全飛行具有重要意義。本文的創新點主要有以下兩個方面：

1)針對定位算法計算速度和抗干擾能力，通過使用蒙版技術來劃分跑道區域并應用跑道幾何約束關系構建檢測閾值，提高了算法的魯棒性和實時性；

2)根據機場跑道特點，設計了一整套視覺著陸定位算法，并將其應用于實際試飛環境，表明了算法的泛化能力和通用性。

1 算法總體方案設計

無人機視覺著陸主要包括兩部分：跑道檢測和定位。在跑道檢測部分中，無人機依靠視覺檢測跑道，并輸出定位所需要的信息。檢測相當于算法的前端部分，依靠視覺和外部環境進行交互。定位主要是借助跑道的先驗信息以及檢測輸出的參數，計算無人機和跑道之間的相對位置，和數據進行交互，可以理解為算法的后端部分。因此，檢測精度的高低、檢測的穩定性和魯棒性將直接影響定位算法計算的精度。固定翼無人機自主著陸的基準軌跡是根據一系列約束條件而設定的能夠保證無人機安全著陸的一條高度剖面下滑軌跡，控制系統需要無人機相對跑道的位置和姿態信息，以便控制無人機得到最優的下滑軌跡。

無人機視覺著陸的過程中，檢測算法的輸入有相機發送出來的RGB圖像信息，跑道的先驗信息，相機的先驗信息如：圖像的分辨率和焦距等參數。檢測算法接收到圖像后需要對圖像進行灰度化，濾波和圖像增強等預處理，例如高斯濾波，先驗Mask確定ROI區域等，這樣可以去除圖像中的噪點，調整圖像的對比度，便于跑道線的檢測。跑道線檢測包括左右跑道線和起始跑道線的檢測。檢測完成之后，需要提取出直線在像素坐標系上的斜率和截據，并將這些信息發送給定位算法，定位算法可以根據跑道和相機的先驗信息以及檢測得到的跑道線位置信息，計算出無人機相對于跑道的位置[x，y，z]。整個算法的流程圖如圖1所示。

圖1 無人機視覺著陸系統流程圖

2 機場跑道檢測與定位

2.1 LSD檢測

機場跑道進行直線檢測的目的是得到機場跑道線的斜率k和截距b信息，以供無人機進行位置估計。傳統的線段檢測算法利用邊緣檢測算子對圖像中的邊緣信息進行檢測，然后利用霍夫變換提取圖像中的直線特征。傳統線段檢測算法的缺點是實時性不高，而且在邊緣密集處容易產生誤檢測。LSD是一種局部提取直線的算法[17]，該算法通過計算像素點的梯度方向，梯度方向相近的像素點被認為是同一條直線上的點，從而將其合并到直線上。本文中采用LSD對機場跑道線進行檢測，檢測的流程圖如圖2所示。

圖2 基于LSD的機場跑道檢測

LSD檢測直線的過程如下：

1)對輸入圖像進行預處理。通過圖像降采樣降低圖像的大小，減少圖像中的鋸齒效果；通過高斯濾波去除圖像中噪聲的干擾，提高檢測的準確性。如圖3(a)中所示。

圖3 LSD檢測

2)計算圖像中每個像素的梯度值和梯度的方向。如圖3的b)中所示。

3)將圖中梯度方向相近的像素點合并，認為其在一條直線上，形成線段的支持域。如圖3的(c)所示。

LSD算法的具體步驟如下：

1) 高斯降采樣。首先使用高斯核對圖片進行濾波，以減弱圖像中出現的鋸齒效應，接著進行一次降采樣。

2) 梯度計算。利用每個像素點(x，y)的右下角的4個像素計算該點處的梯度，以記錄像素的明暗變化，從而找出可能是線段邊緣的地方，本文選擇2×2的小模板是為了減少梯度計算過程中的依賴。

這里i(x，y)是灰度圖像上像素點(x，y)的灰度值，梯度的計算公式如下：

gx(x，y)=

(1)

gy(x，y)=

(2)

梯度的幅值為：

(3)

Level-line的角度為：

(4)

3) 梯度排序：LSD選擇從具有較高梯度幅值的像素點入手進行直線分割檢測，這就需要對圖像中的像素按照梯度幅值進行排序。通常，排序算法處理n個數值的時間復雜度為O(nlogn)，LSD選擇具有線性時間復雜度的偽排序算法，即首先將0和圖像中最大梯度值之間的范圍等間隔的劃分為1 024個等級，然后將每個像素根據其梯度值分類到對應的梯度等級中。接著選擇圖像中具有最大梯度值得像素作為種子點，然后從第二大梯度等級中選擇種子點，如此依次進行直到遍歷完所有的梯度等級。

4) 區域增長：在梯度排序列表中選取一個沒有使用的像素點作為種子點，區域生長算法將通過這個種子點生成一個直線的支持區域。遞歸的將該像素點周圍區域的像素點測試，將level-line角度和區域角度之間的誤差在τ范圍內的像素點加入到該區域中。區域的初始角度就是種子點level-line角度，每次添加一個新的像素到該區域，區域的角度更新公式為式(5)：

(5)

式(5)中的下標j表示遍歷區域中的每個像素點。不斷地迭代判斷區域內地像素點，直到沒有滿足條件的像素點可以繼續被添加到區域中。對于整個矩形而言，設置45度的誤差容忍度，從而設置τ為22.5°，該誤差范圍內的像素點都將被合并到當前矩形中。

5)矩形估計：在區域增長中提到直線分割的結果對應一個矩形，即可以用一個外接矩形表示分區域增長生成的直線，找出直線對應的矩形中心為：

(6)

(7)

式中，G(j)表示像素點j的梯度值，下標j遍歷區域內的所有像素點，用矩陣最小特征值的特征向量的角度表示矩形的方向。

2.2 跑道線預處理和檢測

相機拍攝到的是彩色圖像，為了減少圖像處理的計算量，需要對原始圖像進行灰度化處理。灰度化能夠大大減小程序的計算量，提高圖像處理的實時性。高斯濾波是一種低通濾波，用于對圖像進行平滑和模糊處理，因此其被廣泛應用在圖像處理的減噪過程中。高斯濾波的基本思想是：用圖像中每一個像素點本身和其領域內的其他點的像素值加權平均來代替該點的像素值，即用一個卷積核掃描圖像中的每一個像素點，將領域內的各個像素值與對應位置的權值做點乘然后求和。高斯濾波之后的圖像如圖4所示。

圖4 高斯濾波后的圖像

在跑道識別的過程中，如果跑道的周圍存在位置比較固定的干擾，此時可以加入靜態蒙板技術，只在劃定的區域內對跑道進行檢測。靜態蒙板的原理是先創建一個與原始圖像相同大小像素值全為常值的圖像mask，然后利用多個點在mask上繪制多邊形，這些點相當于多邊形的頂點，并將多邊形區域內的像素值填充為0，此時mask就是一個靜態蒙板。將mask與原始圖像對應的像素按位與之后，則在多邊形區域內顯示的是原始圖像，而在多邊形之外的區域像素值為255，即全部為白色。本文針對自建的跑道數據集，跑道位于width∈(1/3，2/3)的范圍，針對不同的應用場景，蒙版可以進行微調。

2.3 幾何濾波

經過上面的圖像預處理之后，可以減少一部分干擾，但是LSD檢測出的跑道線周圍會存在著一些誤檢測，需要對檢測結果進行濾波從而消除跑道周圍的干擾。本文采用幾何濾波的思想對跑道線的斜率和線長進行約束，通過約束可以將部分非跑道的誤檢測剔除。

對于斜率k的約束，我們認為跑道左右邊線斜率在真實圖像當中不應該是一個接近于0的數，而應該是一個很大的數字。因此，我們對于所有的檢測結果進行斜率約束，濾除一些斜率過于小或者過于大的直線。由于跑道的左右邊線在圖像中是對應的，所以左右跑道的線段中點在像素坐標系y軸上的位置應該較為接近，并且將左右跑道線之間的夾角限制在一定的范圍之內。通過對直線斜率的聚類，我們將檢測出的直線可以分成左跑道候選線和右跑道候選線，再通過幾何濾波從眾多候選線中選擇出對應的左右跑道。最后，對滿足條件的左右跑道進行均值處理，可以求出理想的跑道線的斜率k和截距b。

(8)

(9)

2.4 基于跑道線檢測的PNP定位算法

PnP(Perspective-n-Point)是視覺里程計領域求解3D到2D點對應位姿變化的方法[18-20]，它描述了當知道n個3D空間點及其像素位置，如何估計相機的位姿。本文采用PNP原理，推導基于線檢測信息的定位算法。

跑道線的定位解算主要包括世界坐標系、攝像機坐標系、像素坐標系。跑道線的左邊線為ll，跑道的起始線ls，跑道的右邊線為lr。A、B兩個點分別是跑道線左邊線和跑道右邊線與跑道起始線的交點。C點是跑道左右邊線的消影點，如圖5所示。

圖5 無人機著陸跑道坐標系

機場跑道三條邊線在像素坐標系的方程可以描述為[21]：

(10)

其中：r與c分別表示像素點在像素坐標系中y軸和x軸坐標，ki和qi分別為直線方程的斜率與截距，(l，r，s)分別代表跑道的左邊線、右邊線和起始線，寫成矩陣的形式即：

(11)

(12)

(13)

(14)

上式左乘[ai，bi，ci]：

0?[aifxbifyaiu0+biv0+ci0]R*

(15)

其中：Ai=[aifxbifyaiu0+biv0+ci0]R。在世界坐標系中，跑道坐標系的左右邊界為：

A13xw-A11xy+A11tx+A12xy+A13tz=0

(16)

A23xw-A21xy+A21tx+A22xy+A23tz=0

(17)

上面的式子對比各單項，可以得到：

A13=A23=0

tx+(A12/A11)ty+(A13/A11)tz=l

tx+(A22/A21)ty+(A23/A21)tz=-l

(18)

改寫成矩陣的形式：

(19)

根據相機和機場跑道參數，通過上面的式子可以求解出Z和Y方向的位移。

無人機與跑道起始線在X方向上的位移需要通過跑道實際的寬度和起始線在圖像中的長度來計算。假設跑道的真實寬度為W，跑道起始線鉛錘面到相機光心的距離為x，圖像中跑道起始線的像素長度為L，像素坐標系與物理成像平面在x軸上的縮放因子為α，假設無人機滾轉角為零，根據成像原理可以得到：

(20)

(21)

其中：pitch為俯仰角。通過式(20)和式(21)可以計算出無人機和跑道在X軸方向上相對距離。

3 實驗分析

根據本文設計算法，分別在仿真環境和真實環境中進行機場跑道檢測和定位算法分析。

3.1 仿真環境檢測定位

視覺著陸仿真環境由兩臺計算機構成，一臺計算機運行視景環境和無人機模型，根據飛行場景提供視覺信息，另一臺計算機運行Linux操作系統進行檢測和位置解算；運行的視景仿真軟件通過設計運動參數，能夠完成各種降落場景下機場跑道的動態視景，通過數據處理算法將跑道視景保存為圖像序列，并將圖像和無人機位姿信息通過通訊協議傳送到檢測計算機進行檢測和定位。

仿真驗證平臺分為主線程、數據接收線程、圖像顯示線程，其中主線程運行圖像預處理算法、跑道檢測算法和定位算法，數據接收線程通過通信從虛擬視覺傳感器中接收數據并解包，從而獲取跑道圖像、位姿信息、時間等。圖像顯示線程負責將檢測到的跑道線、無人機的真實位姿信息和定位結果實時顯示在終端中，終端顯示效果如圖6所示。

圖6 仿真驗證平臺實物圖

圖7 無人機進場時的定位效果

圖8 定位結果與真值對比圖

本文設計的算法在Ubuntu18.04 系統運行，編程語言采用C++，無人機降落的場景由視景系統生成，并提供無人機在進場的姿態和位置真值。采用本文算法對無人機在進場時位置估計仿真的結果如下。

表1 解算參數和真值的偏差 m

仿真結果表明，檢測算法能夠較好的檢測出跑道線的位置，對不同高度下的檢測結果有很好的適應性，同時算法計算量小，實時性能夠得到保證。同時由于定位算法采用線特征匹配的方案，因此定位精度能夠得到保證。綜上所述，本文所提出的檢測和定位算法能夠滿足視覺引導降落的要求。

3.2 真實機場檢測定位分析

實際試飛時搭建的固定翼無人機平臺如圖9所示，其翼展為1.8 m，最大飛行高度為120 m。無人機搭載的設備主要包含相機、機載計算機、飛控和電源等，其中相機固聯于無人機頭部，其安裝角為0度，機載計算機、飛控和電源等設備安裝在機身內部。相機通過USB3.0接口將圖像傳輸到機載計算機，機載計算機上部署了跑道線檢測和視覺定位算法，用于圖像處理和視覺導航數據的解算，并通過USART將視覺導航結果傳輸到飛控端。飛控中的控制率解算出控制指令后，以PWM的形式控制舵機，最終控制無人機平穩著陸。

圖9 實驗使用的固定翼無人機

圖10 飛行過程中的解算效果圖

根據本文設計的算法，進行試飛驗證，采用多組數據進行定位結果分析，無人機對準跑道從25 m高度開始下滑，實時抓取解算過程中的一副圖片如圖所示，整個下滑過程計算結果如圖11所示。

圖11 實際試飛的定位結果

從試飛結果可以看出，第200個數據點之前，檢測和定位效果較好，y方向的誤差為2 m左右，z方向的誤差為5 m左右。第200個數據點之后，由于接近跑道盡頭且無人機滾轉太大，此時檢測效果變差。檢測算法能夠很好的檢測出跑道的輪廓，對不同高度下的跑道檢測有很好的適應性和魯棒性。定位算法的解算精度對于如果只依靠視覺進行導航定位，則在可接受的范圍內，而且整個視覺檢測和定位算法的計算量小，解算時間較短。

4 結束語

本文以視覺引導著陸為研究內容，針對檢測和定位端分別設計了相應的算法，并對算法進行仿真驗證。先利用LSD檢測圖像中的直線特征，用幾何約束來提取出機場左右跑道線在像素坐標系中的斜率和截距信息，VP視景軟件可以生成無人機在不同時期入場的圖像和位置姿態真實值。最后利用像素坐標系和真實世界之間的轉換關系，計算出無人機相對跑道的位置信息。實驗結果表明了本次研究所設計的算法的有效性。