無(wú)人機(jī)軌道跟蹤控制模型*

隨著科技的進(jìn)步，民用無(wú)人機(jī)技術(shù)已經(jīng)成熟，現(xiàn)已經(jīng)廣泛應(yīng)用于地圖測(cè)繪、地質(zhì)勘測(cè)、災(zāi)害監(jiān)測(cè)、氣象探測(cè)、空中交通管制、邊境巡邏監(jiān)控、通信中繼、農(nóng)藥噴灑等作業(yè)中。在鐵路上，無(wú)人機(jī)也得到應(yīng)用，例如在杭州至海寧城際鐵路項(xiàng)目中，利用無(wú)人機(jī)采集線路及車站站點(diǎn)圖像，輔助進(jìn)行路線規(guī)劃和設(shè)計(jì)［1］。

目前，計(jì)算機(jī)視覺(jué)技術(shù)憑借著檢測(cè)方法簡(jiǎn)單、檢測(cè)設(shè)備無(wú)磨損、使用壽命長(zhǎng)、維護(hù)簡(jiǎn)單等諸多優(yōu)點(diǎn)，廣泛使用于很多行業(yè)和場(chǎng)景，如車牌識(shí)別、交通管理、人臉識(shí)別、零件檢測(cè)等。但是機(jī)器視覺(jué)在鐵路方面的應(yīng)用較少，還處于發(fā)展階段。民用領(lǐng)域運(yùn)用的無(wú)人機(jī)飛行需手動(dòng)控制，自動(dòng)飛行功能只能作為輔助飛行方式。因此，采用嵌入式系統(tǒng)進(jìn)行直接圖像處理，只傳輸必要的圖像數(shù)據(jù)至地面站，并將處理完成的軌道信息作為無(wú)人機(jī)的控制信息，調(diào)整無(wú)人機(jī)的飛行方向，實(shí)現(xiàn)無(wú)人機(jī)領(lǐng)域的虛擬軌道飛行，是一個(gè)具有價(jià)值的研究方向［13］。采用這種方式能實(shí)現(xiàn)沿軌道無(wú)人機(jī)自動(dòng)飛行與控制，充分發(fā)揮無(wú)人機(jī)、機(jī)器視覺(jué)的能力，在洪災(zāi)、地震、山體滑坡等自然災(zāi)害發(fā)生時(shí)，為了解軌道交通線的破壞情況，該方法具有很強(qiáng)的實(shí)用性和一定的遠(yuǎn)景應(yīng)用價(jià)值。本文對(duì)無(wú)人機(jī)技術(shù)與計(jì)算機(jī)視覺(jué)技術(shù)進(jìn)行結(jié)合，并將其應(yīng)用于軌道交通領(lǐng)域，對(duì)使用計(jì)算機(jī)視覺(jué)技術(shù)實(shí)現(xiàn)無(wú)人機(jī)跟蹤軌道飛行進(jìn)行了探索，搭建了一個(gè)無(wú)人機(jī)圖像采集與處理平臺(tái)，對(duì)利用機(jī)器視覺(jué)實(shí)現(xiàn)無(wú)人機(jī)軌道跟蹤控制模型進(jìn)行驗(yàn)證。

1 方案設(shè)計(jì)

利用無(wú)人機(jī)、機(jī)載成像設(shè)備和計(jì)算機(jī)搭建了一個(gè)無(wú)人機(jī)軌道跟蹤控制模型，如圖1所示。

該模型的原理是利用機(jī)載成像設(shè)備對(duì)軌道區(qū)域進(jìn)行成像，并將圖像數(shù)據(jù)傳至機(jī)載計(jì)算機(jī)進(jìn)行圖像處理，圖像處理的結(jié)果傳輸至無(wú)人機(jī)控制系統(tǒng)，對(duì)無(wú)人機(jī)的飛行方向進(jìn)行控制。

圖1 無(wú)人機(jī)軌道跟蹤飛行示意圖

2 圖像處理

該模型中最重要的部分是軌道圖像的識(shí)別，本文利用OpenCV計(jì)算機(jī)視覺(jué)庫(kù)，在Microsoft Visual Studio軟件中對(duì)無(wú)人機(jī)采集的圖像進(jìn)行處理，實(shí)現(xiàn)了對(duì)軌道的識(shí)別。

2.1 圖像載入與分割

圖像處理的第一步是進(jìn)行圖片載入。本系統(tǒng)功能驗(yàn)證采用的機(jī)載成像設(shè)備所獲取的圖片大小為1 920像素×1 080像素。在圖像處理過(guò)程中，未預(yù)先處理的圖片不僅會(huì)造成圖像處理時(shí)間長(zhǎng)，還會(huì)在調(diào)試過(guò)程造成圖片顯示異常。因此，在載入讀片后，對(duì)圖片的寬度與高度作等比例縮小，縮小后的圖片寬度設(shè)置為500像素。為了實(shí)現(xiàn)對(duì)軌道區(qū)域的檢測(cè)，減小圖像處理的時(shí)間，需要對(duì)圖像進(jìn)行適當(dāng)分割。在該程序中，選擇了圖像下部2/3，距離左、右兩側(cè)1/5的區(qū)域?yàn)闄z測(cè)區(qū)域，并將其分割成獨(dú)立的圖像，以提高圖像處理的速度。輸入圖像和分割后的圖像如圖2所示。

2.2 色彩空間轉(zhuǎn)換與濾波

在本系統(tǒng)中，Canny邊緣檢測(cè)等函數(shù)的輸入圖像為單通道8位圖像，因此需要對(duì)輸入的彩色圖像進(jìn)行色彩空間轉(zhuǎn)換。為此，本設(shè)計(jì)在載入圖像后，將彩色圖片轉(zhuǎn)換為灰度圖。

圖像濾波是指在保留源圖像特征條件下，抑制圖像中的噪聲，選擇合適的濾波方法與濾波參數(shù)，能提高后續(xù)圖像處理的可靠性和有效性。圖像濾波有兩條原則，不能破壞圖像的輪廓和邊緣等信息，以及保持濾波后的圖像視覺(jué)效果好、圖像清晰。通常采用的濾波方法有方框?yàn)V波、均值濾波、高斯濾波、中值濾波、雙邊濾波等5種。本設(shè)計(jì)采用高斯濾波法。

圖2 載入圖像并分割

式中：

A——幅值；

x0，y0——圖片中心點(diǎn)的橫、縱坐標(biāo)；

σx，σy——像素值的均方差。

在OpenCV計(jì)算機(jī)視覺(jué)庫(kù)中，高斯濾波函數(shù)為GaussianBlur（），有6個(gè)輸入?yún)?shù)，分別為輸入矩陣、輸出矩陣、高斯內(nèi)核大小、x方向的標(biāo)準(zhǔn)差、y方向的標(biāo)準(zhǔn)差和圖像外部像素的邊界類型。本設(shè)計(jì)中采用的內(nèi)核大小為3×3，x與y方向的標(biāo)準(zhǔn)差都為0。

2.3 軌道連通區(qū)域檢測(cè)

軌道區(qū)域在圖像中是連續(xù)存在的，且鋼軌的顏色較深，即灰度值小。根據(jù)這一特性，可采用檢測(cè)連通區(qū)域的方法，將鋼軌區(qū)域從圖像中識(shí)別出來(lái)。連通區(qū)域檢測(cè)是本設(shè)計(jì)的核心，是成功實(shí)現(xiàn)軌道識(shí)別的關(guān)鍵一步。

識(shí)別連通區(qū)域時(shí)，本文選擇了最大穩(wěn)定極值區(qū)域算法（MSER）。MSER的基本原理是：對(duì)灰度圖像（灰度值為 0～255）進(jìn)行二值化處理，閾值從 0到255逐漸遞增。在處理完成后的所有二值圖像中，圖像中的某些連通區(qū)域變化很小或者無(wú)變化，則稱該區(qū)域?yàn)樽畲蠓€(wěn)定極值區(qū)域［2-10］。它的數(shù)學(xué)定義為：

高斯濾波是一種根據(jù)高斯函數(shù)的形狀來(lái)選擇濾波權(quán)值的線性濾波，可有效消除高斯噪聲。通常采用二維零均值離散高斯函數(shù)作為圖像的濾波函數(shù)。二維高斯函數(shù)為：

式中：

Qi——閾值為i時(shí)的某個(gè)連通區(qū)域的面積；

Δ——灰度閾值變化量；

q（i）——閾值為i時(shí)的Q區(qū)域的變化率。

當(dāng)q（i）為局部極小值時(shí)，Qi則為最大穩(wěn)定極值區(qū)域。

OpenCV計(jì)算機(jī)視覺(jué)庫(kù)中使用MSER（）函數(shù)對(duì)圖片的連通區(qū)域進(jìn)行檢測(cè)，其輸出結(jié)果為向量點(diǎn)集，其中每一個(gè)點(diǎn)集都是一個(gè)連通域。得到連通域后，對(duì)連通域進(jìn)行矩形包圍，并計(jì)算每個(gè)矩形間的重疊面積。接著對(duì)矩形面積進(jìn)行排序，依次計(jì)算相鄰兩個(gè)矩形的重疊率，當(dāng)矩形重疊率大于一定閾值（本設(shè)計(jì)中取0.3）時(shí)，將小的連通域排除。通過(guò)這種方法，可以彌補(bǔ)進(jìn)行MSER檢測(cè)時(shí)最小閾值可能設(shè)置太小帶來(lái)的問(wèn)題，并且可以將實(shí)際的鋼軌區(qū)域進(jìn)一步從連通區(qū)域剝離出來(lái)，減少軌道周圍物體的干擾。檢測(cè)結(jié)果見(jiàn)圖3。

圖3 鋼軌連通區(qū)域檢測(cè)

在完成鋼軌的連通區(qū)域檢測(cè)后，會(huì)發(fā)現(xiàn)連通區(qū)域不僅僅只有鋼軌區(qū)域，軌枕等區(qū)域也會(huì)被檢測(cè)出來(lái)，這是由于軌枕顏色、形狀等與鋼軌類似。為了提取出鋼軌并進(jìn)行鋼軌區(qū)域分割，還需對(duì)連通區(qū)域進(jìn)行邊緣檢測(cè)和直線檢測(cè)。

2.4 邊緣檢測(cè)

針對(duì)連通區(qū)域的檢測(cè)，本設(shè)計(jì)采用了Canny邊緣提取算法［11］。本設(shè)計(jì)中，在進(jìn)行邊緣檢測(cè)前，選擇了3×3的高斯模糊函數(shù)對(duì)圖像進(jìn)行濾波，并將處理得到的邊緣圖與連通區(qū)域進(jìn)行與運(yùn)算，得到鋼軌區(qū)域的邊緣圖（見(jiàn)圖4）。

2.5 霍夫直線檢測(cè)

經(jīng)過(guò)上述邊緣檢測(cè)步驟后，得到了鋼軌區(qū)域的邊緣圖（見(jiàn)圖4 b））。在邊緣圖中，采用霍夫直線檢測(cè)算法提取鋼軌。霍夫變換是圖像處理中的一種直線特征提取技術(shù)。該過(guò)程在一個(gè)參數(shù)空間中通過(guò)計(jì)算累計(jì)結(jié)果的局部最大值，得到一個(gè)符合該特定形狀的集合作為霍夫變換結(jié)果。

圖4 邊緣檢測(cè)

霍夫經(jīng)典變換輸出的矩陣中存儲(chǔ)有檢測(cè)出的直線矢量，每一條直線用具有2個(gè)元素的矢量（ρ，θ）表示，其中ρ表示直線到原點(diǎn)（圖像左上角）的距離，θ表示直線與y軸之間的夾角（弧度，逆時(shí)針為正）。由于檢測(cè)輸出結(jié)果只有直線的相對(duì)位置信息，并不包含直線長(zhǎng)度信息，因此直線的長(zhǎng)度可以自由設(shè)定。

考慮到檢測(cè)出的直線數(shù)可能大于2條，需對(duì)檢測(cè)得到的直線進(jìn)行篩選。通常情況下，圖像中軌道近似于直線，其在圖像中的長(zhǎng)度也是最長(zhǎng)的，因此可以計(jì)算出每條直線的長(zhǎng)度，選出所有直線中的最長(zhǎng)2條直線，作為2條軌道線。在計(jì)算檢測(cè)出直線長(zhǎng)度時(shí)，考慮到采集的圖像高度比寬度大，直接計(jì)算每條直線與圖像上、下邊界的交點(diǎn)（x上，y上）、（x下，y下）。在OpenCV計(jì)算機(jī)視覺(jué)庫(kù)中坐標(biāo)系如圖5所示，圖像的左上角點(diǎn)為原點(diǎn)，長(zhǎng)度方向?yàn)閤軸，高度方向?yàn)閥軸，因此y上=0，y下等于圖像的高度，所以只需計(jì)算每個(gè)點(diǎn)的橫坐標(biāo)即可。圖像的長(zhǎng)度為l，高度為h，第i條直線的位置矢量為（ri，θi），則該條直線的2個(gè)交點(diǎn)的橫坐標(biāo)值計(jì)算式為：

完成鋼軌區(qū)域的直線檢測(cè)后，計(jì)算每條直線在圖像中的長(zhǎng)度，并對(duì)直線進(jìn)行兩兩比較，篩選出最長(zhǎng)的2條直線，視為鋼軌，結(jié)果如圖6所示。

圖5 直線位置示意圖

圖6 直線檢測(cè)結(jié)果圖

完成直線檢測(cè)后，計(jì)算兩直線在輸入圖像中的坐標(biāo)和軌道中心線與輸入圖片上下邊界交點(diǎn)的坐標(biāo)，并將結(jié)果輸出給無(wú)人機(jī)控制系統(tǒng)，對(duì)無(wú)人機(jī)的飛行方向進(jìn)行調(diào)整［12］。

2.6 圖像處理的試驗(yàn)結(jié)果

利用搭建的無(wú)人機(jī)平臺(tái)采集了同濟(jì)大學(xué)軌道交通綜合試驗(yàn)線大量圖像資料并進(jìn)行了處理，從表1中可以得出，軌道識(shí)別正確率約為82.87%，錯(cuò)誤率約12.35%，漏識(shí)別率為4.78%。

表1 軌道識(shí)別結(jié)果

3 結(jié)語(yǔ)

利用機(jī)載成像設(shè)備對(duì)軌道區(qū)域進(jìn)行成像，并進(jìn)行實(shí)時(shí)處理，將無(wú)人機(jī)相對(duì)軌道的位置信息傳輸至無(wú)人機(jī)控制系統(tǒng)，以控制無(wú)人機(jī)沿軌道自動(dòng)飛行，其具有實(shí)現(xiàn)的可能性。

由于基于無(wú)人機(jī)的機(jī)器視覺(jué)在鐵路上應(yīng)用較少，有很多研究工作有待進(jìn)行，包括多種影像獲取（紅外、多光譜、合成孔徑雷達(dá)成像等）和更多鐵路方面應(yīng)用的研究（軌距測(cè)量、障礙物識(shí)別、扣件檢測(cè)等），以及開(kāi)發(fā)具有快速圖像處理能力的嵌入式系統(tǒng)等。

參考文獻(xiàn)

［1］ 姜林波.無(wú)人機(jī)視頻采集在軌道交通設(shè)計(jì)中的應(yīng)用［J］.交通建設(shè)，2016（4）：229-230.

［2］ 毛星云，冷雪飛.OpenCV3編程入門［M］.北京：電子工業(yè)出版社，2015.

［3］ KAEHLER A，BRADSKI G.Learning OpenCV3 computer vision in C++With the opencv library［M］.Sebastopol，CA，USA：O′Reilly Media,Inc.，2017.

［4］ 向榮，蔣榮欣.鐵路機(jī)車快速超視距障礙物識(shí)別算法［J］.湘潭大學(xué)自然科學(xué)學(xué)報(bào)，2013，35（2）：103-108.

［5］ 王昆.基于機(jī)器視覺(jué)對(duì)的軌道幾何特征提取算法研究及實(shí)現(xiàn)［D］.上海：上海工程技術(shù)大學(xué)，2015.

［6］ 同磊.基于機(jī)器視覺(jué)的軌道交通線路異物檢測(cè)技術(shù)研究［D］.北京：北京交通大學(xué)，2012.

［7］ SINGH M，SINGH S，JAISWAL J，et al.Autonomous rail track inspection using vision based system［C］∥IEEE International Conference on Computational Intelligence for Homeland Security and Personal Safety.Alexandria，VA，USA：IEEE，2006：56-59.

［8］ RESENDIZ E，HART M，AHUJA N.Automated visual inspection of railroad tracks ［J］.IEEE Transactions on Intelligent Transportation Systems.2013，14（2）：751-760.

［9］ JARRETT C，PERRY K，STOL K A.Controller comparisons for autonomous railway following with a fixed-wing UAV［C］∥Proceedings of the 6th International Conference on Automation，Robotics and Applications，Queenstown,New Zealand：IEEE，2015：104-109.

［10］ SONKA M，HLAVAC V.圖像處理、分析與計(jì)算機(jī)視覺(jué)［M］.北京：清華大學(xué)出版社，2016.

［11］ 巨西諾，孫繼銀.一種改進(jìn)的基于MSER算法的不變量提取算法［J］.貴陽(yáng)：貴州工業(yè)大學(xué)學(xué)報(bào)，2008，37（6）：49-52.

［12］ 李丹丹，侯濤，魏世鵬.基于改進(jìn)Canny算子的鐵軌邊緣檢測(cè)方法［J］.電視技術(shù)，2015，39（8）：55.

［13］ 鄭家良.無(wú)人機(jī)航跡規(guī)劃與導(dǎo)航的方法研究及實(shí)現(xiàn)［D］.成都：電子科技大學(xué)，2012.

［14］ 李丹丹，侯濤，魏世鵬.基于改進(jìn)Canny算子的鐵軌邊緣檢測(cè)方法［J］.電視技術(shù)，2015，39（8）：55-58.