馬旭,程詠梅,郝帥
(1.西北工業大學自動化學院,陜西西安 710072;2.西安科技大學電氣與控制學院,陜西西安 710054)
尺度變化下飛機著降區自適應分割算法
馬旭1,2,程詠梅1,郝帥2
(1.西北工業大學自動化學院,陜西西安 710072;2.西安科技大學電氣與控制學院,陜西西安 710054)
無人機利用視覺在未知區域尋找著降區時,獲取的航拍圖像易受光照影響并存在尺度變化,對航拍圖像進行分割的主要目的是找出滿足無人機著降區域大小且地物類型(如土地、湖泊等)相同的區域,所以要求其分割算法既要有聚類的能力,又具有將不同類的地物進行有效分割的能力。針對上述航拍圖像的特點和分割任務需求,提出了一種尺度變化下飛機著降區自適應分割算法。首先根據無人機當前的高度信息和對著降區幾何大小的要求,計算當前時刻圖像的地面分辨率及滿足無人機著陸時所需的最小像素數;然后提出一種自適應mean shift分割算法對航拍圖像進行粗分割,其中核函數的帶寬參數根據計算出的最小像素數結合最大類間方差法的閾值進行選取;接著對粗分割的圖像利用Canny算子進行邊緣提取實現圖像的精細分割,得到最終分割結果;最后利用Google Earth在不同場景和尺度下的圖像進行分割實驗,實驗結果表明該算法可以滿足分割的任務需求實現準確分割,并對光照和尺度變化較為魯棒。
航拍圖像;未知區域;多特征融合;圖像分割
當無人機在執行營救、搜索等特殊任務時,面臨著降區地形復雜且無地面輔助導航設備引導的緊急著降問題。視覺相對導航由于具有無源、自主、信息量大以及導航精度高等優點,為無人機在未知區域著降提供一種有效輔助手段。未知著降區的航拍圖像由于具有多尺度、地物類型多樣等特點,使得利用單一圖像特征(如邊緣特征、區域特征、紋理特征等)的分割方法難以對其進行準確分割[1]。因此,本文針對航拍圖像特點,結合尋找著降區的任務需求,提出了一種尺度變化下飛機著降區自適應分割算法。
Mejia[2]以及Lu等[3]都是采用Canny算子對未知著降區圖像進行邊緣提取進而分割出著降區。由于無人機著降過程中距離地面由遠及近,拍攝圖像存在尺度變化,Canny算法在實際檢測圖像的邊緣時,如果Gauss濾波器參數與閾值的大小僅依賴于人工經驗,分割結果將不穩定。文獻[4]中采用mean shift分割算法相比于聚類法和區域生長法不需要待分割區域圖像先驗信息(如聚類數目),并具有形式簡單、抗噪性強及穩定性好等優點。但是同樣受到圖像尺度的影響,mean shift分割算法存在核函數帶寬自適應選取問題,影響分割效果。文獻[5]采用Canny算子提取的邊緣特征與mean shift分割方法進行融合,并實驗證明了融合分割方法可以實現單一分割方法之間的優勢互補。但他們的研究是在某一固定尺度下進行的,同時Sumengen等[6]指出目前的多尺度分割方法大都是將圖像在各個尺度下分割,然后再對各尺度的分割結果進行融合。雖然該方法比單一尺度的分割結果精度高,但是各個尺度的選取缺乏一定的理論依據。
目前各種圖像分割算法并不存在一種通用的算法能解決各種圖像分割問題,各類算法往往都是針對各自所研究的具體問題所設計的。考慮到本文所研究的未知著降區域分割問題,算法應該具有以下3個特點:①考慮到未知環境的復雜性(如光照變化),要求所設計的分割算法應具有一定的魯棒性;②由于無人機降落過程中存在尺度變化,所以要求分割所設計的算法具有尺度自適應性;③面向無人機安全著降任務需求,要求分割算法能準確分割出航拍圖中滿足無人機著降的區域,避免圖像的過分割和欠分割。
為此,針對上述問題,本文提出一種尺度變化下飛機著降區自適應分割算法。首先根據無人機當前的高度信息及無人機著降區大小的要求,計算當前時刻圖像的地面分辨率,推算出滿足無人機著陸時所需的最小像素數;然后利用mean shift分割算法對圖像進行粗分割,其中核函數的帶寬根據上一步所計算的最小像素數結合最大類間方差法的閾值進行選取;接著對粗分割的圖像利用Canny算子進行邊緣提取實現圖像的精細分割。最后利用Google Earth在不同場景及不同尺度下摳取圖像進行分割實驗,驗證本文算法的有效性和分割精度。
mean shift圖像分割算法對圖像中每一個像素點xi(i=1,2,…,n),其特征向量為該像素點的色度和空間位置坐標,利用mean shift算法進行圖像分割就是將圖像中色度相似或是空間距離相近的像素聚類為同一區域的過程,mean shift算子Mh(x)可表示為

式中:G(?)表示單位核函數,w(x)表示權重函數,n表示窗口內的像素個數,x表示初始位置,h為核函數的帶寬參數。(1)式中h的選擇直接影響著圖像的分割效果,當h越小,圖像分割精細程度越高,計算耗時越長,保留的信息也越多,即過分割現象;h越大,圖像分割精細程度越低,計算耗時短,保留的信息也就少,即欠分割現象。尺度的選取在一定程度上反映了帶寬的選擇,傳統算法大都是在某一固定尺度下進行的,隨著無人機高度的不同,尺度也在變化,在圖像上對應的滿足著陸要求的著降區像素個數也不同。下面給出高度輔助下mean shift自適應分割策略。
假設旋翼無人機著降時所需的最小區域為邊長為r的正方形區域,在無人機距離地面高度為H、相機焦距為f、圖像分辨率為m×n、相機水平視場角為α以及垂直視場角為β等條件下,根據小孔成像原理可計算出地面水平方向分辨率rh和垂直方向分辨率rv分別為

則此時無人機著降時所需最小區域對應的圖像像素大小ur×vr分別為

當(1)式所示mean shift核函數帶寬h<min(ur,vr)時,易造成圖像過分割,導致著降區的漏選;當h>max(ur,vr)時,易造成圖像欠分割。考慮到圖像分割的誤差并為保證無人機著陸的安全性,選取的核函數帶寬為

式中:「·」表示向上取整數,g為圖像的類間方差閾值。引入g是為了抑制圖像對比度與亮度變化對h的影響,采用最大類間方差法確定最優g。
代入公式(6)

用zi表示分割后的圖像,Li表示第i個像素在分割后圖像中的標號,基于mean shift的著降區自適應粗分割流程如下:
1)根據(7)式確定核函數的最優帶寬參數h;
2)分別以圖像中每一個像素點xi為起始點,進行mean shift迭代,將收斂位置yi,c存于相應的zi中,即zi=yi,c;
3)如果像素與收斂位置zi之間的距離小于帶寬參數h,將這些像素根據收斂位置zi在色度?空間域聚為m類,表示為{Cp}p=1,2,…,m;
4)對每一個像素,令Li={p|zi∈Cp},i=1,2,…,n;
5)將像素數目小于M個的分割區域與其鄰近的相似區域合并。
由于mean shift算法本身具有一定的濾波作用,容易導致“異質”區域間的邊緣模糊,只能對航拍圖像進行“粗”分割,還需進一步對著降區進行“細”分割,最終確定候選適降區。
在上一節航拍圖像“粗”分割圖像的基礎上,采用自適應Canny邊緣檢測算法實現著降區域的“細”分割。
Canny邊緣檢測算法[7]的性能主要由圖像平滑過程中使用的濾波器以及雙閾值化處理步驟中的高、低閾值來決定。對于濾波器來說,本文算法是通過粗分割中具有帶寬自適應的的mean shift算法來實現。針對雙閾值的選取,將最大類間方差作為高閾值,而低閾值設置為高閾值的一半,從而實現邊緣提取時的自適應性。
通過Google Earth軟件截取西安市慶鎮村的圖像來驗證所提算法的有效性,經過計算,利用Google Earth截圖軟件截取的圖像其相機圖像分辨率為720×486,相機的水平視場角為,垂直視場角為,當高度在1 000 m時,根據公式(2)和(3)可以分別求出地面水平方向的分辨率為0.94 m和垂直方向上的分辨率為0.93 m。小型無人機所需的最小著陸區域為15 m×60 m,最小著陸區所對應的像素區域為16×64。采用文獻[2]中Canny算子分割方法(標記為M1)和文獻[6]中多尺度mean shift和邊緣檢測融合分割方法(標記為M2)作為對比算法,將本文算法標記為M3,實驗平臺為Matlab 2011。
1)相機距離地面1 km時的分割實驗
當相機距離地面1 000 m時,利用Google Earth截取的慶鎮村圖像如圖1所示。其中圖中標注的A、B區域為可以著降的區域,本文通過各算法對這2個區域的分割結果進行比較和說明。
從圖1可以看出,截取的圖像中含有房屋、草地、湖泊以及土地等豐富地物。用M1方法進行分割得到的結果如圖2所示。
從圖2中可以看出M1算法具有較強的細節識別能力,對不同地物間的邊緣有較強的區分能力。但是由于該算法無聚類能力,所以當同一地物圖像中存在特征變化時(如顏色特征),該算法也會將其分割,從而造成過分割現象,對比圖1中的A和B區域可以看出M1算法在這兩個區域都有較明顯的過分割,這顯然不利于著降區的提取。M2算法的分割結果如圖3所示。

圖1 距離慶鎮村地面1 km時的圖像

圖2 M1算法分割結果

圖3 M2最終分割結果
從圖3可以看出利用mean shift算法可以將同一類型的地物進行聚類,但是可以發現聚類后圖像的邊緣比較模糊。從圖中可以看出相比于M1算法,M2算法由于具有聚類的能力,在一定程度上解決了過分割的問題。但是由于尺度選取關系,分割結果中仍然有不少過分割的區域,如圖中A和B區域所示,同樣為后續的著降區精確搜索帶來一定困難。
本文算法的分割結果分別如圖4與圖5所示,其中圖4為mean shift粗分割的結果,圖5為分割的最終結果。

圖4 mean shift粗分割

圖5 M3算法最終分割結果
從圖4可以看出,相比于M2算法中的mean shift分割,由于M3方法是在自適應尺度下進行的聚類,具有更優的聚類效果和不同地物間的區分能力。從圖5中可以看出,M3方法相比于前2種算法具有更好的分割效果,不僅可以將不同的地物進行有效分割,而且可以將同一類型的地物進行聚類,為后續的著降區精確搜索提供基礎。
2)分割算法精度評價
為了客觀評價算法的分割性能,本文選用查全率(φprecision)和查準率(φrecall)進行評價,定義如下:

式中:Ok表示第k幅分割出的標準著降區域,該區域都是由手動選取,Sk(x)表示利用算法分割出的結果,∏(·)表示連乘符號。利用上述2項指標在相機距離地面分別為1 km時,選取20幅圖像進行實驗。各算法性能對比結果分別如圖6所示。

圖6 相機距離地面1 km
從圖6可以看出,本文提出的算法與其他2種算法相比,查全率和查準率更高。
為了驗證算法的魯棒性,選取了10個不同場景及3個不同尺度下1 km,850 m,700 m的著降區進行分割及搜索精度驗證。對上述30幅圖求取查全率和查準率,各算法性能對比結果如圖7所示。

圖7 各算法性能比較
從圖7可以看出,綜合航拍圖像的3個不同尺度,本文算法的查全率和查準率均優于其他2種算法,本文算法具有分割精高、魯棒性好、著降區搜索能力強的優點。
本文提出了一種尺度變化下飛機著降區自適應分割算法,首先結合無人機的高度信息實現了基于mean shift核帶寬自適應的粗分割;然后在此基礎上進行自適應Canny邊緣檢測實現著降區的細分割;最后利用Google Earth截圖不同場景、不同尺度下的圖像進行分割實驗,實驗表明本章提出的方法相比于基于邊緣的分割算法及基于多尺度mean shift和邊緣檢測融合分割算法精度更高。
[1] Scherer S,Chamberlain L,Singh S.Autonomous Landing at Unprepared Sites by a Full-Sale Helicopter[J].Robotics and Autonomous Systems,2012,60(12):1545-1562
[2] Mejias L,Fitzgerald D L,Eng P C,et al.Forced Landing Technologies for Unmanned Aerial Vehicles:Towards Safer Operations[J].Aerial Vehicles,2009(1):415-442
[3] Lu A,Ding W,Li H.Multi-information Based Safe Area Step Selection Algorithm for UAV′s Emergency Forced Landing[J]. Journal of Software,2013,8(4):995-1002
[4] Michel J,Youssefi D,Grizonnet M.Stable Mean-Shift Algorithm and Its Application to the Segmentation of Arbitrarily Large Remote Sensing Images[J].IEEE Trans on Geoscience and Remote Sensing,2015,53(2):952-964
[5] 朱俊杰,杜小平,范湘濤,等.融合邊緣特征與區域特征的高分辨率遙感圖像分割方法[J].高技術通訊,2012,22(9):937-943
Zhu Junjie,Du Xiaoping,Fan Xiangtao,et al.Segmentation of High-Resolution Remote Sensing Images Based on Fusing Edge and Region Features[J].High Technology Letters,2012,22(9):937-943(in Chinese)
[6] Sumengen B,Manjunath B S.Multi-Scale Edge Detection and Image Segmentation[C]//European Signal Processing Conference (EUSIPCO),2005
[7] Abo-Zahhad M,Gharieb R R,Ahmed S M,et al.Edge Detection with a Preprocessing Approach[J].Journal of Signal&Information Processing,2014,5(4):123-134
AdaPtive Segmentation Algorithm of Landing Zone under Change of Scale
Ma Xu1,2,Cheng Yongmei1,Hao Shuai2
(1.Department of Automatic Control,Northwestern Polytechnical University,Xi′an 710072,China
2.School of Electrical and Control Engineering,Xi'an University of Science and Technology,Xi′an 710054,China)
The acquired aerial image is susceptible to illumination and scale changes when UAV is searching for a suitable landing zone based on vision.The main purpose of the aerial image segmentation is to identify the landing zone which is roomy enough for UAV to land and has the same object types(such as land,lakes,etc).Therefore, the segmentation algorithm not only has the capability of clustering but also has the capability of segmenting the different type objects.According to the characteristics of the aerial image and the needs of the segmentation task,an adaptive segmentation algorithm of landing zone under the change of scale is proposed.First,the needed minimum pixel is calculated for UAV landing according to the current height of UAV,the size of the landing area and the ground resolution of the image.Second,the Mean Shift algorithm is employed for image coarse segmentation,and the bandwidth of the kernel function in Mean Shift is calculated according to the minimum pixel gotten in previous step in combination with the threshold in maximum between-cluster variance.Third,the edge of the coarse segmentation image is drawn by using the Canny operator and the final segmentation result is gotten.Finally,the aerial images at different scenarios and scales preliminarily that selected with Google Earth are employed in segmentation experiments.Experimental results demonstrates that the proposed algorithm can meet the mission requirements for accurate segmentation and it is robust to illumination and scale change.
algorithms,bandwidth,caculations,data fusion,edge detection,experiments,flowcharting,image acquisition,image segmentation,iterative methods,lighting,mathematical operators,MATLAB,robustness,control systems,scalability,unmanned aerial vehicles(UVA),aerial image,Google Earth, mean shift image segmentation,multi-feature fusion,unfamiliar area
TP271.3
A
1000-2758(2016)02-0328-05
2015-10-20基金項目:西安科技大學培育基金(2014016)資助
馬旭(1985—),女,西北工業大學博士研究生,主要從事圖像處理與視覺導航的研究。