基于RCA與相鄰梯度融合的天際線檢測算法研究

涂　兵　潘建武　雷霜霜　匡文蘭　夏旭承

1(湖南理工學院信息與通信工程學院　湖南 岳陽 414006)2(湖南理工學院復雜系統優化與控制湖南省普通高等學校重點實驗室　湖南 岳陽 414006)3(湖南理工學院IIP創新實驗室　湖南 岳陽 414006)

?

基于RCA與相鄰梯度融合的天際線檢測算法研究

涂兵1,2,3潘建武1,2,3雷霜霜1,3匡文蘭1,3夏旭承1,3

1(湖南理工學院信息與通信工程學院湖南 岳陽 414006)2(湖南理工學院復雜系統優化與控制湖南省普通高等學校重點實驗室湖南 岳陽 414006)3(湖南理工學院IIP創新實驗室湖南 岳陽 414006)

天際線檢測在機器視覺導航、地理位置定位、船只檢測和港口安全、森林防護中有重要的作用。首先采用區域協方差算法RCA(Regional Covariance Algorithm)將圖像分割成天空與非天空區域，實現天際線檢測區域的粗提取；接著提出一種基于分割粗區域全局梯度均值與局部梯度均值融合算法在訓練樣本上確定梯度閾值，并以此算法檢測出天空與非天空區域的起始點；然后以起始點開始在分割的非天空區域采用相鄰梯度極大值AGM(Adjacent Gradient Maxima)算法搜索最大可能天際線存在的像素點位置坐標，最終達到檢測出輸入圖像中的天際線。該算法在內華達大學機器視覺實驗室Web Set數據集進行了測試，實驗結果表明：該算法能有效地檢測出天空與非天空區域的分界線，具有良好的有效性和時效性。

天際線視覺導航區域協方差相鄰梯度

0　引　言

天際線檢測是在給出的灰度或彩色圖像中對天空和非天空區域(地面、水或者山脈)的分界線進行提取。目前，隨著智能信息技術的發展，天際線檢測在無人機和微型飛行器的自動導航[1-5]、計算機視覺地理定位、山脈和沙漠圖像標記、港口安全、森林防火等領域都有重要的應用[6,7]。針對天空與非天空區域中相似的顏色，如云、雪或者河流等可能影響顏色分割等因素，Ettinger等[2]提出一種基于區域協方差算法(RCA)檢測出天際線，并將此算法應用到了微型飛行器的導航上，在天空與非天空區域的分界線是直線的條件下，能有效檢測出相應的天際線；Hung等[8-11]對天空與山區圖片在不同的季節、不同氣候等環境復雜多變的條件下，通過提取顏色、狀態特征和邊緣位置信息特征，采用支持向量機SVM算法來對天空與山區區域的分界線區域中關鍵點周圍像素點訓練一個分類器，然后將該分類器應用到天空與山區區域進行天際線的提取；Kim等[12]采樣多級邊緣濾波算法MEF(Multistage edge filtering)檢測出圖像中的天際線，首先對訓練樣本圖像的特征信息進行定義域分類，然后通過MEF算法對存在的噪聲邊緣信息進行去噪，最后通過邊緣檢測算法來檢測出天際線；Ahmad等[13]對訓練樣本圖像中天際線邊緣的關鍵點信息進行訓練，使用關鍵點信息的SIFT特征對天空與非天空的結合區域進行天際線的檢測；李壽濤等[6,14]提出一種基于Mumford-Shah泛函模型和曲線演化原理的天際線識別算法，并將其應用到森林煙火識別系統、無人機的天際線識別上，通過基于梯度和區域混合開閉曲線模型約束下精確識別天際線，并由此估計無人機滾動和俯仰姿態角；劉松濤等[15]對利用邊緣檢測、形態學濾波和Hough變換的方法識別紅外圖像下的海天線，用于可見光圖像和紅外圖像配準；呂俊偉等[16]利用分形和Hough變換來識別紅外環境下的天際線，用于導彈末端制導；楊家紅等[17]利用海天線區域在背景灰度上的漸變特性，提出了一種海天線定位方法；桂陽等[18]提出了一種基于相位編組和灰度統計的新方法來檢測出正確的海天線。

目前，天際線檢測一般方法主要有：① 采用機器學習對天空與非天空區域關鍵特征進行訓練，建立相應的分類器，從而達到識別天際線的目的；② 采用邊緣信息檢測達到天際線的檢測；③ 采用顏色分割和邊緣提取融合算法。這些算法在“存在一條連續不斷的邊緣邊界分割天空與非天空區域”的假設條件下能達到比較好的效果。但是在天空與非天空區域背景較復雜的情況下對天際線的檢測效果有限，如：低對比度、煙或霧氣、陰影、光線、地表情況等因素。并在天際線是曲線(非直線、斜線)的情況下，這些算法對天際線是曲線的檢測效果有限。本文在RCA算法檢測天際線的基礎上，提出一種天際線起始點位置坐標檢測算法，并以該起始點位置坐標進行天際線的搜索，將相鄰鄰域內梯度極大值算法應用到天際線的檢測上。該算法對天際線有邊緣與無邊緣檢測都有比較好的效果，不需要對圖像進行邊緣信息的提取，從而能快速有效地檢測出圖像中的天際線，尤其是對曲線(非直線、斜線)情況下天際線檢測的效果尤為突出，并在同等硬件環境下計算速度更快。

1　天際線檢測算法流程

先對要檢測的原始圖像I(i，j)進行RCA圖像分割，把圖像初步分割成天空與非天空區域，存儲初分割的天空與非天空區域的分界線坐標；在此基礎上提出一種基于分割區域全局梯度均值與局部梯度均值相融合的算法檢測出天際線起始點坐標P1(i，1)；在確定出P1點坐標后，在圖像分割的非天空區域內將三鄰域梯度極大值算法應用到圖像的天際線檢測上。天際線檢測算法流程圖如圖1所示。

圖1　天際線提取示意流程圖

2　天際線檢測算法研究

2.1基于RCA的天際線檢測算法

圖2　RCA天際線遍歷示意圖

對每次遍歷過程分別計算天空與非天空的協方差矩陣，計算表達式如式(1)和式(2)所示：

(1)

(2)

其中，μs與μg分別為天空與陸地的平均RGB分量值，μs與μg計算表達式如式(3)和式(4)所示：

(3)

(4)

接著采用式(5)計算最大J值，其中，det()為協方差矩陣Λs跟Λg的行列式值，trace()為協方差矩陣Λs跟的跡。

(5)

對式(5)進行優化可得到式(6)，其中var()為方差值，Ys跟Yg分別代表天空與非天空的亮度值。對式(6)進行簡化運算得到式(7)，通過式(7)計算最大的J值從而得到輸入圖像的天際線坐標值[2,19]。

(6)

(7)

2.2天際線檢測起始點坐標提取算法

輸入圖像I(i，j)采用RCA算法進行初分割，對分割區域分別計算天空與非天空區域的平均梯度值大小。天空區域的平均梯度值記為Sav，非天空區域的平均梯度值記為Gav、Sav與Gav的計算公式為：

(8)

(9)

其中m、n分別表示圖像I(i，j)的行、列值，M1到Mn為RCA算法提取的天際線坐標值。P(i,j)表示圖像中對應的像素點坐標(i,j)RGB值。天空區域圖像的首列計算平均梯度值Gfav大小。計算公式為：

(10)

接著采用式(11)來計算梯度閾值大小，k1、k2、k3分別為閾值參數，對訓練樣本圖片通過實驗方法確定閾值參數，達到最優的閾值r。

r=k1×Sav+k2×Gav+k3×Gfav

(11)

在確定閾值大小后，天際線起始點位置坐標的確定通過式(12)來計算，在RCA算法分割的圖像非天空區域首列進行搜索，如果存在G1>r，G2>r，G3>r，則確定P1(i，1)是天際線起始點坐標。

G1=P1(i,1)-P1(i+1,1)G2=P1(i,1)-P1(i+2,1)G3=P1(i,1)-P1(i+3,1)

(12)

圖3為采用分割區域平均梯度值跟局部梯度平均值進行天際線起始點檢測示意圖。

圖3　天際線起始點檢測示意圖

2.3AGM天際線檢測算法

在天際線的起始點P1坐標提取后，如圖4中P1點坐標，在圖4中RCA圖像分割后的非天空區域以P1點坐標為起始坐標，采用基于三鄰域內梯度極大值搜索天際線位置點坐標。

圖4　三鄰域內梯度極大值天際線檢測示意圖

相鄰三鄰域內的梯度計算如式(13)所示：

(13)

分別計算三鄰域內的各梯度值大小，接著采用式(14)得到最大的梯度值，最后通過式(15)檢測天際線的坐標位置Pj點，檢測出坐標位置Pj點后計算對應的坐標點位置并存儲。

(14)

(15)

3　天際線檢測與實驗對比分析

3.1天際線檢測步驟

提出的天際線檢測算法 檢測步驟如下所示：

① 采用RCA算法對圖像I進行初分割，把圖像粗分割成天空與非天空區域；圖5為選取在內華達大學機器視覺實驗室Web set圖片集中Img001～Img012的圖像運行RCA算法的結果圖。Web set數據集上圖片大小為1388×519。

圖5　基于RCA算法的天際線檢測結果

② 采用基于分割區域平均梯度值與局部梯度平均值算法來提取天際線起始位置坐標點；通過對Web set訓練樣本采用式(11)來確定閾值，實驗發現當k1、k2、k3分別取1、1、10時效果最佳。表1是圖5中起始點提取的起始點坐標值。

表1　圖5中圖片起始點位置點

③ 在第2步確定天際線的起始點坐標后，以此坐標點采用三鄰域內梯度極大值算法檢測天際線，選取內華達大學機器視覺實驗室Web set圖片集中Img001至Img012圖片檢測結果如圖6所示。

圖6　AGM天際線檢測結果

3.2算法計算誤差對比

本算法在Web set圖片測試集上進行了測試，總共有80張圖片，分別運行文獻中的四種算法對檢測的天際線結果進行量化對比分析。對比參數主要從平均誤差、誤差最大值、誤差最小值進行定量分析。圖7為運行提出的算法在測試集上平均誤差值的大小，平均誤差分析采用歐式距離進行計算，如式(16)所示：X1為本文提出的算法中檢測出的天際線坐標向量，X為測試集標準天際線坐標向量。

(16)

圖7　測試集誤差大小值

對比文獻中的的三種天際線檢測算法，各項測試數據如表2所示。

表2　四種檢測算法在Web set測試數據結果對比

3.3算法計算時間結果對比

將提出的算法與另外三種天際線檢測算法在Matlab2013a進行了算法仿真實驗，算法運行的計算機硬件環境為CPU T7700，內存4 GB。統計80張測試樣本圖片的運行時間，得到每張圖片的平均計算時間，計算結果如圖8所示，從圖8中可以看出本文算法計算速度優于其他三種算法。

圖8　平均每張圖片計算時間

3.4算法結果討論

通過表2可以看出基于RCA算法和相鄰梯度極大值融合算法對天際線的檢測有較好的檢測效果。在測試樣本數據庫上誤差最大值均優于文獻中其他三種方法，平均誤差略高于文獻[11]中提到的算法。由于采用的檢測算法是以當前確定的天際線像素點坐標進行三鄰域內下一個天際線像素點位置坐標的搜索，如存在非天空過渡區域的三鄰域內的梯度值大于真實天際線之間的梯度值容易導致檢測誤差的增加。如圖9所示為由于非天空區域中石頭的背景顏色較深導致天際線像素點坐標的錯誤檢測。

圖9　非天空區域梯度較大的圖片

若存在天空與非天空區域之間的過渡區域的背景色彩相似性較大，如圖10所示為天空與非天空區域之間的過渡區域背景非常相近，導致天際線像素點位置坐標存在錯誤的檢測。從而導致平均誤差比文獻[11]中的誤差要大0.1739。

圖10　天空與非天空過渡區域背景顏色近似的圖片

4　結　語

本文針對圖像中天際線的提取問題，特別是曲線情況下的天際線，在常用天際線檢測算法的基礎上，將RCA算法應用到圖像的分割上。首先將圖像分割成天空區域與非天空區域，同時提出一種基于分割區域梯度平均值與局部梯度平均值算法來設定閾值。通過實驗分析的方法確定閾值參數，接著提出一種基于鄰域極大值算法來搜索天際線。最后通過對比實驗采用的四種天際線檢測算法結果進行定量分析，結果表明，該算法對天際線的提取準確度較高，計算時間較快，對天際線線為曲線的檢測尤為突出，并無需對圖像的邊緣信息進行提取。

[1] Croon G C H E d,Remes B D W,Waszak C D,et al.Sky Segmentation Approach to Obstacle Avoidance[C]//IEEE Aerospace Conference,2011:1-16.

[2] Ettinger S M,Nechyba M C,Ifju P G,et al.Vision-guided flight stability and control for micro air vehicles[J].Advanced Robotics,2002,3(7):2134-2140.

[3] McGee T G,Sengupta R,Hedrick K.Obstacle Detection for Small Autonomous Aircraft Using Sky Segmentation[C]//IEEE International Conference on Robotics and Automation,2005:4679-4684.

[4] Todorovic S,Nechyba M C,Ifju P G.Sky/ground modeling for autonomous MAV flight[C]//IEEE International Conference on Robotics and Automation,2003,1(1):1422-1427.

[5] Thurrowgood S,Soccol D,Moore R J D,et al.A vision based system for attitude estimation of UAVs[C]//IEEE-RSJ International Conference on Intelligent Robots and Systems,2009:5725-5730.

[6] 李壽濤,李小毛,唐延東.天際線識別在森林煙火識別中的應用[J].紅外與激光工程,2006,35(4):414-418.

[7] Fefilatyev S,Smarodzinava V,Hall L O,et al.Horizon Detection Using Machine Learning Techniques[C]//International Conference on Machine Learning and Applications,2006:17-21.[8] Hung Y,Su C,Chang Y,et al.Skyline localization for mountain images[C]//IEEE International Conference on Multimedia and Expo,2013:1-6.

[9] Lie W,Lin T C I,Lin T,et al.A robust dynamic programming algorithm to extract skyline in images for navigation[J].Pattern Recognition Letters,2005,26(2):221-230.

[10] Verbickas R,Whitehead A.Sky and Ground Detection Using Convolutional Neural Networks[C]//International Conference on Machine Vision and Machine Learning,2014,64(4):1-10.

[11] Yazdanpanah A P,Regentova E E,Mandava A K,et al.Sky Segmentation by Fusing Clustering with Neural Networks[J].Lecture Notes in Computer Science,2013,8034:663-672.

[12] Kim B,Shin J,Nam H,et al.Skyline Extraction using a Multistage Edge Filtering[J].International Scholarly and Scientific Research and Innovation,2011,5(7):787-79.

[13] Ahmad T,Bebis G,Regentova E,et al.A Machine Learning Approach to Horizon Line Detection Using Local Features[J].Springer Berlin Heidelberg,2013,8033:181-193.

[14] 叢楊,李小毛,田建東,等.基于天際線識別的無人機實時姿態角估計[J].儀器儀表學報,2009,30(5):938-943.

[15] 劉松濤,周曉東,王成剛.復雜海空背景下魯棒的海天線檢測算法研究[J].光電工程,2006,33(8):5-10.

[16] 呂俊偉,王成剛,周曉東,等.基于分型特征和Hough變換的海天線檢測算法[J].海軍航空工程學院學報,2006,21(5):545-548.

[17] 楊家紅,李翠紅,危德益,等.基于復雜海空背景行均值曲線的還天線定位算法[J].激光與紅外,2012,42(12):1346-1350.

[18] 桂陽,李立春,王鯤鵬,等.基于區域方差和RANSAC的海天線檢測新方法[J].激光與紅外,2008,38(4):638-641.

[19] Gershikov E,Libe T,Kosolapov S.Horizon Line Detection in Marine Images Which Method to Choose[J].International Journal on Advances in Intelligent Systems,2015,6(1 and 2):79-88.

REASERCH ON SKYLINE DETECTION ALGORITHM BASED ON RCA AND ADJACENT GRADIENT

Tu Bing1,2,3Pan Jianwu1,2,3Lei Shuangshuang1,3Kuang Wenlan1,3Xia Xucheng1,3

1(School of Information and Communication Engineering,Hunan Institute of Science and Technology,Yueyang 414006,Hunan,China)2(KeyLaboratoryofOptimizationandControlforComplexSystems,CollegeofHunanProvince,Yueyang414006,Hunan,China)3(LaboratoryofIntelligent-ImageInformationProcessing,HunanInstituteofScienceandTechnology,Yueyang414006,Hunan,China)

Skyline detection plays an important role in machine visual navigation, geographical position location, ship detection and port security and forest protection. Firstly, the regional covariance algorithm (RCA) is used to divide the image into the sky and the non-sky regions. Then, a new method based on the combination of the global gradient mean and the local gradient mean value is proposed to determine the starting point of the sky and the non-sky regions. And then, from the starting point, the maximum possible skyline is detected by using the adjacent gradient maxima(AGM) algorithm in the segmentation of the non-sky regions. The proposed algorithm is tested on the Web Set data set in University of Nevada’s Machine Vision Laboratory.The experimental results show that the algorithm can effectively detect the boundary between the sky and the non-sky regions, and has good validity and timeliness.

SkylineVisual navigationRegional covarianceAdjacent gradient

2016-01-15。國家自然科學基金項目(61201435)；湖南省高校科技創新團隊支持項目(湘教通[2012]318號)。涂兵，講師，主研領域：圖像處理，計算機視覺，智能信息處理。潘建武，碩士生。雷霜霜，碩士生。匡文蘭，碩士生。夏旭承，碩士生。

TP391

A

10.3969/j.issn.1000-386x.2016.09.042