高空懸掛式相機拍攝中的拉索提取方法*

何榜耕，吳曉紅，何小海，卿粼波，鄭新波

(1.四川大學 電子信息學院，四川 成都 610065； 2.東莞前沿技術研究院，廣東 東莞 523000)

0 引言

航拍拍攝的圖像具有視野寬廣、場面宏大的特點，在軍事、工程和民用上都有著許多應用。在一些工程應用中[1-2]，航拍圖像素材的獲取是通過定點懸停的無人飛行器采集實現的，相機及其云臺通過若干根拉索與飛行器相連。而相機鏡頭在旋轉拍攝的過程中，拉索會出現在視野并被拍攝到圖像中。這不僅影響到圖像在畫面上的美感，還會影響到后續工程應用中的分析。所以，對航拍圖像中的拉索去除是很有必要的，并有著實際工程意義。為此，本文重點研究拉索的提取。

從雜亂的背景中定位目標的確切位置，主要有兩種類型的方法：基于邊緣檢測的方法和基于閾值分割[3]的方法。基于邊緣檢測的方法一般先從圖像中檢測邊緣，再從邊緣中提取所需的目標。基于閾值分割的方法通常根據顏色、灰度級等特征來分離目標與背景來提取待檢測物體。基于閾值分割的方法優點是可以較容易自動分離出任意形狀的物體，但選擇合適的閾值是一個難題，且一個閾值往往只適用于一個場景。劉毓涵[4]提出局部自適應閾值分割的方法，將圖像進行分塊處理。對于本應用場景中包含的各種復雜場景，難以找到全局最優閾值，局部環境也具有不確定性，而且不同場景下拉索顏色不一，即使是相同場景中，拉索顏色也不盡相同，所以本文采用基于邊緣檢測的方法。拉索的外形近似直線，目前研究成果對于固定場景、環境較為單一的工業圖像進行直線提取能取得很好的效果。董銀文等[5]提出直線提取三次連接的方法用于機場跑道的識別，Xu MingLiang等[6]利用小線段DBSCAN聚類的方法對車道線進行檢測，郭碧等[7]采用直線和雙曲線結合的分段曲線模型對鐵軌能進行較好檢測。這些方法對于包含大場景和復雜背景的全景航拍圖像中的直線提取效果卻不能達到要求。航拍圖像中的拉索具有以下特征：

(1)拉索較細，只占據圖像的極少部分，而背景包括復雜的山地洼池或是建筑樓群。

(2)根據拉索懸掛相機的特點，拍攝到的畫面中拉索的方向為相對于垂直的不同傾角，如檢測到水平方向的拉索可視為誤檢。

(3)不同場景下，拉索的顏色不一，甚至同一場景下，也有接近背景色的拉索，給提取工作帶來難度。

基于上述分析，本文提出一種全景航拍圖像中拉索的提取方法。主要貢獻在于：(1)將小波變換和Canny邊緣檢測結合，并通過形態學膨脹檢測出包含拉索在內的圖像邊緣；(2)提出一種基于形態學腐蝕(Morphological Erosion,ME)并包含距離擬合(Distance Fitting,DF)的改進Hough直線檢測方法，形成了一種能適用于復雜場景的目標直線提取算法，最終能有效完整地提取復雜背景中的目標拉索。

1 結合Canny算法和小波變換的邊緣檢測

邊緣檢測是拉索提取算法中關鍵的一步，邊緣檢測的結果將直接影響后續直線檢測的效果。常用的邊緣檢測算法有Sobel[8]、Laplacian，Canny等經典邊緣檢測算子，其中Canny邊緣檢測算子[9-11]具有更強檢測弱邊緣的能力，而小波變換[12]可多尺度分析圖像的頻率分量，本文使用兩種方法結合研究。

前期邊緣檢測任務是最大限度地檢測到拉索的邊緣，Canny邊緣檢測能較好地檢測到各類邊緣，但是這種檢測是無差別的檢測。小波變換能進行水平方向上快速變化的檢測，從而找出豎直方向的邊緣,同時具有抗噪聲能力強的特點，但這樣往往檢測到的邊緣是不連續甚至明顯斷裂的。形態學算法[13-14]具有連接相鄰圖像元素的作用。針對此，本文提出一種Canny算子結合小波變換的邊緣檢測算法，既保留Canny邊緣檢測的精度，又突出豎直邊緣，為下一步直線檢測做了有效的鋪墊。

本文邊緣檢測算法流程如圖1所示。航拍圖像測試效果如圖2所示。

圖1 本文邊緣檢測算法流程圖

圖2 不同邊緣檢測算法效果圖

與傳統邊緣檢測算法相比，本文方法在利用Canny算子能檢測弱邊緣的基礎上，通過小波變換與形態學膨脹的結合，能使檢測的效果更好并突出待檢測直線的特點，為下一步的工作做了堅實的鋪墊。

2 基于ME-DF的改進Hough直線檢測

2.1 算法描述

在得到包含拉索的邊緣檢測圖后，接著就是提取拉索。拉索的外形近似直線，直線檢測成為主要任務。1962年HOUGH P V C提出[15]的Hough直線檢測將圖像空間中的檢測問題轉換到參數空間中投票累加問題，具有較強的魯棒性。但它采用的是窮盡式搜索，運算量大。并且周圍的噪聲也參與投票，由于這種無差別的投票，會造成虛假峰值。針對此，MATAS J等提出[16]一種概率霍夫變換，它主要通過隨機抽樣圖像中的特征點來完成Hough變換，顯著地降低了Hough變換的運行時間，但依舊是無差別采樣，不能對虛假峰值進行抑制。本文提出一種基于形態學腐蝕(Morphological Erosion,ME)并包含距離擬合(Distance Fitting,DF)的改進Hough直線檢測方法。

基于ME-DF的改進Hough直線檢測方法首先采用形態學腐蝕操作，因為在得到的邊緣檢測后的圖像包含大量的背景信息，采用腐蝕操作理論上可以去掉背景信息。傳統的模板是采用3×3等正方形、圓形或者十字形，但針對本應用場景，腐蝕階段需要盡可能只保留拉索的圖案，傳統模板只能濾除掉部分背景圖案并可能過多腐蝕掉拉索圖案，所以應結合拉索的幾何形狀選取模板。本文經過大量實驗后選取1×9的模板類型，這種長方形模板腐蝕拉索后只會使厚度輕微變細，能很好地保留直線特征，卻能過濾掉大量背景雜物，并且能有效過濾掉絕大部分噪聲，使得直線檢測過程中背景區域參與的投票極大減少,對虛假峰值有很大的排除效果，再使用概率霍夫變換將很少產生虛假直線。最后由于概率霍夫直線檢測出的是一些零散的線段，還包括了誤檢線段，結合航拍圖像中拉索的實際情況對線段聚類擬合，能更精準找到拉索。

2.2 算法流程

設計算法流程具體步驟如下：

(1)對邊緣檢測得到的圖像采用1×9的模板進行腐蝕操作；

(2)通過概率霍夫直線檢測得到候選線段集合；

(3)根據斜率篩選檢測到的候選線段集，并對所有線段標記為false；

(4)隨機選取線段Lj，以第一個端點保存為基準點Aj；

(5)判斷當前線段是否為false，若是則執行步驟(6),否則返回步驟(4)；

(6)選取下一條線段Lj+1,并且判斷是否為false，若是則執行步驟(7)，否則重復執行本步驟；

(7)計算線段Lj+1所在直線到點Aj的水平距離；

(8)若距離在閾值內，則線段Lj+1標記為true并執行步驟(9)，否則直接執行步驟(9)，其中閾值由統計所有拉索的水平厚度得到的集合取最大值確定；

(9)判斷所有線段是否遍歷結束，若是則線段Lj標記為true，否則執行步驟(6)；

(10)判斷是否所有線段標記為true，若是則算法結束，否則執行步驟(4)。

2.3 實驗結果與分析

本文實驗主機為CPU Intel Core i5 3.20 GHz，內存為8 GB ，運行環境為Windows 7(x64)，使用工具Microsoft VS2012。數據來源為333張1 920×1 080航拍圖像及12張全景拼接圖像。背景環境包含道路、草地、房屋、山地、河流、施工建筑等。表1顯示了不同檢測方法的檢測率，在單根拉索上被檢測到的區域的像素重合度大于90%表示檢測到一根，小于90%為漏檢，在圖像中檢測到的直線在拉索上的像素重合度小于20%為誤檢。不同方法檢測效果如圖3所示。

表1 不同拉索提取方法檢測結果(%)

通過表1可以看出，直接采用Canny與Hough變換結合的方法誤檢率很高，在采用改進的Hough檢測方法后誤檢率顯著降低，但同時檢測率略有減少是由于不太明顯的邊緣在經過形態學和聚類操作受到影響。在改進加強的Canny結合改進的Hough檢測方法下，顯著提升了檢測率，并使誤檢在可以接受的范圍內。

圖3 不同拉索提取方法效果圖

由于大場景復雜背景的存在，傳統Canny+Hough的方法會檢測到大量背景直線，并且由于周圍噪聲的存在，在Hough檢測算法中會產生虛假峰值，結果檢測出虛假的直線。采用本文改進的Hough算法后能濾除掉大量不相干的背景，并篩選排除誤檢線段，有效地提高了檢測的效果，但由于邊緣檢測階段效果還不夠好，導致部分拉索并未檢測出來。在此基礎上采用本文改進的Canny邊緣檢測算法，有效地提取并加強拉索邊緣，可以看出對不同種類、顏色以及邊緣較為模糊的拉索提取依然具有良好的效果。

3 結論

本文首先提出了基于Canny算法和小波變換的邊緣檢測方法，結合了Canny算子，小波變換與形態學膨脹方法，旨在盡可能多地檢測到拉索的邊緣，突出拉索的視覺效果；隨后在此基礎上提出了基于形態學腐蝕并包含距離擬合的改進Hough直線檢測方法，通過腐蝕操作濾除掉航拍圖像中大面積的背景，保留直線特征，并在概率Hough直線檢測上采用提出的聚類算法，降低了誤檢的情況。實驗結果驗證了本文提出的方法能夠從復雜的自然背景中完整提取拉索，同時能有效避免單純采用概率Hough變換方法提取拉索中存在漏檢、誤檢等情況。但是，目前方法對于曲率較大的拉索檢測取得的效果一般，進一步的工作將考慮改進直線檢測算法，以便能對較大曲率的拉索提取取得更好的效果。