基于小波變換與形態學的機場跑道異物檢測算法

于之靖, 陶永奎, 鄭建文, 吳 軍*

(1.中國民航大學電子信息與自動化學院，天津 300300；2.中國民航大學航空工程學院，天津 300300)

近年來，民用航空技術迅速發展，隨之而來機場區域的安全保障對飛機成功起飛和降落起著決定性作用。機場跑道異物(foreign object debris,FOD)是影響飛行安全的主要因素之一，飛機發動機產生極大的吸力和起飛降落時輪胎對跑道的高速摩擦，任一存在的跑道異物均會對機輪和發動機葉片等造成巨大損害。全球每年由于FOD引起的飛行事故高達10萬余起，造成的損失超過40億美元。國家對民航發展提出了“安全隱患零容忍”，機場跑道異物的存在給機場安全造成了很大的危險隱患。因此，有效可行的機場跑道異物檢測方法也一直是航空領域的研究熱點。

目前，世界上具有典型代表的FOD檢測系統有：英國Qinetiq公司開發的Tarsier跑道異物雷達偵測系統，該系統主要采用地面毫米雷達對道路異物進行檢測和定位，造價高且易受外界環境影響，不能直觀地判斷異物的細節和類型[1]。Chadwickd等[2]采用灰度級時空光流法和離散特征檢測法，但對于與跑道背景相似異物檢測效果不理想；Chen等[3]提出采用馬爾科夫隨機場檢測圖像消除噪聲影響；潘衛軍等[4]提出基于視頻的監測模型設計，但成本高且后續維護工作繁重；李煜等[5]利用光學成像與多種方法相結合，但受環境影響大且通用性小；郝蒙[6]研制的機場跑道異物探測系統，但仍存在漏檢非金屬物品現象，后期將雷達與光學相結合采用邊燈式光學雷達符合監測系統，監測精度可達到2 cm粒徑的跑道異物。故利用圖像處理和人工智能相結合的方法，應用前景廣泛。

為了降低環境噪聲以及與跑道背景相似異物對檢測結果的影響，通過小波變換與改進的數學形態學相結合的方法對機場跑道異物進行邊緣檢測，并與Canny算子、單獨的形態學算子[7]作用結果進行對比。

1 基于小波變換圖像邊緣檢測

1.1 基于小波變換的圖像分頻

小波分解對圖像信息有多尺度分解能力和時頻局域化特點。

低頻信息是變化緩慢的部分，是圖像的輪廓，占據全部信息的大部分。對原始跑道圖像的小波分解過程如圖1所示。圖1中，DD頻帶表示保持了原圖像的大部分信息；GG、GD、DG頻帶分別表示占有對角線、水平和豎直方向的高頻邊緣信息，而高頻部分能瞬間從黑色變化跳到白色，包含圖像的細微信息。根據機場跑道與異物的特點對跑道圖像進行分解得到高頻圖像和低頻圖像。異物檢測算法流程如圖2所示。

圖1 小波分解過程

圖2 異物檢測算法流程圖

1.2 小波變換對高頻分量邊緣檢測

1.2.1 小波變換閾值對高頻圖像去噪

圖像的細節之處同樣也是屬于灰度迅速改變的區域，圖像邊緣的灰度變化快，就對應著頻率高，因此高頻部分圖像是噪聲和細節。采用小波閾值去噪的流程如圖3所示。小波去噪主要依附于小波變換，多分辨率性、基函數可選取度大、低熵性等特性。依據基于小波系數處理方法的差異，常用的去噪方式包括小波變換閾值去噪、相鄰尺度小波系數相關性去噪等，其中小波閾值去噪是一種簡單且實用的方法，應用廣泛[8]。

圖3 小波閾值去噪流程圖

閾值選擇函數的常用選取為硬閾值和軟閾值。

(1)

(2)

式中：ω表示小波系數的大小;ωλ代表添加閾值后小波系數大小;λ表示臨界閾值。若小波系數小于臨界閾值，則該系數主要由噪聲引起，去除這部分系數，從而保證對圖像有用信息的有效提取。為了進一步證明小波閾值去噪的有效性，實驗使用MATLAB軟件對高頻圖像進行軟硬閾值去噪。圖4所示分別為原始高頻圖像信號軟、硬閾值分析結果。軟閾值得到去噪后信號具有較好的連續性，且振顫幅度小，去噪保持原始信號的平滑性。因此選擇軟閾值對本實驗對象有明顯的去噪優勢。

圖4 閾值去噪效果

1.2.2 基于小波變換的高頻圖像多尺度邊緣檢測

小波變換的實質是通過利用其模極大值對圖像邊緣進行相關檢測，即具體要達到的效果是圖像被平滑后利用信號的小波變換系數模的導數找到信號的驟變點[9]。選定的平滑函數θ(x,y)滿足：

(3)

尺度s變換下的平滑函數為

(4)

平滑函數在水平x方向和豎直y方向分別求導得到2個小波函數:

(5)

(6)

對目標圖像信號f(x,y)有2個卷積連續小波變換：

(7)

(8)

同時在二進制小波變換的基礎上得到小波變換在尺度s下的梯度方向和模長分別為

(9)

(10)

在梯度方向Asf(x,y)下求得模Msf(x,y)的極大值點(x1,y1)設定為邊緣重要點，依據相應的規則把這些邊緣重要點連成邊界h(x,y)即可。

2 基于數學形態學圖像邊緣檢測

2.1 數學形態學的基本運算

膨脹和腐蝕：

(11)

AΘB={x丨[(B)x∩A≠?}

(12)

開運算和閉運算：

A°B=(AΘB)⊕B

(13)

A·B=(A⊕B)ΘB

(14)

式中：A為圖像矩陣；B為結構元素矩陣；B′表示B的映像。

2.2 基于數學形態學的低頻圖像邊緣檢測

通過利用形態學算子對低頻圖像實施邊界重要點連接，檢測和驗證其在圖像目標重點區域中的可放性或者可填充性，邊緣重要點連接等圖像處理操作，從而實現圖像處理和分析的目的[10-13]。

如果用β(A)代表圖像物體A的邊界，B為結構子單元，可得到A邊界的總的數學形態學邊緣檢測算子為β(A)=A-(AΘB)。即分別對應的邊緣檢測算子為邊界檢測的可能值如圖5(c)～圖5(e)，外邊界：(A⊕B)/B，內邊界：A/(AΘB)，形態學梯度：(A⊕B)/(AΘB)。

圖5 形態學邊緣檢測

3 基于兩種算子相結合的FOD檢測與質心定位

3.1 基于差影法的高頻和低頻異物圖像融合

差影法事實上是對圖像進行一系列代數運算的不同稱謂，代數運算是指對兩幅輸入圖像進行點對點的的加，減、乘、除計算而得到圖像的運算[14-16]。考慮小波變換和形態學的優點和缺點，選擇部分差影法中的加運算進行融合，設低頻邊緣圖像為PD(i,j)、高頻部分邊緣圖像為PG(i,j)、融合后的圖像為P(i,j)，考慮到加權的問題，融合算法公式為

P(i,j)=αPD(i,j)+βPG(i,j)

(15)

式(15)中：α、β都為加權因子，且α+β=1；使低頻部分和高頻部分相應的像素點采取加運算獲得的融合圖像可以很完整且清楚地呈現圖像邊緣。

3.2 異物邊緣輪廓跟蹤

所謂的異物邊緣輪廓跟蹤，就是判別圖像中鎖定目標時，選取目標邊緣進行跟蹤處理，輪廓提取過程如圖6所示。由圖6可知，從異物左上方的B0處按順逆時針進行邊緣一周探索。在低頻和高頻邊緣圖像融合的基礎上對邊緣輪廓再次跟蹤和提取，有利于提高異物邊緣信息的細膩性與準確性。

圖6 異物輪廓提取

3.3 質心定位

在獲取跑道異物的邊緣輪廓后，下一步計算機場跑道異物的質心，即求出像面坐標系下的位置，得到二值化后圖像的最大連通分量的質心。選用亞像素特征點成像的質心定位方法[17-20]。具體過程如式(16)、式(17)所示：

(16)

(17)

3.4 實驗結果分析

為了驗證采用的小波變換與形態學優勢互補對機場跑道異物質心定位算法的優越性，在MATLAB 2014a仿真環境下，用Canny算法與單獨的數學形態學算子檢測后的情況與本文算法進行相關對比。其算法實現過程如下。

(1)使用實驗室設備NikonD3像機對模擬的含有不同異物的機場跑道圖像采集，為了進一步增加模擬環境的真實可靠性和驗證所采用算法檢測定位的精確性，選擇帶有斑紋的水泥路面作為模擬中的機場跑道，選擇常見機務維修工具，或與跑道背景較接近的石子等作為模擬跑道中的異物。

(2)選擇適合機場跑道圖像特性的小波基對原圖像進行小波分解，獲取機場跑道異物的低頻圖像和高頻子圖像。

(3)對進行相應變換后的高頻子圖像采用小波變換軟閾值去噪處理并進行融合，然后實施尺度邊緣檢測，來獲取高頻邊緣圖像PG(i,j)。

(4)對獲取的低頻機場跑道圖像用改進后的數學形態學算子進行相應的邊緣重要點檢測和連接，從而獲得低頻邊緣重要圖像PD(i,j)。

(5)采用差影法對檢測的低高頻跑道異物邊緣圖像進行融合。由于高頻圖像反映的是圖像細節，而采集到的機場跑道異物圖像的大部分邊緣點表現在高頻信號中，經過反復的實驗驗證加權系數滿足α>β，分別取0.75、0.25。

通過理論與仿真實驗(圖7～圖11)可知，Canny算子對跑道圖像處理，處理結果會含有噪聲點，且算法中所指定的敏感度閾值針對不同的復雜機場跑道背景圖像不好調整；數學形態學算子檢測獲取的機場跑道低頻邊緣圖像具有較好的識別性，但還有一些不可避免程度噪聲的留存，用小波變換法進行邊緣檢測結果得到的機場跑道邊緣圖像抗噪性好，但不足之處是存在一些斷續邊緣，且對機場跑道路面較為明顯的斑紋也進行了識別，從而導致對最后異物的定位產生干擾。而用本文算法對應的程序在MATLAB 2014a運行時間合適，結合了小波變換和數學形態學兩種算子的優點；提取的跑道異物邊緣信息細膩且定位準確，能有效抑制噪聲，且能有效避免跑道斑紋帶來的影響。

圖7 模擬含有不同異物的機場跑道原圖像

圖8 Canny算子邊緣檢測

圖9 形態學檢測低頻圖

圖10 小波檢測高頻圖

圖11 邊緣檢測算法

共進行12次異物檢測，每一次5幅圖像(圖7～圖11)含有12個異物，對比算法檢測結果(表1)，其中本文算法檢測的準確性明顯提高，即漏檢率降低到4.5%(漏檢率定義為不能有效識別的跑道異物個數與該試驗次數中跑道異物總數的比值)。如表1所示，本文算法運行時間合適，且提取的跑道異物邊緣信息細膩且定位準確，能有效抑制噪聲，避免跑道斑紋帶來的影響。在最后質心定位的過程中，用邊框將異物框出，異物的質心采用十字進行標記。對采集到的典型的機場跑道異物進行編號A～H(圖12、圖13)，共計8個典型異物，與貼有特征標記點的異物檢測出的異物像素坐標x方向、y方向偏差分別如圖14、圖15所示，本文算法定位x方向和y方向偏差在0.51～0.65 pixel，優于其他組，且得到的異物圖像邊緣細膩清晰且抗噪性好。

圖12 定位異物A～D

圖13 定位異物E～H

表1 各算法運行時間和漏檢率

圖14 定位異物x方向像素坐標偏差

圖15 定位異物y方向像素坐標偏差

4 結論

FOD是影響飛行安全的主要因素之一，有效可行的機場跑道異物檢測方法也一直是航空領域的研究熱點。現有方法對機場跑道異物檢測的實時性和魯棒性存在一定的局限，針對這兩個問題，提出了一種基于小波變換與改進的數學形態學相結合的復雜機場跑道下的異物質心定位算法，模擬機場跑道環境并放置相應的異物，得出以下結論。

(1)根據實驗的結果，可以看出相較于單獨的Canny算子、小波變換、數學形態學算子，采用本文算法檢測的準確性明顯提高，跑道異物漏檢率降低到4.5%，定位偏差為0.51～0.65 pixel。

(2)得到的異物圖像邊緣細膩清晰且抗噪性好，而且對于機場跑道上的斑紋干擾進行了有效抑制，對與跑道背景相似的異物也起到一定的質心定位作用。

(3)由于實驗采用的是NikonD3像機對模擬的含有不同異物的機場跑道圖像采集，與真實跑道環境有一定差距，因此，后期模擬不同的機場跑道環境，提高算法的實時性和抗干擾性是未來課題的研究內容。