惡劣氣象條件下機場跑道侵入的預警研究

李佳駿，王永忠，千月欣，萬連成

(中國民用航空飛行學院，四川 廣漢 618307)

0 引言

現如今，航空公司擴大機隊規模，機場增加跑道數量、跑道入口、擴大設施規模等都是為了擴增機場容量，提高跑道使用率。一方面，全球每年因跑道入侵引起的事故多達數千起，尤其當機場出現大霧、降雨、降雪等惡劣氣象條件時大大增加了跑道入侵的風險，再加上機場的復雜程度、機場道面標志被覆蓋、機組對機場不熟悉等不確定因素的影響，僅僅依靠人工監視已無法滿足跑道安全和運行需求，在惡劣氣象條件下對機場跑道侵入的預警系統進行研究是航空業健康發展的當務之急。研究惡劣條件下的跑道入侵問題不僅可以提高地面運行效率，減少工作人員的工作負荷，而且對降低航空不安全事件和事故的發生頻率，提高民航交通流量有極大意義。

1 國內外研究現狀

隨著跑道侵入引起的事故及事故征候數量的不斷增長，國際民航組織(ICAO)啟動鼓勵各國嚴格執行行業標準、建議措施及程序的計劃。國內外學者紛紛從不同角度研究，旨在尋找出預防事故發生的最優可行方案。國內學者劉源[1]從引起跑道侵入的原因出發，認為交通流量、機場布局及燈光設計、人員培訓是跑道侵入的3個主要風險來源。羅軍、林雪寧[2]等人使用基于模糊集和改進TOPSIS方法對跑道侵入的各風險指標進行評估，得出管制員工作負荷是最大ATC因素的結論。趙堅、奉澤昊[3]等人提出利用物聯網平臺建立基于感知數據可視化的跑道侵入預測及預警系統的建議。潘偉軍、吳鄭源[4]等人使用基于混合高斯模型的背景減除法對機場視頻數據進行追蹤，計算運動狀態。另外，民航局空管局在2019年頒布的《防止跑道侵入技術措施與實施路線》一文中，明確把ADS-B作為防止跑道侵入的相關成熟技術之一，同時建議A類以下機場具備ADS-B監視能力[5]。

國外方面，歐洲航行安全組織(Eurocontrol)從2003年開始就對大量關于跑道入侵的事件和事故進行分析，和機場、相關機構合作，制定可以提高飛行安全的建議措施[6]。美國聯邦航空局(FAA)對造成跑道入侵問題的來源和原因進行統計，得到飛行員差錯(缺乏情景意識，尤其是在低能見度情況下；緊張運行時間表壓力下；對管制許可警覺差。)是航空器之間產生沖突的主要原因[7]。

2 圖像去霧降噪技術

近地面常見的惡劣天氣，例如大霧、降雨、降雪等直接影響到跑道能見度及機場附近的可見視線，這對以目視為主的起飛降落極為不利。為最大程度降低安全威脅，減輕因天氣原因為飛行員和管制員帶來的壓力與工作負荷，多數機場選擇安裝視頻監控作為輔助應對措施。把從機場傳來的視頻進一步處理，關鍵進行去霧、降噪，改善圖片的清晰度，進而識別可能影響飛行的障礙物。

圖像去霧是圖像增強的重要組成部分，目的是降低或消除圖像中霧氣的干擾，提高成像質量。在戶外成像系統中，對天氣有非常大的依賴性，尤其在惡劣氣象條件下，大氣中往往懸浮著大量粉塵和粒子，經過光的吸收散射作用被放大，影響到透光率，導致獲取的圖像嚴重退化。圖片中的細節特征被遮蓋，清晰度、對比度降低，動態范圍縮小，甚至可能會因為圖像色彩飽和度的降低而使圖片失真，直接影響到物體的識別。

2.1 直方圖優化去霧技術

直方圖是圖像技術的統計表達形式，它可以用來反映圖像的概貌，包括圖像的亮度、對比度、灰度范圍及分布等。直方圖均衡化技術的基本思想[8]是把原始圖像做非線性變換處理，提高數量較少的灰度級，減少數量較多的灰度級，增加灰度值動態范圍小的圖像對比度，使整張圖像表現的色彩更加豐富，主要步驟為：

對原始圖像做預處理，得到圖像直方圖Yi,則有：

Pi=ni/N,i=1,2,...,m

式中，Pi為第i灰度級的分布概率；ni為第i灰度級的圖像像素個數；N為圖像像素總數；m為圖像灰度級數量。

并作累計直方圖：

根據灰度變換表計算該直方圖的灰度值變化表，有：

H(j)=round((m-1)*D(j))

其中:round函數表示取整。

做查表變換，把預處理的原始圖像直方圖中的灰度值帶入到交換表中，得新的灰度值直方圖。

該方法可分為全局直方圖均衡化和局部直方圖均衡化。其中，全局直方圖均衡化方法是改善整張圖像的視覺效果，而局部直方圖均衡化是把圖像分解為多個區域之后，每個區域再進行單獨的直方圖均衡化，最終各個區域再組合成完整圖像。為選取最優的去霧技術，分別使用上述兩種方法進行實驗。

截取2019年11月24日江蘇南京祿口國際機場早晨監控視頻的一幀畫面，據報道，該機場6時到9時，整個場區能見度只有100米左右，期間近90分鐘內無航班降落，對機場運行產生了極大影響。

圖1 全局直方圖均衡化前后對比圖

圖1中，左邊是原圖及初始灰度值直方圖，右邊全局直方圖均衡化處理之后的圖像及其灰度值直方圖。

圖2 局部直方圖均衡化前后對比圖

圖2中，左邊是原圖及初始灰度值直方圖，右邊局部直方圖均衡化處理之后的圖像及其灰度值直方圖。

無論是使用全局直方圖均衡化方法還是使用局部直方圖均衡化方法，得到的結果視覺效果顯著，而且便于操作。但是從結果圖中可以發現存在明顯的弊端，天空區域有塊化現象，顏色失真。

2.2 Retinex方法去霧技術

Retinex理論[9]認為人類大腦形成的關于目標物體顏色的信息與外界光照強度沒有關系，只與目標物表面的反射性質相關。使用Retinex算法，可以使壓縮動態范圍、顏色保持恒定、增強邊緣三方面達到平衡，是國內外學者持續關注的圖像去霧技術。該理論把原圖像分為照度圖像和反射圖像兩部分，圖像的本質信息儲存于反射圖像中，而照度圖像是原圖像受外界光照強度干擾的產物。照度圖像通過高斯濾波獲取，之后從原圖像中分離出來便可得到反射圖像，其關系可表示為：

T(x,y)=Z(x,y)*F(x,y)

T(x,y)為原圖像，Z(x,y)為照度圖像，F(x,y)為反射圖像。多尺度Retinex算法公式為：

經過計算機編碼處理之后，得到使用Retinex方法的結果如圖3所示。

圖3 Retinex方法前后對比圖

通過對比明顯可以看出Retinex方法下的圖像去霧效果優于直方圖均衡化方法，得到的結果圖細節增強明顯，色彩失真較小。除此之外，Retinex方法的適用范圍也比直方圖方法廣泛，并且對場景沒有特殊要求。

2.3 基于形態學的權重自適應算法的降噪技術

形態學的基本思想是具有一定形態的結構元素去度量和提取圖像中對應形狀以達到對圖像分析和識別的目的[10]。在形態學中，開運算用來過濾圖像的噪聲，閉運算用于增強低灰度區域，所以選用形態學開-閉級聯形式對圖片進行處理。另一方面，由于不同形狀結構元素對圖像的影響不同，需要綜合考慮各種結構元素，最終組成多結構形態學的開-閉運算。原始圖像把每個結構元素開-閉運算Ki(i=1,2,...,n)連續做兩次就可以構成一個串聯結構[11]，如圖4所示。

圖4 開-閉運算串聯結構

為使各個結構元素運算之后的優點在最終圖像中被放大繼承，把每一個元素的開-閉運算串聯結構并聯組成串-并復合結構。定義權值Pi為每一個結構元素的開閉運算串聯結果與原圖像的差值。可以得到形態學自適應權值Qi的計算公式:

Qi=Pi/(P1+P2+...+Pn)

最終基于形態學的權重自適應算法公式表示為:

其中：G(x,y)為輸出圖像，Ii(x,y)為串聯處理后的結果。

同樣截取2019年11月24日江蘇南京祿口國際機場早晨監控視頻的一幀畫面作為原始圖像，如圖5所示。從圖中可以看出畫面中有無數白色、灰色噪點，已經嚴重影響到圖片的清晰度。

圖5 原始噪聲圖像

選取6個結構元素組成6個單獨的串聯結構。為更清晰直觀地看出哪些結構元素的降噪效果顯著，分別就原始圖像做各自串聯開-閉運算，并對初步降噪結果進行對比，如圖6所示。

圖6 串聯降噪效果圖

圖6中依次展示的是6種串聯結構得到的降噪結果。通過對比，第5、6種串聯結構更好。把這兩種串聯開-閉運算并聯來使降噪效果疊加，計算各自形態學自適應權值Q5,Q6，帶入到基于形態學的權重自適應算法公式中，最終輸出圖像。

圖7 串并復合降噪效果對比圖

由圖7可以看出，經過基于形態學的權重自適應算法計算之后，部分噪點被降低甚至消除，一些低灰度區域顏色被增強，相比之下，更容易對機場場面內的飛機，標識物等進行識別和分析。

3 目標檢測技術

研究跑道侵入需要從動態角度去檢測機場場面狀況，即運動檢測，與上面去霧降噪技術只需改進單幀圖像上的特征大不相同。運動檢測是通過檢測目標與背景之間的運動方向和速度實現的，傳統運動檢測方法主要有三種：幀間差分法、背景差分法以及光流法。

幀間差分法和背景差分法原理相似，都是根據兩張圖像做差分計算之后獲取目標物運動輪廓。兩種方法的區別在于做差分的兩張圖像，幀間差分使用的視頻中相鄰兩幀的圖像，而背景差分使用的是單幀圖像和背景圖像。當場景中出現運動物體時，可根據兩幀圖像的亮度差判斷目標運動的特性。使用這兩種算法比較簡單，易于實現，但是存在區域提取不完整，過分依賴幀間時間間隔，不易獲取靜止背景等缺點。

光流法是運動檢測中最典型的方法。除此之外，在實際應用中，會隨檢測跟蹤的目標物增多，各個目標物單體特征存在差異等原因，有不同的針對多目標、多特性的方法出現。對多目標跟蹤而言，目前有概率數據關聯與聯合概率數據關聯算法、隨機集濾波和有限集統計算法。對多特征跟蹤來說，色彩、輪廓、邊緣、梯度等信息可以通過一個傳感器獲得，然后根據特征之間的獨立性，在貝葉斯濾波下選擇加權組合或線性組合[12]。

3.1 光流法

光流代表了空間運動目標的圖像像素點變化的瞬時速度，光流法是建立在3個假設的前提上，即亮度恒定假設、空間一致假設、時間連續假設[13]。光流法的基本思想是通過計算各幀圖像中的像素點的時域變化和相關度，把二維速度和圖像灰度相聯系，建立光流約束方程來實施目標跟蹤。設二維原始圖像在t時刻在(x,y)點的亮度表示為A(x,y,t)，根據亮度恒定假設則有δt時刻的亮度:

A(x,y,t)=A(x+δx,y+δy,t+δt)

由泰勒展開式可得:

經簡化得到矢量形式:

▽A*U+At=0

其中：▽為梯度方向，U=(u,v)T為光流，u,v是U在x,y方向上的分量。

截取香港國際機場監控視頻的一段畫面來實施驗證，正如圖9所示，以畫面中主要的兩架位于滑行道上的飛機為研究對象。最左邊一列展示的是每隔2 s兩架飛機所處的位置，從中可以觀察出從左到右兩架飛機之間的距離在逐漸增大，說明至少有一架飛機在運動。

計算飛機運動的速度矢量的前提是確定飛機分別在x,y方向上移動的距離。為此，需要從攝像機視角出發建立空間坐標系，通過前后兩張圖像中同一目標的坐標差確定▽x,▽y，結合時間t已知(t為選取相鄰幀時間間隔μ的倍數)，即可得到目標物上每一點的速度矢量。用光流法通過計算機處理后可以得到如圖9所示的速度矢量圖。

圖9中,實線代表速度，實線長短表示速度的大小。

圖8 相間2秒連續三幀原始圖像 圖9 基于光流法的速度矢量圖

速度越大，線段越長，說明右邊的飛機正在運動，并且速度在逐漸增大；左邊的飛機處于靜止且起步準備狀態，因為其發動機和機頭位置的速度由無變大，但是飛機自身位置無變化。

當飛機運動起來時，速度矢量會急速變化，觸發系統做出目標運動識別，正如圖10所示，右邊飛機正在運動，并且機頭位置的圖像像素點變化的瞬時速度最大，被系統識別后跟蹤，直至消失在攝像機可覆范圍之外。

圖10 基于光流法的目標識別圖

使用光流法的優點是不易受到復雜環境的干擾，精度高，而且也不需要提前獲取圖像背景，可以直接得到目標的運動參數，在基于對象的運動估計、運動檢測和跟蹤方面有很好的應用前景[14-16]。但是光流法存在實時處理效果差，對噪聲敏感，檢測對象單一且數量有限的缺點，不能滿足繁忙機場要實現同一時間對多架飛機和場內所有運動目標的識別和跟蹤的任務。

3.2 混合高斯-卡爾曼濾波的多目標檢測與跟蹤技術

高斯分布又稱正態分布，表示的是隨機變量出現的概率。由于圖像中各點的像素值是隨機的，所以可以使用高斯分布對像素點的分布進行擬合。背景像素點相對穩定，其像素值在小范圍內波動，而運動目標的像素點變化大，其像素值波動范圍大，可以通過判斷像素點是否服從高斯分布來區分背景圖像與前景目標[17]。

由于單高斯模型只適用于簡單場景，對復雜場景適應力差，所以本文使用混合高斯模型。混合高斯模型最早是由Stauffer和Grimson提出，它的基本思想是每一個像素點都使用K(K=3～5)個被賦予不同權重的高斯分布共同描述，并且同時考慮背景圖像的像素占整張圖像像素的比重，由此表征各像素點的背景值[18]。下面介紹傳統混合高斯背景模型，假設t時刻像素點(x,y)屬于背景圖像的概率為:

η(Tt(x,y),μi,t,∑i,t)=

n代表Tt(x,y)的維數。

當xi與已建立的任意高斯分布模型都不匹配，且xi的高斯分布模型個數k小于K時，應新增一個高斯分布；當k=K時，新的高斯分布模型取代優先級最小的原有高斯分布模型；當存在有匹配成功的高斯分布時，需要按照規則對第一個匹配成功的分布的參數進行更新，其他分布的均值和方差則保持不變，但是權值也要按規定更新。第一個匹配成功的高斯分布參數更新公式如下所示：

ωi,t=(1-α)ωi,t-1+α

μ=(1-β)μi,t-1+βTi(x,y)

β=αη(Tt(x,y)|μ,σi,t)

其他分布的權值更新公式為：

ωi,t=(1-α)ωi,t-1

式中，β由α決定，β代表更新率，α代表學習率。

使用混合高斯模型通過Matlab軟件輸入香港國際機場監控視頻的一段畫面來實施驗證，正如圖11所示，左邊飛機靜止，而右邊飛機運動明顯，畫面中運動的飛機作為前景圖像被識別出來，其他靜止目標一起被視為背景圖像。前景目標的識別是靠與背景圖像的像素差異來實現的。

卡爾曼(Kalman)濾波器[17]是在系統線性和系統噪聲、測量噪聲與時間不相關的假設基礎上，根據歷史測量值的累積檢測出不受噪聲影響的部分。在進行目標跟蹤時，分為預測階段和校正階段。預測階段是根據當前運動狀態預測之后可能發生的軌跡；校正階段是用實際觀測的結果對預測值校正。兩個階段不斷交替進行，使得基于Kalman濾波建立的動態模型越來越接近系統真實模型。考慮到卡爾曼濾波器方法對目標跟蹤準確，耗費內存小等優點，使用此方法對上面基于混合高斯模型的目標檢測圖做進一步的跟蹤檢測，其效果如圖12所示。

圖11 基于混合高斯模型的目標檢測圖 圖12 基于卡爾曼濾波的目標跟蹤圖

圖中右側顯示的是對已經識別的運動飛機的跟蹤效果，并且用相對應的符號、數字代碼、顏色等進行標記。不同的符號標記可以表示具有獨立特征的不同類目標物，數字編碼可以用于同類目標之間的區分，例如“圓圈和1”可以表示1號運輸汽車，“矩形和1”可以表示場面1號飛機，這種標記方法有利于系統跟蹤效率的提高。

3.3 目標檢測技術小結

本章主要介紹了光流法和基于混合高斯和卡爾曼濾波的多目標檢測與跟蹤技術。經過驗證，這兩種方法的目標檢測效果都很明顯。但是光流法存在檢測容量局限，易受噪聲干擾，不適合復雜繁忙機場在預防跑道侵入時使用。所以在本論文中，更傾向于使用基于混合高斯和卡爾曼濾波的多目標檢測與跟蹤的方法。

4 攝像機標定算法

在基于機器視覺的圖像測量計算的應用中，為確定目標物某點的信息與圖像采集圖片中對應點之間的關系，需要建立相應的相機成像數學模型，其中涉及到的一些參數叫做相機參數[19]。這些參數通過實驗和推算得到，我們把求解相機參數(內參、外參、畸變系數)的過程叫做相機標定(或攝像機標定)[20]。在機器視覺應用中，相機標定是關鍵環節，它為后續把相機視角中的二維圖像信息轉化為機場三維立體信息奠定了基礎。圖13為基于機場視覺和攝像機視覺的綜合坐標圖，通過此坐標可以實現兩個坐標系的相互轉換。

圖13 雙視角綜合坐標系

圖13中，O1MNh三維坐標系是以機場場面為基礎，O1位于攝像頭的垂直地面，假設機場內每一部攝像頭離地面的高度h一定。XO2Y平面坐標系是攝像機視角畫面，O2是此二維坐標系的原點，兩坐標系中X軸平行于M軸。設此時飛機位于機場平面MO1N中A(m,n)點處(A點在N軸上的投影是A4，投影于M軸于A3點。)將A點與攝像頭相連接，與平面XO2Y相較于A1，所得A1就是攝像機視角中飛機的位置。從A1點向平面MO1N做投影，相交于A2點。之后分別從A1,A2開始向X軸、Y軸、N軸做投影，依次相交于x,y,A6點。一般來說，A1坐標(x,y)可以根據相機屏幕中像素點與畸變系數的乘積得到，攝像頭安裝俯視角度α和安裝高度h的數據可以從機場獲得，由于本論文只考慮機場場面，所以令O2在N軸上。把已知參量在ΔhO1A,ΔO1AA4,ΔO1A2A6中做相似運算，顯然可以求得飛機A點在MO1N坐標系上的方位，具體推導過程如下：

通過攝像機標定算法可以實現機場視角與相機視角的位置坐標轉換，當把機場所有的攝像機信息都融合到機場視角時就可以實現對機場場面所有運動目標的識別，再根據各目標運動的特性進行跟蹤和預測。另外，設定一個合理的速度或距離閾值，當運動目標超過閾值時，系統報警，提醒工作人員存在潛在碰撞危險，需要及時做出反應。

5 實驗結果與分析

本文對惡劣氣象條件下機場跑道的視頻進行預處理，目的是找出易識別的運動目標，判斷各物體的運動趨勢。之后再進行攝像機與機場坐標轉換，實現目標物的跟蹤與檢測。實驗結果證明，在圖像去霧處理中，使用基于直方圖優化的去霧技術得到的結果視覺效果顯著，但存在明顯的塊化現象，顏色失真。相比之下，Retinex方法下的圖像去霧效果更優；降噪處理中，可明顯看出經過基于形態學的權重自適應算法計算之后，部分噪點被降低甚至消除，一些低灰度區域顏色被增強，大大提高了對機場場面內的飛機、標識物等物體的識別率；通過實驗對比，使用光流法的目標檢測技術識別出來的對象單一，對于繁忙機場更加適合使用基于混合高斯與卡爾曼濾波器模型的方法來實現多目標檢測；最后創立的攝像機標定算法是為了確定機場場面目標物某點的信息與圖像采集圖片中對應點之間的關系，實現機場視覺坐標和攝像機視覺坐標的轉換，把整個機場目標物融合為一個整體來進行跟蹤與預測，達到提高跑道運行安全率的作用。

6 結束語

本文首先使用Retinex方法和基于形態學的權重自適應算法對機場惡劣天氣下的監視視頻進行圖像進行去霧降噪預處理。之后分別使用光流法和基于混合高斯與卡爾曼濾波器模型的方法進行目標檢測，兩種方法通過對比，發現基于混合高斯與卡爾曼濾波器模型的方法更加適用于惡劣氣象條件下繁忙機場場面上的目標檢測和跟蹤。最后創造性地建立攝像機標定算法，完成攝像機視角與機場視角坐標的轉換，利于從機場大視角對場面所有運動目標的檢測和跟蹤。