基于多源圖像處理的飛機起降主動監(jiān)視方法*

張晉武

(海軍裝備研究院　北京　100161)

?

基于多源圖像處理的飛機起降主動監(jiān)視方法*

張晉武

(海軍裝備研究院北京100161)

論文提出了飛行起降的主動監(jiān)視方法，通過多路攝像機獲取到目標飛行的不同角度的視頻圖像，通過圖像融合算法提取出飛機的特征向量，最后通過理解算法對起降飛行做出管制決策。該方法能提高航空管制的智能性和準確性，降低人工管制決策所造成的不確定性，并提高管制效率。

主動監(jiān)視; 圖像理解; 特征建模

Class NumberTP319

1　引言

在飛機飛行全過程中，無論是岸基起降飛機還是艦載機，容易發(fā)生事故的時段都集中在起飛和著陸時段。有統(tǒng)計數(shù)據(jù)顯示：航母艦載機作戰(zhàn)過程中，80%的事故是在艦載機著艦過程中發(fā)生的。為了降低起降的風險，應(yīng)該加強飛行試驗[1]。飛行試驗的核心技術(shù)是監(jiān)視引導技術(shù)，目前的監(jiān)視引導技術(shù)包含：常規(guī)光學近程助降系統(tǒng)、遠程激光助降系統(tǒng)、跟蹤雷達自動助降系統(tǒng)、儀表著陸系統(tǒng)、微波著陸系統(tǒng)、基于GPS的著陸引導系統(tǒng)、光電著艦引導系統(tǒng)、機載合成增強視景系統(tǒng)等。上述系統(tǒng)都各有利弊，因此有效的監(jiān)視引導系統(tǒng)通常是若干種體制的優(yōu)化組合。

國外成熟的光電監(jiān)視引導系統(tǒng)包括：法國飛機進場著艦光電輔助系統(tǒng)DALLAS，美國進近著艦視頻成像系統(tǒng)VISUAL[2]。未來，光電引導系統(tǒng)將朝著多功能一體化，遠距離、高精度、高分辨率以及監(jiān)視結(jié)構(gòu)集成的方向發(fā)展。

本文以光電引導技術(shù)為基礎(chǔ)，提供了一種針對飛機起降的主動智能監(jiān)視方法。通過多路攝像頭掃描捕獲運動目標，通過TLD機器學習算法建立運動目標的模型并實時更新，從而實現(xiàn)飛機起降時的智能監(jiān)視[3～4]。

2　系統(tǒng)組成

系統(tǒng)包括前端視頻采集模塊、服務(wù)器端視頻處理模塊(檢測，識別)、決策端視頻理解模塊三部分。其中，前端視頻采集模塊實時采集飛行器起降過程的視頻圖像；服務(wù)器端視頻處理模塊利用相應(yīng)的算法處理視頻圖像，包括檢測、識別和跟蹤；決策端視頻理解模塊同樣利用相應(yīng)的算法，通過處理模塊的輸出信息理解飛機的狀態(tài)、性能和意圖，以便代替人工做出航空管制決策。如圖1所示。

圖1　系統(tǒng)框圖

系統(tǒng)的詳細組成如圖1所示[5～6]。它分為以下幾個部分：

1)多傳感器光電轉(zhuǎn)塔：用于捕捉和跟蹤起降飛機的。包括高性能轉(zhuǎn)臺、CCD攝像機、紅外熱像儀、激光跟蹤器、伺服控制設(shè)備等。

2)監(jiān)視攝像機：由四個以上的智能高速球攝像機組成，帶有CCD和紅外熱像儀，多角度對飛機進行跟蹤引導。

3)引導顯示屏：一個攝像機對應(yīng)一臺顯示屏，用于顯示飛機圖像。同時，非視頻探測也對應(yīng)著一臺數(shù)據(jù)顯示屏。

4)視頻處理計算機：完成目標的建模，根據(jù)跟蹤算法預計飛機的航跡，并提供給光電轉(zhuǎn)塔及攝像機，實現(xiàn)目標的多角度跟蹤。

5)視頻存儲計算機：將有價值的視頻幀存儲起來，以作參考。

圖2　系統(tǒng)組成

3　主動跟蹤監(jiān)視方法

主動跟蹤流程如圖3所示。在沒有飛機起降的情況下，攝像機均處在搜索運動目標的狀態(tài)中。當其中一個攝像機搜索到目標后，發(fā)送飛機的方位信息，系統(tǒng)驅(qū)動攝像機和多傳感器光電轉(zhuǎn)塔均捕捉到目標，實現(xiàn)全方位的監(jiān)視[7]；然后，每個攝像機根據(jù)飛機在鏡頭中的特征，對飛機進行建模，后臺算法解析模型，提供一個預測，實現(xiàn)攝像機對目標的主動持續(xù)的跟蹤。飛機的模型可以隨著飛機狀態(tài)的改變實時更新，以保證跟蹤的智能性。在攝像機對目標進行智能跟蹤的過程中，光電轉(zhuǎn)塔上的激光跟蹤器同時實時地測量飛機的姿態(tài)信息，結(jié)合圖像信息一起反饋到管制員處[8]。

圖3　主動智能監(jiān)視流程

4　目標理解與建模

系統(tǒng)采用的監(jiān)視傳感器有CCD攝像機、IR紅外熱像儀、激光測距儀和雷達。其中，雷達負責遠距離探測飛機；而激光測距儀、CCD攝像機和IR紅外熱像儀則負責將飛機的屬性和特征發(fā)送給后方的管制員[9]。激光測距儀測量飛機的距離和姿態(tài)，而CCD攝像機和IR紅外熱像儀則在白天和晚上提供飛機的邊緣、色彩等特征參數(shù)。這些屬性和特征通過一定的組合，構(gòu)成了目標的模型和理解的因素。目標理解和輸出的流程如圖4所示。

圖4　目標理解和輸出流程

目標被鎖定后，由于目標在移動中會發(fā)生姿態(tài)的變化，因此它的視頻特征也是會變化的。可使用TLD算法，對鎖定的目標進行不斷的學習，以獲取目標最新的特征，從而提供更準確的跟蹤指令。

TLD跟蹤系統(tǒng)最大的特點就在于能對鎖定的目標進行不斷的學習，以獲取目標最新的外觀特征，從而及時完善跟蹤，以達到最佳的狀態(tài)。也就是說，開始時只提供一幀靜止的目標圖像，但隨著目標的不斷運動，系統(tǒng)能持續(xù)不斷地進行探測，獲知目標在角度、距離、景深等方面的改變，并實時識別，經(jīng)過一段時間的學習之后，目標就再也無法躲過。

TLD技術(shù)由三部分組成，即跟蹤器、學習過程和檢測器。TLD技術(shù)采用跟蹤和檢測相結(jié)合的策略，是一種自適應(yīng)的、可靠的跟蹤技術(shù)。

· 檢測器：掃描單幀，結(jié)合之前的目標模型，計算出該幀的正樣本與負樣本，并轉(zhuǎn)給學習模塊。檢測器是根據(jù)以往的目標模型在當前幀進行目標檢測，因此，檢測到的數(shù)據(jù)，往往是目標模型中已有的[10]。

· 跟蹤器：采用跟蹤算法，結(jié)合幀之間的差異，估計目標的運動狀態(tài)，并將估計出的運動狀態(tài)轉(zhuǎn)給學習模塊。和檢測器不同，跟蹤器則可能給目標模型帶入新的數(shù)據(jù)。

· 學習模塊：根據(jù)跟蹤器的結(jié)果對檢測器提供的錯誤模塊進行評估，根據(jù)評估結(jié)果生成訓練樣本對檢測器中的目標模型進行更新，同時結(jié)跟蹤器中的“關(guān)鍵特征點”進行更新。

· 綜合模塊：該模塊將檢測器和跟蹤器得到的目標框予以綜合，如果檢測器和跟蹤器都沒有得到目標框，就認定當前幀中未出現(xiàn)目標，否則，就將具有最大保守相似度的Sc(下文說明)的那個作為最終的目標框所在的位置[11]。

如圖5所示，TLD技術(shù)中，跟蹤器和檢測器并行運行，二者所產(chǎn)生的結(jié)果都參與學習過程，學習后的模型又反作用于跟蹤器和檢測器，對其進行實時更新，從而保證了即使在目標外觀發(fā)生變化的情況下，也能夠被持續(xù)跟蹤。這些特點決定了TLD算法在跟蹤方面具有很好的效果，可以用于飛機起降的目標跟蹤。

圖5　跟蹤算法原理

首先在無目標進入鏡頭的時候，對背景進行建模。在目標進入鏡頭之后，將含有目標的幀與背景做差分運算，可獲得目標的形狀數(shù)據(jù)和色彩數(shù)據(jù)；將含有目標的兩后兩幀進行差分運算，可獲得目標的邊緣數(shù)據(jù)。將這些特征數(shù)據(jù)各賦予一定的權(quán)值，組成特征向量，即可構(gòu)成目標的模型。

對于包含目標的視頻幀來說，通常一個目標模型可以用式(1)來表示

(1)

這是一個通用的表達式，具體到飛機起降監(jiān)視這個應(yīng)用上，可以知道背景屬于簡單背景(藍天白云)，其模型不需要像目標模型那樣實時更新，所以M可以簡化為

(2)

定義兩個相量的相似度：

(3)

給定任意一個特征向量p和目標模型M，定義幾種相似度度量方式：

1)目標樣例最近鄰相似度：

(4)

2)背景樣例近鄰相似度：

S-(p,M)=S(p,p-)

(5)

3)相關(guān)相似度：

Sr=S+(S++S-)

(6)

對于任意一個的特征向量p，如果Sr(p,M)>θ,那么，該特征向量被分類為前景目標；否則，就被分類為背景目標。

可采用如下策略來將一個新的賦予標簽的圖像片添加到目標模型當中：當最近鄰分類器賦予的標簽和學習模塊賦予的標簽相矛盾的時候，才將其添加進目標模型中。定義m=Sr-θ代表分類盈余，對于一個特征向量p而言，如果其分類盈余m<λ,也將其添加到目標模型當中。λ越大，添加到目標模型中的圖像片就越多，也就能得到一個更好的分類決策邊界。λ是動態(tài)的，其目的是為了在目標模型的更新速度和精度之間得到一個很好的平衡。

5　結(jié)語

本文使用多路視頻傳感器輔助以測距儀、熱像儀，對起降的飛行進行捕捉并跟蹤，從而獲取飛機的多角度特征信息，實現(xiàn)飛機起降的主動監(jiān)視。通過TLD算法，對鏡頭內(nèi)的飛機的姿態(tài)的變化進行不斷的學習，以獲取飛機最新的特征，從而提供更準確的跟蹤指令，減少視頻傳感器發(fā)生跟蹤錯誤的概率。下一步，將會進一步研究多源圖像處理算法，尤其是不同視角同一特征的融合技術(shù)，做到飛機特征的精確提取以及飛機特征的理解。

[1] 李娟,邊信黔,夏國清,等.艦載機飛行仿真可視化研究[J].計算機仿真,2008,25(2):294-298.

[2] 陳宣儀,劉剛,洪冠新.艦載機返航著艦的關(guān)鍵點和關(guān)鍵要素的分解和分析[J].飛行力學,2011,29(2):20-24.

[3] NAS Oceana(organization). Landing Signal Officer Reference Manual(Rev B)[M]. virginia: US Department of the Navy,1999.

[4] Robert A.Richards. Application of Multiple Artificial Intelligence Techniques for an Aircraft Carrier Landing Decision Support Tool.[C]// IEEE International Conference on Plasma Science,2002:7-11.

[5] 王寶寶.艦載機著艦安全技術(shù)研究[D].南京:南京航空航天大學,2010.

[6] GU Hong-bin, GAO Ze-jiong. Landing Gear Shimmy and Directional Stability of Aircraft Undergoing. Non-Straight Taxiing[J].Chinese Journal of Aeronatics,2001,14(2):73-77.

[7] 劉剛利,吳非.淺析視頻圖像監(jiān)控系統(tǒng)[J].現(xiàn)代顯示,2010(2):60-62.

[8] Collins R.A system for video surveillance and monitoring[D]. Pittsburgh: CarNegie Mellon University,5 Technical RePort,2000.

[9] 高飪,常永亮,穆戰(zhàn)松,等.基于運動目標識別技術(shù)的視頻監(jiān)控系統(tǒng)[J].計算技術(shù)與自動化,2005,24(4):29-31.

[10] Collins R. A system for video surveillance and monitoring[D]. Pittsburgh: CarNegie Mellon University’s Technical Report,2000.

[11] 高飪,常永亮,穆戰(zhàn)松,等.基于運動目標識別技術(shù)的視頻監(jiān)控系統(tǒng)[J].計算技術(shù)與自動化,2005,24(4):29-31.

Active Monitor Method of Aircraft Takeoff and Landing Based on Multiple Image Processing

ZHANG Jinwu

(Navy Equipment Research Institute, Beijing100161)

This article proposes a method for active monitor of aircraft takeoff and landing. The videos of the target flying object are taken by multiple cameras from different angles. Control decision is subsequently made with image understanding algorithm. The proposed method can make air traffic control more accurate and intelligent, decrease the uncertainty of manual control, improve the efficiency of air traffic control.

active monitor, image understanding, feature modeling

2016年4月9日,

2016年5月26日

張晉武,男,博士,工程師, 研究方向：作戰(zhàn)系統(tǒng)、信息系統(tǒng),航空管制。

TP319

10.3969/j.issn.1672-9730.2016.10.034