基于立體視覺的大型客機障礙物探測

史 杰 / SHI Jie

(上海飛機設計研究院，上海 201210)

?

基于立體視覺的大型客機障礙物探測

史 杰 / SHI Jie

(上海飛機設計研究院，上海 201210)

為了提高大型客機在低能見度天氣下場面滑行時的安全性，提出了一種采用熱成像儀進行障礙物探測和識別的系統(tǒng)。對客機前方景物進行熱成像，用改進的機器立體視覺算法計算目標距離，使用模糊邏輯融合位置信息識別障礙物。實驗表明提出的系統(tǒng)能探測和識別場面上的主要障礙物。

立體視覺；熱成像；障礙物探測

0 引言

低能見度天氣諸如大霧是客機在地面滑行時的不利因素，為了滑行安全，會降低滑行速度，增加與前方飛機的間隔，同時使用場面活動監(jiān)視系統(tǒng)(如場面監(jiān)視雷達、場面多點定位和廣播式自動相關監(jiān)視系統(tǒng))對場面上的車輛和飛行器進行定位和引導。然而，前者會導致機場派遣效率降低，而后者又依賴于機場設施，作為滑行主體的客機缺少獨立探測的能力，而是被動告知其他飛機或車輛的位置。

熱成像儀能減小低能見度天氣帶來的不利影響[1]，而機器雙目視覺以一種主動探測的方式作為現(xiàn)有系統(tǒng)的補充，為飛行員能提供前方景物的圖像和位置信息，有助于在低能見度天氣下提高飛行員對周圍環(huán)境的感知度，幫助飛行員第一時間對突發(fā)狀況做出反應，從而提高滑行安全。

1 立體視覺

立體視覺在道路障礙物探測[2]、鐵路電纜障礙物探測[3]和機場障礙物探測[4]中的應用被廣泛研究。一般的，采用兩個攝像頭拍攝圖像就可進行深度圖的計算，但為了提高精度與探測距離，也可使用兩個以上攝像頭進行成像。立體視覺采用三角測距原理，圖1是立體視覺測距原理示意圖。在理想情況下，兩個攝像頭的光軸相互平行，從不同位置捕獲同一物體，已知焦距f，兩個攝像頭距離T，物體在左右兩幅圖像中的位置差xl-xr，距離Z可以通過式(1)計算得出。通過尋找并匹配左右兩幅圖像中每個像素點的視差，可計算得到成像景物的深度圖。如圖2、圖3所示。

圖1 立體視覺三角測距原理

2 算法流程

由于熱成像儀拍攝的圖像不同于普通光學攝像頭，在算法流程上根據(jù)溫度圖像的特點進行改進，增加背景消除算法，并對深度圖進行濾波，整個算法流程如圖2所示。

圖2 算法流程圖

背景消除是根據(jù)圖像中各類物體的溫度差異，過濾圖像中不關心的背景。認為在跑道和滑行道上的障礙物主要為地勤工作人員、地勤車輛和其他飛機三大類。而圖像中的地面和機場建筑物則視為背景，需要進行濾除。需要事先在機場中測得所述三類主要障礙物的溫度范圍，而后對圖像進行背景消除。

深度圖濾波是在計算得到深度圖后，計算圖像中物體輪廓的面積，而后依據(jù)投影原理計算物體的大小。設定障礙物的大小范圍，可濾除尺寸過大或者過小的物體輪廓。假設物體在圖像中輪廓的面積為s，物體真實面積為S，鏡頭焦距為f，深度圖中物體距離為D，則它們的關系為：

經(jīng)過背景消除和濾波后的深度圖與原始深度圖的對比如圖3所示，由圖中可見，深度圖經(jīng)過處理后過濾了大部分背景物體。

圖3 過濾前與過濾后的深度圖

3 障礙物識別

使用模糊邏輯算法，通過溫度和位置信息對三類主要的障礙物(飛機、地勤車與地勤人員)進行識別。根據(jù)機場實測三類主要障礙物的溫度分布，建立各自的模糊邏輯隸屬函數(shù)。實測數(shù)據(jù)表明，噴氣飛機尾氣溫度相對最高，小型活塞式飛機其次，地勤車的溫度分布則與地勤人員和小型飛機有重疊。因此在分類時引入飛機的位置信息(停機坪、滑行道和跑道)對三類主要障礙物的隸屬函數(shù)進行選擇，不同的位置選用不同的隸屬函數(shù)組合，識別算法流程圖如圖4所示。

圖4 識別算法流程圖

4 實地測試

把人員作為探測目標，對系統(tǒng)進行實地測試，測試系統(tǒng)距離探測的精度。測試人員以5m為一個梯度，在距成像儀10m～60m的距離上依次被拍攝，測試現(xiàn)場如圖5所示。

圖5 實地測試現(xiàn)場

測試距離與實際距離如圖6所示。從圖中可見系統(tǒng)的測試距離和實際距離曲線基本重合。

圖6 測式距離與實際距離

在某機場對隨機出現(xiàn)在機場上的地勤人員、地勤車、小型活塞飛機以及大型噴氣飛機進行拍攝，共拍攝426幅照片，系統(tǒng)對障礙物分類的準確率如圖7所示。

由圖7可見，大型飛機的識別率在上述三種場地上保持高識別率。在停機坪處對地勤車的識別率偏低，為20%，在滑行道提高到65%左右。而小型飛機無論在停機坪還是在滑行道都維持75%左右的識別率，在跑道提高至100%。實測地勤車的溫度分布和地勤人員以及小型飛機有重疊，導致地勤車識別率較低，而在滑行道上排除了把地勤車認為是地勤人員的可能，使識別率有所提升。同理，

在跑道上排除了把小型飛機認為是地勤車的可能，也使識別率有所提高。

圖7 障礙物識別準確率

5 結(jié)論

為了提高大型客機在低能見度天氣下場面滑行時的安全性，提出了一種障礙物識別系統(tǒng)。通過熱成像儀獲取障礙物圖像，針對熱圖像的特點改進機器立體視覺算法計算障礙物距離，使用模糊邏輯融合位置信息對障礙物進行分類。

實際測試表明，在60m的探測距離內(nèi)，系統(tǒng)能探測和識別障礙物。而對障礙物進行識別時，不同障礙物的溫度分布如果有重疊，會影響系統(tǒng)識別率，而融合位置信息在一定程度上能提高識別率。因此，在低能見度天氣下，該系統(tǒng)有助于幫助飛行員對周圍環(huán)境的感知，提高滑行安全，有一定的工程應用價值。

[1] I. R. C. Performance, “Seeing through fog and rain with a thermal imaging camera.”

[2] T. A. Williamson, “A High-Performance Stereo Vision System for Obstacle Detection,” 1998.

[3] B. Hulin and S. Schü?ler, “Concepts for Day-Night Stereo Obstacle Detection in the Pantograph Gauge,” vol. 49, no. 0, pp. 449-454, 2007.

[4] J. Gauci, “Obstacle Detection around Aircraft on Ramps and Taxiways through the use of Computer Vision,” no. August, pp. 1-23, 2009.

Obstacle Detection Based on Stereo Vision for Large Aircraft

(Shanghai Aircraft Design and Research Institute，Shanghai 201210，China)

In order to improve taxing safety of large aircraft under poor weather, an obstacle detection and recognition system were proposed. An infrared camera is employed to capture heat image of obstacles. Distances of obstacles are estimated by improved stereo vision algorithm. Types of obstacle are recognized by fuzzy logic and fusion of position information. The field test indicates that the proposed system can be used to detect and recognize obstacles in the field.

stereo vision; infrared camera; obstacle detection

10.19416/j.cnki.1674-9804.2016.03.021

V249.32

A