一種直升機合成視景輔助導航技術

齊小謙，周 興，王炳翮，楊 樂

(中國電子科技集團公司第五十四研究所，河北 石家莊 050081)

0 引言

直升機飛行員必須在低空高速飛行，以減少地面武裝人員瞄準的時間，而且飛行航路必須經常改變，防止自己的活動規律被摸透。直升機利用地形隱蔽飛行、貼地飛行的特點使得跟蹤監控難、險情處置時間短，客觀上增加了直升機撞地的風險。遇到突發情況時，如迷航、低能見度和風切變等，主要依靠飛行員或領航員的目視觀察和經驗來避免危險，情景感知能力很差。為了提高直升機低空活動安全性，支持在惡劣天氣條件、威脅區域進行地形跟蹤飛行，研究為飛行員連續、精確提供可視化輔助導航信息的技術非常重要[1]。

合成視景是信息融合中可視信息部分的融合，它把2個或多個具有互補特征的圖像或視景融合成一幅新畫面，從而使合成的視景具有更高的可信度、更好的清晰度和可識別性[2]。針對直升機地形跟蹤飛行和在惡劣視覺環境下進行合成視景輔助導航需求，利用高分數據、機載航電數據進行多源視景合成，為飛行員生成直升機周邊視場范圍的地形、障礙物和相關環境特征(包括建筑物、跑道等)，為規避低空地表威脅提供精細可視化手段，及早發現和規避可能的危險，能夠提高復雜地形和惡劣環境下的飛行訓練能力。

本文從機載輔助導航應用的視角，對合成視景的內涵與概念進行深入分析，提出一種基于高分數據的合成視景輔助導航技術的研究方法[3]。以內置高性能三維地理信息系統為基礎平臺，將機載多源前視圖像進行深度融合，提高不同數據源之間互補、相關的目標精度和導航定位可靠性，提高虛擬場景視覺精度、增強場景真實感。該項研究在某型直升機綜顯設備上進行了驗證，給出了成果形態和運行場景，滿足直升機在惡劣視覺條件下輔助導航的需求。

1 合成視景輔助導航基本原理

合成視景輔助導航信息在直升機航電系統內部產生，使直升機在不同區域、不同氣象條件下持續獲得高精度、高可靠性的輔助導航信息，工作原理包括：

① 以載機的位置和姿態為基準，并以存儲的地形、跑道和障礙物數據庫為基礎，進行數據信息和圖像融合處理。

② 根據載機姿態、高度、速度和位置信息，以及傳感器圖像信息和綜顯指令，結合高分三維地形數據庫信息，對飛行航路、周圍環境和障礙物告警進行可視化描繪[4]，生成虛擬的艙外環境三維場景。

③ 基于飛行員視角，綜合計算機頭指向、航向和飛行姿態等參數，生成合成視景輔助導航立體范圍內的三維虛擬場景。

④ 對機艙前方地形概況及其與飛行航向/航跡的空間關系進行形象化展現，對前方地形、障礙物與當前飛行高度之間相對關系進行可視化標示[5]，為飛行員在終端區的飛行操作提供輔助參考。

⑤ 結合應飛航路信息，將飛行員觀察所需主飛行顯示信息(如姿態、空速、高度和應飛航點等)與合成視景圖像一體化顯示，保證飛行數據/狀態可視化指示與直升機實飛狀態一致[6]，將合成視景視頻信息在機載綜合顯示系統進行疊加顯示。

2 總體設計

直升機合成視景輔助導航技術的設計主要包括地面支撐環境和機載處理機，如圖1所示。其中，地面支撐環境主要包括地面服務器和三維可視化管理軟件；機載處理部分主要包括機載三維場景快速重建、視頻圖像融合、障礙目標檢測與告警、合成視景輔助導航和綜合信息顯示等功能，組成機載處理機。

圖1 系統功能組成

直升機合成視景輔助導航實現流程主要分為三維環境加載、導航視場生成、障礙目標識別、航路自動修正、飛行數據疊加和合成視景輸出。

① 在地面支撐環境構建完成飛行區域的三維地理信息環境。基于高分遙感圖像(含可見光產品)、DEM數據，經過對地形地物數據、三維模型數據和氣象水文數據的可視化表達，預選構建大視場、高精度的低空地理環境[7]。機載處理機內置高性能三維地理信息平臺，同步加載地面提供的飛行航線庫、空域資源庫、關鍵地景地物以及區域分類、區域名稱、底層高度深度、作戰性質和區域形狀等數據，為直升機低空掠地飛行提供關鍵點、途經點、障礙點、重點區域等指示信息。

② 機載處理機加載已構建的三維地理信息環境，基于本次飛行航路要求，提取航線區域所需范圍內的高分地形、影像產品以及關鍵點、目標信息等數據，經過圖像加載、三維渲染，預先構建飛行航線覆蓋區域的三維場景。

③ 在接收機載航電數據、圖像等信息后，解析組合導航、飛行參數和飛行姿態等信息，依托合成視景處理計算機和數據存儲設備，基于存儲設備的高分、二三維地圖數據，機載氣壓、高度、導航等數據以及紅外、雷達等傳感器實時數據，進行地理環境、氣象環境、空間和物理特性等分析處理，利用載機組合導航的飛行平臺位置、姿態和傳感器狀態，采用幾何模型計算飛行員的導航視場[8]，生成與直升機飛行員視角相匹配的粗粒度三維視景。

④ 以直升機可見光、紅外傳感器提供的前方外景圖像、視頻為數據源，基于已形成的目標檢測樣本庫，利用深度學習方法完成準確識別障礙物與威脅目標，為飛行員提供準確及時的目標物告警[9]。

⑤ 結合雷達高度表、氣壓高度表和慣導等機載設備的性能，結合高精度地形信息進行地形輔助定位。基于已識別最新的目標威脅，對當前直升機飛行航路中近距離范圍內的航線進行自動修正[10]。基于高精度、高可靠性的地形相關自主導航算法，在衛星導航失效情況下進行位置校正。

⑥ 在外部環境的虛擬視景圖像基礎上，疊加顯示飛行儀表信息，將外部環境和飛行參數描述在一幅圖上，結合直升機航電融合數據提供的位置和姿態等信息進行動態調整，為飛行員提供外部環境和飛行參數的可視化描述[11]。

⑦ 通過機載視頻總線實現合成視景視頻信息傳輸，并在綜合顯示系統(或多功能顯示器)進行輸出顯示。

技術總體處理流程如圖2所示。

圖2 總體處理流程

3 關鍵技術研究

實現高精度、高時效性的合成視景輔助導航，使直升機在不同區域、不同氣象條件下持續獲得高精度、高可靠性且抗干擾性強的輔助導航信息，為構建全天候、全域自主導航、抗電磁干擾能力強的組合導航系統奠定技術基礎，重點需突破三維場景加速繪制、異源圖像精確配準、多源障礙物目標檢測識別和復雜地形匹配導航等關鍵技術。

3.1 高動態視點三維場景的加速繪制

針對復雜視覺條件下合成視景輔助導航對場景更新效率要求極高的使用需求，場景繪制速度直接影響視景導航精度，并干擾了飛行員判斷，影響飛行安全。為保證視景導航場景繪制的實時性，研究高動態視點三維場景加速繪制技術[12]。根據現代GPU高效的并行模式，將大規模地形塊進行數據分塊，在CPU中進行必要的預處理，通過多級緩沖機制加載數據塊和視域裁剪技術，各地形塊在GPU流處理器中并行簡化，批量渲染，能夠有效提高場景渲染的幀率和減輕CPU工作負載。進一步提高繪制效率、降低場景更新滯后、提高視景導航精度。

3.2 兼顧實時性和精確性的異源圖像配準

紅外圖像和高分可見光圖像的配準屬于異源圖像配準問題，紅外圖像分辨率差、對比度低，難以從中提取點特征，使用直線段檢測(LSD)算法提取圖像線特征[13]，并使用結合Voronoi圖的譜圖匹配算法完成精確特征匹配，可以很好地解決異源圖像由于傳感器差異造成的共同特征難以提取和匹配的問題。為了進一步提高匹配精度，使用非線性畸變差模型和基于Retinex理論的紅外圖像增強技術對鏡頭畸變和光照不均因素進行預處理，濾除其造成的幾何校正誤差和圖像失真問題。針對實時性要求，可以按照預先規定的航線在高分影像圖中裁取航線周邊區域，預先提取這些區域的相關特征并建立索引[14]。數據處理過程中，只需實時提取視頻數據中的特征值，根據事先建立的索引，與高分影像中預先提取的特征值進行匹配，可以有效縮短處理時間，運用幾何配準方法，粗略定位待匹配數據的大概位置，后續特征匹配時只在粗略定位的范圍進行特征計算，有效減少計算量，進一步縮短處理時間[15]。

3.3 基于深度學習的多源障礙物目標檢測識別

直升機多源影像目標檢測識別、視頻數據目標實時檢測是一個關鍵問題，影響著目標物識別與理解的整個過程。直升機飛行環境中存在大量靜態線性目標與動態目標，如高壓電線塔、電線桿、煙囪、無人機、空飄氣球和飛艇等。在復雜背景下，由于目標局部信息缺失、圖像中噪音污染、場景復雜多樣性和目標自身的復雜變化等問題，使得靜態與動態目標識別比較難[16]。采用計算量小、計算速度快且準確性良好的網絡模型，在檢測階段直接把整幅圖像輸入到模型中進行預測，只進行一次卷積神經網絡(CNN)，通過端對端的方式直接預測不同目標的類別和位置。針對目標背景復雜多變的情況，在進行數據樣本集訓練前，采用通用的ImageNet數據集、SUN數據集以及Places數據集進行預訓練，從而獲得更加穩定良好的泛化性能[17]；針對圖像序列尺度差異大的問題，在目標檢測識別模型中采用特征金字塔架構進行多尺度檢測，實現實時穩定的障礙物與威脅目標的檢測識別與告警，對重點目標給予凸顯標識。

3.4 基于邊緣化粒子濾波的復雜地形匹配導航

將慣性導航(INS)三維數字地圖信息與地形測量裝置所提供數據進行信息融合，獲取導航參數的最佳修正信息。建立基于粒子濾波的地形匹配算法地形輔助導航解算模型，由氣壓高度表測得海拔高度，它與雷達高度表測得的離地高度之差即為地形高程的測量值，將其作為系統的量測。由INS指示的位置從高分數字高程地圖得到預測的地形高程，由此建立非線性的量測方程。結合INS的誤差方程(使用間接法進行狀態估計)，獲得INS誤差的最佳估計值。最后利用該估計值對INS的導航參數進行校正，從而使系統達到最佳導航狀態[18]，提高機載導航的精度和穩定性。

4 合成視景輔助導航技術應用

依托實驗室半實裝條件，以某型直升機綜顯設備為演示平臺，以高分地理信息庫、偵察視頻圖像為數據源，驗證技術方案的可行性。航電系統提供的載機姿態、高度、速度、位置信息以及機載傳感器圖像均采用歷史采集數據進行模擬，結合高分地形數據庫信息進行數據信息和圖像融合處理，生成持續視景導航圖像并在綜合顯示系統(或多功能顯示器)進行輸出顯示[19]，演示驗證系統交聯關系如圖3所示。

圖3 演示驗證系統交聯關系

經過高效處理，虛擬場景重建距離范圍≥10 km，視景合成延時≤3 s，根據飛行階段和飛行狀態對視景顯示進行一致性動態匹配調整，合成視景輔助導航綜合顯示界面如圖4所示。

圖4 綜合顯示界面

以上應用表明，本文提出的技術方法實現了高分影像與機載視頻圖像配準處理、實時重建實景數據、地形和障礙告警，能夠將儀表數據、航線、空域和指令等元素與視頻圖像合成顯示，為飛行員在駕駛艙獲取超視距前方地形剖面和超視距碰撞警示提供了有效手段，達到可靠支持直升機地形跟蹤飛行和在惡劣視覺環境起飛著陸的應用效果。

5 結束語

合成視景輔助導航作為一種新技術，引起了越來越多的關注，可以與多項熱門技術如三維場景重建、圖像精確融合、地形輔助導航等相結合，能夠為直升機低空飛行訓練提供安全保障，滿足多樣化的應用場景。

通過深化研究直升機合成視景輔助導航的基本原理與使用場景，介紹了一體化高分數據與直升機多源航電數據深度融合的設計思路，規劃了障礙自動分類和告警提示以及飛行員視角下的三維場景快速重建、地形輔助導航、航路自動修正等重要功能，系統性設計了技術架構、處理流程。給出了演示系統的架構以及運行畫面，全方位地展示了合成視景輔助導航技術的特點。

研究成果表明，在應用高分地理信息庫基礎上，借助先進的圖像融合以及三維重建等技術，利用機載導航數據和飛行計劃航線，能夠提供高精度、低時延的三維場景圖像以及地形和障礙告警。通過演示試驗，證明了本文的設計方法合理可行且具有時效性、精確性和穩定性[20]。后續仍需深入研究相關算法，綜合接入并融合處理更多類型視頻圖像數據，能夠進一步提高圖像融合精度、降低處理時延，推廣到多種應用場景，例如無人車合成視景輔助導航，為新型組合導航系統研究奠定基礎。