衛星/慣性/視覺組合導航多源融合技術現狀及發展

方文軒，叢佃偉

(1.信息工程大學 地理空間信息學院，河南 鄭州 450001；2.中國人民解放軍31636部隊，云南 楚雄 675000；3.航天工程大學 航天信息學院，北京 101416)

0 引言

隨著社會生產力的變革與提高，工業時代退出舞臺，信息時代的曙光愈發耀眼。信息作為一種虛無與現實的矛盾結合體，正逐漸融入人類的生存與發展，已在各個領域大放異彩。各種信息技術得到蓬勃發展，其中多源信息融合技術因其活躍的發展與廣泛的應用，研究熱度居高不下。多源信息融合技術通過數字計算機對基于時間序列的多種(個)傳感器的觀測數據進行融合優化處理得到任務需求的信息[1]。這一解決問題的思路充分利用多傳感器信息，與組合導航的發展趨勢十分契合，將多源信息融合技術應用于組合導航得到越來越多的關注。

目前，國內外在組合導航系統的研究與應用上基本以慣性導航為主，輔以衛星導航、視覺導航系統以及車載里程計、雷達高度計、星光敏感器、地磁傳感器等量測儀器。與單一信息收集渠道相比，組合導航收集多種(個)傳感器的信息進行融合處理，得到的結果能夠更好地滿足預期需求。根據多源信息融合理論的劃分，組合導航多傳感器信息融合層級是位置級和屬性級[2]，屬于信息融合系統基礎層級。組合導航要求系統能夠自適應地接收和處理有效觀測數據，并對導航信息進行融合，輸出滿足用戶精度需求標準的位置、速度和姿態等導航信息；同時，組合導航系統需要具備一定的可靠性、魯棒性以及較強的容錯能力。

將多源信息融合技術與組合導航系統結合已經成為新的熱點研究方向。因此，本文對面向衛星/慣性/視覺組合導航的多源信息融合技術進行研究、歸納，從組合導航系統、卡爾曼濾波與多源信息融合技術以及多源信息融合技術研究與應用趨勢3個方面進行闡述。

1 衛星/慣性/視覺導航應用發展現狀及融合優勢

單一導航系統因存在各自的缺點而影響定位和導航等功能的正常使用，將不同導航系統的多種(個)傳感器(至少2類及以上)匯集的信息和功能結合起來，形成綜合性更強、協和超越、優勢互補的組合導航系統，成為解決單一導航系統缺點的重要手段。目前，以衛星導航、慣性導航以及視覺導航為主要信息源的組合導航系統在艦船航行、飛行器著降、智能無人駕駛、室內定位導航、工業機器人以及精準農業等方面得到發展與應用。

1.1 衛星/慣性/視覺導航應用發展現狀

衛星導航系統可為任意地球表面或近地空間的用戶提供全天候位置、速度及時間信息，具有定位精度高、定位誤差不隨時間增長等特點。衛星導航已形成了以美國GPS系統和中國北斗三號系統為代表的衛星導航產業鏈，在民用領域如交通管理、目標定位、工程測量、氣象預報和精準農業等方面廣泛、良好、深刻地影響人們的日常生產、生活。目前，衛星導航系統正邁向統一、合作、開放與共享的發展道路[3]，致力于為廣大用戶提供更精確、更快速、更穩定、更連貫的導航定位服務[4]。

傳統慣性導航系統將慣性元器件加速度計和陀螺儀安裝在慣導平臺或直接固連在載體上，通過導航計算機控制以數字形式采集慣性傳感器輸出的加速度和角速度信息，并進行數值積分運算(姿態更新算法、速度更新算法和位置更新算法)求解得到載體的姿態、速度和位置等導航參數。隨著工業制造水平、電子技術及計算機技術的發展，高精度的激光陀螺慣性導航系統正在逐步取代平臺式和捷聯式慣導系統。MK39系列激光陀螺慣導系統[5]已列裝多個國家的海軍艦船平臺。AN/WSN-7系列激光陀螺捷聯式系統已經成為美國海軍水面艦艇和常規潛艇的標準配置[6]。

視覺導航通過視覺傳感器主動或被動捕獲載體周圍環境的視覺影像，利用計算機技術分析圖像中的諸如色彩、邊緣、形狀和結構等特征信息，經過視覺算法處理得到相應的載體運動信息。隨著圖像捕捉、圖像處理和高性能處理器等技術的大力發展，計算機視覺能夠與不同傳感器相結合，從多個角度生成視覺圖像、抓捕圖像特征、融合圖像信息，解算載體運動、特征點位移等。視覺導航發展至今，分類廣泛、各具特色、互有交叉。目前，主流視覺導航可以分為基于自然特征和基于人工特征的視覺導航。視覺傳感器與圖像處理技術的發展使得視覺導航能夠提供與衛星和慣性導航精度相當、類型一致的導航信息，具備組合導航的基礎條件；同時，視覺導航多樣化的技術手段促進多源信息融合向更多領域發展。

1.2 衛星/慣性/視覺導航融合優勢

衛星、慣性和視覺3種主要導航方式有各自的不足。衛星信號在復雜地形環境中易受遮擋和多路徑效應影響；對于高動態場景的載體，衛星信號的載波相位易出現短暫失鎖；此外，愈發復雜的電磁環境和部分帶有敵意的欺騙(如某地區農業撒藥無人機因信號干擾集體失控事件)易對衛星信號造成干擾。這些問題使得衛星導航在高樓、室內、叢林、峽谷、水下等區域以及部分高動態需求的軍事應用中受到限制，不能充分發揮衛星導航的功用。慣性導航的積分推算方式使得其定位誤差累積較快，不能長時間使用，使其系統精度的長期穩定性較差，需要輔以其他傳感器修正輸出的載體位姿信息。視覺導航面臨著提取影像和圖像特征時計算機運算量過大引起的實時性問題和對于自然場景(目標)的多樣性、豐富性、動態性的適應問題。總之，衛星/慣性/視覺導航中的任一種或2種組合都無法完全滿足用戶對準確性、可靠性、抗干擾及魯棒性的要求。基于衛星/慣性/視覺組合導航的多源信息融合技術能夠綜合各傳感器的長處、互補不足，達到更好的導航性能，如表1所示。目前，常用的衛星/慣性/視覺組合導航多源融合處理框架如圖1所示，是將慣性導航誤差模型、初始對準、視覺標定、特征檢測與匹配、多傳感器導航算法、故障檢測等形成聯系，在內部進行信息融合，使得各導航系統之間相互取長補短，不僅能夠修正慣導的誤差累積量，也能夠提升整體的精度和可靠性。

表1 3種導航方式及其組合系統優勢比較Tab.1 Comparison of the advantages of three navigation methods and their combined systems

圖1 衛星/慣性/視覺組合導航多源融合處理框架Fig.1 Multi-source fusion processing framework for satellite/inertial/visual integrated navigation

國內外對于衛星/慣性/視覺組合導航多源融合技術的研究與應用日益廣泛。Kim等[7]提出了基于GPS/INS/視覺的直升機導航系統框架，創造性地提出了雙目相機相互垂直方案，其前視攝影部分使用SIFT特征提取方法，實現4 Hz的處理頻率，而下視攝影部分使用Harris角點檢測算法，實現10 Hz的實時處理。Bell206直升機搭載實驗表明，在模擬衛星信號不可用情況下，該系統依然能夠實現2 m以內的位置估計誤差。Mourikis等[8]提出了視覺輔助慣性導航系統，集成了慣性測量單元、GPS及攝像機。該系統利用視覺輔助慣性導航系統拍攝下方地面得到二維特征點，將其與地表實物三維特征建立關系，再通過擴展卡爾曼濾波器(Extended Kalman Filter,EKF)將2種類型的視覺特征觀測與慣性單元測量緊密結合，以信息自適應和實時方式精確估計航天器與地球的相對位置、姿態和速度。測試結果表明，該系統的速度估計誤差為0.16 m/s，著陸位置估計誤差為6.4 m。美國德雷帕實驗室聯合麻省理工學院設計開發了結合慣性狀態的平滑和映射評估系統(Smoothing and Mapping with Inertial State Estimation，SAMWISE)[9]。在2016年4月和11月的2次FLA里程碑事件中，SAMWISE分別實現模擬室內倉庫環境時不到1%的位置誤差和高達5.5 m/s的飛行速度以及模擬露天有障礙物環境時約3%的誤差和高達20 m/s的飛行速度。在國內，李建軍等[10]基于視覺圖像輔助完成了深空探測器著降階段的落點區域地形匹配，獲得了探測器與落點的相對位置與姿態信息，并基于誤差卡爾曼模型修正慣性導航結果的方法提高了導航精度的同時保證了實時性要求。李俊學等[11]著重研究了多傳感器融合SLAM中具有代表性的VISLAM技術,該技術基于視覺傳感器與慣性元器件的強烈互補性，通過松耦合和緊耦合2種多源融合方式以及卡爾曼濾波和光束法平差后端優化方法解決了VSLAM中存在的光照變化影響、圖像模糊和目標特征較弱等問題，在移動機器人領域取得良好應用效果。李豐陽等[12]在研究無人機自主著降時分析總結了基于多源導航信息融合的發展趨勢，提出了在利用多傳感器觀測量及幾何關系融合的基礎上，加入外界環境變化特征信息，使整個系統更加真實、有效的方法。

2 多源融合方法

目前，衛星/慣性/視覺組合導航多源融合技術在算法方面研究與應用的重點是卡爾曼濾波[13]。它是一種線性最小方差估計，采用狀態空間法在時域內進行濾波，估計多維隨機過程的時域濾波方法。該算法一經提出就在阿波羅登月飛船和C-5A飛機導航系統設計等[14]案例中得到成功應用。最初的卡爾曼濾波使用條件較為苛刻，主要受線性系統及白噪聲要求的限制。在卡爾曼濾波基礎上，研究人員提出了不同的改進算法以適應實際系統的真實狀態，發展出了多樣的信息融合技術。本節主要介紹基礎卡爾曼濾波與常用信息融合技術。

2.1 標準卡爾曼濾波與信息濾波

在理想條件下，卡爾曼濾波算法采用狀態空間法構建線性系統的狀態方程與量測方程；同時統計系統噪聲與量測噪聲的白噪聲特性，并通過數字計算進行實時遞推，由系統每一時間刻度的觀測量對系統狀態作最優估計，其主要步驟如下：

① 狀態一步預測：

(1)

② 一步預測均方誤差陣：

(2)

③ 濾波增益：

(3)

④ 狀態估計：

(4)

⑤ 狀態估計均方誤差陣：

Pk=(I-KkHk)Pk/k-1，

(5)

卡爾曼濾波的飛速發展與應用，使得多傳感器信息融合理論與技術的研究也得到極大發展，其中就有與之密切相關的信息濾波技術。信息濾波基于從信息融合的角度探討系統狀態最優估計問題，具有卡爾曼濾波的基本結構[16]。由卡爾曼濾波基本方程可以得到以信息矩陣Ik表示的信息濾波公式為：

(6)

(7)

Ik/k-1=(I-Nk-1)Mk-1，

(8)

(9)

(10)

(11)

2.2 卡爾曼濾波發散問題

由式(2)可以看出，基本卡爾曼濾波對組合導航系統中噪聲統計模型的要求是較為理想化的。但是，實際應用中當卡爾曼濾波計算增益矩陣時，若Φ，H，Q和R陣發生變化，不再滿足最優估計條件，系統狀態的估計將出現較大誤差，使得增益矩陣計算錯誤，系統得不到準確調節，導致發散。目前，常用的抑制濾波發散的方法主要有衰減記憶濾波、限定記憶濾波和自適應濾波法。衰減記憶濾波和限定記憶濾波均是對新、舊時刻的觀測數據進行處理，前者的解決思路是加強新信息在濾波算法中的作用，減少舊信息對濾波的影響，如孫陶瑩等[18]針對水下SLAM融合數據受海洋背景噪聲和水聲傳感器量測噪聲影響導致關聯復雜、精度低的問題，提出一種基于衰減記憶濾波的平方根無跡卡爾曼濾波PHD-SLAM方法，解決濾波發散問題；后者則是適時地放棄比較靠前的觀測值，僅使用離k時刻最近的若干量測值；朱文超等[19]為解決擴展EKF無法實時、精確跟蹤系統狀態突變而導致整體魯棒性較差的問題，提出一種基于限定記憶濾波的自適應擴展卡爾曼濾波算法，該算法減小舊量測數據對濾波效果的影響，提高估計精度；通過引入自適應因子與漸消因子來實時調節新舊濾波增益陣，并預測狀態值，實現對系統突變狀態的精確跟蹤。

自適應濾波法抑制發散問題的思路是在濾波計算過程中，持續地利用預測修正值對系統模型參數和噪聲統計特性進行估計和修正。在遞推濾波過程中，由濾波本身去判斷系統模型是否變化，若有變化，則將這種變化視為隨機干擾加到噪聲統計中去，并及時對噪聲模型修正。如林雪原等[20]提出了一種改進的GNSS/SINS組合導航系統自適應濾波算法來解決GNSS/SINS組合導航系統中GNSS輸出信息存在誤差方差突變、誤差方差緩變、硬故障和軟故障的問題。在自適應濾波算法中，當系統噪聲序列方差陣Qk和量測噪聲序列方差陣Rk不可(準確)知時，可以利用觀測信息對其估計和修正，也可以直接對增益矩陣K進行估計和修正，消除濾波誤差。

2.3 模糊控制與神經網絡

基于卡爾曼濾波的組合導航信息融合技術在解決實際應用問題時，總是存在著理想條件下系統模型精確度與現實中系統復雜的差異和變化的矛盾。近年來，隨著信息處理、數據統計等領域的交流與融合，針對組合導航中卡爾曼濾波器發散、精度較低和降維等問題，研究人員基于模糊理論、神經網絡等方法，研究出了智能多源信息融合技術，對組合導航系統模型、噪聲模型及增益矩陣進行調整，在不損失狀態估計精度的前提下，抑制濾波發散，增加系統魯棒性。

2.3.1 模糊控制

“模糊”這一概念很早就出現于人們的認知中，比如今天天氣有些冷，那么就加衣服；今天天氣有些熱，那么就減衣服。這里的冷和熱是能夠明顯區分開的2個概念，但是它們之間又沒有明確的區分界限。模糊概念就是將認知上分屬于2個不同集合的事物、信息、狀態和感知等進行部分交叉，這樣就能夠用計算機數字語言表達出重疊部分的含糊概念。因此，將此概念應用于組合導航系統狀態估計中，區別于傳統濾波方法一個輸入對應著一個輸出，模糊控制對輸入的要求就顯得不那么“精確”。實際上，模糊控制中的每一個輸入都對應一個特定的輸出，且這個值可以預測，所以模糊控制本身是不模糊的，它可以用來精確解決不精確、不完全信息融合問題。組合導航系統中，確定輸入量、輸出量和模糊規則是建立基于模糊控制濾波器的關鍵[21]，將精確的輸入量轉化為模糊變量，再結合設計好的模糊規則來計算模糊控制量，將其進行清晰化處理后得到精確的模糊輸出量。

如吳賢寧等[22]在研究旋翼無人機自主著降過程中，因自身機械振動和復合風場環境等因素的干擾，無人機集群回收不夠高效、準確、迅速等問題時，提出一種基于模糊控制和視覺導航的集群自主著降算法。通過模糊控制處理無人機與對應降落標識間的實際水平距離后，得到精準降落控制指令，最終實現無人機集群精準著降；戴卿等[23]為解決GNSS/SINS組合導航中因量測噪聲統計特性的時變性導致載體長時間運行定位精度降低的問題，提出一種基于模糊推理的自適應拓展卡爾曼濾波算法，通過模糊控制線上調整量測噪聲協方差，實現了濾波結果的最優估計。

2.3.2 神經網絡

神經網絡是近年來興起的一個熱點研究領域。神經網絡借由仿生學模擬生物神經系統的神經單元，由許多可以并行運算的處理單元連接構成，單個神經元結構簡單，功能有限，但是當大量神經元構成一個大規模、非線性、分布式、并行處理神經網絡系統后，它可以分布式存儲信息、協同處理信息，具有集體運算能力和自適應學習能力，具備較強的魯棒性和容錯性[24]。神經網絡在控制系統中已經得到諸多研究與應用，但應用于多源信息融合組合導航系統狀態估計方面的研究還不夠深入。目前，比較有代表性的神經網絡模型有多層感知器、多層BP網絡、RBF網絡、PPLN網絡等[25]。神經網絡的非線性特性非常適用于多源信息融合組合導航非線性系統的識別、預測、控制和估計等。組合導航系統狀態估計濾波的本質是輸入和輸出之間的某種映射關系[26]，采用神經網絡進行多源信息融合組合導航系統狀態估計的思路是通過神經網絡算法將多傳感器的輸入信息映射(濾波、線性與非線性變換)為系統輸出的運動參數等狀態信息。神經網絡算法無需對組合導航系統數學建模，且能夠很好地映射非線性特征，在特定條件下可以獲得較高的參數估計精度。另外，神經網絡計算穩定，不需要矩陣求逆和迭代逼近，計算時間明顯少于常規算法，利于提高系統實時性。

目前，基于神經網絡的多源信息融合技術應用于組合導航，主要解決慣導系統初始對準、組合導航狀態估計以及多源信息融合容錯評估、故障診斷等問題。如鮮勇等[27]應用BP神經網絡解決彈道導彈捷聯慣導系統初始對準問題，以SINS與GPS之間的量測位置偏差作為輸入量，以初始對準誤差作為輸出量，分別采用3層和6層的BP神經網絡建立位置偏差與初始對準誤差之間的映射關系，生成BP神經網絡結構，比較了三輸入BP神經網絡、六輸入BP神經網絡和卡爾曼濾波算法估計初始對準誤差的效果。袁英等[28]在基于星光角距的自主天文導航系統研究中，為了克服傳統濾波算法的缺陷，提出基于深度BP神經網絡的智能信息融合算法，利用其強大的學習能力和非線性映射能力，實現對衛星軌道動力學模型的模擬，并結合觀測值對軌道參數進行修正，為非標準多傳感器信息融合問題提供智能化的解決方案。王超等[29]提出一種BP神經網絡輔助的導航姿態估計誤差補償方法來解決SINS/GPS組合導航姿態估計精度不足問題，通過分解卡爾曼濾波的增益矩陣并構建其降維特征向量作為信息輸入;然后，以姿態估計誤差作為期望輸出，對BP神經網絡進行訓練;最后，利用BP神經網絡輸出信息輔助修正SINS/GPS組合導航的姿態估計結果，在明顯降低計算耗時的同時，姿態估計精度能夠提高2個數量級。

3 多源信息融合層級結構

多源信息融合層級結構主要分為數據層、特征層及決策層融合[30]。目前，衛星/慣性/視覺組合導航多源信息融合技術的研究與應用無法明確地定義其融合層級，因為其中往往運用了不同層級結構信息融合之間的交叉互補與關聯變化，不再是單層級的簡單歸納[31-32]。下面簡要介紹各層級的特性及其優缺點：

① 數據層融合處理較為常見的是各傳感器單獨采集到的數據與信息的處理[33](圖2(a))，如視覺傳感器中多源圖像復合、圖像分析與解釋、特征檢測與匹配等；衛星導航方面則是偽距、偽距率及載波相位信息的獲取與分析；慣性測量單元輸出的載體角運動與線運動的觀測量。盡管數據層融合能夠保持較為完整的原始數據，但其局限性也較為明顯[34-35]：信息處理時間長、實時性差；對傳感器采集的原始信息的準確性、穩定性和完全性要求較高；數據交流量巨大，致使系統整體抗干擾性較差。

(a) 數據層

② 在多種傳感器融合處理組合導航信息時，涉及較多的就是信息的特征層融合(圖2(b))。特征層數據融合預先提取了原始信息的特征并進行分析和整理，能夠實現信息的壓縮與去冗余，最大限度地為信息融合提供特征信息，優于數據層融合的性能。缺點是數據丟失容易引起準確性下降[36]。

③ 決策層融合(圖2(c))是目前該領域研究的新方向、新熱點，通過多個不同類型的傳感器觀測同一目標完成基本處理后關聯進行決策融合判定[37]。該方式在組合導航應用中能夠獲得比單傳感器更精確、清晰的決策[38]。優點主要有：對信息交流傳輸帶寬要求較低，系統靈活性好；能夠聚集目標與環境之間的不同類型信息；對一個或多個傳感器融合具有較強容錯能力，可以靈活調整融合策略；對傳感器依賴較小，可以從不同類型的傳感器獲取豐富、多源的信息進行融合處理。但是由于目標和環境的高動態變化、先驗信息的匱乏、數據量的巨大以及更為友好的面向對象的交互系統設計，決策層融合的理論與技術仍有很大的發展空間。

4 衛星/慣性/視覺組合導航多源融合技術研究擴展趨勢

盡管多源信息融合技術在衛星/慣性/視覺組合導航方面的研究與應用已經取得令人滿意的成功，但是隨著越來越多應用場景的融合與交叉，以及信息時代多源信息之間多變的交流與革新，基于組合導航的多源信息融合技術依然存在一些難題以及值得深入、擴展的研究內容[39-40]：

① 多源信息融合層級方面，目前的融合應用多為數據層和特征層融合，前者通過提取不同傳感器的數據解算結果進行融合處理，即直接融合不同導航系統解算得到的速度、位置和姿態等信息；后者更深入一步，通過提取不同傳感器觀測信息的原始特征，進行融合處理，形成信息的特征矢量說明。然而，這2個層級的信息效果都不及決策層，決策層信息融合更為復雜與深入，傳感器采集信息與融合系統處理信息之間仍有擴展空間，因此對于決策層信息融合的研究還有待開展。

② 在融合方式方面，目前的多源信息融合多是階段性應用，其目標較為單一。例如，在引導飛行器自主著降應用中，對使用人工特征的視覺導航進行融合，往往是在自主著降過程的最后一個環節，對全過程采集信息的利用率較低，而且視覺系統初始化耗時較長。另外,對于采用自然特征的視覺導航系統，有時外界因素會導致視覺圖像需要重新連接、采集，視覺信息連貫性受到影響。因此，如何利用衛星導航和慣性導航信息輔助視覺導航快速恢復連續工作狀態是未來研究的一個重點。

③ 目前的多源信息融合技術如模糊控制、神經網絡等研究對象多為衛星/慣性組合導航，與視覺導航融合較少，即目前大部分融合研究的實質是在GNSS拒止情況下改為利用視覺導航信息輔助修正慣導輸出的位姿精度，無法完全做到衛星、慣性和視覺三者融合[41]。然而，視覺導航捕獲的信息的本質是某時刻成像載體與視覺特征之間的線元素與角元素的動態關系，這與衛星、慣性導航信息的數學特性截然不同，可以深入研究如何更好地利用其視覺元素的特征屬性參與多源信息融合。

④ 目前，多源信息融合技術理論研究較為豐富，而組合導航中應用較多的是相對成熟的卡爾曼濾波相關算法[42]，主要原因在于實際應用中，硬件方面只有嵌入式主板，計算能力較弱，濾波成了不得已的選擇；很多系統基于濾波方法已經達到很好的效果(比如組合導航)，且這些效果是大量工程實踐累積的經驗，換成其他方法需要重新設計、重新驗證，若將其作為提高生產力、創造力主流方案，則需要一定的沉淀周期。因此，理論研究與應用價值之間的轉化同樣是一個亟待解決的難題。

5 結束語

隨著信息時代的來臨，多源信息融合技術在各行各業大放異彩。本文歸納、梳理了應用于衛星/慣性/視覺組合導航的多源信息融合技術，通過探討其方法理論與融合結構，整理、分析了多源信息融合技術在衛星/慣性/視覺組合導航領域研究與應用中面臨的亟待解決的難題及目前的解決思路，如非線性系統、濾波發散及融合層級深度等問題，為該領域實現從理論研究向應用價值的轉化提供一些新的參考。