由感知到動作決策一體化的類腦導航技術研究現狀與未來發展

楊闖，劉建業,2,3,*，熊智,2,3，賴際舟,2,3，熊駿

1. 南京航空航天大學 自動化學院 導航研究中心，南京 211106 2. 先進飛行器導航、控制與健康管理工業和信息化部重點實驗室，南京 211106 3. 衛星通信與導航江蘇高校協同創新中心，南京 210016

動物具有優秀的(群體)導航能力，可實現由原始感知信息的輸入到準確、可靠、靈活的導航動作的直接輸出，這種端到端的智能行為，一直是人工智能(AI)研究領域持續關注的焦點之一。近年來，隨著腦與神經科學的不斷發展，研究者逐漸揭示了昆蟲和哺乳動物及其群體大腦導航機理[1-3]，受這些機理啟發，以及AI所依賴的智能算法、計算能力和數據的發展，一種新型仿生導航技術“類腦導航”得到了較大發展，展現出了自主環境感知、空間認知、面向目標導航(路徑規劃與動作決策)一體化智能計算能力，在自主智能無人系統中具有較大的應用潛力。

無人機密集集群作為無人系統的主要形式之一，是由成百上千甚至更多無人機個體通過某種特定集群機制所形成的一類高度可重構、按需設計、分布式自主智能的密集網絡化無人系統，在充分發揮數量優勢的情況下，可以提供顯著增強的任務執行能力、靈活性和魯棒性，在偵察、搜救、飛行表演、測繪測量等軍民用領域具有廣闊的應用前景[4]。但同時無人機密集集群龐大的網絡化群體結構和復雜飛行環境也對集群導航技術提出了特殊要求：能適應衛星不可信、電子干擾、夜間等復雜飛行環境(魯棒性)；能在配備低成本導航設備前提下實現準確的導航精度(準確性)；感知與導航信息能及時生成動作決策而快速響應復雜外部環境及密集集群環境(實時響應動作)；應有較高的自主智能性(智能性)；通過少量無人機個體的導航信息交互即能實現整個集群導航的能力(計算效率)?，F有無人機集群導航算法難以較好或同時滿足上述需求[5-7]，亟需發展能適應無人機密集集群復雜飛行環境的魯棒性強、準確、實時響應動作、智能性強以及計算量小的新型集群導航方法。

類腦導航技術具有解決上述無人機密集集群導航難題的潛力。其中，基于昆蟲導航機理的多模態仿生傳感器和哺乳動物導航機理的類腦傳感信息處理機制的類腦環境感知技術具有低成本、多模態測量優勢，可以在復雜作業環境下提供準確的環境及個體運動信息；哺乳動物導航機理啟發的導航細胞自組織神經計算機制的類腦空間認知技術，不依賴高精度傳感器和準確導航模型，可以提供較為準確可靠的導航參考；哺乳動物導航機理啟發的端到端面向目標類腦導航技術，無需導航參數解算，可實時耦合原始感知、認知與動作決策；類腦導航技術架構具有較好開放性，可以擴展更多類腦智能行為；昆蟲個體以及哺乳動物導航細胞自組織行為啟發的類腦群體導航技術，僅通過與局部群內或與環境的相互信息交互既可在整個群體層面涌現有序的協同行為。

類腦導航技術的上述特點與無人機密集集群系統對集群導航魯棒性、準確性、實時響應動作、智能性以及計算效率的要求有著緊密的契合之處，是實現無人機密集集群導航魯棒性強、準確、實時響應動作、智能性強以及計算量小等要求的一條新思路和途徑。本文基于作者團隊申請并主持的國家自然科學基金項目“類腦感知定位機理的無人機密集集群編隊協同導航方法(61873125)”研究進展，對呈現上述特點的類腦導航技術研究現狀、研究新趨勢以及存在的問題和挑戰進行了詳細論述。

本文作者團隊曾綜述分析并發表了無人機集群類腦導航系統[8]一文，但本文與前文論述的主題和方法不同，前文著重分析了一類僅計算輸出導航與相對導航參數(姿態/速度/位置)的腦啟發導航模型；而本文闡述了類腦導航技術最新研究進展，研究了另一類直接輸出動作決策的感知/認知/路徑規劃/動作決策一體化類腦導航智能體，本類方法在實時響應外界環境并自主生成動作決策方面有潛在的優勢。

1 類腦導航技術

1.1 動物大腦導航機理

認知地圖是動物進行空間認知和導航的基礎。昆蟲將與其他個體以及環境交互過程中形成的認知地圖存放于外部環境中，如螞蟻通過在環境中釋放的信息素的鋪設和跟蹤來建立正常交通的路線和網絡，這些路線和網絡構成了螞蟻的認知地圖[9]；而哺乳動物的認知地圖則位于大腦的海馬區中，該腦區中多種導航細胞實現對環境信息的編碼和記憶，形成表征空間的內部認知地圖。昆蟲/哺乳動物形成認知地圖或基于認知地圖進行導航的機理如圖1所示。

圖1 動物大腦端到端導航機理Fig.1 Mechanism of end-to-end navigation of animal brain

1) 昆蟲大腦導航機理

昆蟲同時采用非自我中心和自我中心2類信息組合定向[1]。非自我中心主要有：復眼感知太陽方位/光線強度與光譜梯度；復眼高度?；男⊙鄹兄炜掌窆膺M行定向；觸角感受氣味/風向等信息進行相對定位，并敏感地球磁場定向。自我中心信息為內部體感的角速度。昆蟲大多利用光流進行測速，積分獲得距離信息，而步行螞蟻等昆蟲使用步進積分器來估計行進距離。然后對方位和行進距離路徑積分定位。昆蟲通過復眼觀測全景視圖、觸角感受氣味等信標進行信標定位。使用復眼視覺快照(Snapshot)等信標，通過最大化當前和記憶信標之間的匹配，沿著圖像差異最小的信標方向進行路線跟隨[1]。

中樞復合體(Central Complex)被認為是昆蟲導航與控制的關鍵腦區，主要由扇形體、橢球體、前腦橋和一對小結構成[1]。當前主要揭示了中樞復合體的路徑積分導航神經機制，如圖1(a)所示。橢球體神經元實現對非自我中心和自我中心方位傳感信息的融合，融合后的方位信號投射到前腦橋中，激活編碼某一方位的特定神經元，以此表征昆蟲方位。小結接收光流速度信息并投射到扇形體中循環連接的神經元，循環神經元結合前腦橋編碼的方位信息在這里完成路徑積分。當前時刻的定位定向信息不斷與小結記憶中的目標方位位置進行比對，比對結果產生誤差信號驅動特定動作神經元產生動作指令。

2) 哺乳動物大腦導航機理

哺乳動物導航能力以大腦內嗅皮層——海馬體(海馬區)中的大量導航細胞集群放電活動為基礎，通過大量導航細胞(神經元)形成的神經回路進行導航和定位計算，是大腦神經網絡多層級信息編碼和表征的結果。海馬區中的3種關鍵導航細胞為頭朝向細胞、網格細胞、位置細胞，如圖1(b)所示。哺乳動物經過長期導航行為學習和發育，形成上述3種導航細胞特定的突觸連接結構，進而構成大腦導航神經網絡計算回路呈現出：在大腦前庭系統角速度輸入或視覺信息轉化的角速度輸入下，特定的頭朝向細胞會放電激活，以此表征方位信息；網格細胞對自運動信息(頭朝向細胞提供的方位輸入和速度細胞提供的動物前向速度輸入)進行路徑積分，并在動物到達環境中六邊形網格狀區域頂點時激活放電，對局部空間進行不同分辨率和方向的度量，形成高效緊湊的空間度量地圖，被用來為空間中任意位置提供矢量導航[10]；多尺度網格細胞路徑積分的結果融合產生位置細胞特定的放電活動[11]，動物到達環境某個區域時，特定的位置細胞會激活放電，以此指示動物所處位置及周邊空間信息，大量位置細胞聯合編碼所處整個環境，形成表征環境的內容認知地圖，但由于路徑積分存在累積誤差，上述生成的認知地圖不準確；此外，圖像、聲音、氣味等外部環境信息也會激發特定位置細胞放電，形成對特定環境區域的記憶，通過大量位置細胞的聯合記憶也能生成認知地圖，但此時的認知地圖是離散的片段式；最終，位置細胞通過融合外部信息和路徑積分信息生成準確連續可靠的認知地圖[12]。頭朝向細胞、網格細胞以及位置細胞神經計算回路中還存在其他多種導航細胞，完成對導航信息不同層級的神經計算[13]。

大腦中的海馬體和內側前額葉皮質被普遍認為是處理動物面向目標導航的2個關鍵腦區[14]，如圖1(b)所示，伏隔核一方面接收海馬體產生的空間認知信息，另一方面從腹側被蓋區接收由多巴胺神經元產生的獎勵預測誤差信息(即當前與目標位置間的誤差)，然后融合此二種信息并通過伏隔核中的動作細胞產生一系列動作指令，內側前額葉皮質接收動作指令指導動物的運動行為，最終完成面向目標的導航過程。

上述昆蟲和哺乳動物大腦導航機理表明：二者都是通過大腦內部多種大量導航細胞(神經元)自組織集群特異性放電活動對自運動以及視覺/聽覺/嗅覺等外源性輸入信息進行端到端導航神經計算的，均包括3個過程：路徑積分、信標校正以及面向目標導航；二者導航過程均可以抽象為3個階段：環境感知、空間認知、面向目標導航；此外，昆蟲通過大量昆蟲個體的自組織集群形成群體智能，而哺乳動物通過導航細胞的自組織集群形成產生空間智能的海馬區和內側前額葉皮質結構，具有互補對稱性[9]。

1.2 類腦導航技術概念

類腦導航是一種動物大腦端到端導航機理啟發的新型仿生導航技術，如圖2所示，以自運動等內源性、視覺等外源性信息為輸入，借鑒動物感知、認知和導航腦區結構和信息處理機制，利用AI技術實現從原始感知信息輸入到導航行為決策的直接輸出，形成具有自主環境感知、空間認知、路徑規劃與動作決策一體化能力的智能體。類腦導航不僅隱含了導航參數解算，更實現對環境信息的學習、推理、探索、記憶等認知過程以及綜合任務目標做出的路徑規劃與決策。

圖2 類腦導航工作流程Fig.2 Workflow of brain-inspired navigation

類腦導航包括類腦環境感知、類腦空間認知以及面向目標類腦導航3個過程。類腦環境感知借鑒動物感知環境方式和處理多感官信息的選擇性注意、逐級抽象等神經機制，采用卷積神經網絡等AI技術實現對多模態傳感信息的多維度特征提取并解析自運動信息及環境信息；類腦空間認知借鑒大腦導航細胞自組織集群放電機制，采用吸引子神經網絡等AI技術構建空間認知模型，將自運動信息和環境信息轉化為表征自身導航信息及環境特征事物關系特征的導航細胞特異性放電活動，構建認知地圖；面向目標類腦導航借鑒動物面向任務目標位置導航行進時認知地圖特定導航細胞與動作細胞連接激活神經機制，采用強化學習等AI技術實現面向目標位置的路徑規劃與動作決策過程。

2 類腦導航技術研究現狀

2.1 類腦環境感知

動物具有多種精致巧妙的感覺器官以及感官信息處理機制，這些是動物實現準確、高效感知自身運動、同伴以及周圍環境信息的關鍵。類腦環境感知主要研究借鑒動物豐富的視覺、觸覺、嗅覺、聽覺等多種感覺器官生物結構及其多模態感官信息處理機制，實現對載體自身導航信息以及周圍環境多維度特征提取。其中基于昆蟲感覺器官的仿生傳感器以及基于哺乳動物大腦感官信息處理機制的選擇性注意、逐級抽象等類腦環境感知神經計算方法得到了大量研究。

2.1.1 多模態仿生導航傳感器

當前研究使用較多的仿生類導航傳感器主要有光學類、電磁學類、力學類。

1) 光學類?；诶ハx復眼結構的復眼傳感器可以實現高分辨率大視場成像；利用復眼結構中眾多子眼形成的視差及方位感知能力，實現目標三維定位；還可以感知天空偏振矢量場信息獲得導航能力?；诶ハx視網膜感受像素強度視域變化的機制的光流傳感器不僅包含了運動信息，還包含有關景物三維結構的豐富信息。同樣基于動物視網膜感光機制啟發的事件相機通過異步方式測量每個像素亮度變化實現對時間/位置和符號進行編碼，相比傳統以固定速率捕獲圖像視覺傳感器具有高動態范圍、高時間分辨率、低功耗、不受運動模糊影響等優勢[15]。

2) 電磁學類。蝙蝠通過發出超聲波不僅可以探測物體距離、方向和運動速率，還可以判斷其大小、形狀和結構[3]，基于該原理的超聲波傳感器/雷達計在導航、避障等方面得到了大量應用。

3) 力學類。基于昆蟲平衡棒(Haltere)感知角運動機理的仿生陀螺儀具有抗震性強、受溫度影響小等優勢?；趧游镉|覺感知物體材質、空間屬性機理的仿生觸覺傳感器可以進行物體空間、物體感知，彌補視覺傳感不足，實現對環境的精細感知，如加州大學伯克利分校[16]開發了基于深度學習/觸覺傳感器的“深度觸覺模型”，實現機器人通過觸覺信息精確定位物體，進一步融合視覺/觸覺，實現視覺粗略感知、觸覺精細感知；此外，也可以以自我中心和非自我中心為參考系感知自身或物體空間位置[17]，如普渡大學[18]制造了仿生蜂鳥飛行機器人，采用類腦導航算法僅依靠觸覺傳感信息實現在黑暗條件下像蜂鳥一樣自行飛行與避障。

此外，融合使用上述多模態傳感器，可以感知獲得更加豐富的不同尺度層級的環境及自運動信息。加州大學伯克利分校[19]為美國國防高級研究計劃局(DARPA)研究設計了仿昆蟲輕量微型無人機硬件平臺，同時集成了仿生復眼、昆蟲平衡棒仿生陀螺儀、仿生光流傳感器、U型仿生磁強計等多模態仿生傳感器，具有環境感知信息豐富、動態飛行環境適應性強、測量準、節能等多種優勢?；诿鄯湟曈X機理和導航方法的光流計算模型[20]，通過感知測量圖像多維度運動和光流場進行導航，相比傳統視覺法具有簡單、魯棒性強等優勢，已用于多種自動導航系統研制，如基于光流導航與復眼結構結合的仿生微型室內飛行器[21]。此外，也能進一步融合聲音[22]、氣味[23]等其他模態仿生傳感信息用于感知環境和自身運動信息。

2.1.2 類腦傳感信息處理

面對海量傳感信息，借鑒動物感官信息處理機制，快速準確實現對場景感知、目標識別與特征提取是類腦環境感知需解決的另一重要問題。

動物是以全景信息為基礎進行視覺信息處理。動物在處理視覺信息時，首先對原始全景圖像進行壓縮，壓縮后的低分辨率圖像信息仍包含豐富的導航信息，用于視覺匹配、運動狀態檢測等，這種視覺處理方式相比視覺特征點提取具有更強的魯棒性[24]。此外“快照模型”提供了有效的根據當前經歷的信標視圖信息和記憶視圖之間的匹配度進行視覺導航指引的方法[25]。

動物以選擇注意機制、逐級抽象機制處理海量感官信息。作為降低圖像數據處理復雜度的重要預處理步驟，基于視覺注意機制的圖像視覺顯著性區域檢測技術發展迅速，有效解決了傳統對圖像數據所有區域不設優先級的處理方法造成了大量的計算浪費問題[26]。受Hubel和Wiesel[27]關于初級視覺皮層定向選擇性的研究以及近幾年逐漸發展的深度學習的啟發，基于生物視覺神經元局部感受野機制的擅長處理連續輸入信號的卷積神經網絡(CNN)被提出，在環境快速感知和目標識別領域得到了大量應用。用CNN來研究從大量感覺輸入中快速分層提取有用特征并逐級抽象，在單目視覺深度估計任務中得到了成功應用[28]，谷歌DeepMind提出了一種抽象視覺定位方式，省去以點云或像素的形式構造顯式地圖，而是在更高、更抽象的級別(如對象級別)學習環境的隱式表示[29]。蘇黎世聯邦理工學院[30]結合CNN和路徑規劃控制系統，將無人機實時感知的原始圖像抽象映射為路點和期望速度形式的魯棒表示，實時耦合無人機感知與動作。此外，還有如基于拓撲知覺理論的前饋式層級識別模型[31]等其他大腦視皮層生物啟發的視覺信息處理方法。

2.2 類腦空間認知

類腦空間認知通過大腦導航細胞的自組織集群放電活動實現對類腦環境感知過程提取的自運動信息(方位/速度)以及解析的環境信標信息的導航解算，并將導航信息轉化為大腦內部特定的導航細胞放電活動，同時將解算的位置信息與信標信息通過位置細胞關聯記憶和存儲，完成認知地圖的構建。其中導航細胞自組織集群放電活動的神經計算是類腦空間認知的基礎，其神經實現和計算機制一直是一個開放性問題，當前模型主要有：連續吸引子神經網絡(CANN)、深度學習模型、脈沖神經網絡模型。上述模型，均是基于神經網絡中大量導航細胞的集群放電活動涌現的；另一類是基于單個導航細胞模型，如振蕩相干模型[32]、貝葉斯大腦模型[33]，此類模型認為空間認知信息的計算在單個導航細胞計算實現，然后通過干涉或加權融合得到全局統一的導航信息進一步形成認知地圖。本文重點對基于導航細胞集群放電機制的連續吸引子神經網絡、深度學習模型、脈沖神經網絡模型進行分析。

2.2.1 連續吸引子神經網絡模型

CANN是一種具有特殊網絡連接結構的循環神經網絡，認知神經科學研究表明CANN刻畫了大腦信息處理機制的本質特征，是神經信息表達的典型計算模型，其內部神經元集群放電活動具有高效、穩定、平滑的參數化記憶編碼信息的能力。CANN的上述特性與哺乳動物大腦導航細胞集群放電表征動物導航參數尤為切合，已成功應用于建模頭朝向細胞、網格細胞以及位置細胞神經計算模型，具有很強的生物意義和工程應用前景。代表性的研究如Burak和Fiete提出的CANN網格細胞精確路徑積分模型，接近神經生理學觀察的大鼠網格細胞路徑積分保持精度[34]。Milford團隊基于鼠腦頭朝向細胞和位置細胞神經計算機理的RatSLAM系列視覺仿生即時定位與建圖(SLAM)算法[35]，如圖3所示，可以從較弱的視覺輸入信息構建大型和復雜區域認知地圖，并基于低成本視覺傳感器進行了66 km郊區建圖、連續運行2周的室內機器人建圖?；贑ANN的類腦空間認知方法得到了大量研究和應用，詳細內容可查閱文獻[13]。

圖3 RatSLAM算法Fig.3 RatSLAM algorithm

2.2.2 深度學習模型

采用遞歸CANN描述位置細胞、網格細胞等導航細胞作用機理時，表現出較好的模型適用性[34]。然而，這些模型通常依賴于合適的突觸權值，同時這些權值需要呈現出一種特定不對稱連接形式，以便根據自運動信息來移動吸引子狀態。這些特殊的連接形式是否真實存在于動物大腦中目前尚不清晰。此外，CANN主要考慮了少數幾種導航細胞作用機制，而未包含可能存在的其他類導航細胞。為全面地模擬海馬-內嗅皮層導航機理，需要建立一個完備的模型以能夠同時包含其他導航細胞以及神經生理學機制。而近年來功能不斷發展的深度循環神經網絡(RNN)在上下文相關或時序相關的自然語言、語音等數據處理中得到了廣泛研究與應用，具有較好地融合當前輸入與過去歷史的特性以及類腦處理復雜空間認知導航問題的潛能[36]，是減小CANN模型不完備性的一條途徑。圖4為哥倫比亞大學[37]利用RNN訓練速度和航向輸入完成了模擬二維導航任務，在對訓練好的RNN網絡節點進行可視化操作時，呈現出了與神經生理學觀察一致的網格細胞、邊界細胞和條紋細胞等導航細胞放電表示樣式。同時，谷歌DeepMind團隊[38]在用RNN中的長短期記憶網絡(LSTM)訓練速度和航向信息時也呈現出了網格細胞放電樣式，此外，還證明了網格細胞等導航細胞支持矢量導航的觀點。上述兩項最新發現，證明了把RNN用于空間的定位和導航時，隱節點的物理意義類似于大腦位置細胞、網格細胞、邊界細胞等導航細胞。

圖4 循環神經網絡訓練類腦導航[37]Fig.4 Brain-inspired navigation trained by RNN[37]

2.2.3 脈沖神經網絡模型

基于腦啟發的脈沖神經網絡(SNN)模型相比基于數學理論推導的CANN、深度學習等人工神經網絡模型更加接近實際生物結構，其神經元的輸出具有時間維度編碼的脈沖序列，多個神經元可以實現時-空二維空間的表達能力?；赟NN的類腦空間認知模型大部分連接由大腦結構預先定義，只需較少的參數學習就能較好建模位置細胞、網格細胞、頭朝向細胞等大腦導航細胞集群編碼導航信息，實現映射環境[39]。此外，把大腦模仿成神經處理的層級結構，初始階段不建立神經元全連接，通過將識別的環境成分映射到有限數量的神經表征中，從而學習認知未知環境區域，同時使學習需求最小化[40]。但SNN主要采用依賴神經元脈沖時序而定的可塑性進行網絡參數學習，是一種局部訓練的非監督非反向傳播算法，但不能保證一定能訓練出性能優異的網絡，另外，SNN網絡訓練比較困難，因此基于SNN的類腦認知模型還處于初級研究階段。

2.3 面向目標類腦導航

面向目標類腦導航通過無監督學習建立認知地圖中表征方位、位置、障礙物等多種導航信息的頭朝向細胞、位置細胞、邊界細胞等多種導航細胞與表征多種動作行為的多種動作細胞之間的智能神經連接，完成由原始環境感知信息輸入到動作決策的直接輸出過程，實現接近動物端到端面向目標導航的智能行為，如圖5所示。無監督學習通過讓機器人自主探索面向目標導航任務，自主加強特定導航細胞與特定動作細胞的突觸連接強度，最終形成一種穩定的連接模式，在這種連接模式下，導航細胞的每種放電狀態都對應一種特定的最優的動作細胞，實現面向目標的導航過程。代表性的研究如用赫布學習建立頭朝向細胞/位置細胞與動作細胞的智能連接，實現機器人自主面向目標行進導航[41]；采用網格細胞對當前和目標位置分別進行多尺度空間編碼，通過競爭學習建立當前和目標差異與運動神經元的特定連接，實現了機器人緊湊的面向目標導航過程[42]；在矢量導航框架下，通過獎勵機制和關聯學習實現機器人面向目標導航路徑自主優化決策，以動物抄近路方式到達目標[43]。無監督學習類面向目標類腦導航具有自主學習導航行為決策的優勢，靈活性較強，缺點是學習效率較低，效果有限。

圖5 基于無監督學習的面向目標導航Fig.5 Unsupervised learning-based goal-directed navigation

CNN為從大量感覺輸入中快速分層提取有用特征提供了一種可行的方式；深度學習的發展，為強化學習在大規模決策問題中的應用提供了可能。這些研究促進了另一類面向目標導航“深度強化學習導航”的發展。深度強化學習導航將深度學習的感知能力和強化學習的決策能力相結合，并能夠通過端到端的學習方式快速實現從原始圖像輸入到導航行為決策的直接輸出，建立起感知與行為決策之間的智能連接，在最大化策略函數的過程中實現了智能體的導航過程，是一種更接近動物思維方式的端到端的面向目標導航方法。深度強化學習導航在3D游戲[44]、迷宮[45]、室內[46]等場景仿真中取得了較好效果，甚至表現出了超越人類的能力。

深度強化學習導航對于游戲等這種復雜的、每步行為之間存在較強相關性的、通過短期的獎勵即可得到最優的策略的環境有很好的效果，但是對于獎勵稀少，需經過長期獎勵才能獲得最優策略的導航場景，很難快速學習出最優策略，可通過引入多源感知信息構造獎勵數量[45]、對記憶場景的復用[47]增加獎勵數量等手段緩解因獎勵過少而引起的尋優過慢及習得策略不優等問題。深度強化學習導航應用前需進行大量試錯式迭代訓練，大多載體在應用時一般很難承受如此多的試錯，也很難在實際場景中進行訓練。解決訓練難題一方面可通過充分利用已有經驗加快和加強新任務的學習，如在線元學習[48]，基于類似場景下可控載體采集的數據進行技能訓練[49]；另一方面通過開發環境模擬器，在虛擬場景中進行訓練[50]，但仿真場景和真實場景存在較大差別，訓練出來的模型不能很好地泛化到真實場景中。此外，還可以引入遷移學習機制，提高模型通用性，如谷歌DeepMind團隊[51]構建的雙路徑深度強化學習導航架構，用兩路RNN來分別記憶不同環境下通用的導航尋路策略內核和不同環境下位置的重新表征，進一步通過CNN實時提取視覺輸入，實現了在沒有地圖庫參考、僅給出幾個地標點(任務獎勵)情況下，成功在離線街景中到達目的地。該深度強化學習導航的主體“導航尋路策略”還具有在不同城市間的遷移能力。

3 類腦導航研究新趨勢

當前，國內外研究者從類腦環境感知、類腦空間認知以及面向目標類腦導航等3個方面開展了類腦導航研究，初步形成了機理分析、建模、仿真與實驗驗證一體化的研究體系，表現了一定類似動物的自主智能特性，但還存在著智能水平欠佳、模型不完整、實時性差等問題，尚處于探索和完善階段。當前，研究人員通過擴展類腦導航與更多類腦智能行為的耦合，嘗試實現類腦導航神經形態軟硬件一體化設計，通過集群機制促進類腦導航向類腦群體導航發展，進一步提高類腦導航自主智能性。

3.1 類腦導航智能化

動物進行空間認知和導航時利用了包括感官信息激發位置細胞放電、空間記憶和推理在內的多種并行機制[52]。現有類腦導航研究主要從自運動信息和視覺2個信息源模擬動物大腦導航過程，忽略了記憶、推理等其他機制的作用，無法從系統層面模擬大腦導航機制。事實上，海馬-內嗅皮層中的位置細胞-網格細胞回路在編碼地理位置信息的同時，還進行編碼記憶聲音頻率，物體形狀及其他抽象的任務特征空間[53]，位置細胞-網格細胞的功能可能比在地理環境中進行定位要更加廣泛，如圖6[52]所示。人和動物進入新環境時，仍表現出高效準確的認知導航能力，與大腦基于記憶的推理能力息息相關[54]，如基于網格細胞的視覺識別、記憶和推理模型[55]。因此，如何共用位置細胞-網格細胞神經回路，將類腦導航與記憶、推理、知識空間或語義空間等更多智能行為耦合，產生更強大的類腦導航能力，是未來研究熱點，如基于類腦導航機制和情節記憶的服務機器人[56]。

3.2 類腦神經形態導航系統

當前，國內外主要從軟件算法層面開展了類腦導航技術研究，具有一定的自主智能及魯棒性。但由于當前類腦導航算法實現過程主要還是基于CPU平臺的馮·諾依曼計算體系結構，存在模型復雜、計算量大、實時性差、功耗高等弊端[11]。實際上，動物大腦高效、準確、實時的導航能力還與神經生理結構密切相關，類腦導航研究還需考慮硬件智能的設計。如何借助基于脈沖神經網絡的神經形態技術，將軟件智能與硬件智能二者優勢有機融合，從結構層次模仿腦、器件層次逼近腦智能層次超越腦，建立更強大的類腦導航系統，實現類腦導航軟硬件一體化，是實現更深層次模擬動物導航面臨的關鍵問題和挑戰，也是未來應用于無人載體研究的重點。美國諾貝爾生理醫學獎獲得者Edelman團隊提出了類腦導航系統軟硬件一體化設計架構“BBD”(Brain-based Device)[57]，如圖7所示，包含了從傳感信息輸入、類腦認知地圖構建、行為決策、行進導航以及運動控制全過程，為類腦神經形態導航系統的設計提供了較好的范例。

圖6 類腦導航與記憶的耦合[52]Fig.6 Coupling of brain-inspired navigation and memory[52]

謝菲爾德大學[58]“Brain on Board”項目基于昆蟲復眼視覺開發了類蜜蜂腦軟硬件架構四旋翼無人機平臺BeeBotV2，具有體積小、能耗低等優勢。加州大學歐文分校[59]首次采用SNN架構類腦芯片TrueNorth實現了基于CNN的無人駕駛小車野外自主導航、決策與控制一體化測試，具有硬件體積小、功耗低、并行計算等優勢；曼徹斯特大學采用其SNN架構類腦芯片SpiNNaker實時解析視覺信息實現了機器人全自主導航與行駛。蘇黎世聯邦理工學院Yulia團隊[60]設計了基于SNN的SLAM算法，并在混合模擬/數字神經形態硬件平臺進行了測試實現了較好的時間復雜性和節能；蘇黎世聯邦理工學院[61]開發了微型無人機計算平臺用簡化CNN類腦視覺環境感知與飛行動作決策一體化算法，并基于ASIC超低功耗AI芯片Gap8設計了類腦導航計算機，實現了27 g微小無人機全自主智能飛行。近期，清華大學設計開發了基于“天機”混合異構類腦芯片的軟硬件一體化計算平臺[62]。通過共用樹突回路，融合了基于精確多位值處理計算信息機制的人工神經網絡硬件計算回路和基于二進制脈沖序列的神經形態硬件計算回路；采用神經狀態機算法融合了基于視覺、語音、IMU傳感信息的CNN、SNN、CANN等多模態神經計算回路，實現了無人駕駛自行車自平衡、動態感知、目標探測、跟蹤、自動避障、語音理解、自主決策等功能。上述研究為發展自主環境感知、空間認知、路徑規劃與動作決策一體化能力的類腦神經形態導航系統及其工程應用奠定了基礎。

圖7 基于BBD的類腦導航系統架構[57]Fig.7 Brain-inspired navigation system based on BBD[57]

3.3 類腦群體導航

自組織行為是自然界中常見的現象，如協同工作的蟻群和蜂群、編隊飛行的鳥群和蝙蝠群、結隊巡游的魚群等。這些現象的共同特點是一定數量的自主個體通過局部群內以及與環境的相互交互和通信，在整個群體層面上呈現有序的協同樣式和行為。上述自組織機制為實現類腦導航從個體智能導航到群體智能導航產生提供了一個很好的生物模型。當前研究人員主要借鑒昆蟲以及蝙蝠等哺乳動物個體自組織機制以及哺乳動物個體大腦導航機理啟發的導航細胞自組織機制開展了部分集群類腦導航研究。

1) 生物個體自組織機制

昆蟲通過與環境以及其他昆蟲個體的自組織信息交互完成群體導航過程。其中昆蟲通過向環境釋放某種吸引或排斥物質來建立正常交通的路線和網絡，這些路線和網絡構成了昆蟲的認知地圖，代表性的研究如Jimenez等[63]基于螞蟻正反饋和負反饋信息素集群認知地圖構建機制，采用SNN在Netlogo多智能體仿真驗證平臺實現了機器人集群認知地圖的高效準確構建和自組織機制的機器人群體智能導航。Bonnet等[64]研究了蜂群和魚群通過視覺信號(如不同的形狀、顏色和條紋)和行為信號(如加速度、振動和尾巴運動)進行個體導航信息傳遞交互機制，通過機器人協助實現魚群和蜂群跨物種協同集群飛行。

哺乳動物同樣通過與環境以及其他個體的自組織信息交互完成群體導航過程。近兩年來，認知神經學家開始探索以蝙蝠群體為代表的哺乳動物群體導航機理[65]，如圖8所示。當前被證實的蝙蝠群體導航神經元[66-67]：敏感空間位置的三維位置細胞，敏感空間角度的三維方向細胞，敏感行進距離的三維網格細胞，以及追蹤臨近事物運動軌跡和感應同伴位置的社交位置細胞等三維導航細胞[2]，這些細胞協同工作來繪制蝙蝠(群體)的三維空間認知地圖。此外，近年來，群體智能決策“深度多智能體強化學習”技術[68]的出現和發展，為研究群體在與環境交互中習得智能決策提供了便捷計算架構。結合構建的類腦三維空間認知地圖以及深度多智能體強化學習，開發三維群體環境感知、空間認知、面向目標導航一體化的端到端計算架構，即“三維集群類腦導航”，將是未來群體智能研究的熱點。

圖8 三維類腦群體導航神經機理[65]Fig.8 Neural basis of 3D brain-inspired swarm navigation[65]

2) 導航細胞自組織機制

澳大利亞國防科技集團Vladimir等[69]將哺乳動物海馬體導航細胞自組織路徑積分與導航機制融入哈密頓動力學集群控制模型融合的大規模無人機-無人車聯合集群元認知監督導航/路徑規劃/動作決策一體化模型，此外，美國約翰霍金斯大學開展了基于大腦海馬區導航細胞自組織機制的無人機集群感知/認知/路徑規劃與動作決策一體化探索研究。

如前文所述，昆蟲個體自組織集群機制與哺乳動物大腦導航細胞自組織集群機制具有較好的互補對稱性[9]。昆蟲自組織集群感知、空間認知與導航模型具有較高的群體智能；導航細胞自組織集群導航神經計算機制得到了大量研究，具有穩定可靠的導航結果。因此，如何有效融合此二類自組織機制，發展“昆蟲/導航細胞”自組織集群環境感知、空間認知與面向目標導航神經計算機制，是提升無人機密集集群導航性能的另一途徑，也是作者團隊重點研究的領域之一[70]。

4 類腦導航應用中存在的問題與挑戰

如前所述，類腦導航是一種大腦導航機理啟發下的端到端推理學習型導航方法，借鑒動物大腦導航細胞自組織集群神經計算機制，利用AI技術實現從原始傳感信息輸入到導航行為決策的直接輸出，形成具有自主環境感知、空間認知、路徑規劃與動作決策一體化能力的類腦導航模型。從當前類腦導航技術研究來看，應用于無人機密集集群系統主要存在類腦導航模型適用性、可解釋性、精確性問題。

1) 類腦導航模型適用性。類腦導航模型是動物大腦導航細胞自組織連接結構及神經計算機制啟發下的神經網絡模型，雖然模型中的大部分連接由大腦結構預先定義，但其連接權值大多仍需采用學習的方法進行優化和確定，習得的模型在相近場景中具有較好適用性，但差別較大場景還有待進一步提高，需要解決模型遷移或快速自學習問題，這是類腦導航走向實際應用首要問題。

2) 類腦導航可解釋性。類腦導航的3個過程：類腦環境感知、類腦空間認知以及面向目標類腦導航部分模型仍依賴黑箱建模的深度學習，當前的深度學習的可解釋性還相對較差，若應用在實際無人機密集集群系統中出了問題很難找到問題的原因，也比較難排查，因此，如何引入更多的大腦導航腦區結構及信息處理機制，提高深度學習的可解釋性具有重要的研究意義。

3) 類腦導航精確性。當前類腦導航還難以精確解算三維姿態、速度和位置等導航參數，較為成熟的研究是通過建立環境感知與行為決策之間的智能連接，解決“到哪去”以及“怎么去”等推理和決策問題。然而，當前階段這些精確導航參數仍是無人機密集集群系統控制技術不可缺少的信息[71]。因此，目前類腦導航無法單獨應用于無人機密集集群系統，需要傳統導航算法的支持。

5 結 論

類腦導航技術初步形成了環境感知、空間認知與自主路徑規劃決策一體化的端到端技術特征，表現了一定的動物導航自主智能性，進一步將重點向與更多類腦智能行為耦合、神經形態類腦導航系統、以及類腦群體導航發展。類腦導航研究現狀及未來發展主要研究內容如表1所示，這些研究及其組合有望提高復雜工作環境下無人機密集集群導航的魯棒性、準確性、實時響應動作、自主智能性以及計算效率。盡管目前類腦(群體)導航技術僅僅是對所發現的少數部分動物大腦導航機理借鑒，未能從系統層面模擬和借鑒動物大腦導航機理。隨著腦與神經科學、人工智能、神經形態技術以及硬件技術的持續發展，類腦導航技術可以展現出更強大的功能和智能性，在無人機密集集群系統的應用中具有較大潛力。

表1 類腦導航技術典型研究Table 1 Typical studies of brain-inspired navigation