


*項目來源:北京航空航天大學2021年度教改項目“視覺SLAM基礎教學改革”。
作者簡介:崔林艷,博士,副教授。
DOI:10.3969/j.issn.1671-489X.2024.10.033
摘? 要? 基于“高階性、創新性、挑戰度”一流本科課程建設的基本原則,堅持“以學生為中心、以成果為導向(OBE)”的教學指導思想,面向課程視覺SLAM基礎進行教學改革研究。圍繞學院航天綜合實驗室已建設備和環境,結合課程講授的基礎理論,實現課程思政與航天應用相結合、以火星地形智能感知和火星車定位的應用案例為牽引的航天特色案例式課程教學改革。利用學校火星探測實驗環境搭建火星車智能環境感知實驗平臺,引入火星地面環境三維建模和基于視覺的火星車定位案例,將視覺SLAM基礎講授的理論知識和航天應用緊密結合起來。在教學改革過程中,進一步鍛煉學生的動手實踐能力、解決實際工程能力,同時培養學生愛祖國、愛航天的情懷。
關鍵詞? 視覺SLAM基礎;案例式教學;課程思政
中圖分類號:G642.41? ? 文獻標識碼:B
文章編號:1671-489X(2024)10-0033-04
0? 引言
視覺SLAM(Simultaneous Localization and Mapping,同步定位與地圖構建)技術可以同步解決“定位”與“地圖構建”這兩項關鍵技術難題,一直以來都是機器人和計算視覺的研究熱點。21世紀以來,隨著視覺傳感器的不斷發展,以視覺傳感器為中心的視覺SLAM技術獲得突飛猛進的發展,在理論和實踐上都經歷了明顯的轉變與突破,正逐步從實驗室研究走向市場應用。視覺SLAM技術目前在民用領域獲得較好應用,如機器人、實時三維重建、增強現實、虛擬現實等領域。
雖然SLAM理論框架基本趨于穩定,但其編程實現仍然較為復雜,有很高的技術門檻,同時需要學習大量的基礎理論知識,且理論知識覆蓋多學科,進一步增大了該課程的學習難度。目前視覺SLAM理論課程側重純基礎理論教學,未與典型應用案例相結合,造成學生在學習過程中覺得知識過于枯燥、知識點理解困難、課堂上互動和參與程度低。在應用領域方面,目前視覺SLAM主要側重民用,如無人機、無人車、機器人、增強現實、虛擬現實等領域。隨著我國航天技術的不斷發展,將視覺SLAM與航天應用相結合逐漸引起學者的關注,例如,可將視覺SLAM與空間目標態勢感知、火星地形環境智能感知相結合。中國火星探測任務“天問一號”火星車祝融號在火星表面順利著陸,為后續開展火星地形環境智能感知、火星采礦等的研究奠定了基礎。
1? 視覺SLAM基礎課程改革設計
通過對目前該類理論課程的分析,視覺SLAM基礎采用航天特色案例式教學,在教學過程中體現學科交叉,應用領域從典型民用拓展至航天特色應用領域。
1.1? 課程教學側重案例式教學
案例式教學最核心的教學特點在于具有專業指導性、實踐操作性,這種教學模式突破以往教學模式的局限,更加看重學生的想象力、動手操作能力與抽象探究意識。案例教學法的主要優點是實現理論與實踐的結合,激發學生學習主動性,培養學生的綜合素質。國內教育界從20世紀90年代開始探索案例教學法,通過典型案例教學培養學生理論聯系工程實踐的能力。目前視覺SLAM相關理論課程側重純理論知識點全面介紹、經典視覺SLAM框架、軟件編程演示,沒有結合經典應用案例,尤其是航天領域應用案例,例如,結合火星車智能感知和空間目標態勢感知對視覺SLAM進行全面闡述。因此,本教改項目擬開展的視覺SLAM基礎教學改革將從火星車智能感知案例出發,引導和啟發學生自主思考,提高學生動手操作能力與深入探究意識。
1.2? 課程教學體現學科交叉
新工科背景下國家對復合型人才的要求進一步提高,要求學生不僅在某一學科專業上學業精深,而且還應具有學科交叉融合的特征。視覺SLAM基礎涵蓋線性代數、概率論、控制理論與工程、計算機視覺、圖像處理等學科,學生在掌握學習相關基礎理論的基礎上,結合典型航天應用案例(火星車智能感知案例)和視覺SLAM基礎理論講解,能夠貫穿不同學科專業理論知識,并在航天工程實際中得到良好運用,全面提高學生解決實際工程具體問題的能力。在利用視覺SLAM實現定位與智能感知的基礎上,可將其作為火星車等載體控制系統的有效輸入,實現火星車更加精確的路徑規劃、避障、決策制定等,提高控制系統精度。通過該課程的教學改革,可培養學生綜合運用多學科知識的能力。
1.3? 應用領域從典型民用拓展至航天特色應用
領域
隨著我國航天事業的不斷發展,智能航天是未來航天發展的熱點和大趨勢,結合視覺傳感器,實現基于視覺的航天智能感知是其中重要的一個環節。視覺SLAM可以同步實現載體定位和周圍地圖構建,可為航天器態勢感知和周圍地形環境智能感知提供重要技術支持。因此,將視覺SLAM應用領域從典型民用拓展至典型航天特色應用領域,為我國智能航天助力是未來發展的趨勢之一。
2? 視覺SLAM基礎課程改革實踐
2.1? 航天特色案例式教學
視覺SLAM基礎課程理論具有廣、深、難的特點,且特別強調應用實踐,一個實際的工程項目,所需要的技術往往涵蓋視覺SLAM理論的各個部分。本課程從火星環境探測這一具有典型航天特色的應用案例出發,結合學院搭建的火星環境探測實驗環境,利用學院自行構建的火星車,構建火星地形三維環境感知和火星車定位案例。圖1給出了目前北京航空航天大學宇航學院火星探測實驗環境及已有的火星探測車。在講述整個案例過程中,將該實際任務分解成不同階段,包括特征提取階段、特征匹配階段、關鍵幀選取階段、坐標系轉換求解階段、優化方程求解階段、回環檢測階段、建圖階段等。在每個階段,通過案例分析和問題引出,分別引入相應的視覺SLAM基礎理論,引導學生發現問題并學習如何利用相關理論知識解決該階段所面臨的實際工程問題,并對該階段性案例結果進行展示。將案例貫穿整個課程,使學生在學習純理論知識的同時,學會如何在工程中運用該知識,鞏固理論知識,提升學生對理論知識的理解和應用能力。
本課程在開展航天特色案例式教學過程中,也以“航天愛國”為主線開展課程思政建設。以
習近平總書記在全國高校思想政治工作會議上強調的“要用好課堂教學這個主渠道,各類課程都要與思想政治理論課同向同行,形成協同效應”為指引,本課程以具有航天特色的應用案例(主要以火星環境探測為例)講述視覺SLAM理論知識并進行實例程序演示。在授課過程中,會介紹該應用案例的背后故事以及在國際上的影響力等,培養學生認真負責、踏實敬業的工作態度和嚴謹求實、一絲不茍的工作作風,讓學生堅定“四個自信”,培養熱愛航空航天、熱愛祖國的情懷。
2.2? 搭建火星地形三維環境感知和火星車定位
演示系統
基于經典的視覺ORB-SLAM2框架和學院火星探測實驗平臺,設計火星地形三維環境感知和火星車定位軟件演示系統1套。該框架以ORB為圖像特征,通過跟蹤線程、局部建圖線程、回環檢測線程,同步實現火星車定位與火星地表環境三維重建工作。圖2為ORB-SLAM2框架基本組成,以攝像頭拍攝的圖像序列為輸入,采用跟蹤線程、局部建圖線程、回環檢測線程這三個線程并行處理SLAM問題。跟蹤線程負責初步估計相機在每一幀時的位姿,并決定是否要插入關鍵幀;局部建圖線程負責維護地圖點和關鍵幀以及它們相互之間的關系,優化局部區域的關鍵幀位姿和地圖點位置,并負責剔除質量不夠好的地圖點和關鍵幀;回環檢測線程負責檢測是否有回環的發生,如果檢測到回環,就用回環約束對相機位姿和地圖進行優化,以消除累積誤差。
在所有模塊中統一使用ORB特征。ORB特征是一種提取速度相對比較快的特征點,其描述子具有旋轉不變性,通過圖像金字塔也可以獲得尺度不變性。統一使用ORB特征點能夠使特征提取與匹配、關鍵幀選擇、回環檢測、重定位等任務具有一致性,提高地圖的復用性,相對減少特征點法提取特征所需的計算代價。圖3給出火星地表圖像ORB特征提取與配準示例。在原始的ORB-SLAM2中,關鍵幀序列的存在是為了等待局部建圖線程處理。局部建圖線程使用關鍵幀數據對局部地圖進行更新,這里的局部地圖是稀疏點云地圖,是為了輔助相機定位而構建的。為了構建火星地表稠密點云地圖,在稠密點云地圖重建線程中輸入一幀關鍵幀,根據深度數據得到一幀參考坐標系為該關鍵幀相機坐標系的點云。在跟蹤線程中,利用獲取的每一幀圖像對應的相機坐標系相對于世界坐標系的旋轉和平移量,通過將關鍵幀相機坐標系下的點云數據的坐標轉換到世界坐標系下。每處理一幀關鍵幀,就可以獲取世界坐標系下的點云數據,把這些點云數據加總到一起,就構建出火星地表環境的稠密點云模型。圖4給出火星地表稠密三維重建示例。
圖4? 火星地表三維重建過程示例
2.3? 層次化的教學內容規劃
本課程以教育部發布的《關于一流本科課程建設的實施意見》中所提出的“兩性一度”(即高階性、創新性、挑戰度)為指導,以培養一流人才為目標,本著“立足基礎,緊跟前沿,突出航天應用”的原則,在成果導向理念指導下[5-6],基于層次化設計思路合理規劃教學內容,如圖5所示。
在基礎理論層面,講授視覺SLAM相關基礎理論,包括視覺SLAM基本框架組成(前端視覺里程計VO、后端非線性優化、回環檢測、建圖環節)、視覺SLAM常用數學模型(李代數表征、優化方程建立、坐標系轉換等)以及視覺SLAM主流框架(VIO、ORB-SLAM等)。在前沿發展方面介紹語義視覺SLAM、多傳感器融合SLAM、弱紋理場景視覺SLAM等相關方面的最新技術。這樣既保證了對基礎理論的學習,又能使學生及時掌握專業前沿理論發展。
結合學院搭建的火星探測實驗室,利用學院打造的火星車演示相關實驗程序,具體包括火星地形實時三維重建程序和火星車實時定位程序,突出航天特色。通過具有航天特色應用背景的實例項目導入問題,應用視覺SLAM基礎理論和方法來解決問題,加深學生對視覺SLAM基礎理論的理解。同時引導和啟發學生自主地“發現問題—分析問題—查閱資料—解決問題”,激發學生學習興趣,培養學生自主學習、技術創新的能力。
最后設置一個自主創新選做題目,結合學院搭建的火星探測實驗環境,結合課堂上講授的視覺SLAM技術和基本程序框架,鼓勵有能力的學生在提供的實驗平臺上進行編程調試并對現有框架進行調整,獲得精度更高、更“魯棒”的火星地形三維重建和火星車定位結果。在此基礎上,鼓勵更有能力的學生發表論文或申請專利。
3? 結束語
視覺SLAM基礎課程面向本科飛行器控制與信息工程專業,以飛行器的智能控制和信息處理為主,著眼于航天系統的信息融合、處理與智能控制一體化,為我國航天和國防事業培養面向未來航天智能化發展、具備航天專業素養、掌握前沿信息技術、具有交叉知識結構的高層次復合型航天人才。通過視覺SLAM基礎課程的學習,學生可以掌握基于視覺的定位與建圖技術,學習掌握視覺SLAM相關理論基礎與前沿發展動向,并運用所學知識解決航天領域實際工程問題,為后續本科畢業設計以及開展相關項目研究奠定扎實的專業基礎。
通過本課程的學習,期望達到如下教學目標。
1)掌握視覺SLAM的基礎理論。了解視覺SLAM發展歷程,結合前沿發展和具體航天特色工程應用案例,掌握視覺SLAM的基礎理論和經典框架。
2)通過航天特色案例分析,掌握視覺SLAM基礎理論方法的同時,了解航天領域的發展及實際工程應用,具備處理工程實際問題的思維方法與基本能力。
3)強調學生理論聯系實際,強調動手能力的培養。鼓勵有能力的學生在學院搭建的火星探測實驗環境基礎上開展相關實驗,結合實際工程需求,對現有框架進行改進,培養學生運用所學知識解決工程實際應用問題的能力。
4? 參考文獻
[1] 黃敬如,呂衛民,趙汝巖,等.“案例式思政”在課程思政建設中的路徑探析:以“系統工程”課程為例[J].教育教學論壇,2022(34):29-32.
[2] 季晨,張兵,程廣貴,等.新工科背景下案例式教學改
革探討:以控制工程基礎課程為例[J].科技視界,
2021(33):51-52.
[3] 嚴保康,盧少武,寧博文.案例探究式教學在傳感器與儀表課程中的應用[J].大學教育,2022(5):130-132.
[4] 張貞艷,林卿,劉美俠.“自動控制原理”案例式教學改革實踐[J].科技與創新,2021(22):137-138,141.
[5] 禹柳飛,劉美,盧均治.基于OBE理念的自動化專業課程體系研究[J].大學,2023(11):129-132.
[6] 唐丹,尹宏鵬,方覓,等.新工科背景下基于OBE理念的信息類課程群建設[J].計算機教育,2023(6):141-144.