“圖像理解”課程全方位雙驅型建設探索研究

魯 斌，劉 麗

（華北電力大學〔保定〕 計算機系，河北 保定 071003）

研究生階段的課程具有鮮明的理論性、實踐性和應用性，課程內容不僅與國家發展規劃、行業改革發展密切相關，同時承載著職業道德與規范，具有很強的技術倫理與社會責任，具有天然的思政育人功能。“圖像理解”課程是計算機科學與技術、軟件工程專業領域的一門研究生課程，涉及多個交叉學科領域，其目標是使學生學習了本課程之后，具備解決智能化檢測與識別、控制等應用問題的初步能力，為以后從事模式識別、計算機視覺、圖像通訊、多媒體技術等領域的研究與開發工作打下扎實的基礎。

一、課程設計理念和目標

圖像理解（Image Understanding，IU）是對圖像的語義進行理解。它是以圖像為對象，知識為核心，研究圖像中有什么目標、目標之間的相互關系、圖像是什么場景以及如何應用場景的一門學科，是研究用計算機系統解釋圖像，實現類似人類視覺系統理解外部世界的一門科學。其主要研究內容包括圖像的獲取、圖像處理、圖像分析以及圖像識別等。圖像既包括靜態圖像和動態視頻圖像，也包括二維圖像和3D立體圖像。

圖像理解與人工智能密切相關。傳統的人工智能以人類的知識為對象，研究知識的表示、存儲、推理以及獲得新的知識。隨著計算機視覺和人工智能學科的發展，相關研究內容不斷拓展、相互覆蓋，圖像理解既是對計算機視覺研究的延伸和拓展，又是人類智能研究的新領域，滲透著人工智能的研究進程，近年來已在工業視覺、人機交互、視覺導航、虛擬現實、特定圖像分析解釋以及生物視覺研究等領域得到了廣泛應用。圖像理解的內容相當豐富，涉及面也寬，是一門新興的綜合性學科。

正因為如此，“圖像理解”課程應運而生，成為一門交叉學科領域課程，將對計算機視覺和圖像處理的基本知識、場景重建、目標分析與識別以及場景解釋方面的理論、方法和應用進行系統性的介紹。其目標是使學生學習了本課程之后，對圖像理解的基本理論，尤其是圖像理解的概念、基本原理以及解決問題的基本思想方法有一個較為全面的掌握和領會，具備解決計算機視覺處理、智能化檢測識別等應用領域問題的基礎能力，為以后從事模式識別、計算機視覺、機器人導航、無人駕駛、虛擬現實、多媒體通信技術等領域的學術研究與實踐開發工作打下堅實的基礎。

“圖像理解”課程不僅是計算機科學與技術、軟件工程學術型培養方案的學位專業課，同時也是計算機技術、軟件工程專業型培養方案的學位專業課。之所以如此，是因為人類五官對于外界信息的感知與獲取中，視覺信息占據超過75%的份額，是人類最為重要的感知方式和手段。視覺信息獲取后，與之而來的“理解”就成為必須解決的問題了，面對廣泛的視覺應用領域，對于圖像理解的需求顯得尤為迫切，因此，該課程在專業人才培養中的地位和作用十分重要。

“圖像理解”學科具有交叉性、復雜性、難度高、應用廣等特點，課程內容具有一定的難度，對教學設計提出了極大的挑戰。如何在有限的學時內傳授圖像理解的核心知識，如何在學科交叉情景下做到不同學科知識點的平衡與兼顧，如何將高難度的復雜理論知識轉化為適宜教學的課程內容，如何從寬泛的應用領域中引入代表性的案例以起到“四兩撥千斤”的作用，達到舉一反三的效果，成為教學過程中的重點與難點。

課程思政建設是實現課程高階性的重要保障。“圖像理解”課程思政建設應遵循專業知識體系與思政元素高度契合原則，通過遞進式思政信仰框架的構建，形成飽含正能量的信仰力量，加強頂層設計，探索具有整體性、內涵性、發展型的課程思政教學模式，并在實踐中不斷完善，以發揮課程思政建設的“乘數效應”。

二、課程結構設置

“圖像理解”是一門交叉學科課程，作為圖像理解底層數據的是視覺信息，理論出發點是計算機視覺；作為圖像理解高層數據的是知識信息，理論依據的出發點是人工智能。從研究的廣泛性來看，圖像理解的處理信息分為視覺數據信息和人類知識信息兩部分，前者側重原始獲取的數據信息以何種結構存儲在計算機中，后者側重知識的表述如何指導計算機的理解過程，兩部分表示相輔相成。圖像理解中對視覺信息和知識信息的研究過程就是進行信息表示、處理和分析的過程，具體表現為“表示與存儲”“認知與學習”“推理與理解”的圖像理解分析過程。

通過“圖像理解”的完整教學過程，要求學生不僅能夠掌握圖像理解的基本原理、方法和技術，具備一定的理論方法研究、算法分析設計、實驗測試驗證能力，而且要求學生具備學以致用、獨立解決圖像理解相關領域復雜工程問題和技術問題的動手實踐能力。

綜合考慮整個課程對學生知識和能力的培養要求，課程的知識構成與能力構成的比例約為40%和60%。“圖像理解”是多學科交叉領域課程，涉及面廣，內容量大，課內32學時有限，破解知識體量大、教學時間緊這一矛盾的主要手段就是采用課上課下延伸、課內課外相結合的雙軌教學機制，根據課程學習涉及的內容量和知識點覆蓋范圍，結合多年來的教學實踐經驗，講述內容占比30%，自修內容占比70%較為適宜。

三、面向關鍵問題求解的“四位一體”課程教學模式

機器人導航、無人駕駛、虛擬現實等諸多視覺應用領域都面臨著圖像理解問題，以實現類似人眼的知覺能力為目標。考慮到相關領域實際的基本科學問題研究和實際應用需求，該課程在內容設置上就是要解決三個問題。

1.專業知識的無縫遷移。如何使學生徹底弄明白“圖像中有什么”“人和物在干什么”，從而給后續動作行為和決策提供語義依據。

2.課程思政的潛移默化。在教學過程中，如何將熱愛祖國、工匠精神、吃苦耐勞、團隊合作等思政元素內化于心，達到“潤物細無聲”的效果。

3.工程問題的獨立解決。通過翻轉課堂、研討式教學等手段使學生在掌握相關核心理論、方法和技術的基礎上，增強學生獨立解決圖像理解復雜工程實際問題的能力，真正做到產學研用融會貫通。

為了解決這三個關鍵問題，課程專業內容講授圍繞3D立體圖像理解展開，構建由“知識—理論—應用—案例”為線索的講授體系，包含圖像采集與表達、景物重建過程和方法、場景解釋技術和手段，以及綜合應用案例。同時，按照課程思政設計原則，在每一個知識模塊中發揮思政育人功能，實現知識、能力、情感、素養“四位一體”的課程思政教學目標。

（一）專業知識講授

主要課程內容與教學計劃如下。

1.采集表達。主要講述馬爾視覺計算理論框架與視覺過程，攝像機成像模型和標定，光度學與亮度成像，高維圖像成像方式，雙目成像模式，深度圖像直接采集，曲線和曲面的局部特征，3-D表面表達，等值面的構造和表達，從并行輪廓插值3-D表面，3-D實體表達等內容。

2.景物重建。主要講述立體視覺模塊，基于區域的雙目立體匹配，基于特征的雙目立體匹配，視差圖誤差檢測與校正，水平多目立體匹配，正交三目立體匹配，多目立體匹配，亞像素級視差計算，單目景物恢復，光度立體學，從運動求取結構，從影調恢復形狀、紋理與表面朝向，根據三點透視估計位姿等內容。

3.場景解釋。主要講述場景知識，過程知識，知識表達，邏輯系統，語義網，產生式系統，目標匹配，動態模式匹配，關系匹配，圖同構，線條圖標記，模糊推理，遺傳算法圖像解釋，場景目標標記，場景分類等內容。

4.教學計劃與教學方式。具體的教學計劃與教學方式見表1。

表1 教學計劃與教學方式

（二）課程思政育人

“圖像理解”課程具有鮮明的理論性、實踐性和應用性，課程內容不僅與國家數字化、人工智能發展規劃等宏觀政策密切相關，同時承載著職業道德與規范，具有很強的技術倫理與社會責任。在教學過程中既要充分反映圖像理解領域的核心方法和關鍵技術，又要將理論知識與工程實踐緊密結合，同時具備豐富的教育內容。

課程在教學過程中注重培養學生的家國情懷和職業精神，圍繞著課程特點、教學內容，構建符合專業知識學習的課程思政教育目標，從廣度與深度、線上與線下、知識教育與價值引領多方面，協同發力，實現知行合一，以達到包含情感目標和素養目標在內的課程思政育人目標。

情感目標：課程通過展示圖像理解技術在農業、林業、礦業、軍事、環境、生態等方面的突出優勢和貢獻，展現我國科技創新以人民為本的初心，產業布局、技術革新政策的制定，始終以“人民利益”至上為原則，以社會發展為根本，激發師生的愛國情懷，將國家命運與個人命運緊密相連，增強學生對新時代中國特色社會主義思想的認識，堅定“四個自信”，形成信仰的力量，堅定職業信念。

素養目標：課程思政核心素養以求真、觸情、傳遞社會主義核心價值為目標，不僅幫助學生“專業成才”，更要促進“精神成人”，即培養學生成為視覺圖像領域人才的同時，更要塑造良好的人格品性，堅守職業道德，維護社會公平正義。

（三）項目牽引持續能力培養

“圖像理解”是一門實踐性很強的學科交叉課程，沒有項目牽引，很難做到對理論的深刻理解，對方法技術的靈活應用，對工程實際問題的迎刃而解。同時，課程項目的選擇要求具有代表性，合理可行，既能夠覆蓋課程核心知識點，又必須難易適中，確保多數人能夠完成。基于上述考慮，并通過不斷總結實踐經驗，選取“高分遙感圖像解譯”這一項目作為課程論文實施對象，其特點如下。

1.完備性。課程是對計算機視覺和圖像處理的基本知識、場景重建、目標分析與識別以及場景解釋方面的理論、方法和應用進行系統介紹，使學生學習后對圖像理解的基本理論，尤其是對圖像理解的概念、基本原理以及解決問題的基本思想方法有一個較為全面的了解和領悟，使其具備解決復雜工程應用問題的基本能力。這些學習內容和要求在“高分遙感圖像解譯”項目實踐過程中都會予以體現。

2.研討性。課程從圖像采集與表達入手，繼而講述景物重建過程和方法，接著剖析場景解釋技術和手段，最后給出綜合應用案例。教學方法上，首先講解課程關鍵知識點，引領學生進入圖像理解知識領域；其次穿插設置項目研討課，以學生分組研究討論為主，教師引導為輔，培養學生分析問題、查找資料、解決問題的動手能力和自主科研能力，達到學以致用、舉一反三的目的。

3.開放性。為了提高學生的創新性與探索性，項目提供了InterIMAGE開源平臺供學生使用。該平臺是一個基于知識的自動圖像解譯框架，可將自定義知識嵌入到系統中自動解釋遙感圖像，也可以通過創建語義網絡來建模知識。系統自帶了一些基本功能，如目標檢測，光譜、幾何、拓撲和紋理特征計算等，既保障學生按照課程要求完成實踐任務，又能夠滿足學生開拓創新的嘗試愿望。

結語

圖像理解是計算機科學與技術、人工智能領域的一個重要研究方向，也是新技術、新方法不斷涌現的一個科學領域，在研究生“圖像理解”課程建設過程中，除了關注課程目標、結構和關鍵問題的解決外，教學團隊還在課程思政、教學策略、教學手段、產教融合和學生創新能力培養方面持續發力，力求通過一門課程的教學活動，實現學生科學研究素養和科研報國情懷的不間斷塑造，為最終實現高等院校高素質人才培養目標貢獻力量。