基于百度飛槳平臺的計算機視覺課程改革與實踐

潘剛 丁進 孫迪

摘? 要：計算機視覺是當前計算機和人工智能領域的熱門方向，但前沿課程內容在算法、算力和數據方面的需求，使得傳統授課模式無法滿足對當前學生實踐能力培養的需求。在教育部產學合作協同育人的背景下，該文從課程核心內容、前沿技術擴展、先進實驗設計和考核方式改革等多方面，開展課程的革新與探索，并在實際教學活動詳解的基礎上，驗證教學質量和學生綜合能力的提升，為計算機視覺相關課程提供參考。

關鍵詞：計算機視覺；飛槳平臺；新工科；產學合作；協同育人

中圖分類號：G642? ? ? ? 文獻標志碼：A? ? ? ? ? 文章編號：2096-000X（2024）02-0010-05

Abstract： Computer vision is currently a popular direction in the field of computer and artificial intelligence， but the requirements of cutting-edge course content in terms of algorithms， computing power and data make the traditional teaching mode unable to meet the needs of current students' practical ability training. Under the background of industry-university cooperation and collaborative education， this paper carries out the innovation and exploration of the curriculum from the core content of the curriculum， the expansion of cutting-edge technology， the design of advanced experiments， and the reform of assessment methods. It verifies the improvement of teaching quality and students' comprehensive ability， and provides a reference for computer vision related courses.

Keywords： computer vision; PaddlePaddle; new engineering and technical disciplines; industry-university cooperation; collaborative education

當前，我國高校工程教育規模居世界第一，但工程師總體合格程度在全球相對靠后。我國工程教育發展面臨著發展困境。2017年，教育部啟動實施“新工科”建設，改造升級傳統工科專業，加快發展新興工科專業，使得我國從工程教育大國向工程教育強國邁進[1]。接著，又陸續推出“復旦共識”“天大行動”“北京指南”等，從多個方向探索和實踐工程教育改革新路徑。如今，越來越多的高校參與到新工科建設中，不斷推動現有工科專業的改革，主動設置新興工科專業，培養國家重大戰略需求的未來工程領軍人才。

計算機視覺始終是計算機各領域中最為活躍、發展最快速、應用范圍最廣的學科方向之一，其核心內容涵蓋對圖像和視頻等媒體內容的識別、增強和合成等任務，在智能制造、機器人、安防、醫療影像和消費類電子產品等多個方向有著廣泛的應用前景。因此，計算機視覺已成為計算機科學與技術、軟件工程、電子信息等專業中的重要專業課程，在本科生和研究生中有著較大的受眾基礎。另一方面，計算機視覺與人工智能結合是當前計算機視覺發展的特點和趨勢。人工智能，尤其是其中的機器學習和深度學習，是在數據驅動下對復雜系統建模和預測的新方法論，是對傳統教學內容和思維方式的顛覆和革新，但其在數據和算力方面所需要的基本門檻要求，也對傳統課堂教學提出了更高的物質要求。因此，由于計算機視覺學科本身的特點，加之當前計算機視覺與人工智能結合的趨勢，對其教學活動中實踐性的開展尤為側重，對學生動手能力和解決實際問題的能力培養提出了更高的要求，使得傳統“重理論、輕實驗”的授課方式已無法適應新工科建設的需要，因此，亟需進行有針對性的教學改革。

天津大學是國內首設人工智能本科專業的高校之一，更是新工科建設“天大行動”的領導者。為解決傳統計算機視覺課程授課方式與前沿技術實踐需求之間的矛盾，天津大學與百度飛槳開展產學合作協同育人項目，進一步貫徹落實《國務院辦公廳關于深化高等學校創新創業教育改革的實施意見》文件精神，深入推進產學合作協同育人，探索符合學校實際情況的計算機視覺課程改革。

一? 計算機視覺課程的現狀分析

計算機視覺課程在大多數學校作為專業選修課，學時安排多為32～40學時，其中實驗學時為8～16學時。該課程理論性強，體系龐雜，知識更新快、對學生動手能力要求高。從授課教師的角度，該課程特點可歸納為以下幾點。

（一）? 課程知識點多

完整的計算機視覺課程包括特征檢測、分割、配準、結構重建、運動估計、拼接、立體視覺和識別等問題及相關算法，知識點數量多而雜，形式多樣、應用場景復雜。

（二）? 理論教學枯燥

計算機視覺理論基礎以數學作為支撐，形式以公式為主，學生在有限的授課時間內對大量復雜公式的理解效果往往欠佳。

（三）? 實驗教學對硬件的依賴

當前視覺前沿方法為基于機器學習的方法，此類實驗的開展對硬件設備，尤其是顯卡的要求高，這是大部分學生的自有電腦無法滿足的。而多數高校缺乏支撐大范圍實驗的硬件基礎，因此，難以大范圍開展前沿方法的實驗教學活動。

（四）? 實驗教學對數據的要求

當前，基于機器學習的計算機視覺方法的另一個特點是數據驅動，其實驗教學的開展對相關主題的數據質和量均有較高的要求。因此，實驗數據的課前收集和課中分發顯得尤為重要，但此類數據除少量集中在Kaggle等平臺外，大部分分散在各地科研團隊自行維護的網絡存儲中，在有限的實驗周期內由學生收集尤為困難。加之計算機視覺領域的數據集普遍較大，課中向學生進行分發并進行數據準備，將占用大量的有效實驗時間。

（五）? 考核和評價方式不夠客觀

結合計算機專業要求和計算機視覺的特點，考核更應體現學生實現代碼的能力。但由于缺乏統一的實驗平臺，即使開展實驗，對學生實現代碼的驗證也不能依賴教師的閱讀，這樣工作量龐大，且評價方式無法保證客觀和公平。

結合計算機視覺課程的特點，應對新工科創新人才需求，迫切需要教師針對課程的教學內容、教學形式、課程評價體系等方面進行改革，探索如何激發學生的內驅力，為學生實驗提供良好的實驗平臺和公平的評價方法，其目的是提高學生的工程實踐能力與創新能力。湖南大學[2]和中國地質大學[3]從提升學生學習主動性出發，在圖像處理課程中引入“互聯網+”，實現線上線下一體化教學模式，從教學內容、手段、考核方式等多方面開展改革實踐。武漢科技大學[4]從案例教學的角度出發，立足在線平臺海量案例資源，提升學生使用框架編程的能力。中國農業大學[5]、南昌大學[6]針對人工智能課程，依托產學合作開展課程改革與建設的模式，借助產業界的豐富資源，提高學生實踐能力。西安電子科技大學[7]、武漢工程大學[8]從教師模式和實踐方法角度對計算機視覺課程的教學過程開展有益的探索。華北電力大學[9]、同濟大學[10]、武漢理工大學[11]針對圖像處理和計算機視覺等課程編程實踐問題，利用多種實踐平臺進行教學改革，取得初步成效。但面向更大范圍學生群體，開展前沿技術的計算機視覺實踐教學探索的工作尚不夠充分。

二? 依托產學合作育人的計算機視覺課程教學改革

（一）? 教學內容的補充完善

當前計算機視覺的前沿方法與機器學習技術有關，但對于計算機科學與技術和軟件工程專業的學生，作為前序課程的人工智能課程在課程設置中多為選修，因此，只有一部分同學具備相關知識基礎。同時，對于這部分選修過人工智能課程的同學，機器學習在整個課程中的占比很少，一般為2～4個學時，且多以講授理論為主，缺乏實際上機實驗的有效訓練。在此現狀下，由于相關知識基礎普遍薄弱，如直接開展前沿計算機視覺的內容講解，學生往往頗為吃力，嚴重影響學習效果。

因此，在本課程的教學過程中，適度引入與計算機視覺緊密相關的機器學習內容，使得學生補全最相關的機器學習基礎知識，從根本上理解相關算法的原理，掌握算法應用于計算機視覺場景的原理和先進性，從而能夠更好地深入了解領域動態，快速領會前沿知識和新興技術，掌握視覺的應用場景，加強理論與實際的關聯。

（二）? 利用高水平學術論文的知識擴展

由于計算機視覺技術更新迭代快，因此，課程內容的選擇，在完成基本經典理論講解的基礎上，應加入最新技術的內容，使得學生在打好基礎的同時，不拘泥于經典教材，能夠有足夠新的視野，掌握最新的技術。

對于前沿技術的出處，除了如TPAMI（IEEE Transactions on Pattern Analysis and Machine Intelligence），IJCV（International Journal of Computer Vision）， TMM（IEEE Transactions on Multimedia）等頂級學術期刊之外，還包括計算機視覺領域的頂級學術會議。與其他學科相比，計算機領域學術會議的重要程度尤為明顯，這是由于視覺領域的技術更新速度快，而高水平學術會議的審稿周期和見刊周期更短，因此，最前沿的學術論文往往發表于高水平學術會議上，本課程中推薦學生選擇CVPR（IEEE Conference on Computer Vision and Pattern Recognition）、ICCV（IEEE International Conference on Computer Vision）和ECCV（European Conference on Computer Vision）三個視覺領域頂級學術會議的論文作為擴展閱讀。

（三）? 前沿實驗內容的改進

計算機視覺課程以算法理論為基礎，實踐為核心，對學生而言，只有理解算法并能夠用代碼將算法實現，才是真正掌握，這也是校企協同育人過程中的重點和難點。因此，課程中實驗學時的內容安排顯得尤為重要。本課程選擇分類、合成、跨模態修復三類四項任務作為實驗內容（表1），其中前三項內容代表了計算機視覺中最典型的任務，第四項代表了視覺領域前沿問題之一。在方法和神經網絡的選擇上，選擇了最為經典且常用的VGG、AutoEncoder、U-Net和Encoder-Decoder+BERT四類網絡結構。在實驗內容設計上，考慮到學生平均基礎情況，在前兩個實驗中，采用提供代碼框架、由學生填補細節代碼的方式，這樣可以讓學生在最初接觸實驗時，暫時規避對代碼框架的不熟悉，集中精力在關鍵網絡架構的代碼編寫上，提升學習效率，積累信心；對后續實驗內容，鼓勵學生在具備一定編程基礎后，自主編寫完整的代碼，并完成訓練和調參的全過程。這樣循序漸進的實驗設置方式有助于學生快速上手、培養全方面能力。

表1? 實驗內容設計明細

（四）? 考核內容和方案的設計

課程目標要兼顧學生對前沿技術和實際代碼能力的掌握，因而，通過單純閉卷考試的方式往往難以實現對學生的全面考察和評價。為了將理論知識與前沿技術緊密相連，本課程以擴展閱讀推薦的頂級學術期刊和會議論文為主線，通過實施實戰化、無標準答案的期末大作業，實現以學生為中心，激發學生的自主學習能力、好勝心和創新的靈感。所謂無標準答案的期末大作業，就是由學生自主選擇計算機視覺中的一個話題，并自行查找推薦的學術期刊和會議的前沿學術論文，要求主題相關，數量不少于3篇，選定后需經由授課教師確認時效性和難度后，方可開始準備。其目的是鍛煉學生自主查閱和檢索學術論文的能力。學生在閱讀論文過程中，要注意所選論文之間的關聯，尤其是嘗試從作者的角度，探尋發現問題、解決問題的思路，對于有深刻理解的同學，在成績上予以獎勵。在閱讀論文的基礎上，還要求學生復現論文。這樣可以在考察學生理論能力的同時，兼顧對學生動手編程能力的評價。尤其是對于主動改進原方法的并取得良好效果的同學，在打分上有所傾斜。考核時，由學生公開宣講自己的大作業前沿技術報告，展示實驗結果，并接受授課教師和其他評委的現場提問。

經過以上多輪次的訓練，這樣可以更好地發揮學生的主觀能動性和創新能力，拓寬學生的知識面，為今后的學習和研究打下良好的基礎。

最終的期末成績由三部分組成，具體要求及評分標準如下。

1）出勤：理論課程的講授均要求學生參與并簽到，不得缺勤。課堂考勤占總成績的5%。

2）實驗：課程設有4次實驗課，8學時，要求學生全程參與，獨立完成并按時提交實驗報告。實驗成績由學生在系統中提交的代碼在測試用例上通過的百分比判定。實驗成績占總成績的15%。

3）期末報告：包括前沿技術報告和答辯表現，并綜合考察復現代碼能力，并對運行結果進行測試，提交設計報告，共占總成績的80%。

三? 教學實踐詳解和成效分析

課程在實驗環節選用飛槳AI Studio教學實訓平臺，該平臺集成了算力、編程環境、深度學習框架、數據及文檔等豐富的教育資源，對學生而言可以實現“一站式”學習。從教師的角色而言，該平臺可支持完整課程的創建，包括教學大綱、課件、作業、考試、教學視頻和隨堂測試等內容和功能，能夠滿足在線教學的基本邏輯和內容要求。同時，該平臺還集成了大量學習資源，包括公開課程、比賽、數據集、公開項目和源代碼等，為課程的開展提供海量的資源參考。

從2021年9月至2022年6月，本課程分別面向智算學部的本科生和研究生開設了2門課程，選課人數合計111人。選課學生具有基本的計算機專業背景知識和一定的編程基礎，能夠較快地適應飛槳的AI Studio平臺和PaddlePaddle框架。

在基于機器學習的計算機視覺實驗中，需要重點關注的是算法、算力和數據三方面問題。

算力是實驗的物質基礎。對于機器學習的實驗而言，雖然隨著硬件成本的不斷下降，單位時間的算力成本已逐漸降低，個人開展實驗已經可行。但面對課程受眾廣的情況，同時開展實驗的學生人數多，算力仍然是稀缺資源。如采用各單位自購多臺服務器的方式，算力分散，開展小規模實驗尚可，但涉及到上百人的大型教學活動，硬件就成為主要瓶頸。而由于成本等因素的限制，各單位自建云平臺并大面積普及仍存在不小難度。因此，算力依然是掣肘高校教學的大難題。飛槳AI Studio平臺為符合條件的教學活動提供免費算力，在本課程開展過程中，經過申請，飛槳為每位學生提供100小時Tesla V100的算力。以本課程開展的實驗內容為例，算力充足，且略有結余；顯卡配置高，足以應對絕大部分主流的網絡結構，這就掃清了開展大規模機器學習實驗的最大障礙。

數據是實驗的關鍵。機器學習的本質是數據驅動下的擬合和預測。數據的質和量直接決定了實驗效果的好壞。開展基于機器學習方法的實驗，對實驗數據的收集尤為重要。一般情況下，由教師課前匯集需要的基礎實驗數據，并以網絡共享的方式供學生上機時使用。但基于機器學習的計算機視覺實驗數據集往往過于龐大，單個數據集幾十GB甚至上百GB頗為常見，僅將數據傳遞給學生的過程就極為耗時，加之對數據的預處理等操作，將占據實驗學時的大部分。飛槳AI Studio平臺匯集了大量計算機視覺相關的開源數據集，并在該平臺的各類視覺任務中得以應用，其數據的質和量均得到了反復驗證。基于飛槳AI Studio平臺的開源數據集，學生可以輕松地在實驗中將其調用，大大節省了數據傳輸和預處理消耗的時間。同時，教師還可以在已有數據集上進行補充和修改，根據開設實驗的特殊需求，進行個性化編輯，僅需一次準備，可在實驗中供學生大范圍并行使用，節省了實驗在數據準備上的時間和存儲開銷，大幅度提升了實驗效率。使得教師可以從大量的簡單重復勞動中解放出來，集中精力在實驗的重點部分。

算法是實驗的核心。如上所述，實驗內容選擇了當前視覺領域常用的VGG、AutoEncoder、U-Net和Encoder-Decoder+BERT四種網絡結構。實驗過程中，學生面臨的任務難度由易到難，搭建網絡的難度由簡單到復雜。開展實驗之前，由授課教師和助教演示一個簡單網絡的搭建全過程，并對代碼進行逐行講解，使得無基礎的學生能夠完整跟隨編程流程，從而快速掌握。為降低初始實驗的難度，由授課教師提供實驗代碼的一部分，將其中關鍵的代碼略去，交由學生獨立完成。之后的實驗，再由學生獨立完成所有代碼編寫工作。這樣，在有限的四次實驗中，能夠確保無基礎的學生也能夠從逐步熟悉到完全掌握主流網絡的搭建過程，從實驗中提升動手能力。另一方面需要注意的是，PaddlePaddle是一套自主研發且獨立的深度學習框架，這就可能使得具有其他框架開發經驗的學生存在適應問題。在授課之前，我們也與其他框架如Caffe、TensorFlow、PyTorch等進行了對比（表2）。在授課中發現，PaddlePaddle與PyTorch代碼風格相似，具有語句簡單、易于理解的特點；從學生的實際反饋來看，并無明顯的適應障礙，有利于實驗順利且高效的開展。

對學生完成實驗并系統提交的時間進行分析，如圖1所示。平均僅4.0%的學生在課程規定的時間內完成了所有實驗內容，說明實驗對大多數學生而言具有一定難度；平均51.6%的學生在實驗結束1周內完成實驗，最終90.3%的學生在實驗結束2周的截止時間內完成實驗，說明課后投入充足時間，大多數同學能夠完成所有實驗內容。

對學生實驗的完成度進行分析。選課學生完成所有實驗的比例達到了92%，較為圓滿地完成了課程設置的預期目標。尤其值得注意的是，其中有58%的學生是首次接觸基于機器學習的實驗，說明本課程實驗設置難易程度較為合理，課程教學取得的良好效果。

四? 結束語

計算機視覺課程在教育部產學研項目的支持下成功開展，實現了大范圍基于機器學習的計算機視覺實驗的有益嘗試，促進理論基礎知識和實驗動手方面的平衡，全方位提升了計算機視覺課程的教學質量，也堅定了后續相關課程開展機器學習方法實驗的信息和決心。令人鼓舞的是，所指導的學生以計算機視覺相關實踐題目為題繼續深入研究，獲得了國家級大學生創新創業訓練項目立項2項，入圍第八屆中國國際“互聯網+”大學生創新創業大賽天津賽區市賽1項，真正實現了利用課上學到的知識，直接應用和服務于實踐的目的。這也帶給我們啟示：未來課程中，可以進一步優化和擴展課程內容，依托有利軟硬件平臺，從課堂內和外兩方面，實現更為立體的全過程育人。

參考文獻：

[1] 王飛，劉勝輝，崔玉祥.工程教育專業認證背景下的地方工科院校新工科建設的思考[J].高教學刊，2021（3）：63-66.

[2] 凌志剛，溫和，李華麗.面向新工科的數字圖像處理課程線上線下一體化教學改革[J].計算機教育，2022（3）：139-142.

[3] 楊京輝.基于數字圖像處理課程的多維度教學探索[J].高教學刊，2021，7（29）：120-122，126.

[4] 黃莉，張凱，胡威，等.新工科模式下面向案例的人工智能課程教學研究[J].電腦知識與技術，2019，15（35）：162-163.

[5] 趙明，劉磊，馬欽，等.依托產學合作育人的人工智能課程建設和實踐[J].計算機教育，2021（10）：24-27.

[6] 饒泓，吳佳躍，樊莉莉，等.基于AI Studio平臺的機器學習課程實踐教學[J].計算機教育，2021（6）：115-119.

[7] 韓紅，焦李成.談計算機視覺課程的教學創新[J].計算機教育，2010（19）：84-86.

[8] 閔鋒，魯統偉.面向生產實踐的機器視覺課程教學探索與實踐[J].計算機教育，2017（10）：41-43.

[9] 李新利，楊國田，劉禾.基于理論與實踐并重的圖像處理與分析課程建設[J].高教學刊，2019，101（5）：101-102，105.

[10] 張林，沈瑩.面向計算機視覺課程的綜合性實驗平臺[J].計算機教育，2017（5）：136-139.

[11] 周俊偉，朱安娜，王亮亮，等.面向國產MindSpore平臺與Atlas 200的計算機視覺教學改革[J].計算機教育，2022（4）：56-60.