人工智能背景下多媒體類課程教學模式探索

［摘 要］ 以“多媒體技術”“多媒體通信”為代表的多媒體技術類課程是電子信息和計算機學科的重要專業課程，可以為學生未來從事多媒體技術相關工作和研究提供堅實基礎。針對目前教學中出現的學生積極性不高、知識模塊脫節、課堂教學知識結構與企業能力需求的差異較大等問題，提出了一種人工智能背景下多媒體技術類課程“四維一體”教學模式探索方案。分別從如何切實讓學生融入課程、如何提升學生動手能力、如何提升學生科研素養、如何拓展學生知識儲備等四方面詳細論述了提出的教學改革方案，為后續針對多媒體技術類課程開展理論教學和實踐教學均可提供參考。

［關鍵詞］ 多媒體技術教學；人工智能；科研素養；企業需求

［基金項目］ 2022年度上海理工大學教師發展研究項目“人工智能背景下的多媒體技術類課程‘四位一體教學模式探索”（CFTD223005）；2021年度國家自然科學基金面上項目“面向社交網絡場景的單幅輿情圖像篡改定位問題研究”（62172281）；2017年度國家自然科學基金青年項目“基于高階統計分析和局部同質性約束的圖像噪聲不一致性取證研究”（61702332）

［作者簡介］ 姚 恒（1982—），男，安徽蕪湖人，博士，上海理工大學光電信息與計算機工程學院副教授，主要從事多媒體安全和信號處理研究。

［中圖分類號］ G642.0［文獻標識碼］ A［文章編號］ 1674-9324（2023）29-0133-04［收稿日期］ 2022-10-08

引言

近年來，隨著計算機圖形處理器（GPU）算力的不斷提升以及深度學習技術為代表的機器學習算法革新，人工智能逐漸成為當前研究熱點。智能駕駛、虛擬現實以及智慧醫療等領域在人工智能技術的推動下均取得較快發展，甚至某些在20世紀科幻電影中的技術已經落地。人工智能技術發展的同時也伴隨大量能夠從事人工智能相關科研工作的人才需求，如何在高校中培養合格的人工智能領域人才成為當前電子信息類工科教育的當務之急。雖然當前多數高校已開設人工智能課程，甚至人工智能專業，但是在其他課程中的融合程度卻遠遠不夠。因為人工智能是一門交叉學科，需要融合多個領域的專業知識，然而這些相關課程的現有教學設計無法應對人工智能技術的發展。以多媒體技術類課程為例，當前多媒體技術類課程多以講解圖像、音視頻編碼和編輯技術為主，同時穿插部分基礎性的多媒體后期處理技術。但是在涉及人工智能領域內的新進展時卻往往淺嘗輒止，無法做到與專業人工智能課程的無縫銜接。基于此，針對人工智能背景下的多媒體技術教學方法創新成為當前電子信息類課程亟待解決的問題，同時也極具挑戰性。

由于多媒體技術類課程的重要性，上好這類專業課對學生將來投身人工智能領域的相關科研開發工作具有至關重要的作用。同時，教師在課程的日常教學過程中錘煉、提升自己的專業素養是教師職業發展的重要途徑之一。多媒體技術類課程是電子信息類和計算機類專業的重要課程，通過教學過程實踐，本文旨在探索人工智能背景下，如何有效解決學生缺乏發現和提出問題的能力、不注重與交叉學科的結合以及學生工程實踐能力薄弱的問題。最終構建面向人工智能企業需求、科研需求、課程需求和相關領域知識儲備需求的“四維一體”創新教學模式。

一、擬解決問題

以“多媒體技術”“多媒體通信”等課程為代表的多媒體技術類課程是電子信息和計算機學科的重要專業課程。課程中既承接“數字圖像處理”“線性代數”“信息論”和“概率論與數理統計”等專業基礎課程，又為學生從事人工智能相關領域深入學習和研究打下堅實基礎，因此課程具有舉足輕重的作用［1-4］。然而，該課程知識點分散，概念抽象、原理難懂，尤其是存在大量需要其他相關課程支撐的重、難知識點，使得很多學生感到入門較為困難。如果授課過程中不以需求為導向，那么在課程教學中必然停留在簡單的原理和公式講解上，學生只是機械被動的生搬硬套課程知識理論，利用公式做題，完成學習任務。學生難以深刻理解多媒體技術的精髓，難以達到開設這門課程的初衷。如何提高學生提出問題解決實際問題的能力、如何提高學生的課堂參與感、如何提高課程的理論深度為后續研究打下基礎、如何提高學生的創新能力和工程實踐能力，這些都是擺在授課教師面前無法回避的難題。在全面貫徹落實教育部《高等學校課程思政建設指導綱要》［5］的精神指引下，本研究擬從教育部“三全育人”人才培養需求入手，以培養學生成為具有國際視野、家國情懷、科學思維、工程能力的卓越創新人工智能人才為目標。構造面向人工智能企業需求、科研需求、課程需求和相關領域知識儲備需求的“四維一體”創新教學模式。

隨著人工智能技術的飛速發展，深度學習、卷積神經網絡、圖神經網絡、強化學習等新型機器學習新技術已經深入融合各類現有成熟技術，從而催生了人工智能機器人、無人駕駛導航系統、智慧醫療等新型產業，這些產業急需掌握多媒體技術的復合型人才。現有多媒體技術類課程的教學方法大多難以滿足社會和學生自身需求，主要存在以下幾方面問題。

（一）忽視對學生發現問題和提出問題能力的培養

人工智能技術不同于以往的技術，往往需要先發現問題并提出問題，才有后續的研究和發展。而當前學生在上課過程中習慣了聽課—回答問題的模式，逐漸喪失了提出問題的能力。從而在工作或深造過程中缺乏敏銳的科研嗅覺，從而失去掌握新技術發展的主動權和優先權。

（二）教學內容陳舊、枯燥

課程本身概念抽象、原理復雜，有些知識點晦澀難懂，并且和多門課程知識點緊密相關，需要學生對其他課程也有足夠的功底，因此學生通過理論學習往往難以理解課程中的很多內容。多媒體技術類課程在市面上的教材非常多，而且寫作質量參差不齊，即使是經典教材對不同知識接受能力的學生也會產生不同的效果。

（三）不注重與交叉學科的有機結合教學

多媒體技術涉及圖像、視頻、音頻多種媒體形式，其中這些媒體形式本質上分別對應二維、三維和一維信號處理。在信號處理過程中涉及線性代數、概率論以及信號與系統等理論知識，同時多媒體技術又是一門實踐性很高的課程，與計算機編程課程如Python、C語言以及數據結構密不可分。

（四）課程設計中對學生工程實踐能力培養不足

當前人工智能企業的最大需求在于熟練掌握深度學習基本框架并能利用深度學習工具解決實際問題的人才。而作為深度學習最重要的應用之一，多媒體技術完整理論框架非常復雜，并很難對相關應用熟練掌握。因此，傳統的多媒體類課程教學有種淺嘗輒止的感覺，學生無法體驗理論應用于實踐的思維過程。

綜上所述，多媒體技術類課程教學改革刻不容緩，無論對教師還是學生來說都將是一場具有深刻意義的改變。本文以全新視角對多媒體技術課程展開教學探索，并以四方需求為導向，有望解決當前教學中存在的難點和痛點。

二、研究思路和改進方法

本文基于促進教師職業發展的理念，對當前多媒體技術類課程（包括“多媒體通信”“多媒體技術”等）展開深入課程調研，發現了當前課程設計以及授課方式中存在的諸多問題，這些問題在當前人工智能技術高速發展背景下顯得格外突出。如何提升教師在該類課程的教學水平，提升相關專業本科生的培養質量，成為本項目研究的重點。人工智能是一門交叉性很強學科，不可能通過一門課使學生掌握整體架構和核心技術，需要各門課程協同教育改革。類似理念，人工智能行業并不僅限于招收人工智能專業畢業生，因此人工智能理念應當普及通信工程、電子信息工程、計算機技術、大數據科學等其他相關工科學科。基于此考慮，本研究從綜合維度考慮多媒體技術教學問題，以企業需求為導向重視學生工程實踐能力、以科研需求為導向重視學生發現問題并提出問題的能力、以課程自身需求為導向重視學生多媒體技術知識理解和運用能力，以及以相關交叉學科需求為導向重視學生構建完備知識結構。針對本文中提出的問題，教學改進方法如下。

（一）切實讓學生融入課程

多媒體技術類課程是一門既具有深厚歷史，又不斷涌現新技術的課程，因此會存在時間跨度較大情況。以最常見的多媒體載體圖像為例，20世紀初即出現膠卷相機和模擬圖像。膠卷曝光后經過沖印即產生模擬圖像，一旦圖像需要增強或者局部修改，后期處理難度較大。而隨著短視頻流媒體平臺的不斷發展，如今多媒體素材剪輯已經非常容易。因此在授課中，介紹多媒體發展歷程一方面可以使學生驚嘆科學技術的發展，另一方面又可以對我國改革開放以來科學技術的進步產生自豪感。我國在多媒體編碼、多媒體芯片設計以及網絡通信技術取得了長足進步。同時，我國擁有自主知識產權的新技術新設備層出不窮，以前的美國制造和日本制造已經紛紛被中國制造所取代。課程中以視頻編碼技術的發展來作為切入點，既包含MPEG1， H. 264這些經典視頻壓縮標準，也包含AVS和AVS2這些中國自主開發的視頻編碼標準。學生對這些標準進行比較后，可以切實感受到多媒體技術科研創新的價值。例如在影視特效制作過程中，傳統方法需要演員在一塊純色幕布前拍攝動作，再通過手動摳圖的形式疊加到需要的背景中，既費時費力，還會產生明顯與背景不一致的邊緣失真。而隨著迪士尼公司在計算機圖形學頂尖會議Siggraph 2017提出的自動摳圖算法發布后，整個摳圖流程所花費時間已經降低到原先的10%左右，并且摳圖精度超過很多經驗豐富的影視后期制作人員。

（二）提升學生動手能力

目前人工智能相關用人單位均要求畢業生能夠熟練掌握Python和C++等編程語言，同時需要熟悉常規的模式識別和機器視覺基礎算法。這些需求對現階段本科教育提出了新的挑戰。理論教學過程中可以加入一些實用多媒體編輯技術的介紹，例如老照片劃痕修復、圖像對比度增強、圖像分割等。隨著深度學習技術的發展，這些編輯技術主流算法都從以模型驅動的傳統方法轉變為以數據驅動的深度方法。由于理論課一般配備課程設計學時，課程設計過程中可以以Python語言為基礎，適當介紹深度網絡基本模型，并采用分組完成任務的形式進行課程設計。學生在完成課程設計過程中一方面可以參考例如Github在內的開發者網站進行程序復現，又可以根據實際需求對樣例程序進行調整來鍛煉實際動手能力。以Deepfake動態視頻換臉技術為例，該項技術通過捕捉所替換人臉的面部特征對視頻中的人臉進行替換，該算法大體分為人臉定位建模、人臉動態轉換和圖像動態拼接。在實際上課講解過程中，可能會出現學生難以理解的情況，因此通過將整個的項目工程進行模塊化，并以實現任務的形式讓學生動手完成。

（三）提升學生科研素養

在面向企業需求的同時，如何培養學生從事多媒體技術領域研究創新的科研素養也非常重要。眾所周知，目前學生在畢業去向選擇方面，很大比例都選擇考研深造。針對這一現象，多媒體技術類課程需要在課堂上引導學生養成嚴謹求實的科研作風。以圖像或視頻壓縮編碼環節為例，可以用1～2篇經典論文進行講解，通過學生分組討論圖像、視頻壓縮編碼的基本原理。并通過壓縮標準的介紹，使學生清晰了解論文和標準的不同，以及如何根據一些創新性算法修改標準。通過這些例子的引入，學生一方面可以理解科研論文與教材在前沿性方面的不同，另一方面也培養了將來從事創新性科學研究的興趣。例如在講解圖像JPEG壓縮的失真時，可以講解一些經典的論文如何去檢測這類失真。JPEG壓縮由于對圖像進行分塊，并對每個塊進行離散余弦變換，變換后的系數再進行量化和編碼。由于塊和塊之間的相關性被嚴重打破，因此也容易造成視覺上的失真。通過該例子，學生理解了塊效應產生的原因，但是如何用數學方法來檢測這類塊效應則需要更高層次的科研素養。通過講解一篇發表在IEEE Trans- actions on Image Processing上的經典論文，學生可以站在更高的高度去看待這個問題。

（四）構建學生完整知識儲備

在與學生的交流訪談中，大家普遍感受到課程學習模塊的割裂性。具體表現為學習完高等數學不清楚該怎么用，學習完信號與系統不知道如何深入，學習完專業課不知道各門課之間的關系等。因此，在多媒體技術類課程教學中一定要注重各門交叉課程的有機融合。既不能讓學生感覺課程是一門缺少重點的大雜燴，又不能讓學生在上其他課程時對出現過的知識點非常生疏。仍然以圖像、視頻壓縮編碼為例，在授課中也應當由淺入深介紹壓縮中用到的數學基礎，例如離散余弦變換、熵編碼等。同時，授課中也應當介紹圖像、視頻在壓縮編碼后如何通過大幅度降低文件尺寸從而降低網絡通信帶寬要求以服務于計算機視覺、模式識別等后續應用。通過這些教學手段使學生真正具有綜合思維能力，并具有盡可能完備的知識體系。

結語

經過長期多媒體技術類課程教學，本研究從四個不同維度考慮多媒體技術教學問題。具體來說，以企業需求為導向重視學生工程實踐能力，以科研需求為導向重視學生發現問題并提出問題的能力，以課程自身需求為導向重視學生多媒體技術知識理解和運用能力，以相關交叉學科需求為導向重視學生構建完備知識結構。針對以上四個方面，本文以實際教學案例為切入點，從技術層面深入分析了如何全方位提升多媒體技術類課程的教學質量，切實為人工智能發展輸送高質量人才。

參考文獻

［1］姚恒.面向工程教育專業認證和課程思政的多媒體通信課程教學改革［J］.學園，2021，14（32）：43-45.

［2］陶曉明，段一平，徐邁.人工智能環境下的“無線多媒體通信”課程教學改革研究［J］.工業和信息化教育，2020（2）：5-8+31.

［3］臧淼，邢志強.基于創新思維的多媒體通信課程教學改革［J］.中國現代教育裝備，2019（15）：54-56.

［4］房穎，李娟.基于創新意識與實踐能力培養的多媒體通信教學改革［J］.教育教學論壇，2020（37）：148-149.

［5］教育部.關于印發《高等學校課程思政建設指導綱要》的通知：教高〔2020〕3號［A/OL］.（2020-05-28）［2022-09-08］.https：//www.gov.cn/zhengce/zhengceku/2020-06/06/content_5517606.htm.

Exploring the Teaching Mode of Multimedia Classes in the Context of Artificial Intelligence

YAO Heng

（School of Optical-Electrical and Computer Engineering， University of Shanghai for Science and Technology， Shanghai 200093， China）

Abstract： Multimedia technology courses represented by “Multimedia Technology” and “Multimedia? Communication” are important professional courses in electronic information and computer disciplines， which? can provide a solid foundation for students to engage in multimedia technology-related work and research in the future. In view of the current problems of low student motivation， disconnected knowledge modules， and large? differences between the knowledge structure of classroom teaching and the requirements of enterprises， the article proposes a “four-dimensional” teaching mode exploration plan for multimedia technology courses in the context of artificial intelligence. The proposed teaching reform plan is discussed in detail from four aspects， including how to effectively integrate students into the course， how to improve students hands-on ability， how to enhance students research literacy， and how to expand students knowledge reserve， respectively. The article can provide a reference for subsequent theoretical and practical teaching of multimedia technology courses.

Key words： multimedia technology teaching; artificial intelligence; research literacy; enterprise demands