深度學(xué)習(xí)背景下計(jì)算機(jī)視覺(jué)課程教學(xué)改革

陳章寶 鄧運(yùn)生 李 壯

(蚌埠學(xué)院電子與電氣工程學(xué)院, 安徽 蚌埠 233030)

人工智能技術(shù)是新一輪科技創(chuàng)新和產(chǎn)業(yè)變革的重要驅(qū)動(dòng)力量，深度學(xué)習(xí)是其中最有影響力的關(guān)鍵技術(shù)。近十年來(lái)，深度學(xué)習(xí)在技術(shù)創(chuàng)新和產(chǎn)業(yè)實(shí)踐中均取得了巨大成就，使得基于深度學(xué)習(xí)的計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、語(yǔ)音技術(shù)取得了突破性發(fā)展，并在相關(guān)領(lǐng)域中得到了廣泛的應(yīng)用。與機(jī)器學(xué)習(xí)的其他方法相比較，深度學(xué)習(xí)使用深層神經(jīng)網(wǎng)絡(luò)構(gòu)建特征表示和分類(lèi)的一體化模型，利用大量的樣本數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練，讓模型從大數(shù)據(jù)中學(xué)習(xí)以提高自身的性能。計(jì)算機(jī)視覺(jué)是深度學(xué)習(xí)技術(shù)發(fā)展最重要的領(lǐng)域，作為深度學(xué)習(xí)模型的LeNet是第一個(gè)卷積神經(jīng)網(wǎng)絡(luò)，并且在手寫(xiě)數(shù)字識(shí)別上取得了很好的效果，2012年AlexNet模型在ImageNet大賽上奪冠，將錯(cuò)誤率從26%降低到了15%，從此深度卷積神經(jīng)網(wǎng)絡(luò)大幅度超越傳統(tǒng)的特征提取+分類(lèi)器的計(jì)算機(jī)視覺(jué)方法，在圖像分類(lèi)、目標(biāo)檢測(cè)、圖像分割等領(lǐng)域均取得了長(zhǎng)足發(fā)展。

目前本科專業(yè)的計(jì)算機(jī)視覺(jué)教學(xué)以圖像的基礎(chǔ)處理和傳統(tǒng)的機(jī)器視覺(jué)算法為主，且圖像處理的內(nèi)容較多，如圖像變換、圖像濾波、形態(tài)學(xué)圖像處理、圖像編碼與壓縮等，機(jī)器視覺(jué)算法主要介紹邊緣檢測(cè)、區(qū)域分割、SIFT/SURF、ADABOOST等算法，沒(méi)有將近年來(lái)以深度學(xué)習(xí)為基礎(chǔ)的計(jì)算機(jī)視覺(jué)最新研究成果涵蓋進(jìn)來(lái)。本文根據(jù)我校自動(dòng)化和機(jī)器人工程專業(yè)的圖像處理和計(jì)算機(jī)視覺(jué)課程教學(xué)實(shí)踐，在基礎(chǔ)的圖像處理和傳統(tǒng)的計(jì)算機(jī)視覺(jué)算法介紹的基礎(chǔ)上，加入了基于深度學(xué)習(xí)理論的計(jì)算機(jī)視覺(jué)部分，開(kāi)展卷積神經(jīng)網(wǎng)絡(luò)相關(guān)知識(shí)的講授，進(jìn)行了圖像分類(lèi)、目標(biāo)檢測(cè)、圖像分割等教學(xué)案例設(shè)計(jì)。

1 計(jì)算機(jī)視覺(jué)技術(shù)發(fā)展

人類(lèi)感知周?chē)h(huán)境80%的信息來(lái)源于視覺(jué)，計(jì)算機(jī)視覺(jué)就是要讓機(jī)器像人一樣具有視覺(jué)感知能力，如圖像分類(lèi)、目標(biāo)檢測(cè)、圖像分割、三維視覺(jué)、目標(biāo)跟蹤等。計(jì)算機(jī)視覺(jué)對(duì)世界的認(rèn)知還處于實(shí)現(xiàn)單一任務(wù)的初級(jí)視覺(jué)階段，還遠(yuǎn)沒(méi)有達(dá)到人類(lèi)的視覺(jué)感知、信息處理和認(rèn)識(shí)能力，不過(guò)在人類(lèi)生物視覺(jué)的啟發(fā)下，通過(guò)模仿生物視覺(jué)神經(jīng)系統(tǒng)的感受野(receptive field)概念，提出的基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)理論并持續(xù)發(fā)展，當(dāng)今計(jì)算機(jī)視覺(jué)在復(fù)雜場(chǎng)景下的視覺(jué)理解，融合視覺(jué)、語(yǔ)音和文字等多源信息的視頻理解方面均取得了重要的研究成果。

1.1 圖像分類(lèi)

圖像分類(lèi)是計(jì)算機(jī)視覺(jué)的最基本任務(wù)，也是深度學(xué)習(xí)技術(shù)研究最為充分的視覺(jué)任務(wù)場(chǎng)景。ILSVIC(ImageNet Large-Scale Visual Recognition Challenge)大賽是一個(gè)基于ImageNet數(shù)據(jù)集的圖像分類(lèi)任務(wù)挑戰(zhàn)賽，該競(jìng)賽從2010年開(kāi)始舉辦，到2017年是最后一屆。2012年Alex Krizhevsky提出AlexNet網(wǎng)絡(luò)并在ILSVRC大賽中奪冠，以15.3%的Top-5的錯(cuò)誤率遠(yuǎn)超傳統(tǒng)算法如SIFT、LBP、HOG等傳統(tǒng)的圖像分類(lèi)方法，顯示了深度學(xué)習(xí)強(qiáng)大的特征抽象和表示能力，并輕松實(shí)現(xiàn)端到端的訓(xùn)練，在大數(shù)據(jù)下表現(xiàn)出明顯的優(yōu)勢(shì)。隨后VGG、GoogleNet、ResNet[1]等網(wǎng)絡(luò)被相繼提出，圖像分類(lèi)錯(cuò)誤率進(jìn)一步減少，甚至超出了人類(lèi)對(duì)圖像的分類(lèi)能力，目前細(xì)粒度圖像分類(lèi)(Fine-grained image categorization，F(xiàn)GIC)技術(shù)，實(shí)現(xiàn)同一類(lèi)別的子類(lèi)分類(lèi)，也取得了長(zhǎng)足的發(fā)展。圖像分類(lèi)模型的發(fā)展歷程如圖1上所示，這些模型是計(jì)算機(jī)視覺(jué)技術(shù)的基礎(chǔ)網(wǎng)絡(luò)，圖像分類(lèi)中的經(jīng)典網(wǎng)絡(luò)也成為目標(biāo)檢測(cè)、圖像分割等其他視覺(jué)任務(wù)的骨干(Backbone)網(wǎng)絡(luò)。

圖1 計(jì)算機(jī)視覺(jué)模型發(fā)展歷程

1.2 目標(biāo)檢測(cè)

目標(biāo)檢測(cè)是對(duì)圖像中感興趣的對(duì)象進(jìn)行定位(Localization)并分類(lèi)(Classification)，輸出對(duì)象的邊界方框和標(biāo)簽。由于受到目標(biāo)的復(fù)雜背景、光照變化、尺度變化、姿態(tài)多樣、相互遮擋、非剛性形變等多種因素的影響，使得目標(biāo)檢測(cè)任務(wù)更加具有挑戰(zhàn)性。基于深度學(xué)習(xí)的視覺(jué)目標(biāo)檢測(cè)網(wǎng)絡(luò)主要有二階段網(wǎng)絡(luò)R-CNN系列和單階段網(wǎng)絡(luò)YOLO、SSD系列等。

2014年Girshick等提出基于選擇性搜索(selective search)的R-CNN[2](region with convolutional neural network)兩階段目標(biāo)檢測(cè)網(wǎng)絡(luò)，使得基于深度學(xué)習(xí)的目標(biāo)檢測(cè)的準(zhǔn)確率超越了傳統(tǒng)的目標(biāo)檢測(cè)方法30%，隨后Fast R-CNN、Faster R-CNN網(wǎng)絡(luò)被陸續(xù)提出，使得目標(biāo)檢測(cè)精度大幅度提高而且檢測(cè)速度達(dá)到實(shí)時(shí)狀態(tài)，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)技術(shù)進(jìn)入實(shí)用階段。2016年以YOLO[3](You Only Look Once)為代表的單階段目標(biāo)檢測(cè)系列模型相繼提出，通過(guò)將目標(biāo)檢測(cè)設(shè)計(jì)成單一的回歸任務(wù)，同時(shí)回歸出目標(biāo)的位置和類(lèi)別，使得單階段目標(biāo)檢測(cè)算法達(dá)到了滿足實(shí)時(shí)檢測(cè)要求(FPS > 30)的高精度算法，并實(shí)現(xiàn)在邊緣端的部署， YOLO系列模型逐漸成為物體檢測(cè)的主流模型。目標(biāo)檢測(cè)算法的發(fā)展歷程如圖1下所示。近年來(lái)基于 Transformer 的目標(biāo)檢測(cè)算法研究引發(fā)熱潮，Transformer模型基于注意力機(jī)制，首先在自然語(yǔ)言處理(NLP)領(lǐng)域取得巨大成功，并成功遷移到計(jì)算機(jī)視覺(jué)領(lǐng)域。

1.3 圖像分割

圖像分割的任務(wù)是區(qū)分出圖像中不同物體所在的區(qū)域，按照分割的精細(xì)程度，可以將圖像分割歸為三類(lèi)：語(yǔ)義分割、實(shí)例分割和全景分割。語(yǔ)義分割是要求區(qū)分出圖像中每個(gè)像素所屬的類(lèi)別，實(shí)現(xiàn)像素級(jí)別的分類(lèi)；實(shí)例分割是在語(yǔ)義分割的基礎(chǔ)上，實(shí)現(xiàn)同一類(lèi)別的不同個(gè)體區(qū)域的劃分；全景分割包含語(yǔ)義分割和實(shí)例分割兩大任務(wù)，實(shí)現(xiàn)對(duì)圖像中的所有物體，包括背景進(jìn)行像素級(jí)別的分類(lèi)。2017年隨著全卷積網(wǎng)絡(luò)[4](Fully convolutional network, FCN) 的提出，隨后相繼出現(xiàn)了DeepLab系列、U-Net、PSPNet等圖像語(yǔ)義分割模型，DeepMask、Mask R-CNN、PANet、Mask SSD等實(shí)例分割模型；UPSNet、AUNet、TASCNet等全景分割模型。基于深度學(xué)習(xí)的圖像分割算法超越了傳統(tǒng)的基于邊緣和閾值等算法。

近年來(lái)隨著短視頻在社交媒體的廣泛流行，基于深度學(xué)習(xí)的視頻分析和處理技術(shù)備受關(guān)注，在視頻理解、行為識(shí)別、目標(biāo)跟蹤以及視頻生成等領(lǐng)域，深度學(xué)習(xí)技術(shù)均取得了突破性的進(jìn)展和應(yīng)用落地，特別是結(jié)合視頻、文字和語(yǔ)音的多源信息融合的視頻分析和理解技術(shù)研究定會(huì)稱為未來(lái)的發(fā)展趨勢(shì)，必將成為今后一段時(shí)間最為熱門(mén)的研究領(lǐng)域。

2 深度學(xué)習(xí)對(duì)計(jì)算機(jī)視覺(jué)教學(xué)的新要求

從深度學(xué)習(xí)理論在計(jì)算機(jī)視覺(jué)領(lǐng)域的發(fā)展和應(yīng)用現(xiàn)狀可以看出，深度學(xué)習(xí)是推動(dòng)計(jì)算機(jī)視覺(jué)發(fā)展的關(guān)鍵技術(shù)，并引領(lǐng)計(jì)算機(jī)視覺(jué)技術(shù)繼續(xù)發(fā)展。這也為本科階段的圖像處理和計(jì)算機(jī)視覺(jué)課程的教學(xué)內(nèi)容更新和教學(xué)手段的改進(jìn)提出了新要求，教學(xué)革新勢(shì)在必行。

2.1 理論方法不同

計(jì)算機(jī)視覺(jué)技術(shù)可以分解為三個(gè)層次，既底層的圖像處理、中層的特征提取和上層的圖像分析。底層的圖像處理技術(shù)實(shí)現(xiàn)圖像的增強(qiáng)與復(fù)原，其輸入和輸出皆為圖像，便于后續(xù)的圖像特征提取和分析；中層處理是從圖像中提取特征，形成“非圖像”的表示和描述，典型的特征表示方法有直方圖、LBP、SIFT、SURF、HOG等算法；高層的圖像分析主要包括圖像分類(lèi)、分割、目標(biāo)檢測(cè)、視覺(jué)跟蹤、視頻理解等。現(xiàn)有的計(jì)算機(jī)視覺(jué)課程的教材和教學(xué)內(nèi)容大多以“特征提取+分類(lèi)”的模式。在深度學(xué)習(xí)的大背景下，計(jì)算機(jī)視覺(jué)技術(shù)表現(xiàn)為如下的特點(diǎn)。

(1) 深度學(xué)習(xí)的計(jì)算機(jī)視覺(jué)方法采用深度神經(jīng)網(wǎng)絡(luò)(deep neural network, DNN)作為視覺(jué)系統(tǒng)的基本網(wǎng)絡(luò)，構(gòu)成圖像分類(lèi)、目標(biāo)檢測(cè)、圖像分割、目標(biāo)跟蹤和視頻分析的骨干網(wǎng)絡(luò)，通過(guò)海量數(shù)據(jù)訓(xùn)練出網(wǎng)絡(luò)參數(shù)，端到端的實(shí)現(xiàn)特征提取與分類(lèi)，避免了復(fù)雜的特征工程設(shè)計(jì)，最終的圖像分類(lèi)精度等指標(biāo)大幅度超越了傳統(tǒng)方法。

(2) 深度學(xué)習(xí)更加容易發(fā)揮大數(shù)據(jù)的優(yōu)勢(shì)，傳統(tǒng)的機(jī)器學(xué)習(xí)方法如BP神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)(support vector machine, SVM)、AdaBoost等機(jī)器視覺(jué)方法在數(shù)據(jù)量少時(shí)泛化能力弱，導(dǎo)致分類(lèi)效果差，數(shù)據(jù)量多時(shí)效果提升變緩。深度學(xué)習(xí)具有與生俱來(lái)的適配大數(shù)據(jù)的能力，數(shù)據(jù)量越大效果越好。深度學(xué)習(xí)的標(biāo)準(zhǔn)數(shù)據(jù)集皆為大規(guī)模數(shù)據(jù)集，如ImageNet數(shù)據(jù)集就有1400萬(wàn)張標(biāo)注圖片，常用數(shù)據(jù)子集也有百萬(wàn)張圖片，深度學(xué)習(xí)在工業(yè)界的應(yīng)用中，也需要有大量的場(chǎng)景數(shù)據(jù)，海量的數(shù)據(jù)可以解決一切問(wèn)題。

(3) 深度學(xué)習(xí)強(qiáng)大的特征表示能力，利用模型中的很多個(gè)隱藏層，通過(guò)特征組合的方式，逐層將原始的輸入圖像轉(zhuǎn)化為淺層的空間特征，中層的語(yǔ)義特征和高層的目標(biāo)特征，最終實(shí)現(xiàn)分類(lèi)和預(yù)測(cè)任務(wù)。深度神經(jīng)網(wǎng)絡(luò)不僅可以實(shí)現(xiàn)圖像特征的抽取，同樣也可以實(shí)現(xiàn)語(yǔ)音、文字信號(hào)等特征的抽取和表示，具有很強(qiáng)的通用性，更易于實(shí)現(xiàn)融合視頻、文字和語(yǔ)音的多任務(wù)學(xué)習(xí)和多模態(tài)學(xué)習(xí)任務(wù)，推動(dòng)視頻分析技術(shù)的發(fā)展。

(4) 實(shí)現(xiàn)端到端的訓(xùn)練，傳統(tǒng)的計(jì)算機(jī)視覺(jué)技術(shù)需要進(jìn)行“圖像預(yù)處理+特征提取+分類(lèi)預(yù)測(cè)”三個(gè)階段，對(duì)于特定的任務(wù)，需要進(jìn)行針對(duì)性的特征工程設(shè)計(jì)和分類(lèi)器設(shè)計(jì)。深度學(xué)習(xí)不需要進(jìn)行任務(wù)的階段劃分，而是完全交給深度神經(jīng)網(wǎng)絡(luò)模型直接學(xué)習(xí)從原始數(shù)據(jù)到期望輸出的映射，直接實(shí)現(xiàn)從圖像輸入到任務(wù)輸出。

2.2 實(shí)驗(yàn)平臺(tái)不同

深度學(xué)習(xí)對(duì)實(shí)驗(yàn)平臺(tái)的要求主要體現(xiàn)為大數(shù)據(jù)集、硬件訓(xùn)練和部署平臺(tái)、軟件框架三個(gè)方面。傳統(tǒng)計(jì)算機(jī)視覺(jué)算法對(duì)數(shù)據(jù)集和訓(xùn)練平臺(tái)的要求都不高，在個(gè)人電腦和ARM控制器上就可以實(shí)現(xiàn)訓(xùn)練和部署，而深度學(xué)習(xí)發(fā)展起來(lái)的幾個(gè)關(guān)鍵因素，就是龐大的數(shù)據(jù)集、GPU的并行算力，以及深度學(xué)習(xí)框架。

在計(jì)算機(jī)視覺(jué)落地項(xiàng)目中，很難獲取像標(biāo)準(zhǔn)數(shù)據(jù)集的規(guī)模，在工業(yè)品瑕疵視覺(jué)檢測(cè)和異常場(chǎng)景分析中，數(shù)據(jù)采集比較困難，導(dǎo)致數(shù)據(jù)量較少，樣本數(shù)據(jù)類(lèi)別的不均衡等情況，解決此類(lèi)問(wèn)題的方法可以通過(guò)數(shù)據(jù)擴(kuò)增的方法解決數(shù)據(jù)量不足的問(wèn)題，通過(guò)損失函數(shù)的樣本權(quán)重設(shè)計(jì)等來(lái)解決數(shù)據(jù)不均衡的問(wèn)題，將通用數(shù)據(jù)集上的預(yù)訓(xùn)練模型遷移到場(chǎng)景數(shù)據(jù)集等來(lái)提高視覺(jué)模型效果。

通常深度學(xué)習(xí)的訓(xùn)練和部署對(duì)硬件平臺(tái)的要求較高，需要用高配置的GPU電腦、服務(wù)器，或者云服務(wù)器等。對(duì)精度和實(shí)時(shí)性要求不高的場(chǎng)合，也可以進(jìn)行模型的輕量化設(shè)計(jì)，利用模型蒸餾、神經(jīng)網(wǎng)絡(luò)搜索、剪枝和量化，進(jìn)行模型壓縮，獲取小容量模型并部署到移動(dòng)端或者嵌入式設(shè)備上。

深度學(xué)習(xí)的快速發(fā)展，以及模塊化設(shè)計(jì)和計(jì)算特性給深度學(xué)習(xí)框架的開(kāi)發(fā)提供了便利，目前具有代表性的框架有Google的TensorFlow、Meta的Pytorch，國(guó)內(nèi)的深度學(xué)習(xí)框架包括百度于2016年推出的飛漿(PaddlePaddle)、曠視科技的MegEngine、華為的MindSpore和清華大學(xué)的Jitter。框架的推出為深度學(xué)習(xí)的研究和落地提供了極大的便利，加速了深度學(xué)習(xí)的研究進(jìn)度，降低了模型設(shè)計(jì)和訓(xùn)練的難度，推動(dòng)了相關(guān)項(xiàng)目的快速落地。

3 教學(xué)改革與創(chuàng)新

隨著深度學(xué)習(xí)技術(shù)的發(fā)展，在計(jì)算機(jī)視覺(jué)課程教學(xué)中加入深度學(xué)習(xí)的入門(mén)知識(shí)和基礎(chǔ)理論勢(shì)在必行，由于課時(shí)的有限，需要弱化部分圖像處理和傳統(tǒng)計(jì)算機(jī)視覺(jué)的內(nèi)容，同時(shí)進(jìn)行教學(xué)資源和實(shí)驗(yàn)平臺(tái)建設(shè)，并進(jìn)行教學(xué)模式的創(chuàng)新，在進(jìn)行傳統(tǒng)計(jì)算機(jī)視覺(jué)教學(xué)的同時(shí)，緊跟新技術(shù)的發(fā)展步伐，引領(lǐng)學(xué)生進(jìn)行基于深度學(xué)習(xí)理論的計(jì)算機(jī)視覺(jué)技術(shù)學(xué)習(xí)和研究。

3.1 教學(xué)內(nèi)容優(yōu)化

在深度學(xué)習(xí)主導(dǎo)計(jì)算機(jī)視覺(jué)技術(shù)的當(dāng)今，為了將深度學(xué)習(xí)理論融入計(jì)算機(jī)視覺(jué)課程的教學(xué)中，需要對(duì)原有的計(jì)算機(jī)視覺(jué)課程的教學(xué)內(nèi)容進(jìn)行部分的優(yōu)化，壓縮傳統(tǒng)視覺(jué)方法中的部分教學(xué)內(nèi)容，特別是傳統(tǒng)“特征提取+分類(lèi)器”等被深度學(xué)習(xí)完美替代部分的教學(xué)內(nèi)容，對(duì)壓縮的部分只進(jìn)行理論知識(shí)的介紹，不講算法的實(shí)現(xiàn)過(guò)程。下面以張錚的教材《數(shù)字圖像處理與機(jī)器視覺(jué)》[5]為例，涉及的部分教學(xué)內(nèi)容如表1所示，需要增加深度學(xué)習(xí)理論的基礎(chǔ)教學(xué)內(nèi)容如表2所示。

表1 部分壓縮的教學(xué)內(nèi)容

表1對(duì)計(jì)算機(jī)視覺(jué)課程的教學(xué)內(nèi)容進(jìn)行了優(yōu)化設(shè)計(jì)，壓縮了部分教學(xué)內(nèi)容，如圖像的頻域增強(qiáng)，傳統(tǒng)的圖像特征提取和分類(lèi)器等，壓縮不等于不講，而是簡(jiǎn)單講，在教學(xué)設(shè)計(jì)中是需要了解的內(nèi)容。強(qiáng)化了與深度學(xué)習(xí)理論相關(guān)的部分內(nèi)容，這些內(nèi)容在教學(xué)設(shè)計(jì)中是需要重點(diǎn)掌握，如圖像幾何變換常用于數(shù)據(jù)增擴(kuò)，結(jié)合遷移學(xué)習(xí)，在深度學(xué)習(xí)的落地項(xiàng)目中廣泛使用；SVM作為經(jīng)典的分類(lèi)模型，在小樣本分類(lèi)項(xiàng)目中表現(xiàn)優(yōu)越，經(jīng)典深度學(xué)習(xí)模型也有用SVM進(jìn)行分類(lèi)；BP神經(jīng)網(wǎng)絡(luò)模型是深度學(xué)習(xí)模型的基礎(chǔ)，也是經(jīng)典的分類(lèi)器模型，是學(xué)習(xí)深度神經(jīng)網(wǎng)絡(luò)的入門(mén)知識(shí)。此外在圖像的空域增強(qiáng)中，圖像濾波算子結(jié)合卷積核進(jìn)行介紹，濾波算子參數(shù)是確定的，而卷積核參數(shù)是學(xué)習(xí)出來(lái)的，更容易讓學(xué)生了解圖像卷積的概念。

表2 深度學(xué)習(xí)教學(xué)內(nèi)容

表2給出了本科專業(yè)教學(xué)中深度學(xué)習(xí)的基本教學(xué)內(nèi)容，包括神經(jīng)網(wǎng)絡(luò)基礎(chǔ)，基本的圖像分類(lèi)、目標(biāo)檢測(cè)、圖像分割模型，模型訓(xùn)練和優(yōu)化的基礎(chǔ)教學(xué)內(nèi)容，以及常用的深度學(xué)習(xí)框架。此表是在計(jì)算機(jī)視覺(jué)課程的教學(xué)實(shí)踐中，總結(jié)出來(lái)的關(guān)于深度學(xué)習(xí)的教學(xué)類(lèi)容設(shè)計(jì)，強(qiáng)調(diào)基礎(chǔ)知識(shí)的掌握，基本平臺(tái)的應(yīng)用，引領(lǐng)學(xué)生入門(mén)深度學(xué)習(xí)技術(shù)。

3.2 教學(xué)平臺(tái)和資源建設(shè)

深度學(xué)習(xí)是在大數(shù)據(jù)和大算力的推動(dòng)下發(fā)展起來(lái)的技術(shù)，且其網(wǎng)絡(luò)模塊眾多，基礎(chǔ)理論復(fù)雜，這些因素都給學(xué)生入門(mén)深度學(xué)習(xí)造成了很大的難度。深度學(xué)習(xí)通過(guò)信號(hào)的前向傳輸和誤差的反向傳遞，實(shí)現(xiàn)基于梯度下降的訓(xùn)練優(yōu)化，編程特性和計(jì)算特性較為模式化，統(tǒng)一的編程框架會(huì)給學(xué)習(xí)和開(kāi)發(fā)提供極大的便利，當(dāng)今的深度學(xué)習(xí)框架也被稱為人工智能時(shí)代的操作系統(tǒng)。教學(xué)中利用百度公司開(kāi)源的飛漿(PaddlePaddle)深度學(xué)習(xí)框架[6]，飛漿深度學(xué)習(xí)框架是國(guó)內(nèi)開(kāi)源最早的深度學(xué)習(xí)框架，其下接芯片，可以適配不同的底層硬件，上承應(yīng)用，適應(yīng)各種算法應(yīng)用，對(duì)接云計(jì)算和大數(shù)據(jù)資源，集核心框架、工具組件和服務(wù)平臺(tái)于一體，飛漿全景圖如圖2所示。

飛漿核心框架實(shí)現(xiàn)動(dòng)態(tài)圖和靜態(tài)圖兩種編程方式的統(tǒng)一，集模型訓(xùn)練和預(yù)測(cè)于一體，開(kāi)源了計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、推薦系統(tǒng)和語(yǔ)音識(shí)別四大類(lèi)官方模型，其中飛將視覺(jué)模型庫(kù)(PaddleCV)提供了大量的圖像分類(lèi)、目標(biāo)檢測(cè)、圖像分割、圖像生成、視頻分析等視覺(jué)算法的預(yù)訓(xùn)練模型。飛漿還集成了遷移學(xué)習(xí)、訓(xùn)練可視化等一系列工具組件，進(jìn)行深度學(xué)習(xí)的開(kāi)發(fā)訓(xùn)練和應(yīng)用部署。飛漿還提供的AI Studio在線開(kāi)發(fā)實(shí)訓(xùn)平臺(tái)，集合了教程、案例、經(jīng)典數(shù)據(jù)集、云端的運(yùn)算資源、以及比賽平臺(tái)和社區(qū)。利用百度飛漿深度學(xué)習(xí)框架和AI Studio平臺(tái)，全面解決了深度學(xué)習(xí)教學(xué)中對(duì)大數(shù)據(jù)、大算力、框架和平臺(tái)的要求。百度公司的平臺(tái)保障和技術(shù)支持，為開(kāi)展深度學(xué)習(xí)的教學(xué)、科研和工程開(kāi)發(fā)提供了極大的便利。

教學(xué)資源建設(shè)是基于百度AI Studio平臺(tái)開(kāi)展教學(xué)活動(dòng)，進(jìn)行教學(xué)案例設(shè)計(jì)，開(kāi)展集數(shù)據(jù)準(zhǔn)備、模型設(shè)計(jì)、模型訓(xùn)練與評(píng)價(jià)于一體的教學(xué)活動(dòng)，教學(xué)中進(jìn)行了如表3所示的教學(xué)案例設(shè)計(jì)。在本科階段計(jì)算機(jī)視覺(jué)教學(xué)中，深度學(xué)習(xí)理論的教學(xué)案例設(shè)計(jì)側(cè)重于入門(mén)案例[7]和基礎(chǔ)案例，前沿技術(shù)案例可以簡(jiǎn)要介紹，要進(jìn)行進(jìn)階式的案例設(shè)計(jì)，并將深度學(xué)習(xí)的基礎(chǔ)知識(shí)融入教學(xué)案例中。

表3 深度學(xué)習(xí)的教學(xué)案例設(shè)計(jì)

(續(xù)表3)

3.3 教學(xué)模式創(chuàng)新

“計(jì)算機(jī)視覺(jué)”是在傳統(tǒng)圖像處理和機(jī)器視覺(jué)課程的基礎(chǔ)上，融入了深度學(xué)習(xí)技術(shù)的課程，實(shí)踐性強(qiáng)。新工科背景下，課程教學(xué)堅(jiān)持以“學(xué)生為中心，以產(chǎn)出為導(dǎo)向”的OBE教學(xué)理念，進(jìn)行教學(xué)模式創(chuàng)新[8]。本科階段的“計(jì)算機(jī)視覺(jué)”課程教學(xué)以基礎(chǔ)理論講解、案例教學(xué)、工程實(shí)踐為主，通過(guò)規(guī)范教學(xué)與實(shí)驗(yàn)平臺(tái)、改革課程教學(xué)模式和實(shí)踐項(xiàng)目化教學(xué)等手段開(kāi)展課程教學(xué)的改革和探索。

(1) 規(guī)范教學(xué)與實(shí)驗(yàn)平臺(tái)。基于深度學(xué)習(xí)理論的計(jì)算機(jī)視覺(jué)教學(xué)需要大數(shù)據(jù)和計(jì)算平臺(tái)的支撐，打造規(guī)范的教學(xué)和實(shí)驗(yàn)平臺(tái)是開(kāi)展教學(xué)活動(dòng)的基礎(chǔ)，采用百度PaddlePaddle深度學(xué)習(xí)框架，百度AI Studio教學(xué)平臺(tái)開(kāi)展教學(xué)活動(dòng)和管理。

(2) 改革課程教學(xué)模式。首先，以案例推動(dòng)教學(xué)，通過(guò)案例引申出具體的教學(xué)內(nèi)容，實(shí)現(xiàn)由面及點(diǎn)、由點(diǎn)到面的知識(shí)體系教學(xué)，例如通過(guò)圖像分類(lèi)案例，可以講解數(shù)據(jù)集預(yù)處理、模型設(shè)計(jì)、訓(xùn)練和預(yù)測(cè)等一系列知識(shí)點(diǎn)，所有知識(shí)點(diǎn)又構(gòu)建了整個(gè)分類(lèi)模型。其次，以作業(yè)提升教學(xué)，教學(xué)中以學(xué)生為中心，引導(dǎo)學(xué)生去分析問(wèn)題和解決問(wèn)題，通過(guò)優(yōu)質(zhì)的課程作業(yè)設(shè)計(jì)，讓學(xué)生掌握數(shù)據(jù)處理與增擴(kuò)、深度學(xué)習(xí)框架應(yīng)用、模型結(jié)構(gòu)優(yōu)化、參數(shù)調(diào)節(jié)對(duì)提高分類(lèi)精度的效果。最后，以應(yīng)用拓展教學(xué)，通過(guò)深度學(xué)習(xí)視覺(jué)案例的應(yīng)用部署，激發(fā)學(xué)生的學(xué)習(xí)興趣，例如將訓(xùn)練好的預(yù)測(cè)模型如花卉識(shí)別、手勢(shì)識(shí)別、交通標(biāo)志檢測(cè)、人體分割和摳圖等，部署到云端、服務(wù)器和電腦端，嵌入式邊緣設(shè)備端等。

(3) 實(shí)踐教學(xué)。實(shí)踐教學(xué)是課程教學(xué)的延伸，主要通過(guò)課程設(shè)計(jì)、畢業(yè)設(shè)計(jì)、大創(chuàng)項(xiàng)目、學(xué)科競(jìng)賽、學(xué)生參與教師的工程項(xiàng)目和科學(xué)研究等方式，讓學(xué)生掌握工程需求分析與系統(tǒng)設(shè)計(jì)、數(shù)據(jù)分析與采集，模型設(shè)計(jì)與優(yōu)化、模型部署的全過(guò)程，增強(qiáng)學(xué)生利用所學(xué)知識(shí)解決實(shí)際工程的能力，提高工程化應(yīng)用型人才的培養(yǎng)成效。實(shí)踐中，在實(shí)驗(yàn)室搭建了一個(gè)人臉識(shí)別項(xiàng)目，帶領(lǐng)學(xué)生不斷提升系統(tǒng)性能，從當(dāng)初的人臉識(shí)別、口罩識(shí)別、到現(xiàn)在的融合視覺(jué)和語(yǔ)音的人機(jī)互動(dòng)；指導(dǎo)學(xué)生參加全國(guó)智能汽車(chē)競(jìng)賽，講授智能車(chē)的視覺(jué)導(dǎo)航和目標(biāo)識(shí)別關(guān)鍵技術(shù)，讓學(xué)生實(shí)踐深度學(xué)習(xí)的技術(shù)在智能車(chē)、自動(dòng)駕駛的應(yīng)用；在工業(yè)機(jī)器人視覺(jué)引導(dǎo)抓取的項(xiàng)目中，實(shí)現(xiàn)了3D視覺(jué)的目標(biāo)物體姿態(tài)檢測(cè)，并引導(dǎo)機(jī)械臂以適當(dāng)?shù)淖藨B(tài)進(jìn)行抓取，這些系統(tǒng)得到了大創(chuàng)項(xiàng)目、學(xué)校工程和科研項(xiàng)目的經(jīng)費(fèi)支撐，并轉(zhuǎn)化為學(xué)生的畢業(yè)設(shè)計(jì)課題；學(xué)生參與老師的病雞識(shí)別、玻璃品瑕疵檢測(cè)項(xiàng)目，提高了學(xué)生的工程能力，培養(yǎng)了學(xué)生的科研意識(shí)。

4 結(jié)論

通過(guò)在計(jì)算機(jī)視覺(jué)課程中引入深度學(xué)習(xí)的教學(xué)內(nèi)容，通過(guò)教學(xué)內(nèi)容優(yōu)化、教學(xué)資源建設(shè)和教學(xué)模式創(chuàng)新，開(kāi)展案例化的教學(xué)，引導(dǎo)學(xué)生逐步進(jìn)入學(xué)科前沿知識(shí)的學(xué)習(xí)和應(yīng)用工程開(kāi)發(fā)。通過(guò)多年的教學(xué)實(shí)踐，學(xué)生對(duì)基于深度學(xué)習(xí)的視覺(jué)技術(shù)產(chǎn)生了濃厚的興趣，我院學(xué)生在近三年的全國(guó)大學(xué)生智能車(chē)競(jìng)賽百度深度學(xué)習(xí)創(chuàng)意組比賽中屢獲大獎(jiǎng)；學(xué)生在百度AI studio平臺(tái)的比賽中，輕松獲取Top10名次。本著“以學(xué)生為中心，以產(chǎn)出為導(dǎo)向”的OBE教學(xué)理念，開(kāi)展課程教學(xué)研究與改革，進(jìn)行工程化應(yīng)用型人才的培養(yǎng)，學(xué)生的學(xué)習(xí)熱情持續(xù)增長(zhǎng)，工程能力顯著提升，科研素養(yǎng)逐漸養(yǎng)成。