面向計(jì)算機(jī)視覺(jué)課程的綜合性實(shí)驗(yàn)平臺(tái)

張林+沈瑩

摘 要：針對(duì)計(jì)算機(jī)視覺(jué)課程的特點(diǎn)，提出建立面向課程的綜合性實(shí)驗(yàn)平臺(tái)，具體介紹全景拼接實(shí)驗(yàn)、生物特征識(shí)別實(shí)驗(yàn)、三維模型檢索實(shí)驗(yàn)和深度學(xué)習(xí)實(shí)驗(yàn)4個(gè)實(shí)驗(yàn)平臺(tái)的特點(diǎn)，結(jié)合同濟(jì)大學(xué)計(jì)算機(jī)視覺(jué)課程的實(shí)際教學(xué)，介紹此實(shí)驗(yàn)平臺(tái)的建設(shè)方案和經(jīng)驗(yàn)。

關(guān)鍵詞：計(jì)算機(jī)視覺(jué)；全景拼接；生物特征識(shí)別；三維模型檢索；深度學(xué)習(xí)

文章編號(hào)：1672-5913（2017）05-0136-04

中圖分類(lèi)號(hào)：G642

1 背 景

計(jì)算機(jī)視覺(jué)是最近20年發(fā)展起來(lái)的一門(mén)新興學(xué)科[1]，是一門(mén)研究如何使機(jī)器“看”的科學(xué)；更進(jìn)一步說(shuō)，是利用計(jì)算機(jī)對(duì)傳感器如圖像傳感器、深度信息傳感器、聲音傳感器等采集的信號(hào)進(jìn)行分析，從而達(dá)到對(duì)客觀世界進(jìn)行理解的目的。作為一門(mén)科學(xué)學(xué)科，計(jì)算機(jī)視覺(jué)試圖建立能夠從圖像或者多維數(shù)據(jù)中獲取“信息”的人工智能系統(tǒng)，因此計(jì)算機(jī)視覺(jué)也可以看作研究如何使人工系統(tǒng)從圖像或多維數(shù)據(jù)中“感知”的科學(xué)。

近5年，隨著人工智能領(lǐng)域技術(shù)如深度學(xué)習(xí)技術(shù)的飛速發(fā)展，計(jì)算機(jī)視覺(jué)學(xué)科在很多問(wèn)題上，如人臉識(shí)別、目標(biāo)檢測(cè)與跟蹤、像素級(jí)分割、場(chǎng)景理解、三維重建等，也取得突破性的進(jìn)展，其應(yīng)用范圍也變得日益廣闊。在這種大背景下，全球各大高校陸續(xù)開(kāi)設(shè)了計(jì)算機(jī)視覺(jué)課程，比較有代表性的課程包括斯坦福大學(xué)李飛飛教授開(kāi)設(shè)的Computer Vision： Foundations and Applications課程[2]、華盛頓大學(xué)Ali Farhadi教授開(kāi)設(shè)的Computer Vision課程[3]等。同濟(jì)大學(xué)軟件學(xué)院的計(jì)算機(jī)視覺(jué)課程[4]開(kāi)設(shè)于2010年秋季學(xué)期，是全國(guó)范圍內(nèi)較早在本科階段開(kāi)設(shè)此課程的院系。

2 教學(xué)難點(diǎn)與應(yīng)對(duì)策略

計(jì)算機(jī)視覺(jué)是一門(mén)理論性和實(shí)踐性都很強(qiáng)的課程，學(xué)生較難掌握。學(xué)習(xí)本門(mén)課程需要綜合運(yùn)用多門(mén)課程的知識(shí)，如微積分、線性代數(shù)、概率論、高等幾何、數(shù)字圖像處理、機(jī)器學(xué)習(xí)等，這對(duì)教師和學(xué)生都有很高的要求。同時(shí)，由于該學(xué)科是一門(mén)新興學(xué)科，學(xué)科理論與方法目前仍處于快速發(fā)展階段，因此，如何把當(dāng)前該領(lǐng)域最新的思想和方法融入教學(xué)環(huán)節(jié)中，一直是任課教師所面臨的巨大挑戰(zhàn)。

為了加深學(xué)生對(duì)課上講授理論內(nèi)容的理解和認(rèn)識(shí)，任課教師對(duì)大部分關(guān)鍵理論和算法都給出代碼實(shí)現(xiàn)并配以驗(yàn)證性實(shí)驗(yàn)，學(xué)生可以利用上機(jī)課時(shí)對(duì)代碼內(nèi)容進(jìn)行學(xué)習(xí)。雖然這種方式非常有利于學(xué)生對(duì)課堂理論內(nèi)容的理解和掌握，但是在教學(xué)實(shí)踐過(guò)程中，這種教學(xué)形式還存在一些不足之處，主要體現(xiàn)在兩個(gè)方面。

（1）目前，課程的代碼實(shí)現(xiàn)都是針對(duì)獨(dú)立的算法，注重培養(yǎng)學(xué)生對(duì)關(guān)鍵算法的理解能力，而代碼和知識(shí)點(diǎn)都較為分散，沒(méi)有形成針對(duì)一個(gè)大型任務(wù)的整體實(shí)驗(yàn)平臺(tái)，不利于培養(yǎng)學(xué)生解決整體復(fù)雜問(wèn)題的能力。

（2）目前，課程的上機(jī)實(shí)驗(yàn)都是驗(yàn)證性實(shí)驗(yàn)，教師不僅給出所有的代碼實(shí)現(xiàn)，還配置好運(yùn)行環(huán)境，準(zhǔn)備好實(shí)驗(yàn)數(shù)據(jù)，而上機(jī)的主要目的是讓學(xué)生通過(guò)閱讀和調(diào)試代碼對(duì)課上所學(xué)理論內(nèi)容加以理解和消化；但是我們發(fā)現(xiàn)，部分學(xué)習(xí)自制力較差的學(xué)生不僅在上機(jī)時(shí)間沒(méi)有按照要求參與實(shí)驗(yàn)，而且也沒(méi)有認(rèn)真閱讀和調(diào)試實(shí)驗(yàn)程序。我們分析認(rèn)為，產(chǎn)生這種情況的部分原因是教師沒(méi)有給學(xué)生明確分配需要完成的任務(wù)，導(dǎo)致其參與度降低。

為了解決上述問(wèn)題，我們建議打造4個(gè)面向計(jì)算機(jī)視覺(jué)課程的綜合性實(shí)驗(yàn)平臺(tái)，覆蓋課程大約90%的知識(shí)點(diǎn)。總體的思路是：所有實(shí)驗(yàn)都根據(jù)課程進(jìn)度劃分為若干個(gè)相對(duì)獨(dú)立的模塊，實(shí)驗(yàn)的整體性框架代碼和模塊的框架性代碼都由教師提供，模塊的一些關(guān)鍵部分則空出來(lái)，留給學(xué)生完成；每次上機(jī)前，由教師描述本次上機(jī)的目的和需要學(xué)生完成的具體任務(wù)，學(xué)生可以在上機(jī)時(shí)段根據(jù)課堂內(nèi)容對(duì)模塊空缺的關(guān)鍵部分進(jìn)行完善；當(dāng)各綜合性實(shí)驗(yàn)結(jié)束時(shí)，實(shí)驗(yàn)程序可以處理一個(gè)相對(duì)完整和復(fù)雜的問(wèn)題。這樣不僅有利于培養(yǎng)學(xué)生解決整體復(fù)雜問(wèn)題的能力，還能提升學(xué)生對(duì)上機(jī)課的參與程度，培養(yǎng)學(xué)生的學(xué)習(xí)興趣。具體來(lái)說(shuō)，根據(jù)目前的教學(xué)內(nèi)容，我們可以建設(shè)4個(gè)綜合性實(shí)驗(yàn)平臺(tái)，包括全景拼接實(shí)驗(yàn)平臺(tái)、生物特征識(shí)別實(shí)驗(yàn)平臺(tái)、三維模型檢索實(shí)驗(yàn)平臺(tái)和深度學(xué)習(xí)實(shí)驗(yàn)平臺(tái)。

3 綜合性實(shí)驗(yàn)平臺(tái)的建設(shè)

根據(jù)現(xiàn)行計(jì)算機(jī)視覺(jué)課程的教學(xué)內(nèi)容，我們可以設(shè)計(jì)4個(gè)綜合性實(shí)驗(yàn)平臺(tái)。其中，總體框架性代碼和模塊的框架性代碼都由教師提供；隨著課堂教學(xué)的展開(kāi)，學(xué)生須利用上機(jī)課時(shí)完成相應(yīng)模塊核心代碼的編寫(xiě)工作，且模塊核心代碼所使用的算法會(huì)在理論課上講授。

3.1 全景拼接實(shí)驗(yàn)平臺(tái)

全景拼接是一種把兩張或多張圖像根據(jù)重合內(nèi)容拼接成一張大的圖像的技術(shù)。這些圖像需要滿足一定的假設(shè)條件，即圖像所拍攝的景物基本上處于同一個(gè)物理平面，兩張圖像的內(nèi)容之間需要存在顯著的重合。把兩張圖像拼接成一張圖像的示例如圖1所示，其中，圖1（a）和1（b）是同濟(jì)大學(xué)軟件學(xué)院正門(mén)的有部分區(qū)域重疊的兩張圖像，圖1（c）是把1（a）變換到1（b）所在坐標(biāo)系的結(jié)果，圖1（d）是利用基于特征點(diǎn)的自動(dòng)全景拼接算法對(duì)1（a）和1（b）進(jìn)行拼合的最終結(jié)果。

本實(shí)驗(yàn)主要涉及的知識(shí)點(diǎn)包括圖像濾波、高斯尺度空間（Gaussian scale space）、Harris角點(diǎn)檢測(cè)（Harris corner detector）、基于LoG （laplacian of Gaussian）尺度空間的尺度不變點(diǎn)檢測(cè)、SIFT（scale invariant feature transform）描述子、射影幾何（projective geometry）、齊次線性方程組最小二乘法、隨機(jī)采樣一致性（RANdom SAmpling Consensus，RANSAC）模型擬合等。

3.2 生物特征識(shí)別實(shí)驗(yàn)平臺(tái)

生物特征識(shí)別（biometrics）指的是用人體固有的生理特征或行為特征識(shí)別個(gè)人身份的技術(shù)，在刑偵、安防、銀行、社保等領(lǐng)域有著廣泛的應(yīng)用。本實(shí)驗(yàn)平臺(tái)包含兩個(gè)系統(tǒng)，一個(gè)是基于WebCam攝像頭的人臉識(shí)別系統(tǒng)，另一個(gè)是非接觸式掌紋掌脈識(shí)別系統(tǒng)。endprint

基于WebCam攝像頭的人臉識(shí)別系統(tǒng)的運(yùn)行界面如圖2（a）所示。由于絕大部分學(xué)生有個(gè)人電腦并配有WebCam，因此此實(shí)驗(yàn)完全可以在學(xué)生個(gè)人電腦上完成。此實(shí)驗(yàn)系統(tǒng)實(shí)際上包含兩個(gè)組成部分：一部分是人臉檢測(cè)（face detection），需要從視頻流中實(shí)時(shí)檢測(cè)出人臉?biāo)诘膮^(qū)域；另一部分是人臉識(shí)別（face recognition），就是把系統(tǒng)檢測(cè)到的人臉區(qū)域和注冊(cè)人臉數(shù)據(jù)集進(jìn)行比對(duì)，從而確定系統(tǒng)檢測(cè)到的人臉的身份信息。本實(shí)驗(yàn)涉及的知識(shí)點(diǎn)主要包括圖像濾波、Viola-Jones人臉檢測(cè)算法、向量與矩陣的微分法、基于Eigen-Face的人臉識(shí)別算法、基于稀疏表示（sparse representation）的人臉識(shí)別算法等。

非接觸式掌紋掌脈識(shí)別系統(tǒng)的外觀如圖2（b）所示。此采集系統(tǒng)主要包含一個(gè)雙CCD相機(jī)和一個(gè)包含可見(jiàn)光以及940nm近紅外光LED模組的定制光源，可以同時(shí)采集手掌的掌紋信息和靜脈信息。學(xué)生可以在該硬件平臺(tái)上完成整個(gè)基于掌紋掌脈信息的身份鑒別系統(tǒng)。此實(shí)驗(yàn)涉及的知識(shí)點(diǎn)主要包括掌紋掌脈采集系統(tǒng)的設(shè)計(jì)與制造過(guò)程、掌紋ROI提取、生物特征圖像質(zhì)量評(píng)價(jià)、Gabor濾波器、競(jìng)爭(zhēng)編碼（competitive coding）、基于Hamming距離的比對(duì)、基于掌脈信息的活體檢測(cè)等。

3.3 三維模型檢索實(shí)驗(yàn)平臺(tái)

隨著3D數(shù)據(jù)采集設(shè)備的普及，3D數(shù)據(jù)也變得越來(lái)越豐富。本實(shí)驗(yàn)會(huì)構(gòu)造一個(gè)三維模型檢索系統(tǒng)。2013年，同濟(jì)大學(xué)軟件學(xué)院數(shù)字媒體方向購(gòu)置了一臺(tái)型號(hào)為Creaform Go Scan 3D的三維掃描儀，如圖3（a）所示。在本實(shí)驗(yàn)中，教師首先要教授學(xué)生3D掃描儀的使用并構(gòu)建三維物體模型數(shù)據(jù)庫(kù)，圖3（b）展示了學(xué)生掃描的洗發(fā)水瓶和空調(diào)遙控器的三維模型；然后，學(xué)生需要完成一個(gè)三維剛體模型檢索系統(tǒng)，該系統(tǒng)可以根據(jù)一個(gè)輸入的三維模型從三維數(shù)據(jù)集合中挑選出與之最相似的三維模型。此實(shí)驗(yàn)涉及的知識(shí)點(diǎn)主要包括三維掃描儀的使用、三維曲面重采樣、基于Fast Marching的測(cè)地距離（geodesic distance）的計(jì)算、歐氏奇異性消除、基于ICP（iterative closest point）算法的三維模型比對(duì)等。

3.4 深度學(xué)習(xí)實(shí)驗(yàn)平臺(tái)

自從2012年Alex Krizhevsky等在NIPS上發(fā)表了把深度卷積神經(jīng)網(wǎng)絡(luò)（deep convolutional neural network，DCNN）應(yīng)用于解決大規(guī)模圖像分類(lèi)問(wèn)題的成果以后[5]，機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺(jué)領(lǐng)域掀起了一股研究和應(yīng)用深度學(xué)習(xí)技術(shù)的熱潮，并確實(shí)在許多不同領(lǐng)域取得了很大成功。深度學(xué)習(xí)技術(shù)近來(lái)的巨大成功一方面得益于大規(guī)模帶有標(biāo)記的數(shù)據(jù)的出現(xiàn)，一方面是由于計(jì)算技術(shù)的進(jìn)步，如GPU等。深度學(xué)習(xí)實(shí)際上是一種對(duì)數(shù)據(jù)表示（representation）的學(xué)習(xí)技術(shù)，深度學(xué)習(xí)模型由多層簡(jiǎn)單模塊疊加形成，每一層都會(huì)對(duì)輸入進(jìn)行變換，以增加數(shù)據(jù)表達(dá)的選擇性和不變性，因此，可以從原始數(shù)據(jù)中學(xué)習(xí)到它們的具有不同抽象層次的多層表示。深度學(xué)習(xí)技術(shù)的一個(gè)顯著特點(diǎn)就是它對(duì)數(shù)據(jù)特征的學(xué)習(xí)不是手工的，而是用通用的學(xué)習(xí)策略從數(shù)據(jù)中自動(dòng)學(xué)習(xí)到的。

在計(jì)算機(jī)視覺(jué)課程中，教師介紹深度神經(jīng)網(wǎng)絡(luò)的基本知識(shí)。在本試驗(yàn)中，要求學(xué)生構(gòu)建一個(gè)基于卷積神經(jīng)網(wǎng)絡(luò)的人體上半身檢測(cè)系統(tǒng)，實(shí)現(xiàn)從視頻流中實(shí)時(shí)檢測(cè)出畫(huà)面中出現(xiàn)的行人的頭肩部分。本實(shí)驗(yàn)主要涉及的知識(shí)點(diǎn)包括圖像濾波、Softmax回歸（softmax regression）、深度卷積神經(jīng)網(wǎng)絡(luò)（deep convolutional neural networks， DCNN）、Pooling策略、非線性激勵(lì)策略、訓(xùn)練集測(cè)試集與驗(yàn)證集、隨機(jī)梯度下降法（stochastic gradient descent）等。

4 實(shí)驗(yàn)平臺(tái)建設(shè)效果評(píng)估

從2015年開(kāi)始，綜合性實(shí)驗(yàn)平臺(tái)已在我們的計(jì)算機(jī)視覺(jué)課程中完整地應(yīng)用了兩個(gè)周期，獲得了同濟(jì)大學(xué)相關(guān)專(zhuān)家和學(xué)生的好評(píng)，并引起強(qiáng)烈的反響。一方面，綜合性實(shí)驗(yàn)平臺(tái)的引入客觀上提升了學(xué)生在計(jì)算機(jī)視覺(jué)課程實(shí)踐環(huán)節(jié)中的參與度，從而有助于學(xué)生更加深入牢固地掌握課上所講授的理論內(nèi)容；另一方面，綜合性實(shí)驗(yàn)平臺(tái)極大地提升了學(xué)生綜合運(yùn)用所學(xué)知識(shí)解決實(shí)際問(wèn)題的動(dòng)手能力，培養(yǎng)了他們對(duì)于計(jì)算機(jī)視覺(jué)這門(mén)學(xué)科的學(xué)習(xí)興趣。在課程結(jié)束時(shí)，不少學(xué)生表示希望將來(lái)能在相關(guān)領(lǐng)域從事開(kāi)發(fā)或者研究工作。

5 結(jié) 語(yǔ)

經(jīng)過(guò)6年的探索實(shí)踐和沉淀積累，同濟(jì)大學(xué)的計(jì)算機(jī)視覺(jué)課程已經(jīng)形成了較為完善、具有特色的知識(shí)點(diǎn)體系，在教學(xué)方法上也積累了豐富的實(shí)踐經(jīng)驗(yàn)。為了提升計(jì)算機(jī)視覺(jué)課程的教學(xué)效果，培養(yǎng)學(xué)生綜合運(yùn)用多學(xué)科知識(shí)解決實(shí)際視覺(jué)問(wèn)題的能力，我們建設(shè)了4個(gè)綜合性實(shí)驗(yàn)平臺(tái)。這些實(shí)驗(yàn)平臺(tái)已經(jīng)應(yīng)用在我們的教學(xué)實(shí)踐活動(dòng)中，并初步取得了良好的效果，達(dá)到了實(shí)驗(yàn)平臺(tái)建設(shè)的目的。在今后的教學(xué)實(shí)踐中，我們將認(rèn)真聽(tīng)取相關(guān)專(zhuān)家和學(xué)生的建設(shè)性意見(jiàn)和建議，對(duì)實(shí)驗(yàn)平臺(tái)不斷進(jìn)行完善，與時(shí)俱進(jìn)，從而持續(xù)提升該課程的教學(xué)質(zhì)量。

參考文獻(xiàn)：

[1] Sonka M， Hlavac V， Boyle R. Image processing， analysis， and machine vision[M]. Stamford： CENGAGE Learning， 2008： 1-5.

[2] The vison lab. Stanford university CS 131 computer vision： Foundations and applications[EB/OL]. [2016-12-26]. http：//vision.stanford.edu/teaching/cs131_fall1617/index.html.

[3] Computer vision[EB/OL]. [2016-12-26]. https：//courses.cs.washington.edu/courses/cse576/16sp/.

[4] Zhang L.Computer vision[EB/OL]. [2016-12-26]. http：//sse.tongji.edu.cn/linzhang/CV/CV.htm.

[5] Krizhevsky A， Sutskever I， Hinton G E. Image net classification with deep convolutional neural networks[C]∥Proceedings of Neural Information Processing Systems. Cambridge： MIT Press， 2012： 1106-1114.

（編輯：宋文婷）endprint