面向計算機視覺課程的綜合性實驗平臺

張林+沈瑩

摘 要：針對計算機視覺課程的特點，提出建立面向課程的綜合性實驗平臺，具體介紹全景拼接實驗、生物特征識別實驗、三維模型檢索實驗和深度學習實驗4個實驗平臺的特點，結(jié)合同濟大學計算機視覺課程的實際教學，介紹此實驗平臺的建設(shè)方案和經(jīng)驗。

關(guān)鍵詞：計算機視覺；全景拼接；生物特征識別；三維模型檢索；深度學習

文章編號：1672-5913（2017）05-0136-04

中圖分類號：G642

1 背 景

計算機視覺是最近20年發(fā)展起來的一門新興學科[1]，是一門研究如何使機器“看”的科學；更進一步說，是利用計算機對傳感器如圖像傳感器、深度信息傳感器、聲音傳感器等采集的信號進行分析，從而達到對客觀世界進行理解的目的。作為一門科學學科，計算機視覺試圖建立能夠從圖像或者多維數(shù)據(jù)中獲取“信息”的人工智能系統(tǒng)，因此計算機視覺也可以看作研究如何使人工系統(tǒng)從圖像或多維數(shù)據(jù)中“感知”的科學。

近5年，隨著人工智能領(lǐng)域技術(shù)如深度學習技術(shù)的飛速發(fā)展，計算機視覺學科在很多問題上，如人臉識別、目標檢測與跟蹤、像素級分割、場景理解、三維重建等，也取得突破性的進展，其應(yīng)用范圍也變得日益廣闊。在這種大背景下，全球各大高校陸續(xù)開設(shè)了計算機視覺課程，比較有代表性的課程包括斯坦福大學李飛飛教授開設(shè)的Computer Vision： Foundations and Applications課程[2]、華盛頓大學Ali Farhadi教授開設(shè)的Computer Vision課程[3]等。同濟大學軟件學院的計算機視覺課程[4]開設(shè)于2010年秋季學期，是全國范圍內(nèi)較早在本科階段開設(shè)此課程的院系。

2 教學難點與應(yīng)對策略

計算機視覺是一門理論性和實踐性都很強的課程，學生較難掌握。學習本門課程需要綜合運用多門課程的知識，如微積分、線性代數(shù)、概率論、高等幾何、數(shù)字圖像處理、機器學習等，這對教師和學生都有很高的要求。同時，由于該學科是一門新興學科，學科理論與方法目前仍處于快速發(fā)展階段，因此，如何把當前該領(lǐng)域最新的思想和方法融入教學環(huán)節(jié)中，一直是任課教師所面臨的巨大挑戰(zhàn)。

為了加深學生對課上講授理論內(nèi)容的理解和認識，任課教師對大部分關(guān)鍵理論和算法都給出代碼實現(xiàn)并配以驗證性實驗，學生可以利用上機課時對代碼內(nèi)容進行學習。雖然這種方式非常有利于學生對課堂理論內(nèi)容的理解和掌握，但是在教學實踐過程中，這種教學形式還存在一些不足之處，主要體現(xiàn)在兩個方面。

（1）目前，課程的代碼實現(xiàn)都是針對獨立的算法，注重培養(yǎng)學生對關(guān)鍵算法的理解能力，而代碼和知識點都較為分散，沒有形成針對一個大型任務(wù)的整體實驗平臺，不利于培養(yǎng)學生解決整體復(fù)雜問題的能力。

（2）目前，課程的上機實驗都是驗證性實驗，教師不僅給出所有的代碼實現(xiàn)，還配置好運行環(huán)境，準備好實驗數(shù)據(jù)，而上機的主要目的是讓學生通過閱讀和調(diào)試代碼對課上所學理論內(nèi)容加以理解和消化；但是我們發(fā)現(xiàn)，部分學習自制力較差的學生不僅在上機時間沒有按照要求參與實驗，而且也沒有認真閱讀和調(diào)試實驗程序。我們分析認為，產(chǎn)生這種情況的部分原因是教師沒有給學生明確分配需要完成的任務(wù)，導(dǎo)致其參與度降低。

為了解決上述問題，我們建議打造4個面向計算機視覺課程的綜合性實驗平臺，覆蓋課程大約90%的知識點。總體的思路是：所有實驗都根據(jù)課程進度劃分為若干個相對獨立的模塊，實驗的整體性框架代碼和模塊的框架性代碼都由教師提供，模塊的一些關(guān)鍵部分則空出來，留給學生完成；每次上機前，由教師描述本次上機的目的和需要學生完成的具體任務(wù)，學生可以在上機時段根據(jù)課堂內(nèi)容對模塊空缺的關(guān)鍵部分進行完善；當各綜合性實驗結(jié)束時，實驗程序可以處理一個相對完整和復(fù)雜的問題。這樣不僅有利于培養(yǎng)學生解決整體復(fù)雜問題的能力，還能提升學生對上機課的參與程度，培養(yǎng)學生的學習興趣。具體來說，根據(jù)目前的教學內(nèi)容，我們可以建設(shè)4個綜合性實驗平臺，包括全景拼接實驗平臺、生物特征識別實驗平臺、三維模型檢索實驗平臺和深度學習實驗平臺。

3 綜合性實驗平臺的建設(shè)

根據(jù)現(xiàn)行計算機視覺課程的教學內(nèi)容，我們可以設(shè)計4個綜合性實驗平臺。其中，總體框架性代碼和模塊的框架性代碼都由教師提供；隨著課堂教學的展開，學生須利用上機課時完成相應(yīng)模塊核心代碼的編寫工作，且模塊核心代碼所使用的算法會在理論課上講授。

3.1 全景拼接實驗平臺

全景拼接是一種把兩張或多張圖像根據(jù)重合內(nèi)容拼接成一張大的圖像的技術(shù)。這些圖像需要滿足一定的假設(shè)條件，即圖像所拍攝的景物基本上處于同一個物理平面，兩張圖像的內(nèi)容之間需要存在顯著的重合。把兩張圖像拼接成一張圖像的示例如圖1所示，其中，圖1（a）和1（b）是同濟大學軟件學院正門的有部分區(qū)域重疊的兩張圖像，圖1（c）是把1（a）變換到1（b）所在坐標系的結(jié)果，圖1（d）是利用基于特征點的自動全景拼接算法對1（a）和1（b）進行拼合的最終結(jié)果。

本實驗主要涉及的知識點包括圖像濾波、高斯尺度空間（Gaussian scale space）、Harris角點檢測（Harris corner detector）、基于LoG （laplacian of Gaussian）尺度空間的尺度不變點檢測、SIFT（scale invariant feature transform）描述子、射影幾何（projective geometry）、齊次線性方程組最小二乘法、隨機采樣一致性（RANdom SAmpling Consensus，RANSAC）模型擬合等。

3.2 生物特征識別實驗平臺

生物特征識別（biometrics）指的是用人體固有的生理特征或行為特征識別個人身份的技術(shù)，在刑偵、安防、銀行、社保等領(lǐng)域有著廣泛的應(yīng)用。本實驗平臺包含兩個系統(tǒng)，一個是基于WebCam攝像頭的人臉識別系統(tǒng)，另一個是非接觸式掌紋掌脈識別系統(tǒng)。endprint

基于WebCam攝像頭的人臉識別系統(tǒng)的運行界面如圖2（a）所示。由于絕大部分學生有個人電腦并配有WebCam，因此此實驗完全可以在學生個人電腦上完成。此實驗系統(tǒng)實際上包含兩個組成部分：一部分是人臉檢測（face detection），需要從視頻流中實時檢測出人臉所在的區(qū)域；另一部分是人臉識別（face recognition），就是把系統(tǒng)檢測到的人臉區(qū)域和注冊人臉數(shù)據(jù)集進行比對，從而確定系統(tǒng)檢測到的人臉的身份信息。本實驗涉及的知識點主要包括圖像濾波、Viola-Jones人臉檢測算法、向量與矩陣的微分法、基于Eigen-Face的人臉識別算法、基于稀疏表示（sparse representation）的人臉識別算法等。

非接觸式掌紋掌脈識別系統(tǒng)的外觀如圖2（b）所示。此采集系統(tǒng)主要包含一個雙CCD相機和一個包含可見光以及940nm近紅外光LED模組的定制光源，可以同時采集手掌的掌紋信息和靜脈信息。學生可以在該硬件平臺上完成整個基于掌紋掌脈信息的身份鑒別系統(tǒng)。此實驗涉及的知識點主要包括掌紋掌脈采集系統(tǒng)的設(shè)計與制造過程、掌紋ROI提取、生物特征圖像質(zhì)量評價、Gabor濾波器、競爭編碼（competitive coding）、基于Hamming距離的比對、基于掌脈信息的活體檢測等。

3.3 三維模型檢索實驗平臺

隨著3D數(shù)據(jù)采集設(shè)備的普及，3D數(shù)據(jù)也變得越來越豐富。本實驗會構(gòu)造一個三維模型檢索系統(tǒng)。2013年，同濟大學軟件學院數(shù)字媒體方向購置了一臺型號為Creaform Go Scan 3D的三維掃描儀，如圖3（a）所示。在本實驗中，教師首先要教授學生3D掃描儀的使用并構(gòu)建三維物體模型數(shù)據(jù)庫，圖3（b）展示了學生掃描的洗發(fā)水瓶和空調(diào)遙控器的三維模型；然后，學生需要完成一個三維剛體模型檢索系統(tǒng)，該系統(tǒng)可以根據(jù)一個輸入的三維模型從三維數(shù)據(jù)集合中挑選出與之最相似的三維模型。此實驗涉及的知識點主要包括三維掃描儀的使用、三維曲面重采樣、基于Fast Marching的測地距離（geodesic distance）的計算、歐氏奇異性消除、基于ICP（iterative closest point）算法的三維模型比對等。

3.4 深度學習實驗平臺

自從2012年Alex Krizhevsky等在NIPS上發(fā)表了把深度卷積神經(jīng)網(wǎng)絡(luò)（deep convolutional neural network，DCNN）應(yīng)用于解決大規(guī)模圖像分類問題的成果以后[5]，機器學習和計算機視覺領(lǐng)域掀起了一股研究和應(yīng)用深度學習技術(shù)的熱潮，并確實在許多不同領(lǐng)域取得了很大成功。深度學習技術(shù)近來的巨大成功一方面得益于大規(guī)模帶有標記的數(shù)據(jù)的出現(xiàn)，一方面是由于計算技術(shù)的進步，如GPU等。深度學習實際上是一種對數(shù)據(jù)表示（representation）的學習技術(shù)，深度學習模型由多層簡單模塊疊加形成，每一層都會對輸入進行變換，以增加數(shù)據(jù)表達的選擇性和不變性，因此，可以從原始數(shù)據(jù)中學習到它們的具有不同抽象層次的多層表示。深度學習技術(shù)的一個顯著特點就是它對數(shù)據(jù)特征的學習不是手工的，而是用通用的學習策略從數(shù)據(jù)中自動學習到的。

在計算機視覺課程中，教師介紹深度神經(jīng)網(wǎng)絡(luò)的基本知識。在本試驗中，要求學生構(gòu)建一個基于卷積神經(jīng)網(wǎng)絡(luò)的人體上半身檢測系統(tǒng)，實現(xiàn)從視頻流中實時檢測出畫面中出現(xiàn)的行人的頭肩部分。本實驗主要涉及的知識點包括圖像濾波、Softmax回歸（softmax regression）、深度卷積神經(jīng)網(wǎng)絡(luò)（deep convolutional neural networks， DCNN）、Pooling策略、非線性激勵策略、訓(xùn)練集測試集與驗證集、隨機梯度下降法（stochastic gradient descent）等。

4 實驗平臺建設(shè)效果評估

從2015年開始，綜合性實驗平臺已在我們的計算機視覺課程中完整地應(yīng)用了兩個周期，獲得了同濟大學相關(guān)專家和學生的好評，并引起強烈的反響。一方面，綜合性實驗平臺的引入客觀上提升了學生在計算機視覺課程實踐環(huán)節(jié)中的參與度，從而有助于學生更加深入牢固地掌握課上所講授的理論內(nèi)容；另一方面，綜合性實驗平臺極大地提升了學生綜合運用所學知識解決實際問題的動手能力，培養(yǎng)了他們對于計算機視覺這門學科的學習興趣。在課程結(jié)束時，不少學生表示希望將來能在相關(guān)領(lǐng)域從事開發(fā)或者研究工作。

5 結(jié) 語

經(jīng)過6年的探索實踐和沉淀積累，同濟大學的計算機視覺課程已經(jīng)形成了較為完善、具有特色的知識點體系，在教學方法上也積累了豐富的實踐經(jīng)驗。為了提升計算機視覺課程的教學效果，培養(yǎng)學生綜合運用多學科知識解決實際視覺問題的能力，我們建設(shè)了4個綜合性實驗平臺。這些實驗平臺已經(jīng)應(yīng)用在我們的教學實踐活動中，并初步取得了良好的效果，達到了實驗平臺建設(shè)的目的。在今后的教學實踐中，我們將認真聽取相關(guān)專家和學生的建設(shè)性意見和建議，對實驗平臺不斷進行完善，與時俱進，從而持續(xù)提升該課程的教學質(zhì)量。

參考文獻：

[1] Sonka M， Hlavac V， Boyle R. Image processing， analysis， and machine vision[M]. Stamford： CENGAGE Learning， 2008： 1-5.

[2] The vison lab. Stanford university CS 131 computer vision： Foundations and applications[EB/OL]. [2016-12-26]. http：//vision.stanford.edu/teaching/cs131_fall1617/index.html.

[3] Computer vision[EB/OL]. [2016-12-26]. https：//courses.cs.washington.edu/courses/cse576/16sp/.

[4] Zhang L.Computer vision[EB/OL]. [2016-12-26]. http：//sse.tongji.edu.cn/linzhang/CV/CV.htm.

[5] Krizhevsky A， Sutskever I， Hinton G E. Image net classification with deep convolutional neural networks[C]∥Proceedings of Neural Information Processing Systems. Cambridge： MIT Press， 2012： 1106-1114.

（編輯：宋文婷）endprint