基于機器視覺的“三層四構”實驗教學設計與成效分析

張 磊 周 勝 李勁松

（安徽大學 光電信息獲取與控制教育部重點實驗室，安徽 合肥 230601）

0 引言

依據2018年教育部最新發布的《普通高等學校本科專業類教學質量國家標準》中電子信息類教學質量國家標準的總體培養目標要求：“結合各自專業基礎和學科特色，在對區域和行業特點以及學生未來發展需求進行充分調研與分析的基礎上，適應社會和經濟發展對多樣化人才培養需要，制定相應專業培養目標”。同時，提出了人才培養多樣化的建議：“各高校可根據學生發展需求和學校學科特色及研究優勢，制定針對不同類型人才的培養方案，在學分分配、課程模塊設置、實習實踐環節、畢業設計(論文)等方面適當調整，體現學校專業特色，進行多樣化培養。”教育部高等教育司司長吳巖表示，在《標準》應把握的三大原則中重點強調：突出學生中心，注重激發學生的學習興趣和潛能，創新形式、改革教法、強化實踐，推動本科教學從“教得好”向“學得好”轉變[1-2]。

根據《標準》要求，落實到本科理工科專業的實踐教育中（包括專業實驗、課程設計、實習實訓及畢業設計），應充分發揮學校專業特色，不僅實現教學實踐模塊多樣化，針對某一門實驗課程也應當實現實驗模塊多樣化，一改以往實驗教學中所有學生參與統一實驗的狀況。本研究針對光電信息科學與工程學科的本科教育，以目前新興的結構光三維輪廓檢測的機器視覺平臺為載體，在對區域和行業特點以及學生興趣調研與分析的基礎上，進行了多層次多結構實驗設計研究：學習設計型實驗、研究驗證型實驗、探索創新型實驗、工程創新型實驗。針對不同學習程度、不同興趣方向的學生實現針對性、任務驅動型的實驗教育。引導學生從軟件仿真著手，到實現整體集成結構設計的全方位實踐學習，感知創造性學習的魅力。安徽大學物理與材料科學學院的三年實施效果表明該實驗設計受到廣大本科同學的歡迎，尤其高層次選做實驗參與人均次數達到14次，部分同學做出了相關成果。

1 機器視覺實驗架構設計

2017年，國務院下發的《新一代人工智能發展規劃》中明確表示要在2030年之前搶占人工智能的高地，而機器視覺則是人工智能領域的重要組成部分。近年來，國內外手機生產商不約而同地將目光聚焦到該領域，利用結構光進行三維人臉識別，例如蘋果公司iPhone X，小米8以及OPPO的Find X手機等，均搭載了結構光人臉識別系統，如圖1（a）所示，其主要由微型投影器件和攝影器件組成。該技術迅速受到了大學生群體的關注，引起了相關討論學習熱潮。本文基于該技術熱點，利用條紋投影技術重現了結構光人臉識別系統，其實質是三維輪廓的高精度重構技術。本文所采用的實驗架構便是基于條紋投影的主動三維感知系統，其架構主要如圖1（b）所示，投影系統投影正弦條紋圖像（結構光）到待測物表面，光柵受待測物面形調制而扭曲，攝像系統采集變形條紋，通過相位處理技術解算出物體高度信息。其過程主要包括條紋生成與投影；調制條紋獲取與解調、解包裹；相位與高度轉化等技術流程。根據上述該架構，本教學設計依托于安徽大學光電信息獲取與控制教育部重點實驗室特色，打造了25套多樣化機器視覺實驗平臺，針對不同類型人才制定了多層次多結構化的實驗教學環節。實驗類型的劃分主要遵循循序漸進原則，分為“三層四構”。如圖1(c)所示，“三層”依次為基礎層次實驗、加分層次實驗和選做層次實驗。“四構”分別為學習設計型實驗、研究驗證型實驗、探索創新型實驗、工程創新型實驗。基礎層次實驗作為實驗教學中的必選實驗項目；以加分層次實驗促進對成績要求較高的同學參與；對學有余力的同學鼓勵進行探索創新性實驗與工程創新型實驗。

圖1 機器視覺感知系統：（a）手機搭載的結構光人臉識別系統；（b）自行構建的條紋投影主動機器視覺感知系統；（c）“三層四構”實驗模式設計

1.1 學習驗證型實驗設計

學習驗證型實驗設計主要為學生在機器視覺理論學習的基礎上進行算法程序化驗證的過程，該過程主要對理想情況進行仿真驗證，難度適中，整體設計思路如圖2所示，主要包括如下幾個方面的仿真實驗設計[3-4]：

（1）觀察實際實驗中的投影條紋特征，思考如何進行條紋投影仿真與條紋采集仿真，其中包括參考面條紋和被物體調制的條紋。

（2）實現理想的仿真正弦條紋的四步移相解調仿真。即從仿真采集條紋中恢復出真實的相位信息。也就是從正弦條紋：I=a+bcos（φ）中解出φ，由于參數a，b未知，即利用四幅相差1/4個波長相位的正弦條紋圖提取整幅圖相位信息：

（3）基于所得的四步移相后的主相位跳變特征，利用逐點掃描方法編寫程序進行解包裹。實際就是求取每個像素對應的公式（1）中n的值。

（4）對系統參數進行相關測量，并進行相位高度換算。

圖2 學習型實驗設計步驟

其中f為投影條紋的頻率。

該實驗設計主要為了調動學生積極性，能快速從編制的算法中看到實驗結果，增強學習信心。經過實踐調研，參與實驗的385名本科同學在老師指導下均可完成實驗，完成該層次實驗設計的學生中80%以上有信心完成實際機器視覺測量實驗。

1.2 驗證研究型實驗設計

根據學生們進行的學習設計型實驗會發現，在仿真理想情況下可以采用自制軟件得到物體的真實三維輪廓。進而引導學生將仿真程序用于實際物體的三維輪廓測量，也就是進行循序漸進式的實驗驗證，引導學生自主發現問題并尋求解決方案。主要包括以下幾個步驟的設計：

圖3 表面連續變化的物體輪廓測量驗證與問題引導

（1）對于表面連續變化的物體輪廓測量驗證，實驗中學生將自主發現重構的物體輪廓與原實物輪廓存在明顯差別。如圖3所示，因此引導學生發現實際測量與仿真的明顯區別：噪聲的影響。引導學生查閱相關文獻，明確噪聲影響的實質性步驟在解包裹算法中的影響，讓學生自主編制抑制噪聲的解包裹算法。值得注意的是，解包裹算法一般難以兼顧精度和速度[5]，可以鼓勵具有編程特長的學生嘗試快速解包裹算法的嘗試。因此，該項任務設計主要針對軟件特長學生設計。

（2）對于表面或邊緣存在尖銳間斷的物體輪廓測量驗證，引導學生進行陰影區域進行處理。對于表面間斷或邊緣銳利的物體，在測量時陰影區域不可避免，而在數據處理過程中出現陰影區域數據誤判，產生如圖4中出現的強噪聲。

基于該問題，鼓勵學生利用圖像處理的知識進行陰影識別和數據補充，訓練學生對于普遍性光學問題的圖像處理能力。不少于82%的同學愿意接受該項具體挑戰。

圖4 邊緣存在尖銳間斷的物體輪廓測量驗證與陰影分析

（3）對于實驗結果中輪廓存在規律性痕跡誤差的分析實驗。引導學生認識與矯正非線性誤差[6]。圖4實驗結果可以看出，即使進行了陰影區域的判別，最終結果輪廓仍然存在規律性痕跡誤差，因此，需要引導學生進行誤差來源分析。一方面學生可以通過查文獻分析相似誤差來源；另一方面可以通過不同條件下的重復性實驗摸索該誤差來源，最終引導學生認識非線性誤差（圖5所示）。主要訓練學生主動發現問題和解決問題的一般性思路。

圖5 實驗結果中輪廓存在規律性痕跡誤差的分析實驗設計

1.3 探索創新型實驗設計

上述驗證型實驗設計可引導學生完成完整三維重建實驗流程，而探索創新型實驗則培養學生的外延拓展能力，即拓展實驗設計的應用范圍，將實驗測量范圍擴展到動態被測物體，因此，設計兩項實驗，并同時培養學生的算法構建和數學建模能力。

（1）單幅條紋圖的物體輪廓測量：算法構建能力培養。從教學經驗來看，學生對于四步移相的理解一般比較容易，即利用四副條紋圖進行相位解調，幾乎99%以上的同學均能很好地完成。但是該方法速度慢，不適合瞬時檢測。因此鼓勵學生探索利用單幅條紋圖進行相位解調，可是適當提示采用傅里葉變換（FFT）的方法，如圖6所示。在此過程中最重要的一步是取出傅里葉變換正一級譜，鼓勵學生自主探索不同濾波窗口的作用。同時讓學生自主學習由于傅里葉分析法本身的局限性造成邊緣平滑原因[7]，培養學生主動進行科研嘗試的積極性。

圖6 探索1：傅里葉變換的方法相位解調實驗設計

（2）基于雙頻條紋投影的物體輪廓測量：數學建模能力培養。對于解包裹算法的理解歷來是學生學習難點，也是重點。因此應當設計探索性實驗加強學生對于解包裹的多方位理解。由于實驗平臺嵌入的傳統解包裹算法對于噪聲的抑制性較差，容易造成拉線誤差。因此，引導學生探索有效地解包裹方法，抑制傳統算法中的誤差累積效應，如雙頻解包裹算法[8]，如圖7所示。該實驗有助于提高學生對于具體問題的多方位思考能力，訓練學生是否能將實際問題轉化為數學模型，進而在數學框架下進行解決的能力。

圖7 探索2：雙頻條紋投影的物體輪廓測量

1.4 工程創新型實驗設計

工程創新型實驗區別于探索創新型實驗之處在于其工程化訓練，學生需要依據所學原理進行實驗系統設計與構建。

（1）縱向集成平臺設計構建：從無到有的實踐能力培養。對于學有余力的學生，擬設計集成平臺構建實訓，鑒于當前平臺屬于橫向檢測系統，其中被測物放置需專用平臺。因此，可指導學生建立縱向檢測機構，如圖8(a)所示。縱向檢測系統建立涉及硬件建模，系統規劃乃至器件選型，是基于學生對于橫向系統工作原理較為熟悉的狀態下，通過該平臺構建訓練學生實體建模和“從無到有”的真實實驗構建能力。

圖8 工程創新型實驗設計樣板：（a）縱向集成平臺構建；（b）條紋反射式實驗平臺設計與構建

（2）條紋反射式實驗平臺設計與構建：學習遷移能力培養。基于條紋投影實驗裝置對于漫反射物體的測量[9]，引導學生查閱文獻，實現高反鏡面物體的面形測量。利用LCD顯示屏替代投影設備，基于光學平臺自主搭建條紋反射輪廓檢測系統，如圖8(b)所示。主要考驗學生在有限空間對于光路設計的應變能力，訓練學生對于離軸光路和共軸光路相互轉換的理解和實際操作。開發學生的科研聯想能力和學習遷移能力。

2 教學設計成效分析

2.1 激發學生的學習興趣

上述實踐教學設計自2016年9月在安徽大學物理學院實施，基礎實驗平臺25套，每次配備實驗教師3名，一次性可容納50人（25組）同時參與實驗，根據學習進度，不同組可進行不同層次實驗。目前參與學生人數達385人，其中各層次實驗參與人數如表1所示，該數據由實驗平臺打卡記錄數據提供。其中學習驗證型實驗為必須參加的教學過程，385人全數參與。驗證研究型實驗為加分實驗項目，其他層次實驗為選做實驗，由學生自主選擇參加，參加條件為完成上一層次實驗。

表1 安徽大學3年內各層次實驗參與人數

從表1可以看出三年內總的實驗次數達到2203，平均實驗人次達5.7，遠超原實踐教學的參與量：平均約1人次。可見，該分層次實驗設計能極大地提高學生的學習興趣，一反過去平時不聽課，考試前圍著老師轉的現象。

2.2 促進學生明確學習目標

各個分層的實驗設計以問題為導向，激發了學生進行深度學習的興趣；培養了學生查閱文獻、分析問題實質、借鑒前人方法及提出改進措施等一系列科研思維與能力，使學生由畏懼科研到具備一定的科研思維。大多數同學意識到學習的目的是使用所學知識解決實際問題，而不是應付考試。從表1可以看出，主動參與探索創新型實驗的學生達165人，占比達42.8%。參與人次達667，人均次數超過4次，遠高于前兩項基礎性實驗，表明學有余力且主動參與探索創新型實驗的學生愿意付出更多努力，具有更強烈的解決實際問題的意愿。在全部385名同學中，12名同學以該實驗相關內容申請并獲得了國家級大學生創新創業項目資助。18名同學以實驗相關課題作為研究對象，完成了畢業設計。

2.3 培養學術科研思維，提高自主學習和學習遷移能力

經過學生座談調查發現，約30%同學能夠熟練查閱文獻、發現問題并解決問題。可見，該實驗設計有助于培養學生的科研思維。有相當一部分學生能夠自行發掘新問題并加以解決，例如部分學生利用手機和投影儀測量鑰匙輪廓時發現金屬鑰匙的不同部位對結構光的反光程度不同，容易導致局部曝光過度進而引起區域數據缺失，因此該部分學生自行組成多人興趣小組，結合工程光學課程中相關偏振知識，實現了學習遷移，配合自編算法實現了不同曝光程度的自適應測量，實現了鑰匙三維測量與配制，并能實現精準開鎖（圖9）。

圖9 探索創新型實驗中學生完成的自適應投影，并用于鑰匙三維測量配制

2.4 培養工程創新能力，實現教學相長

參與工程創新型實驗的人數達52人，參與人次722，人均次數達14次，相對與探索創新型實驗人均參與次數（4次）有了極大的提高。可見，該部分學生已經進一步進入科研狀態，愿意投入更多的學習精力。其中17屆6名學生發現在四個實驗層次中的程序操作較為復雜，自發為25套實驗平臺開發了用戶導向的軟件界面（圖10（a）），極大地方便了同學們進行模塊化程序學習和實驗操作，也促進了教師的教學熱情，成為教學相長的重要實例。18屆4名同學利用實驗原理，設計制作了微型便攜式口腔掃描系統（圖10（b）），已經進行了專利申請，真正實現了學習遷移。

圖10 （a）工程創新型實驗參與學生完成的用戶導向的軟件界面，（b）工程創新型實驗參與學生設計的口腔三維掃描儀與牙齒模型測量結果

可見，上述“三層四構”實驗模式設計不僅可以滿足不同學習能力學生的學習要求，更能滿足部分學有余力的本科同學積極參與科研的要求，并能充分培養學生的學習科研能力與工程創新能力。

3 結語

本研究討論了在教育部最新發布的《普通高等學校本科專業類教學質量國家標準》的背景下，在新形勢下結合科技熱點，對理工科實踐教學進行多層次多結構設計。同時，以光電信息科學與工程的本科實踐教學為例，針對條紋投影機器視覺架構設計了“三層四構”的實驗模型：基礎層次實驗、加分層次實驗和選做層次實驗，具體結構為學習驗證型實驗、研究驗證型實驗、探索創新型實驗、工程創新型實驗。采用實驗分層，任務導向的方式，通過理論與實踐相結合，從理論仿真到自主進行整機結構設計再到學習遷移，體驗完整的工程過程。教學過程內容豐富，知識涵蓋面廣，充分培養了學生的科研思維，自主創新意識和工程能力。