結合工程教育認證的3D人臉測量實驗教學改革

肖琨　尤浩淼　李永建　朱新軍

摘 要 以工程教育提倡的以學生為中心理念為思想，對計算機視覺中3D人臉視覺內容進行了實驗教學改革。通常3D人臉識別數據采用網上公布的數據，而現有的Intel RealSense以及Kinect等3D傳感器直接輸出3D數據，因此學生對3D人臉數據獲取的原理及方法并不很清楚。為更好的讓學生理解3D人臉數據的產生，設計了3D人臉測量實驗課程改革。學生通過實驗課程可進行數據采集和三維重建算法設計以及實驗分析，主動完成3D人臉重建的整個過程，同時通過實驗培養學生的動手設計能力，團隊協作與溝通交流能力以及實驗安全、健康方面的意識。

關鍵詞 工程教育認證 3D人臉測量 教學改革 計算機視覺

中圖分類號：G424 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻標識碼：A ? ?DOI：10.16400/j.cnki.kjdkx.2020.02.049

3D Face Measurement Experiments Teaching Curriculum Renovation

with Engineering Education Accreditation

XIAO Kun， YOU Haomiao， LI Yongjian， ZHU Xinjun

（Tianjin Polytechnic University， School of Electrical Engineering and Automation， Tianjin 300387）

Abstract With the student-centered idea in engineering education， the experimental teaching curriculum renovation of 3D face vision in machine vision is carried out. Usually， 3D face recognition data are published online， and existing 3D sensors such as Intel RealSense and Kinect directly output 3D data， therefore the students are not well clear about the principle and method of 3D data acquisition， and they do not well understand how 3D face data is generated， either. In order to help the students to better understand the generation of 3D data， a 3D face measurement experiment was designed. Through the experiment students can collect data， design the reconstruction algorithm and analyze the experiments to initiatively complete the whole process of 3D face reconstruction. At the same time， hands-on design ability， teamwork and communication skills， and experimental safety awareness for the students are developed.

Keywords Engineering Education Accreditation; 3D face Measurement; teaching curriculum renovation; computer vision

0 引言

計算機視覺是一門軟硬件相互結合、理論性和實踐性都很強的學科，且具有理論性知識復雜的特點。[1，2]三維（3D）視覺是計算機視覺領域的重要內容之一。3D視覺在人臉識別、無人駕駛、機器人導航等領域備受矚目。3D視覺相關理論與實驗已成為計算機視覺課程中授課的重要內容。其中，3D人臉識別是3D視覺中具有代表性的教學案例。[3]

一方面，目前計算機視覺課程理論內容相對抽象，實驗類別形式偏少;另一方面，工程教育認證對計算機視覺課程提出了新要求，比如團隊協作的重要性、培養創新能力，培養考慮社會、健康、安全、法律、文化以及環境等因素意識等。[4]本文借鑒工程專業認證的以學生為中心的思想，在機器視覺中對3D視覺進行改革，以3D人臉測量為對象，提高學生對3D視覺方面的實驗動手能力，學生通過實驗主動進行數據采集，三維重建算法，更好的了解3D重建的整個過程，同時通過實驗培養學生的動手設計能力，團隊協作與溝通交流能力，以及實驗安全方面的意識。

1 3D人臉測量教學改革的意義

目前已有標準的3D人臉數據庫用于算法的驗證與評估。然而，學生對3D人臉數據是如何產生，如何搭建系統采集數據，以及如何從采集的數據進行三維重建并沒有很好的理解。相關知識教學內容較少，使得學生對機器視覺的實際應用缺乏直觀的認識和理解，不利于學生動手能力和創新能力的培養。

常用3D測量方法包括被動雙目立體視覺、線/面結構光、光編碼（Light Coding）、主動結構光雙目立體視覺、時間飛行法。在3D人臉識別領域，蘋果公司采用的是光編碼3D測量技術，微軟Kinect 2.0采用時間飛行法，Intel RealSense主要采用主動結構光雙目立體視覺方法，雖然這些公司的設備都可用于3D人臉測量，但是這些產品都是封裝好的，主要輸出的是深度數據。[5]條紋投影結構光測量通常具有較好的靈活性，因此本文采用結構光測量方法設計3D人臉采集系統，進行三維重建，從而使學生理解3D人臉數據是如何實現的。

2條紋投影結構光三維人臉測量

條紋投影結構光是光學三維形貌測量中具有代表性的方法。該方法將條紋圖投影到被測物體的表面，條紋圖由于物體表面的凹凸變化而發生變形，然后由攝像機獲取一系列的變形條紋圖，然后通過相位提取方法提取條紋圖中的相位信息，最終聯合系統標定參數計算出被測物表面形貌的三維點坐標。

在條紋投影三維測量中，CCD采集到的條紋圖可表示為

（1）

其中為背景，和分別為調制部分和相位部分，為載頻頻率。從（1）獲取相位是條紋投影三維測量的關鍵環節。[6]此環節也是本次教改涉及的內容之一。

投影儀處于垂直的位置，相機傾斜拍攝，且投影儀和相機處于同一水平面上，它們之間的距離記為，投影儀到參考平面的距離為，通過標定得到高度與相位的關系

（2）

其中為條紋周期。

3三維測量實驗的改革

在課程開始時，首先由教師通過講解，并展示實物，對學生的預習結果進行補充講解，使學生充分了解條紋投影的基本知識，實驗系統相關器件，學生自己動手，完成3D人臉采集與重建的整個過程。

3.1 學生動手搭建實驗系統

實驗過程以3人一組，通過分工協作，搭建實驗系統。在數字條紋投影三維測量系統的實驗中所需要的實驗硬件器材主要有：計算機、CCD相機、DLP投影儀等。其中CCD相機和DLP投影儀連接在同一臺電腦上，并且DLP有一根輸出脈沖線與CCD相機連接進行觸發的操作。測量系統的示意圖如1所示，投影儀觸發信號如圖2所示。

在相機控制軟件界面中需要設置打開觸發模式，并且選擇正確的觸發通道。軟件界面中打開觸發模式之后，按照條紋變換發出的脈沖的上升沿觸發相機采集圖片，達到實時的效果。投影儀采用的是TI DLP Light Crafter 4500。CCD相機為FLIR BFS-U3-13Y3M-C，分辨率為1280？024，像素尺寸是4.8 um，鏡頭是Computar鏡頭，16mm定焦。

測量過程中給出具體要求：投影儀投影條紋圖要覆蓋人臉區域，相機采集的圖片也要包含整個人臉區域，但是又不能包含太多背景。學生分工調整相機與投影儀、以及二者與被測人臉的距離。另外為實現高質量的條紋投影圖像采集，需要調節投影儀與相機的焦距，使得投影儀與相機投射的條紋都處于接近理想的聚焦位置。

圖1測量系統的示意圖

圖2 投影儀輸出觸發脈沖圖

3.2 學生自己程序分析數據進行三維重建

采集到的條紋圖如圖3（a）所示，因此需要從3（a）重建出三維數據。其中相位提取與相位展開是關鍵（對應求方程（1）），在得到展開后的相位通過標定可轉化成深度數據（對應方程（2））。處理的關鍵環節有去條紋圖背景（圖3（b）），二值化（圖3（c）），包裹相位提取（圖3（d））與相位解包裹（圖3（e））。

圖3（a）

圖3（b）

圖3（c）

圖3 （d）

圖3（e）

圖3 條紋圖三維人臉重建結果展示

實現三維重建過程需要用Fourier變換、圖像二值化、數學形態學圖像處理等數字圖像處理知識，學生可通過Matlab或者OpenCV等語言工具實現相應的數字圖像處理算法，完成3D人臉重建。

3.3 學生對實驗數據分析與實驗的總結

學生自己進行實驗與處理，研究測量系統參數對實驗結果的影響，分析算法對三維重建精度的影響等，以及分析各個環節誤差產生的原因，得到有效的結論。總結與分析過程中，每組同學積極參與討論，共同協作，并能夠在設計環節中通過創新解決問題。

在實驗采集人臉數據過程中，學生應注意眼睛不要直視投影儀光心，避免投影儀發出的光對眼睛產生傷害。學生可閉上眼睛或者視線避開投影儀光心方向。通過此方面的安全教育，培養學生考慮社會、健康、安全、法律、文化以及環境等因素意識和素養。

4總結

以工程教育認證中的以學生為中心作為出發點，設計了學生動手搭建實驗，編寫程序，分析數據總結經驗等教學環節，實現了完整的3D人臉數據重建教學內容。與傳統的教學方法相比，課程改革以學生為中心，發揮學生實驗主動性，讓學生更好的理解3D人臉數據的產生，同時培養學生在3D視覺測量方面的動手能力，激發學生課程興趣，使得學生對知識的理解、掌握更加深入，同時培養工程專業認證所提倡的團隊協作與溝通交流能力以及健康、安全等方面的意識。

*通訊作者：朱新軍

感謝天津工業大學2016，2017級大學生創新創業訓練計劃資助項目（201710058053，201610058151），天津工業大學研究生課程優秀教材建設項目（《機器視覺》優秀教材建設）及天津市自然科學基金項目（18JCQNJC71100）的支持

參考文獻

[1] 宋麗梅，董虓霄，張春波，安宏偉.一種新型機器視覺教學系統的應用[J].現代教育技術，2011.6：126-128.

[2] 孫涵，陳松燦，劉寧鐘，黃元元，朱旗.研究生模式分析與視覺處理課程群改革與實現[J].科教導刊（中旬刊），2016.3：30-32.

[3] 朱新軍，宋麗梅，王紅一，郭慶華，李金義.以Fourier變換輪廓術3D測量為例的“機器視覺”課程改革探索[J].科教導刊（中旬刊），2017.33：114-116.

[4] 李志義.適應認證要求推進工程教育教學改革[J].中國大學教學，2014.6：9-16.

[5] 韓九強.機器視覺技術及應用[M].北京：高等教育出版社，2009.

[6] 黃燕鈞，李中偉，史玉升，等.基于多頻外差原理的三維測量技術.新技術新工藝，2008（12）.