基于三維全臉數據的透玻透膜駕駛員動態人臉識別系統

李言章，熊躍偉，廖 慶，楊曉梅，胡小琴

（1.新疆海納同創智能科技有限公司，新疆 克拉瑪依834000；2.新疆克拉瑪依市委，新疆 克拉瑪依834000；3.四川川大智勝軟件股份有限公司，四川 成都221008；4.四川大學，四川 成都221116）

人臉識別是基于人的臉部特征信息進行身份識別的一種生物識別技術。它通過將現場采集到的目標人員的人臉圖像與事先保存在數據庫中的各種人員的人臉注冊數據進行比對，來實現目標人員的身份識別與確認[1-2]。根據人臉注冊數據的維數特征，可將人臉識別技術分為二維人臉識別技術和三維人臉識別技術[3]。

當前，利用機動車緝查布控系統（以下簡稱“卡口系統”）在對過往車輛的駕駛員進行人臉識別時，采用的都是二維人臉識別技術，即在抓拍的過車圖片中獲得駕駛員的臉部圖像后，將其與公安車駕管數據庫中駕駛員辦理駕照時采集的正臉照片（或其他數據庫中的正臉照片）進行比對，以此來確定駕駛員的真實身份[4]。

二維人臉識別在不同情況下識別效果如圖1所示。當卡口系統抓拍到的駕駛員臉部圖像為正臉姿態時，現有系統能夠準確識別出駕駛員的身份；但當卡口系統抓拍到的駕駛員臉部圖像有較大角度偏轉、存在環境陰影或有局部遮擋時，現有系統就無法進行有效的人臉識別；絕大多數機動車的前擋風玻璃及前后窗玻璃都貼有隔熱膜，白天由于光線反射作用下，卡口抓拍的過車圖片中很難看清駕駛員的臉部特征，這也是影響當前卡口系統駕駛員人臉識別效率的一個重要因素[5]。

圖1 二維人臉識別在不同情況下識別效果

近年來，三維人臉識別研究取得了較大進展。三維人臉識別的主要特點是在識別中利用了三維人臉數據[6]。相比于二維人臉數據，三維人臉數據不僅有紋理信息，還包含三維空間信息。由于通過高精度三維人臉建模技術獲取的人臉細節特征點是二維人臉圖像或低精度三維人臉模型的數十倍或上百倍，使用高精度三維人臉注冊數據進行人臉比對時，不僅可大幅度減少誤識率，且防偽能力強。而由注冊人三維全臉模型生成的各種可能姿態和光照條件下呈現的數萬張二維圖片訓練的識別算法及軟件，可克服二維人臉識別現有瓶頸難題，有效解決姿態變化及光照變化對人臉識別準確率的影響，成功實現動態視頻圖像中可能有很大姿態變化和光照變化的人臉自動準確識別[7]。因此，為了提高駕駛員人臉識別效率，本文設計一種基于三維全臉數據的透玻透膜駕駛員動態人臉識別系統。

1 機動車駕駛員三維動態人臉識別系統設計

本文設計的基于三維全臉數據的透玻透膜駕駛員動態人臉識別系統由高清攝像機、紅外激光補光器、三維人臉數據庫、三維動態識別服務器4個部分構成。圖2為機動車駕駛員三維動態人臉識別系統示意圖，在紅外補光設備配合下，高清攝像機可透過車窗玻璃膜獲取清晰的駕駛員臉部圖像，并將人臉圖像傳輸到三維動態識別服務器中，然后結合三維人臉數據庫中的高精度駕駛員三維人臉注冊數據與三維動態識別服務器中的高適應性的三維動態識別算法得到比對結果，最后將結果數據發送至終端軟件進行展示。

圖2 機動車駕駛員三維動態人臉識別系統示意圖

本文系統主要有兩大模塊，分別為三維人臉數據庫和三維人臉動態識別，前者的主要功能為采集駕駛員的高精度三維人臉數據并將其提供給后者進行三維人臉識別，后者的主要功能為利用高適應三維人臉動態識別算法將在實時監控中捕獲人臉圖像與三維人臉數據庫進行比對。系統流程圖如圖3所示。

圖3 系統流程圖

2 三維人臉數據庫建立

在進行三維人臉識別之前，需要建立一個與駕駛員信息相匹配的三維人臉數據庫，建立三維人臉數據需要進行3個步驟：三維人臉數據采集、數據處理和搭建數據庫。

2.1 三維人臉數據采集

三維人臉數據可以從二維彩色圖像估計得到，也可以利用三維成像設備直接獲取。從二維彩色圖像估計的人臉深度數據可靠性不高，且容易受光照、姿態、表情、遮擋等因素影響。因此，目前三維人臉識別中更常用的方法是直接利用三維成像設備獲取三維人臉數據。本文系統使用的三維傳感器是由川大智勝公司自主研發的一款低成本、高精度并能快速獲取圖像的雙目相機。三維傳感器由3個相機組成，每個模組包括左右（上下）2個攝像頭和1個USB（通用串行總線）的紋理攝像頭，以保證采集到的人臉的全面性和準確度。三維傳感器相機需要進行標定，不同傳感器生成的標定文件不同，標定文件的準確性影響建模的效果，所以在使用之前就會標定好相機。二維攝像頭實時預覽畫面的同時也會按照一定的頻率進行人臉檢測，當檢測到人臉之后會觸動三維傳感器進行抓拍，系統對抓拍的多組圖片會進行相應的處理，首先還是會對左右相機的一張圖片進行人臉檢測，獲取這些圖片中人臉的位置。然后對多組圖片進行人臉部分區域處理生成比較小的視差圖，最后再按照一定的格式通過TCP傳輸到后臺。

2.2 數據處理

在三維人臉數據采集后對數據進行優化操作，如人臉補洞、光滑以及人臉切割和姿態糾正等一系列操作最終得到三維人臉模型。三維人臉模型信息豐富，包含深度信息和紋理信息。為了便于存儲和運算，將三維人臉模型在不用視角下進行投影生成對應的深度圖，如圖4所示。

圖4 不同視角下三維人臉模型的深度圖

深度圖為一種表示深度的圖像或圖像通道，包含與場景對象的表面到視點間的距離有關的信息，具備描述三維人臉模型特征的優點，被廣泛用于三維人臉識別中。本系統將掃描到的三維人臉模型數據處理為三個正交視角的深度圖，并將人員信息與其作為樣本和標簽進行綁定存于數據庫中。

2.3 數據庫搭建

本文數據庫采用MySQL數據庫，是一個關系型數據庫管理系統。它是由MySQL原廠開發、管理和提供支持，現在是Oracle旗下產品，使用結構化查詢語言進行數據庫管理。MySQL由于性能高、速度快、成本低、可靠性好已經成為最流行的數據庫之一并受到許多公司的青睞。系統主要設計兩張表，分別是三維人臉數據注冊表、駕駛證信息表，用以記錄相關信息，如表1和表2所示。三維人臉注冊表主要存儲駕駛員的個人信息、三維人臉模型數據和其深度圖；駕駛證信息表則主要收錄駕駛員的駕照信息，兩張表通過編號互相索引。

表1 三維人臉注冊表

表2 駕駛證信息表

3 三維人臉動態識別算法

圖5為本系統采用的多視角卷積神經網絡（multi-viewCNN）結構，用以進行三維人臉動態識別。卷積神經網絡是于1998年提出的一種多層人工神經網絡，本質是多層感知機，分為數據輸入層、卷積計算層、ReLU激勵層、池化層和全連接層。每一層實際是對輸入的數據進行編碼操作可以看作是多個平面，而每個平面由多個獨立的神經元組成，相鄰兩層的神經元之間相互連接，而處于同一層神經元之間沒有連接。本文系統將三維模型生成不同視角下的深度圖，輸入到多視角卷積神經網絡對多視角下的圖像提取特征，并使用視角池化層（view pooling）對多視角圖像進行融合，然后將特征輸入到分類器中進行有監督訓練，根據分類標簽概率進行打分，將得分最高的結果輸出。

圖5 多視角卷積神經網絡結構

為了測試該算法的性能，本文將該算法應用到一些常用的三維人臉數據庫上，如表3所示記錄了每個數據庫采集人數、樣本數和數據類型等信息，經過訓練和測試得到表4記錄的多視角卷積神經網絡應用在這些數據庫上的首位識別率，可以看到該算法的識別率均高于96%，對數據庫的適應性強，是一種能夠滿足實際需要的算法。

表3 常用的三維人臉數據庫

表4 MVCNN在常用三維人臉數據庫上的識別率

4 系統運行效果

本系統提供一個可視化終端軟件用以顯示捕獲的人臉圖像與三維人臉識別后的從數據庫中提取出的相匹配的三維人臉模型，并且將其與二維人臉識別結果進行對比。可視化終端軟件采用C++語言通過QT庫進行界面設計，并通過記錄查詢與數據庫進行交互。圖6和圖7顯示了真實監控中不同視角三維人臉識別和二維人臉識別對駕駛員人臉識別結果對比。

圖6 視角1識別結果對比

圖7 視角2識別結果對比

圖6 中從監控中共捕獲了5幀駕駛員側臉圖，可以看到本系統的三維人臉識別將其全部識別出來并匹配了正確的三維人臉模型，而二維人臉識別只能識別出3幀。圖7中從監控中共捕獲了5幀駕駛員人臉圖，其中2幀為正面，3幀為側面，可以看到本文系統將其全部正確識別并分別把正視角和側視角的三維人臉模型正確匹配，而二維人臉識別只能識別出前兩幀正視角人臉圖像。

5 結語

本文設計了一種基于三維全臉數據的透玻透膜駕駛員動態人臉識別系統，實驗結果表明，該系統可捕獲監控中駕駛員的人臉圖像并將其在不同角度下正確識別，比起二維人臉識別技術，該系統可在路側移動部署，且在復雜環境下人臉識別效率高，具有實際意義。三維動態人臉識別系統將為交警部門快速設置車輛緝查應急布控點位、迅速處置交通安全風險增添又一高效、便捷的手段。