人臉識別技術在人像鑒定中的應用研究

曾錦華，施少培，卞新偉，邱秀蓮

（司法鑒定科學研究院 上海市司法鑒定專業技術服務平臺，上海200063）

關鍵字：人臉識別；人像鑒定；量化分析；定性分析；深度學習網絡

1 引言

隨著聲像資料及鑒定意見成為我國《刑事訴訟法》和《民事訴訟法》等法律法規規定的法定證據形式，其司法鑒定關鍵技術的研究具有重要意義。在聲像資料鑒定中，相關司法體系改革要求確立重證據、輕口供的原則，大量民事、刑事案件的偵查辦理是以監控拍攝的作案人圖像與抓獲的犯罪嫌疑人能否確定同一人為基礎，由此引出了人像同一性鑒定問題。現有的人像同一性鑒定理論和技術研究均圍繞專家經驗評斷這一核心理念開展，檢驗技術更多的局限于人像形態特征檢驗的定性分析方法，鑒定實施過程中缺乏客觀量化的數據支撐，導致不同經驗背景的鑒定人員之間對特征價值的認識和評斷往往出現分歧。就人像同一性鑒定而言，必須解決檢材人像和樣本人像間的相似性判別問題，同時，給出具體的相似性分析結果的支撐信息，即解決人像間“有多像”問題的同時，必須回答“哪里像”問題。現有的人像同一性鑒定理論體系和技術研究中，“有多像”問題通過定性方式予以解答，即人像鑒定意見的“無法判斷”、“傾向肯定同一”、“傾向否定同一”、“肯定同一”和“否定同一”五種[1]。在“哪里像”問題解答方面，主要通過由鑒定專家制作的人像特征比對表方式予以實現。現有的鑒定理論和方法研究均偏重于定性分析方法，基于定量分析技術的人像同一性鑒定理論體系和方法研究尚處于起步階段。

模式識別自動化技術在客觀量化分析方面具有獨特的優勢，但受限于司法鑒定行業的特殊性需求，人像自動化識別技術在人像司法鑒定中的應用仍有待于進一步探索研究。自動化識別技術研究均重點關注人像的識別效率和精度，即解決“有多像”的問題，對所使用的特征更多的追求具有更高的表達能力和可辨識性，對特征的物理意義是否可溯源問題缺乏關注。此外，司法鑒定領域內的鑒定技術必須進行技術理論體系研究，并經專家同行評議，形成鑒定新技術新方法和司法鑒定技術規范，方可應用于司法鑒定實踐。自動化識別技術理論必須結合司法鑒定領域的特殊性需求和專家經驗知識，構建司法鑒定領域適用的理論體系和鑒定新技術新方法，方可有效地應用于司法鑒定領域，解決緊迫需求的人像同一性鑒定量化分析問題。

本文提出構建基于人像形態特征定性分析和基于自動化識別量化分析的人像同一性鑒定綜合研究方法。本文首先對人像自動化識別技術中的人臉識別技術進行簡要綜述；分析人像專家鑒定技術和自動化識別技術的優點和缺點；在此基礎上，進一步研究人臉識別技術在人像司法鑒定中的不同應用模式。

2 人臉識別技術

人像自動化識別領域的研究技術包括虹膜識別、步態識別、人臉識別技術等[2-3]，本文在此僅對人臉自動化識別技術的關鍵內容進行闡述。人臉識別技術研究方面，其技術流程主要采用人臉檢測和特征定位對人臉進行對齊，然后裁剪出眉眼鼻嘴形成的核心人臉區域，之后從中提取人臉特征進行存儲或與已知人臉的特征進行相似度計算。具有代表性的人臉識別方法可以大致劃分為五大類，包含基于幾何特征的人臉識別方法、基于子空間分析的人臉識別方法、基于模型的人臉識別方法、基于局部特征的人臉識別方法以及基于機器學習的人臉識別方法。

基于幾何特征的人臉識別方法中，顧名思義，就是利用人臉組件間的幾何拓撲關系特征實現人臉的相似性計算，常使用的人臉幾何特征信息包括眉毛弧度和長度、瞳孔距離、鼻翼大小、嘴角距離等，通過這些信息中蘊含的人臉五官位置、大小和角度關系等信息來進行人臉編碼和表示。基于幾何特征的人臉識別方法的前提假設是組成人臉面部組件的拓撲結構幾何關系保持不變，但人臉具有非剛體運動特性，該假設在面對人臉表情、姿態變化等情況下不具有可行性，因此，該方法適用范圍較窄，性能具有較大缺陷。

基于子空間分析的人臉識別方法中，其核心思想是通過計算映射關系，將高維人臉圖像空間投影到較低維度的子空間，所變換的子空間保留了大部分原高維空間中的有用信息，且數據具有更加緊密性和判別性。根據映射的線性關系，進一步把基于子空間分析的方法劃分為線性子空間分析方法和非線性子空間分析方法。

基于模型的人臉識別方法研究中，其基本思想是通過建立人臉圖像的數學模型，通過求解人臉圖像在該模型中的構建參數實現人臉特征表示，相關的代表性人臉數學模型包括三維形變模型和隱馬爾可夫模型等。

基于局部特征的人臉識別方法研究中，相對于基于全局特征的人臉識別方法，比如基于子空間分析的方法以及基于模型的方法等，基于局部特征的識別方法可以提供更加細致的相似性比對，更加貼合于非剛體特性的人臉識別應用。基于局部特征的人臉識別方法通常是利用局部特征的表達能力以及其他機器學習方法的優越性能實現人臉識別應用。基于局部特征的方法所設計的特征描述子必須能適應人臉圖像的姿態、光照、表情等變化因素。

基于機器學習的方法，其本質是一種數學歸納方法，通過模型構建，實現樣本訓練集在模型上最大限度的逼近自然真實模型的一種最優化方法。傳統的機器學習方法，比如支持向量機、AdaBoost、邏輯回歸等，通常是作為其他人臉識別方法的后期分類識別技術。然而，近年來的深度學習方法研究進展，極大的拓展了基于機器學習的人臉識別方法性能，深度學習方法結合海量有標記的人臉數據集成為人臉識別領域的主流技術，其性能屢次刷新目前主流的人臉圖像測試數據集。香港中文大學的湯曉鷗和孫瑋帶領的團隊設計實現了DeepID（Deep hidden IDentity features）系列方法[4-6]，DeepID 系列方法通過多尺度、多圖像塊、多網絡深度學習相互結合方式實現人臉的識別，通過多尺度下的以人臉關鍵特征點為中心裁剪的多個圖像塊進行特征提取，并將特征組合進行降維處理，最后，通過訓練聯合貝葉斯模型（Joint Bayesian）[7]進行人臉圖像分類。除了DeepID系列追求的多尺度、多圖像塊、多網絡組合方式的深度學習人臉識別解決方案，海量的樣本學習數據集和龐大的網絡架構設計同樣是基于深度學習的人臉識別應用研究中的重要方向[8-10]。

3 人像專家鑒定方法和人臉識別技術方法

3.1 人像專家鑒定方法

人像同一性鑒定的定性分析方法存在的問題是過度依賴于專家經驗判斷，導致不同背景的鑒定人員之間對特征價值的認識和評斷可能出現分歧。傳統的人像鑒定方法主要是基于人像形態特征歸類的定性分析。在基于人像形態特征歸類的定性分析方法中，人臉圖像特征的類別主要根據人臉面部組件進行劃分，具體包括前額、眼睛、眉毛、鼻子、嘴唇、耳朵、下頜、臉型、頭發等。在對人臉組件特征的形態分類方法研究方面，目前主要有公安部、整容及模擬畫像學派等的分類方式，比如，對人臉臉型的形態分類，根據公安部臉型分類法可以劃分為橢圓、圓、長方、方、倒大、三角臉、狹長臉、菱形和畸形等；在模擬畫像分類法中對眉毛形態特征的分類類別為平眉、一字眉、柳葉眉、新月眉、八字眉、掃帚眉、半截眉、上揚眉、三角眉、劍眉、立眉、濃眉、畸形等。

然而，人像鑒定的定性分析方法具有悠久的歷史，期間形成了諸多寶貴的先驗領域知識，其中，對人像特征價值的評估原則和評估方法尤其值得重視，本文在此分析如下：

（1）稀有形態特征價值權重高于常見形態特征價值權重，比如眼型形態特征中畸形眼特征價值要高于常見的三角眼特征等。

（2）穩定特征價值權重高于易變不穩定特征的價值權重，比如人的頭發特征，包括頭發長短、發型等，這些特征就屬于易變不穩定特征，會隨理發技術和個人愛好而改變，然而，像耳朵輪廓等形態特征就屬于不易變化的穩定特征，在形態特征賦值方面，其價值將高于發型等不穩定的頭發特征。

（3）細節形態特征價值權重高于輪廓形態特征價值權重，比如臉部的斑痕或痣之類的細節形態特征價值應高于臉型等輪廓類形態特征的價值。

除此之外還有整體形態特征和局部形態特征的價值權重關系、組合形態特征和個體形態特征之間的權重關系等等。

3.2 人臉識別技術方法

在自動化識別技術研究中，近年來的深度學習方法掀起了機器學習的研究浪潮。目前，深度卷積神經網絡已成功應用于人臉的特征表示和人臉識別應用中，且性能屢次刷新當下權威的人臉數據集的測試性能記錄，突破自然人的人臉識別能力界限。基于機器學習的人臉識別方法可以學習到難以顯式描述的人臉深層次特征且適應性較強，因此在人臉圖像的相似性量化計算中具有重要研究價值。

在傳統的基于定性分析方法的人像鑒定中，兩人臉圖像間的相似性通常通過鑒定人制作人像特征比對表方式予以呈現，如圖1所示。

圖1 人像特征比對表，示例中紅色箭頭表示相似特征，藍色箭頭表示差異特征

基于人臉識別技術的人臉驗證系統可以快速的計算兩張人臉圖像的相似性并給出相似性量化評分，如圖2所示。

然而，在人像鑒定應用中，現有人臉識別技術亦有其眾多的缺陷：

（1）僅能處理正面人臉圖像，現有大多數商業化人臉識別系統均只能處理正面人臉圖像，對其他角度人臉圖像無能為力。

（2）對人臉圖像質量有一定要求，針對模糊人臉圖像，現有的人臉識別系統的準確性和性能將受到極大的影響，此外，系統可能還對人臉圖像大小有一定的要求。

（3）僅涉及正面人臉圖像的相似性比對，人像鑒定中，人像特征可以分為頭部形態特征、五官形態特征、五官配置關系特征、胡須特征、皺紋特征、顏面動態特征、體態特征、人體特殊標記特征、人體著裝特征、人體佩飾特征等。人臉識別技術僅對人像特征中的涉及人臉圖像的區域進行有效檢驗，比如圖2中顯示出的小人臉區域。

圖2 基于人臉識別技術的人臉相似性量化計算，本示例中兩人臉圖像相似性量化結果值為90.09，100視為同一個人

（4）無特征價值權重概念，現有的大部分人臉識別系統算法設計中，未考慮人像特征價值的評估原則和評估方法，也無人像特征價值權重的概念，然而，人像特征價值的評估原則和評估方法在人像鑒定實踐中卻是極其重要。

4 人臉識別技術在人像鑒定中的應用模式研究

自動化識別技術必須結合司法鑒定領域的特殊性需求和專家經驗知識，方可有效的應用于司法鑒定實踐。本文在此對人臉識別技術在人像鑒定中的高效應用模式進行研究和闡述，包括人臉識別技術輔助人像專家鑒定模式、人像專家鑒定驗證人臉識別技術模式、人臉識別技術和人像專家鑒定協同合作模式等。不同的應用模式研究必須考慮人臉識別技術特點和人像鑒定實踐特征，以及兩者相互間的協作應用。

4.1 應用模式一：人臉識別技術輔助人像專家鑒定

具體案例應用闡述如下：在一起網吧內的手機盜竊案件中，警方調取了網吧內的監控錄像，監控錄像記錄了嫌疑人的整個作案過程，并拍攝到作案人的臉部圖像，通過查詢人臉比對系統，系統計算并排序出了若干候選人身份信息。警方通過進一步篩查確定其中一名候選人作為該案件嫌疑人，并對該嫌疑人進行問訊。警方要求鑒定機構對監控錄像中的作案人圖像與人臉識別系統比對的嫌疑人人像進行人像鑒定。其中，監控錄像的畫面分辨率為1 920×1 080像素，作案人的正面人臉圖像在最好條件畫面中所占圖像大小為60×75像素。警方所用的人臉比對系統中的樣本訓練照片為身份證照片，國內二代身份證卡內照片大小為102×126像素。本案中，警方提供的樣本照片包括嫌疑人身份證照片和嫌疑人三面照片。經過人像鑒定專家檢驗，鑒定中心出具了認定的鑒定意見，即檢材錄像中的需檢人像與樣本人像是同一人人像。本案中，案件的嫌疑人身份是通過人臉識別系統提供了重要線索，而后經過人像專家鑒定進行身份確認，實現聲像資料線索到證據的轉換。監控錄像中，嫌疑人人臉圖像質量一般。通過人臉驗證方法對作案人人臉圖像和嫌疑人人臉圖像進行人臉驗證計算，其相似性程度最高為67.99，其中人臉驗證方法的相似性分值分布為0～100。可見，人臉識別系統計算出的嫌疑人和作案人人臉圖像具有一定的相似性，但相似性評分并不是很高。在人像專家鑒定過程中，鑒定人除了對作案人和嫌疑人的正面人臉所包含的五官形態和配置關系的檢驗外，還對左側人臉和右側人臉特征，以及體型、發型和發際線等人像特征進行了綜合檢驗，最終做出了認定同一人的鑒定意見。

4.2 應用模式二：人像專家鑒定驗證人臉識別技術

具體案例應用闡述如下：在一起入室盜竊案件中，警方調取了案發現場和周邊的監控錄像。案發現場監控錄像質量較差，作案人人像特征未得到充分反映，但在周邊的監控錄像中記錄了作案人較正面的人臉圖像。警方通過人臉識別系統排序出若干候選人身份信息，并通過進一步篩查候選人類似前科信息等最終確定其中一名候選人作為該案件嫌疑人，并對該嫌疑人進行問訊。警方要求鑒定機構對監控錄像中的作案人圖像與人臉識別系統比對的嫌疑人人像進行人像鑒定。其中，監控錄像的畫面分辨率為704×576像素，作案人的準正面人臉圖像在最好條件畫面中所占圖像大小為74×85像素。本案中，警方提供的樣本材料包括嫌疑人三面照片和嫌疑人錄像。通過人臉驗證方法對作案人人臉圖像和嫌疑人人臉圖像進行人臉驗證計算，其相似性分值評估最高為60.16。在人像專家鑒定過程中，作案人和嫌疑人的臉部五官輪廓和配置關系存在一定符合，頭部側面輪廓特征上也存在符合，上述檢驗結果也與人臉驗證系統計算結果相互印證，即作案人和嫌疑人的人臉圖像存在一定相似性，但相關的人像特征還不足以判斷作案人和嫌疑人人像是否為同一人。通過進一步檢驗，鑒定人發現作案人的發旋位于頭部后腦勺居中位置，而嫌疑人的發旋位于頭部后腦勺右側位置，如圖3所示。最終，鑒定中心出具了否定的鑒定意見，即監控錄像中的檢材人像和嫌疑人人像不是同一人人像。該案件中，人臉識別技術為公安等機關的案件偵查提供了重要的線索，人像專家鑒定復核了人臉識別技術的計算結果，并對人像的同一性問題進行了最終判定。

圖3 發旋特征差異示例

4.3 應用模式三：人臉識別技術和人像專家鑒定協同合作

具體案例應用闡述如下：在一起財物盜竊案件中，警方查閱了案發現場的監控錄像，并通過人臉比對系統確定了案件嫌疑人身份，并委托鑒定機構對監控錄像中的作案人圖像與人臉識別系統比對的嫌疑人人像進行人像鑒定。其中，監控錄像的畫面分辨率為1 920×1 080像素，畫面為灰度圖像。由于攝像頭角度原因，作案人在錄像中未顯示完全正面的人臉圖像，大部分只顯示出右側面人臉圖像，人臉圖像大小為101×114像素。該案件中，警方提供了嫌疑人的人像三面照片。經過人像鑒定專家檢驗，我鑒定中心出具了認定的鑒定意見。通過人臉驗證方法，作案人人臉圖像和嫌疑人人臉圖像的相似性分值為79.84，達到較高的相似水平。在人像專家鑒定過程中，由于錄像畫面質量較高，且人像在錄像畫面中占比較大，檢材人像和樣本人像在右側面人臉圖像的特征存在較好符合，且在人像右側頭部的太陽穴位置附近的頭發特征中均存在比較穩定的頭發疏密分布特征，該人像的特殊標記特征價值較高，如圖4所示。通過綜合評斷，鑒定人出具了認定的鑒定意見。該案件中，人臉識別系統對作案人和嫌疑人的人臉相似性評估做出了較高的認定，同時，人像鑒定中，鑒定人發現了人像中的頭發疏密分布這一價值較高的特殊標記特征，人臉識別技術為人像鑒定提供了很好的量化檢驗數據支持，人臉識別技術和人像專家鑒定有機協同合作。

圖4 頭發疏密分布特征示例

5 結語

模式識別和機器學習技術在人臉識別應用中取得了極大的成功，并廣泛應用于人機交互和安防監控等商業化應用場景。人臉自動化識別技術在商業化應用領域中取得了不菲的成績，但相關技術在司法鑒定領域中的應用研究尚處于起步階段，究其原因，部分可以歸結為司法鑒定領域的特殊性要求。合理的解決方案必然是結合司法鑒定領域的成熟專家經驗知識和鑒定思路以及自動化識別技術的優勢。結合人像鑒定專家經驗知識和自動化識別技術優勢，通過人像鑒定量化模式研究和基于自動化識別技術的量化分析技術研究，本文研究基于人像形態特征定性分析和基于自動化識別量化分析的人像同一性鑒定理論體系，以期突破現有的人像鑒定的專家定性分析方法局限，規范和指導司法鑒定行業人像鑒定領域的理論和技術方法，為人像鑒定提供高效可行的定量分析技術，為客觀準確的司法鑒定提供理論和技術保障。