人臉識別技術綜述

徐曉艷

（國家知識產權局專利局專利審查協作江蘇中心,215163）

1 概述

1.1 技術概述

人臉識別技術指的是通過比較人臉的視覺特征信息從而進行身份鑒別的技術，該技術是一項研究較為熱門的計算機技術領域。

人臉識別技術主要是基于人的面部特征，針對圖像或者視頻檢測其是否存在人臉，若存在人臉區域，就進一步地檢測出其位置、大小以及面部各個器官的位置等信息，根據上述信息可以得到每個人臉中的代表身份的特征，將上述特征與現有的人臉庫進行比對，從而識別出人臉身份。

人臉識別技術包含多個方面的內容，從廣義角度而言，人臉識別技術包括構建人臉識別系統的一系列相關技術，例如人臉圖像采集、人臉識別預處理、身份查找以及身份確認等；從俠義角度而言，人臉識別技術就是身份查找或身份確認的過程。

近些年來，在人臉圖像研究相關的計算機視覺領域，隨著人臉檢測和人臉識別技術所取得的顯著進展，人們的研究熱點，逐漸轉向了人臉表情分析和年齡評估等更為先進的研究課題。在這些課題中，年齡評估在“為不同年齡段的人提供不同服務”方面的應用，有著巨大的市場潛力。比如，具有年齡評估功能的網頁瀏覽器可以限制用戶是否訪問一些網頁，具有年齡評估功能的自動售貨機，可以拒絕向未成年人出售煙酒等。

近些年來，人臉檢測和人臉識別技術取得了一系列顯著的進步，隨著該項技術的發展，專家和學者們的研究熱點逐漸轉向了人臉表情分析和年齡評估等更為前沿和深入的領域，在上述領域中，年齡評估在“為不同年齡段的人提供不同服務”方面的應用，有著巨大的市場潛力。比如，具有年齡評估功能的網頁瀏覽器可以限制用戶是否訪問一些網頁，具有年齡評估功能的自動售貨機，可以拒絕向未成年人出售煙酒等。

1.2 人臉識別的主要技術

人臉識別技術主要包含三個方面：人臉檢測、人臉跟蹤和人臉比對，上述三個過程均有多種成熟的技術對其進行處理。

人臉檢測主要是從圖像或者視頻中檢測是否存在人臉區域，并將上述人臉區域從背景區域中分離出來，人臉檢測一般可以采用下述方法：參考模板法、人臉規則法、樣品學習法和膚色模型法等方法。參考模板法需要一個或者多個標準人臉模板，然后將采集的數據樣品與標準人臉模型進行匹配，并利用閾值來判斷是否存在人臉；人臉規則法則是提取人臉的結構分布特征以生成相應的規則來判斷測試數據樣品是否存在人臉；樣品學習法是基于人工神經網絡學習產生分類器的方法；膚色模型法是根據人臉膚色在色彩空間中的分布規律來進行檢測。

人臉跟蹤即目標跟蹤，通常是對檢測到的人臉區域進行動態目標跟蹤，其主要采用基于模型的方法或基于運動與模型相結合的方法，其中，膚色模型也是一種簡單有效的跟蹤方法。

人臉比對是指對檢測到的人臉區域與現有的人臉庫中的人臉進行目標搜索并進行比對，從而找到最優的匹配對象，其中人臉特征的描述決定了人臉比對的效率和性能，目前人臉比對主要采用特征向量和面紋模板兩種方法。特征向量法先是確定五官的位置和大小等屬性，然后計算得到它們的幾何特征量并將這些特征量形成描述該人臉區域的特征向量；面紋模板法是將測試人臉數據與標準的人臉模板采用歸一化相關量度量進行匹配，此外，還可以采用模式識別的自相關網絡或特征與模板相結合的方法。

用于人臉識別的方法多種多樣，主要的人臉識別方法有：基于特征臉（PCA）的人臉識別方法、幾何特征的人臉識別方法、神經網絡的人臉識別方法、彈性圖匹配的人臉識別方法和線段Hausdorff距離（LHD）的人臉識別方法等。

2 技術發展狀況

現有人臉識別系統主要用于安全監控等場合，通常是小規模封閉的系統，其也可以用于人機交互、跟蹤監控、身份識別等領域。人臉識別技術主要包括人臉檢測、人臉跟蹤和人臉匹配三個方面，因而國內外的許多公司和學者主要在上述三方面對人臉識別技術進行研究和開發，在人臉檢測方面主要采用識別模型、分類器、邊緣檢測算法、輪廓提取算法等方法來提取人臉，由于人臉識別容易受到光線、姿態和表情變化的影響，人們從二維人臉識別演變到三維人臉識別，三維人臉識別可以從多個角度獲取人臉信息，從而可以很好地克服光線、姿態和表情變化的影響；人臉跟蹤主要采用基于膚色、運動、局部特征和基于統計學習理論的跟蹤方法等；而人臉匹配主要采用人臉模型、色彩空間分量匹配等方法。

由于人臉檢測是人臉跟蹤和人臉匹配的基礎，檢測效果的好壞直接影響到跟蹤和匹配的效果，且近幾年來許多公司和學者也主要從人臉檢測方面入手以改善和提高人臉識別的效果，因而本文主要針對人臉檢測進行分析和研究。

由于人臉識別技術主要是針對各種場合獲得的圖像或視頻進行處理，因而其在專利文獻中的分類號主要以G06T和G06K為主，涉及人臉識別技術的分類號主要為：

G06K 9/00用于閱讀或識別印刷或書寫字符或者用于識別圖形，例如，指紋的方法或裝置；

G06K 9/60·圖像捕獲和多種預處理作用的組合；

G06K 9/62·應用電子設備進行識別的方法或裝置；

G06K 9/64··應用帶有許多基準的多個圖像信號的同時比較或相關的；

3 國內主要申請的技術演進

國內對人臉識別技術的起步較晚，專利的申請較國外的發展起步更晚，但是由于人臉識別技術的實用性，國內許多公司、高校和科研院所都對其投入了大量的人力和無力，因而近幾年發展迅速，專利申請量也逐年提升。

3.1 重要申請人概況

在人臉識別領域有著突出貢獻的公司有南京搜拍信息技術有限公司、北京中星微電子有限公司、希姆通信息技術有限公司等。南京搜拍信息技術有限公司致力于開發基于客戶端、服務器架構的綜合人臉以及人體輔助信息的交互式人臉識別系統；中星微電子有限公司主要主要致力于視頻中對運動人體的人臉檢測；希姆通信息技術有限公司利用標準的人臉識別模板，并將圖像中的區域與標準人臉模板分別進行匹配以得到人臉區域。

有突出貢獻高校、科研院所有東華大學、清華大學、浙江大學和上海交通大學等；東華大學的夏小玲等人提出了將Canny邊緣 算法和輪廓提取算法運用到人臉檢測領域，即利用上述方法提取人臉邊界輪廓信息；浙江大學的潘綱、王躍明等人提出了三維人臉識別技術，由于人臉識別容易受到姿態、光線和表情的影響，二維人臉的識別往往達不到良好的技術效果，因而采用三維人臉識別技術可以基于三維數據以從多個角度精確地得到人臉模型；上海交通大學的張秀彬、徐林等人提出了彩色燈光的自動調節裝置的數字技術，他們將圖像進行彩色空間轉換、圖像增強等操作以對人臉進行識別。

3.2 專利申請量概況分析(2006-2010)

由于國內在人臉識別領域起步較晚，2005年之前的申請量較少，因而就針對2007年以后的申請量做一個分析：

由圖3-1可以看出，2006-2010年之間的申請量保持平穩發展，每年的申請量沒有太大變動，2011-2013年的申請量逐步提高，且每一年較前一年的申請量都有很大的提高；這一變化趨勢與各種電子產品的發展趨勢有關，人臉識別技術是電子產品中一項主要的技術內容，2006年以來手機、PDA、個人電腦等相關電子設備發生了翻天覆地的變化，隨著觸屏技術的迅速發展，作為其相關的人臉識別技術也得到了很大的提高，各大公司競相投入研究和生產，伴隨著各大公司對市場的占領，其在人臉識別領域的專利申請量也逐步上升，且技術日新月異；人臉識別技術的發展在科研領域也比較成熟，目前已經達到了產學研一體化的線狀。

從圖3-2中可以看出在人臉識別領域主要以公司、企業的申請量為主，高校、科研院所在該領域的投入也很多，此外，個人申請的申請量也比較多。各大公司在人臉識別技術領域是專利申請量的主要領導者，這與其經濟發展以及市場占有率有關，2006年以來，智能客戶終端機迅速發展，其給用戶帶來便利的同時，也領導了各種圖像處理技術的空前發展，各大公司為了占領市場，競爭非常激烈，而專利也是其作為競爭的一項強有力的手段，因而例如蘋果、三性、佳能等大公司競相申請專利。

圖3-1

圖3-2

圖3-3

圖3-3描述了關于人臉檢測技術的發展脈絡圖。

由于在人流密集的情況下，只有有限的背景，且行人擁擠時，行人間存在嚴重的相互遮擋，同時在人流密集的視頻圖像中往往還包含大量的不規則運動，因此這加大了對人臉進行檢測的難度，同濟大學的劉富強等人（CN200710172336）提出了利用Adaboost算法進行人臉識別，該算法將弱分類器進行加權組合從而生成強分類器，并利用強分類器組成瀑布層疊樣式進行人臉區域的檢測，其克服了現有技術中斑塊檢測和跟蹤背景差方法中識別率較低的缺陷，該算法檢測的結果更為準確，其主要適合用于公共場所的人群管理中；在視頻中人臉檢測需要考慮人臉檢測的實時性，同時還要考慮人臉檢測的準確率和速度問題，因而劉輝（CN201010144249）提出了一種快速準確的基于視頻序列的人臉檢測跟蹤方法，該方法首先采用光線補償、膚色模型等策略減少檢測區域、提高運算速度，對于人臉檢測僅在待測區域采用改進的級聯AdaBoost分類器進行人臉檢測；AdaBoost分類器在應用中的不足之處是訓練過程遠比SVM分類器耗時得多，AdaBoost分類器訓練階段大部分時間都消耗在尋找弱分類器上，因而對于其計算量大、耗時長一級弱分類器構造過程中傳統閾值設置方法存在一系列問題，有必要改善AdaBoost的性能，文學志等人（CN201010280835）提出了一種改進的AdaBoost分類器構造方法，上述方法首先將樣本的類Harr特征值與其類別標簽結合起來生成候選分類位置集，從候選分類位置集中尋找使分類錯誤最小的位置，基于此位置構造弱分類器，并同時提供一種自適應的弱分類器閾值構造方法；

在理想光照條件下的人臉檢測技術已經比較成熟，在實際情況中，光照條件往往較差，這對人臉檢測的檢測效果產生巨大的影響，因而如果人臉特征不會基于光照的變化而變化，即人臉特征相對穩定的技術將會對不同光照條件下的人臉檢測有很大幫助，為了解決上述不足，中國科學院自動化研究所的盧漢清等人（CN200610073171）提出了一種人臉快速檢測的方法，該方法基于灰度圖像和局部區域的二進制編碼特征通過學習訓練得到人臉檢測子，并最終利用人臉檢測子檢測圖像中的位置和大小，該方法對光照較差的圖像檢測也能獲得較好的效果；由于基于特征的人臉定位方法不容易找到一個適用于所有情況的顯示特征，在背景區域中有可能會存在與人臉區域特征相似的特征，這容易得到錯誤的檢測結果，而基于圖像的人臉定位方法計算復雜性高，需要大量的時間和精力搜集人臉樣本和非人臉樣本，為了克服上述缺陷，中國科學院半導體研究所的莫華毅等人（CN200810105764）提出了基于人類視覺模擬的計算機人臉定位方法，

該方法先對圖像進行灰度化和低通濾波預處理，將經過預處理后的灰度圖像分割為若干分立的區域，在上述區域中確定出包含人臉的區域并得到相應區域的原始彩色圖像區域，在該原始彩色圖像區域上進行人臉校驗，判斷該區域是否含有人臉;紅外成像由于具有光照不變特性、抗偽裝特征和溫度敏感性等的特點，因而其具有更高的準確性和更快的處理速度，張浩宇等人（CN200910068562）提出了嵌入式紅外人臉圖像識別方法及識別裝置，該方法包括對紅外圖像中人臉的定位，人臉特征信息的自動抽取，人臉特征信息庫的自動訓練；

由于現有技術尚無法做到在各種表情變化情況下達到較好的識別性能，浙江大學的潘綱、王躍明等人（CN200710071538）提出了基于導向變形和變形剛性約束來弱化表情變化影響，該方法通過三維模型的對稱面和面部的兩個特征點確定人臉姿態，然后將該三維模型放置于統一的坐標框架中，從而建立三角形對應關系；由于人臉對稱面在表情存在的情況下很容易出錯，其制約了三維人臉檢測技術的發展，因而復旦大學的吳海山等人（CN200910197378）提出了基于多尺度的矩分析方法來得到粗略人臉曲面，隨后利用鼻尖區域特征來精確定位鼻尖的位置，從而進一步精確地分割出完整的人臉曲面；而通過鼻尖等特征點進行人臉檢測屬于局部特征的相似度計算方法，忽略了三維顱面的整體特征，從而具有很大的局限性，因而浙江工業大學的梁榮華等人（CN201110117786）提出了將標準模型的局部特征與顱面模型的局部特征進行相似度計算，并將標準模型的特征點與顱面模型的映射特征點對齊，最終實現對三維復原顱面的識別；南開大學的藍楊等人（CN201010199818）提出了一種基于等高線法的三維人臉識別方法，該方法將三維人臉模型變成容易處理的二維曲線圖，并對曲線圖作出相應的特征提取和識別分析，上述方法使得識別的準確性和速度方面大大提高。

4 國外主要申請的技術演進和發展

目前大多數人臉檢測系統都源于Viola和Jones在2001年提出的人臉檢測模型，該人臉檢測模型主要是通過AdaBoost學習算法將Harr型特征的弱分類器組合成強分類器，最后將強分類器組合起來形成瀑布層疊形式的檢測器結構，與該技術相比，Viola和Jones提出的這一檢測器模型可以更為有效地處理正面直立人臉檢測問題。上述檢測器可以分為四個層次：其中，可以通過積分圖像進行快速計算得到Harr型特征，這大大提高了檢測速度，

后來的學者和研究人員在這個基礎上進行了很多改進，例如將檢測器擴展成為多視角人臉檢測，不僅提高了系統檢測的精度和速度，還將檢測器擴展成為多視角人臉檢測，其中，在檢測器結構層次上，為了擴大人臉檢測視角，Li提出使用金字塔模型替代瀑布模型，Viola和Jones使用的是決策樹結構，而Huang采用的則是寬度優先搜索樹，另一方面，Xiao的鏈式Boosting算法和Wu的嵌入式瀑布結構將組織松散的強分類器更為緊密地聯系在一起。

國外申請量的分布圖如下：

從上述圖4-1中可以看出，人臉識別的國外申請量也是逐年上升的。

在圖像處理領域中，日本、美國、韓國等的一些技術公司和其技術都遙遙領先，人臉識別是圖像處理的一個重要分支，一些公司例如蘋果、索尼、佳能、三星等大公司都致力于研究和開發人臉識別方法和系統，圖4-2顯示了上述國家的專利分布：

5 總結與展望

文本主要對現有技術中的人臉識別領域進行了分析和總結，首先對人臉識別技術的主流方法進行了總結，其次分析了人臉識別技術在專利申請方面的概況，然后分別在中文專利庫和英文專利庫進行了檢索，并對國內外的各大申請人進行橫向的比較和分析.

圖4-1

圖4-2

第一章主要介紹了目前人臉識別技術的幾大主流方法，主要包括參考模板法，人臉規則法，樣品學習法，膚色模型法，特征子臉法；而第二章主要介紹了專利文獻中主要的人臉檢測方法，由于人臉檢測技術包含了多種多樣的方法，梳理較困難，因而本文只針對人臉檢測技術進行進一步研究；第三、四章分別對國內外的人臉檢測技術進行介紹，主要包括對重要申請人的概況分析，專利申請的地域分布，以及各項人臉檢測技術的發展脈絡。

由于目前的人臉檢測技術已經十分成熟，大多數研究主要集中在對已有技術的改進上，即改善各種算法的性能以提高人臉識別的精度和效率。未來人臉識別技術的發展方向主要是與其他圖像處理技術相結合以綜合各項技術對圖像進行處理，各項技術之間相互配合，以達到良好的圖像處理效果。

[1]王俊艷，“年齡變化的人臉識別”，計算機世界，2006.12

[2]童林，“基于視頻的人臉識別與跟蹤算法研究”，計算機與現代化，第2期，2003

[3]P.Viola and M.Jones，“Rapid Object Detection Using a Boosted Cascade of Simple Features，”Proc.IEEE Conference Computer Vision and Pattern Recognition，Dec.2001.

[4]S.Z.Li，L.Zhu，Z.Q.Zhang，et al.，“Statistical Learning of Multi-View Face Detection”.Proc.7th European Conference on Computer Vision，pp.67-81，May 2002，.