遮擋人臉檢測方法研究進展

劉淇緣，盧樹華，蘭凌強

中國人民公安大學 警務信息工程與網絡安全學院，北京 102600

1 引言

人臉檢測作為人像比對[1]、人臉屬性識別[2]、面部行為分析[3]、視頻人像追蹤[4]等計算機視覺任務的基本步驟，在過去50余年的時間里，取得了長足發展。20世紀70 年代中期，人臉檢測逐漸從目標檢測中獨立發展起來[5-6]，但由于當時存在硬件設備發展滯后，特征提取算法不成熟，訓練數據集不完備等技術瓶頸，檢測算法在精度、速度方面表現不足。20世紀90年代開始，科學界對這一領域的關注度明顯升高，諸多優質算法，如V-J人臉檢測器（Viola-Jones Face Detector，V-J FD）[7]、混合因子分析（Mixture of Factor Analyzers，MFA）[8]、多視覺人臉檢測器（Multi-View Face Detection，MVFD）[9]和特征描述符，如哈爾特征（Haar-like Features）[10-12]、局部二值特征（Local Binary Pattern，LBP）[13]、尺度不變特征變換（Scale-invariant Feature Transform，SIFT）[14]、方向梯度直方圖（Histogram of Oriented Gradient，HOG）[15]等在這一時期設計提出，支持向量機（Support Vector Machine，SVM）[16]、提升算法（Boosting）[17]等經典機器學習方法也在這一時期發展并趨于完善。近十幾年，新的面部特征描述子如加速穩健特征（Speeded Up Robust Features，SURF）[18]、積分通道特征（Integral Channel Features，ICF）[19]和優質模型如樹結構模型（Mixture of Trees Model，MTM）[20]等用于人臉檢測，取得了顯著的進展，特別是深度學習技術[21-24]廣泛應用于人臉檢測領域，促使人檢測準確率和速度不斷提高，如Li 等人[25]提出的級聯卷積神經網絡（Cascade Convolutional Neural Network，C-CNN）在自然標注人臉數據集（Annotated Faces in the Wild，AFW）[20]上達到了98%的平均精度。但是，上述人臉檢測算法大多是以受限條件下的圖片為檢測對象進行的，在面向現實場景的應用時，人臉檢測仍然面臨諸多挑戰[26-28]：如光照變化、人群高密度、圖像低分辨率、小人臉、姿態變化以及遮擋問題等，其檢測準確率和實時性仍有待進一步提高。

人臉遮擋問題在現實生活中普遍存在，包括佩戴飾品或面具引起的實物遮擋，身體姿態變化引起的自遮擋，外界光照引起的光遮擋，以及幾種遮擋類型同時出現的混合遮擋等。上述遮擋可由自然（光照、角度等）或人為（裝飾、偽裝等）原因引起，值得一提的是，有些不法（暴恐）分子通過各種手段遮擋或偽裝人臉，給相關人員搜集線索、固定證據帶來較大困難。遮擋人臉檢測的難點在于由遮擋造成的特征缺失和噪聲混疊等，不同遮擋情況對人臉檢測算法造成不同程度的影響，導致誤檢甚至漏檢，嚴重影響基于人臉檢測相關應用的進行。近年來，隨著受限條件下人臉檢測算法趨于成熟，研究人員逐漸向遮擋條件下的人臉檢測發起了挑戰[29-30]，并取得了顯著的進展，為人臉檢測和識別在現實場景下的應用奠定了良好的基礎。本文聚焦于遮擋條件下的人臉檢測方法研究進展，借鑒文獻[31]的思想，將遮擋人臉檢測算法根據特征設計與提取的方式不同分為基于手工設計特征的經典方法和基于深度學習的現代方法，具體方法體系如圖1 所示。文章對比分析了不同算法的基本原理、性能評價以及存在的問題，探討了未來可能的研究方向，期望能為遮擋人臉檢測相關研究提供一定的參考。

2 基于手工設計特征的經典方法

特征提取是計算機視覺任務中的重要一環，特征可辨性對模型性能有直接影響。手工設計特征是特征提取的經典方法，設計者根據先驗知識，參考人眼視覺特點來設計特征。基于手工設計特征的模型應用廣泛，在人臉檢測方面成果較多。近年來，隨著人臉檢測面向實景應用發展，有遮擋人臉檢測逐漸成為活躍的研究課題[32-34]。本章僅就基于手工設計特征的遮擋人臉檢測算法的研究進展進行論述，依據方法原理可將其分為兩類：一類是基于Adaboost 的級聯結構算法體系；另一類是基于DPM的模板匹配算法體系。以下主要從不同算法體系的實現原理、模型性能及存在的問題等方面進行總結分析（下文中表1為算法性能匯總）。

圖1 遮擋人臉檢測方法簡圖

2.1 基于Adaboost的級聯結構算法

Adaboost[35]是一種通過自適應模式調整樣本權重，將訓練得到的弱分類器組合為強分類器的提升算法。Viola-Jones（VJ）[7]作為基于Adaboost級聯結構的經典算法，在人臉檢測的發展歷程中具有里程碑意義，VJ在保證精度的同時將速率提升了兩個數量級，實時性方面的突破性進展使得人臉檢測技術得以投入現實應用。VJ檢測器采用類Haar 描述子描述人臉特征，為降低計算成本，提高效率，引入了積分圖的方法，即取用一張與原圖像等大的圖片，其中每一點的像素值用原圖中該點左上角的所有像素和表示，這樣即可方便算出一個區域的像素值。隨后采用Adaboost算法，先訓練只能分辨一個特征的弱分類器，再根據訓練結果增加錯誤分類樣本的權重和分類正確的分類器的權重進行迭代，將訓練好的分類器按權重線性相加達到提升分類性能的目的，最后將幾個強分類器按復雜程度排序構成級聯結構。由于Haar 特征的固有局限性，VJ 算法難以用于任意角度變化、遮擋等復雜場景的檢測[36]，但其在檢測速率方面的大幅提升和在受限條件檢測方面的突出表現，為后來基于Adaboost 的級聯結構面向包含遮擋在內的現實場景檢測發展奠定了基礎。

此后一段時間，基于Adaboost的級聯結構集中于正面人臉的遮擋問題上[37-39]。以改進Adaboost 檢測器為例，Chen等[40]統計特征數據后發現，利用Haar特征訓練的基于Adaboost 的人臉檢測器學習到的特征集中在人眼周圍，當眼部信息被遮擋時，級聯檢測器將無法作出正確判斷，為解決部分遮擋人臉的檢測問題，其在Ada-boost 的人臉檢測器上作出改進：首先將樣本切割成不重疊的圖像補丁；為增強檢測器對圖像補丁的敏感度，通過計算補丁與眼部特征重合部分的占比，手工設置閾值，將弱分類器學到的特征映射到具體的圖像補丁；再計算圖像補丁權重，公式（1）為1 時即判定圖像補丁與弱分類器的關系為高度相關，并通過公式（2）計算補丁權重，繼而判斷輸入窗中是否包含人臉。

改進后的級聯檢測器在網上收集的包含各種遮擋人臉的數據集上進行實驗，結果表明，改進后的人臉檢測器較原檢測器在遮擋檢測方面性能大幅提升，也印證了圖像補丁與弱分類器的映射可以很大程度上克服Haar特征對區域依賴性強的問題，不足之處在于這種檢測器限定待測人臉角度并且由于當時缺乏專門的遮擋數據集和評測標準，模型沒能在通用遮擋數據集上進行測試。

隨著新的特征描述子和包含遮擋數據集的提出，基于Adaboost的檢測算法在遮擋問題上取得了一些進展。Liao 等[41]根據韋伯分數提出標準像素差（Normalized Pixel Difference，NPD）圖像特征，NPD通過計算像素相對差值得到，具有縮放不變性、特征有界性及原圖重構性，該算法利用深度二叉樹對模型進行訓練，并用Adaboost篩選最具可辨性的特征級聯成強分類器用于人臉檢測，在FDDB上的檢測結果優于同期相關的人臉檢測器。該模型對遮擋人臉檢測問題的有效性來源于NPD對全局像素的無差別關注，即通過加強面部信息可辨性處理遮擋問題，模型的高效性及NPD 特征的先進性對遮擋人臉檢測的研究發揮了積極作用。高樹靜等[42]對Adaboost算法進一步優化，將浮點數轉為定點數以減少運算成本，優化后的Adaboost算法在ZYNQ平臺實現實時檢測，結合感知哈希算法實現并行人像檢測及跟蹤。實驗表明，這種改進方法極大地降低了實現成本。

在應用方面，手工設計特征結合Adaboost算法的優勢在于檢測高效性和正臉遮擋有效性，這些特點都與ATM 的現實環境相契合[43]，Zhang 等[44]提出 Adaboost 結合皮膚顏色特征形成強分類器的方法處理ATM環境中的遮擋人臉檢測，研究人員面向ATM犯罪問題，用高斯函數擬合頭部輪廓構建勢能函數用于頭部檢測，為進一步鑒定人臉是否被遮擋，用Adaboost算法級聯膚色分類器和輪廓分類器，形成精度更高的強分類器。實驗證明，級聯后的強分類器遮擋檢測性能更優，然而其受檢測場景制約較大，應用于現實場景的實時檢測仍有較大局限。

2.2 基于DPM的模板匹配算法

形變部件模型（DPM）[45]是基于手工設計特征的經典人臉方法中又一具有里程碑式意義的算法模型，該模型連續3年在PASCAL VOC挑戰賽數據集上取得綜合表現最優的結果[46-48]。在DPM的組成中，局部模型[49]概念極為重要，其獨創性的將物體描述為一組部件，并用彈簧模擬各個部件之間的聯系，如圖2（a）所示，這就是著名的彈簧形變模型。2005 年，Felzenszwalb 等[50]將這一模型概念運用到圖形結構算法（PS）中用于物體描述，PS算法找到最優匹配過程即為最小化L的過程：

式（3）中，L表示模型，I表示圖像，通過一個無向圖G=(V,E) 來描述面部圖形結構，如圖2（b）所示，V={v1,v2,…,vn}代表模型的個組件，E表示組件的連接，即當vi,vj相連時，有(vi,vj)∈E，li表示vi在圖像中的對應位置，mi(li)則表示vi與li的不匹配程度，dij(li,lj)用來度量vi,vj與li,lj的形變程度。L最小時對應的I即為最優匹配。

圖2 面部模型圖

PS 模型采用樹形彈簧結構模型解決形變問題，通過動態編碼提高效率，是目標檢測中的優質模型。不足之處在于在較難數據集上的性能易被特征袋、剛性模板等簡單模型超越且檢測速度較慢。問題是由于復雜模型通常含有大量隱藏信息，訓練難度更大，為此，Felzenszwalb 在PS 模型框架中融合隱藏變量支持向量機（Latent Support Vector Machines，LSVM），采用一種難例挖掘方法，并用式（4）對樣本x進行評分：

其中，β是模型參數向量，z是隱藏變量，是特征向量。針對PS算法檢測速度慢的問題，文獻[49]引入特征金字塔，將模型擴展成星型結構，并通過主成分分析在不產生明顯信息丟失的情況下進行特征降維，以提高檢測速度。經過這兩方面改進，PS 模型演進成混合多尺度可變形部件模型（Mixture Multi-Scale DPM，MMS-DPM），檢測精度和速度均有較大提升。但由于星型結構的引入，計算量仍很大，Felzenszwalb等人對星型結構進行級聯判斷，快速剔除無用配置，檢測效率躍升20倍[51]。至此，基于DPM的目標檢測框架基本完成，為后續基于形變模板的遮擋人臉檢測奠定了基礎。

2012 年，Zhu 和 Ramanan[20]針對現實環境中人臉因角度變化引起的自遮擋問題，提出可以同時用于人臉檢測、姿勢估計、標記估計的混合樹模型MTM。該模型傳承了PS 算法中樹形結構和動態編碼的思想，提出帶有部件共享池V 的MTM，樹形結構在獲取全局彈性形變方面有突出優勢，全局混合可捕獲由于視點引起的拓撲變化，如圖3所示。該模型尋找最佳匹配的過程可描述為式（5）中計算部件L的組態得分S(I,L,m)最大值的過程。

式（5）中，面部樹形結構仍用無向圖(V,E)表示，m表示增加的混合，即Tm=(Vm,Em)，I表示圖片，li=(xi,yi)是部件i的像素位置。式（6）表示在部件的像素位置上放置模板微調參數m后的外觀表現總和，?(I,li)表示在圖片的li處提取的特征向量，式（7）表示部件L特定混合下的空間排列，dx=xi-xj，dy=yi-yj表示第部分對第j部分的位移，式中每一項都可表示一對部件間引入的空間約束的彈簧，(a,b,c,d)表示彈簧的靜止位置和剛度，最后一項?m是與視點混合m相關的標量偏置，S的最大取值即對應最佳匹配。實驗結果表明，MTM的性能優于數10億數據訓練出的商用算法Google Picasa and face.com。遮擋人臉檢測是從對自然環境下人臉檢測的關注中發展起來的，MTM模型將DPM用于現實場景檢測并關注到了自遮擋問題，為基于模板匹配的遮擋人臉檢測算法的發展奠定了基礎。

基于部件的模型處理遮擋的通用方法是用部件特征得分與固定閾值比較[52]，然而設置閾值的標準難以確定。針對這一問題，Ghiasi 等[53]提出一種可以明確模擬部件遮擋的級聯形變部件模型（Hierarchical deformable Part Model，HPM）。HPM 的結構如圖 4 所示，與DPM和MTM 模型不同的地方在于其添加了不包含“根過濾器”的部件節點以及使用混合模型模擬遮擋模式，即每個部件采用一組形狀狀態和遮擋狀態來表示。

HPM的樹形結構得分函數為：

式（8）中，l、s、o分別表示面部部件和關鍵點的假設位置，形狀和遮擋，Φ表示在位置li處編碼的局部外觀得分，Ψ是二次變形罰分，成對參數bij編碼共現的特定遮擋模式和形狀偏差。外觀得分計算過程為：

由于外觀模型僅與模型中的葉節點有關，所以式（9）僅對葉節點進行相加。其中，是使式（9）線性參數化的權重，如果第i個關鍵點未被遮擋，則外觀特征Φ由在位li處提取的HOG 特征給出，否則該特征被設置為0。Ψ可線性參數化的表示為：

式（10）實際上是根據關鍵點j相對于其父部件i的位移對關鍵點的得分，ωij為標準的二次彈簧。實驗結果表明，HPM 在定位遮擋人臉關鍵點方面性能優越。如圖5所示，圖（a）是用Zhu等的MTM模型定位遮擋人臉，不僅模型扭曲，未被遮擋的部分也因遮擋而定位不準；圖（b）則是用HPM 定位相同圖片的表現結果，可見HPM對遮擋進行顯式建模的方式能明顯改善扭曲定位并準確預測遮擋部位的關鍵點，然而部件節點的加入和動態建模的方法也大大增加了模型的計算量，嚴重影響實時性。

圖3 視點變化引起的拓撲變化

圖4 HPM結構模型圖

圖5 HPM與MTM檢測結果對比圖

Ghiasi等[54]為應對數據集中經常出現的圖片低分辨率問題，在HPM 的基礎上做了進一步的模型拓展和實驗擴展，在HPM 基礎上提出一個多分辨率變體模型（M-R HPM）。高分辨率模型僅在原模型基礎上改變胞元大小為（3，3），低分辨率模型則將面部分為7個部件，并選用（7，7）的胞元大小。實驗拓展方面，在HPM基礎上改進參數，將原本的每個訓練樣例生成的4個合成遮擋樣例擴充為8個，為驗證M-R HPM模型的性能，分別在FDDB和自制含遮擋面部數據集UCI-OFD上與其他優質算法進行多方面比較，結果顯示，M-R HPM 在遮擋子集里有明顯的性能優勢。

為進一步提升檢測速度，Yan等[55]在級聯DPM的基礎上進行了三步改進，引入判別低秩根濾波器降低根分數計算成本，引入鄰閾感知級聯降低部件的計算成本，引入矩陣索引降低HOG特征生成的計算成本。實驗表明，該算法保證精度的同時，速度較MTM提升了2個數量級。

DPM 融合了彈簧形變模型，對人臉角度、姿態變化較為魯棒，HOG 特征本身具有的光照不變性使基于DPM 的算法體系對光照變化不敏感，而DPM 在通過滑窗檢測時構建尺度金字塔，解決尺度變化問題，故該算法體系具備一定的處理人臉角度、姿態、光照及尺度變化等復雜場景的能力。此外，基于DPM 的算法體系還關注到了自然場景下的人臉檢測問題，對檢測環境的限制要求較低，且表現出在遮擋定位方面的優越性能，然而復雜的計算使其檢測速度仍然較慢，難以實時應用。

表1 展現了基于Adaboost 和基于DPM 兩種遮擋人臉檢測算法體系的性能：

在檢測速度方面，基于Adaboost的算法體系更具優勢，在檢測一張FDDB 圖片時，基于ZYNQ 平臺的Adaboost算法的檢測速度較MTM提升了2個數量級，即使是最快的DPM 算法，速度仍稍遜于基于Adaboost 的算法體系。

在應對復雜場景方面，相較基于Adaboost的算法體系，形變部件模型的優勢得以體現，基于DPM的算法體系針對遮擋人臉檢測問題提出優化模型并在專門的遮擋人臉數據集上進行評測，給出更為直觀的量化結果。在適用環境方面，基于Adaboost的算法體系優勢在場景相對簡單的單個正面遮擋人臉檢測方面，如ATM環境、海關出入境卡口等，基于DPM 的算法體系適合于人流較為密集、人臉角度姿態變化更為豐富且實時性需求不高的環境。

表1 基于手工設計特征的經典算法性能匯總

3 基于深度學習的遮擋人臉檢測方法

深度神經網路的發展[56-57]促使深度學習成為實現人工智能的重要技術方法，現已成功地應用于諸多領域，如自然語言處理、自動駕駛和生物特征識別等[58-59]，其在計算機視覺領域表現十分突出[60-64]，在處理遮擋人臉檢測這一難點問題上也取得了較好結果，相關方法匯總如表2 所示。基于深度學習檢測遮擋人臉的研究可歸為三方面的工作：（1）加強未被遮擋的面部信息可辨性；（2）模仿人眼視覺機制，結合面部以外信息進行輔助檢測；（3）完善人臉數據庫，提高模型性能，這里著重從上述方面進行總結分析。

4 基于深度學習的遮擋人臉檢測方法

4.1 充分挖掘未遮擋面部信息檢測遮擋人臉

Faceness-Net[65]是較早按屬性提取面部特征用于遮擋人臉檢測的代表，該模型從人臉屬性的角度解決遮擋人臉檢測的問題，先用屬性感知網絡提取面部屬性特征，各屬性特征圖聯合形成面部特征用于候選區域的提取；隨后利用面部空間結構唯一性為候選區域評分并排序，大量誤報窗在此步驟被剔除；最后訓練一個多任務的CNN 來同時完成人臉二分類和邊界框回顧。Faceness-Net對遮擋的魯棒得益于面部屬性特征分類提取，從而實現當某部分被遮擋時，其他部分仍可被精確定位。大量實驗表明，Faceness-Net性能優越，既保證了運行速率，又在提出人臉候選窗、召回率、平均精度等方面優于參與比較的其他先進算法，這印證了面部屬性分析對遮擋人臉的檢測具正向加成作用，然而這種方法也存在一定的局限性，實際應用中，許多遮擋人臉圖像本身也屬于低分辨率圖像，遮擋面積較大或圖片質量不高時會對面部評分帶來困難。

Wang 等[66]通過整合 one-shot RetinaNet[67]和 anchorlevel attention 提出的人臉注意力網絡（Face Attention Network，FAN）也是通過加強未遮擋部分的面部特征來實現遮擋人臉檢測的。Retina Net由特征金字塔網絡[68]和ResNet 結合而成，具有豐富的語義信息，FAN 在其5個檢測層的每一層中的像素范圍里參照標準人臉為anchor配有1∶1.5的寬高比。FAN的創新性在于設計了錨級注意力網絡，并使傳統的特征圖與錨點圖的乘法操作變更為指數操作，從而增強面部特征可辨性同時抑制面部以外的信息。注意力機制多用于語意分析，圖像描述等領域，FAN的成功使注意力機制作用于困難人臉檢測成為可能。

Zhu等[69]提出一種遮擋自適應深層網絡（Occlusionadaptive Deep Networks，ODN）來實現遮擋人臉檢測。ODN由三個模塊組成：幾何感知模塊、蒸餾模塊和低秩學習模塊。圖片經過殘差模塊生成的特征圖同時輸入到幾何感知模塊和蒸餾模塊，分別獲得幾何信息和清晰的特征表示，蒸餾模塊可以在估計面部外觀和形狀之間關系的過程中自動學習并推斷出高級特征中每個位置的遮擋概率，遮擋概率充當高級特征的自適應權重，以減少遮擋的影響并獲得清晰的特征表示。由于清晰的特征表示缺乏語義特征，無法表示整體面孔，為了獲得詳盡而完整的特征表示，這兩部分信息又作為低秩學習模塊的輸入，通過人臉特征間關系恢復丟失的特征。經過實驗驗證，ODN性能優越，并對遮擋和極端姿勢魯棒。

人臉檢測器對具有強分辨性的特征子塊具有強依賴性，當這些部分被遮擋時，人臉常會被漏檢，而另外一些不具有區分性的子部甚至會在正訓練集上產生負中值響應。Opitz 等[70]針對這一現象為CNNs 提出一個可強化弱分辨力特征的損失層Grid loss，不同于以往的損失函數直接對整張圖片計算損失的做法，Grid loss將人臉特征圖分成若干網格，將每一格的損失與整張圖的損失加和作為最終損失，強化了每一格的特征可辨性，進而訓練CNNs 檢測遮擋人臉。損失函數強化了特征圖中每一個小網格的識別特性，即使遮擋住的部位是傳統檢測器所依托的強可辨性部位，仍能通過檢測其他部位解決。實驗驗證運用Grid loss 構建的檢測器可以大幅度提升對遮擋人臉的檢測效果，并且Grid loss能起到正則化作用，在小樣本訓練時有更好的表現，可用于實時檢測。值得注意的是Grid loss專為檢測遮擋人臉設計，且不產生額外的時間代價，可與多種優秀的遮擋人臉檢測框架結合，訓練出更優質的模型，但其也存在難以應對大的姿態變化的缺陷。

4.2 利用復合信息檢測遮擋人臉

由于大面積遮擋會使面部信息丟失較多，有限的特征會給檢測帶來困難，研究人員指出面部以外的信息用于輔助檢測對提高模型性能非常重要。Zhu等人[71]指出只根據面部特征信息檢測遮擋人臉的方法難以處理大面積遮擋問題，為此提出參考人眼視覺機制的基于語境的多尺度區域卷積神經網絡（Contextual Multi-Scale Region-based CNN，CMS-RCNN），即面部和身體同時被檢測到并符合特定的空間關系時才判定人臉存在。此方法的關鍵步驟在于如何融合好提取到的身體信息和面部信息，身體信息和面部信息的融合采用后期融合策略融合成一個長特征向量，使得網絡能參考更多的語義信息。對比實驗驗證了融合身體信息后可以更好地應對遮擋這一類困難情況，CMS-RCNN 與包含Faceness-Net在內的其他4種先進算法進行了實驗比較。實驗結果表明，CMS-RCNN 無論在簡單情況還是困難情況，都較其他算法有極為突出的優勢，且測試數據集難度越高，系統表現越好，因此CMS-RCNN是R-CNN家族中更接近人眼檢測的網絡架構。PyramidBox 引入了一個語境敏感結構（Context-sensitive Prediction Module，CPM）[72]將語境信息整合到目標人臉周圍，并增加預測網絡容量從而提高對遮擋人臉的檢測準確性。雙射人臉檢測器（Dual Shot Face Detection，DSFD）[73]在PyramidBox的特征金字塔網絡（Feature Pyramid Networks，FPN）中結合感受野模塊（Receptive Field Block，RFB）[74]提出性能更魯棒的特征增強模塊（Feature Enhance Module，FEM），同時改進了錨框設計和損失函數。這種多角度的改進很大程度上消除了遮擋和尺寸帶來的檢測障礙，并使DSFD 成為當時的最優算法，在Wider-Face和FDDB評測標準上都取得最優結果，多角度融合的改進策略可以有針對性地讓經過驗證的有效模塊發揮作用，提升模型性能，然而這種多角度優化也可能在一定程度上增加計算時間。

表2 基于深度學習的遮擋人臉檢測算法匯總表

Ge 等[75]提出的局部線性嵌入式卷積神經網絡（Locally Liner Embedding CNN，LLE-CNN）也是從探索面部以外區域的信息來實現遮擋人臉檢測的。檢測流程如圖6所示，輸入的圖片先經Proposal Module提取面部候選框，并用噪聲描述符表示；隨后在Embedding module中，經由大量圖片構成的人臉字典和非人臉字典訓練出的最近鄰來細化描述符，由遮擋造成的遮擋面部信息在這一步得以補全；最后，Verification Module同時給出分類和回歸的結果。經過大量的實驗，LLE-CNN在遮擋數據集上MAFA上的表現中比次優算法AP值提高了15.6%，并在12種遮擋程度、類型，面部朝向下均優于其他6種方法。

2018 年，Chen 等[76]提出對抗性遮擋感知人臉檢測器（Adversarial Occlusion-aware Face Detector，AOFD），利用深層對抗網絡來模擬現實場景中的遮擋面部特征，并用生成的面部樣本訓練檢測器，同時利用上下文信息在實現遮擋人臉檢測的同時完成遮擋區域分割，為后續基于面部特征的相關任務提供幫助；AOFD在MAFA上結果與 FA-Net 和 LLE-CNN 進行比較，AP 分別提高了3.6%和31.3%，顯示出AOFD在遮擋人臉檢測方面的優越性能。Zhang等[77]提出一種基于上下文信息的生成對抗網絡（Contextual based Generative Adversarial Network，C-GAN），充分利用面部周圍信息訓練GAN，以提高檢測器性能，進而完成人臉檢測。GAN 包含一個生成模型G和一個鑒別模型D，生成器生成樣本供鑒別器鑒別，鑒別結果再反饋給生成器用于性能優化，G 和D在博弈的過程中交替優化。生成網絡包含上采樣子網和優化子網，低分辨率圖像通過上采樣子網輸出高分辨率圖像，優化子網完善高分辨率圖像；鑒別網絡的分類子網完成人臉-非人臉，真實圖像-虛假圖像的鑒別，回歸子網用于完善較難人臉的邊框檢測，通過多種類別的實驗，消融驗證了C-GAN對遮擋人臉，小人臉這類難點問題的有效性。GAN在應對姿態變化方面上有突出優勢，結合語境信息對抗生成更適宜復雜場景的人臉檢測模型，但同時GAN也存在訓練難度大、模型設計困難的問題。

需要特別指出的是，目前，諸多算法在遮擋人臉檢測方面的表現被用作評價其應對困難場景能力的指標之一，這些算法并不專門針對遮擋情況提出，但經WiderFace復雜數據集測試，具有檢測遮擋人臉的能力，從這些算法中可以提取對遮擋人臉檢測有益的參考。SSH[78]在每個預測模塊上通過濾波器對上下文信息建模，并消融驗證明了上下文模塊的加入使其在Wider-Face數據集上的測試精度平均提高了0.5%。選擇性細化網絡（Selective Refinement Network，SRN）[79]在淺層特征映射上通過選擇性兩部分類器（Selective Twostep Classification，STC）進行錨框分類，在深層特征上通過選擇性兩步回歸器（Selective Two-step Regression，STR）進行錨框調整，加入感受野增強模塊（Receptive Field Enhancement，RFE），使用1×k，k×1 的卷積層提供多種矩形感受野來融合上下文信息以達到優化檢測性能的目的，SRN 在WiderFace 上的性能超越了PyramidBox。

圖6 LLE-CNN框架圖

值得一提的是在SRN算法上進一步優化得到的改進選擇性細化網絡（Improved Selective Refinement Network，ISRN）[80]和在PyramidBox 上通過對既有模塊改進提出的平衡數據錨采樣（Balanced Data Anchor Sampling），密集上下文模塊（Dense Context Module）和多任務訓練（Multi-task Training）得到PyramidBox++[81]。這兩個算法都是當前最頂尖的檢測算法，ISRN 在世界最大合照上檢測到900張人臉，PyramidBox++的檢測結果是916 張，這兩個算法都充分利用了既有優質算法，發揮模塊最佳效能，針對算法中的薄弱環節逐個有針對性的優化，進行整體檢測性能的提升，如PyramidBox++中的BDAS 數據增強模塊是SSD[82]采樣模塊與數據錨采樣（Data-Anchor-Sampling，DAS）的結合，ISRN 在數據增強方面則是在SRN的基礎上融合了DAS模塊。這種薄弱環節的融合改進使算法在不損失速度的情況下提高了應對復雜人臉的檢測精度。

基于深度學習的人臉檢測方法通過設計網絡框架自動學習圖片特征，在充分挖掘未遮擋部分檢測遮擋人臉的算法中，專注于面部特征，對姿態變化和局部遮擋有較好的處理能力，然而也因對面部區域的依賴性，性能受圖像分辨率影響較大；在利用復合信息檢測遮擋人臉的算法中，神經網絡模擬人眼視覺機制，身體特征的加入使其對姿態、角度、尺寸、遮擋的檢測性能更優。

表2 綜合比對了基于深度學習的遮擋人臉檢測算法的性能：

在檢測速度方面，基于深度學習的算法體系雖仍較基于Adaboost的算法體系存在一些差距，但深度神經網絡和GPU的運用已使該部分算法的檢測速度整體得到較大提升。

在應對復雜場景的處理方面，基于深度學習的遮擋人臉檢測算法在WiderFace Val_hard 子集和MAFA 上的AP突破90%，在FDDB上突破99%，說明了基于深度學習的遮擋人臉檢測算法在處理背景復雜、姿態多變的自然場景人臉檢測問題方面具有卓越性能。

在適用環境方面，基于深度學習的遮擋人臉檢測算法因檢測準確率高和抗干擾能力強的綜合優勢，適用于人流密集、姿態不受限的現場場景人流檢測。

4.3 遮擋人臉檢測數據集

數據集及評價標準對模型性能的提升和量化評估具有極為重要的作用，就遮擋面部的檢測問題而言，一個數據完備，標注清楚的遮擋面部數據集是提升模型性能的有效方法。網絡上開源的通用人臉數據集較多[83-85]，然而針對遮擋人臉問題設計的數據集較為缺乏，目前可較好地用于訓練和測評遮擋人臉檢測器的開源數據集有 FDDB[86]、AFW、AFLW、300W、Wider Face[87]、MAFA[75]和COFW（Caltech Occluded Faces in the Wild）[88]，匯總結果如表3所示。

其中，FDDB、AFW、AFLW 和300W 是自然場景下的人臉數據集，由于數據成像場景豐富，適用于遮擋人臉檢測問題，WiderFace、MAFA、COFW 則專門標注了人臉的遮擋屬性。

FDDB 數據集及評價標準自2010 年公布以來被廣泛使用。數據是由雅虎新聞網站上收集到的2 845張圖片組成，包含了大量遮擋、低分辨率、異常姿態等情況。FDDB 與大部分數據集不同之處在于其采用的是更貼合面部輪廓的橢圓形標注，根據橢圓中心位置、長軸短軸長度以及人臉方向確定橢圓框具體位置，并提供單獨評分（Discrete Score，DS）和連續評分（Continuous Score，CS）兩種評分方式，不同算法的分值通過ROC曲線直觀比較。

表3 遮擋人臉數據集匯總表

AFW是早期為測評模型在自然場景下檢測能力而提出的數據集，標注了矩形邊界框，6個關鍵點及3種姿態變化，由于數據量較小，僅有205張圖片，故多被直接用作測試集。

AFLW 同時標注了橢圓框、矩形框和21 個特征點，其中橢圓框的標注方法與FDDB相同，AFLW數據集包含21 997張圖片，其中男女比例3∶2，人像外表和成像環境變化較大，數據豐富，標注清晰，對人臉屬性分析、人臉檢測和識別等領域的研究具有推進作用。

300W則是用半監督的方式統一標注AFW、Helen、IBUG 等多個數據集的圖像，特征點為68 個，由于數據來源多樣，故而對受檢模型的泛化能力具有較好的評估性。

WiderFace 數據集包含 32 203 張圖片和 393 703 個標注人臉，10倍于當時最大的人臉檢測數據集，大量變化的標簽臉在外觀、比例、姿勢和遮擋等方面具有較高的復雜度和豐富度，使其成為目前開源數據集中檢測難度最大，數據豐富度最高的數據集之一。WiderFace 中158 989被選為訓練子集，39 496為驗證子集，其余為測試子集，其中驗證集和測試集又根據檢測的難易程度分為簡單、中等、困難3個等級以供分類測試。

COFW 是較早設計的遮擋檢測數據集，規模較小，設計初衷是為了檢測遮擋下的面部標志點定位，包含1 852 張含遮擋的注釋人臉。其中訓練集包含1 345 張不包含遮擋的圖片，測試集包含507 張包含遮擋的圖片，平均遮擋率約23%，經過Grid loss[68]中的二次統計，其中329 張圖片被遮擋的點位超過30%，屬重度遮擋，剩余的178張則是輕微遮擋。

MAFA是專門針對遮擋（蒙面）人臉構建的數據集，包含從網上搜集來的30 811張圖片，每張圖片至少包含一張遮擋面，這一點是通用人臉數據集所不具備的。數據集手動標注6種屬性，分別是人臉位置、眼鏡位置、遮擋位置、面孔朝向（左，中，右，左前，右前）、遮擋程度（強，中，弱）和遮擋類型（簡單面具：純色人造遮擋物，復雜面具：復雜紋路的人造遮擋物，人體遮擋及混合遮擋），該數據集對更為復雜的遮擋人臉檢測數據集構建以及深度學習模型訓練和優化具有較好的參考意義。

5 總結與展望

5.1 總結

遮擋人臉檢測是人臉識別、面部屬性分析、視頻人像追蹤等計算機視覺任務面向現實場景應用難以回避的問題，受到較多關注，研究人員利用基于手工設計特征和深度學習的方法對遮擋人臉檢測開展了深入的探索，并取得了顯著進展。但是相比于一般人臉檢測方法在通用數據集上的優異表現，有遮擋人臉檢測算法在專門數據集上的準確率和效率尚存在一定不足。

表4綜合比對了文中的三類算法體系的性能，可以看出，基于手工設計特征的兩類經典算法在性能上尚存一定缺陷，基于Adaboost的算法級聯弱分類器形成檢測性能更優的強分類器，優點在于檢測速度較快，實時性強，對硬件設備要求低，然而受手工設計特征靈活性不高和可靠性差的影響，對檢測場景和待檢人臉角度有較高要求。基于DPM的算法體系在發展過程中依次提出了克服模型訓練難度大，檢測速度慢，計算復雜度高，閾值標準難以確定，圖像分辨率低等一系列問題的方案，逐步提高檢測效率、精度及對遮擋的魯棒性能，不足之處則在于基于局部模型的算法體系提取的均是圖片的HOG特征，HOG特征本身存在抗噪聲能力差，描述子生成時間冗長等局限，優化后的模型算法計算復雜度仍然較高，算法模型難以用于實時檢測。

基于深度學習的遮擋人臉檢測算法近年來被大量提出并取得較大進展，深度卷積神經網絡框架用于提取目標圖像深層次特征和語義信息，實現特征的非線性表達和描述，結合數據增強、錨框設計和損失函數設計等模塊，實現充分挖掘未被遮擋的面部信息和結合上下文信息加強感受野輔助檢測，提高算法的抗干擾能力，在復雜場景檢測和檢測實時性方面都有較好的表現。其不足之處在于訓練難度較大，算力要求較高。

數據集對于模型訓練和優化非常重要，特別是對深度學習模型的應用和泛化，起著必要的基礎作用。相對于常規的人臉檢測數據集，專門用于遮擋人臉檢測的大規模數據集仍然較少，可能是因為數據收集困難，標注費時費力，導致用于遮擋人臉檢測的數據集還很不完備，數據量少。而現實環境下，人臉面臨遮擋、偽裝甚至混合遮擋的情況并不少見，干擾背景也更為復雜，故構建數據量大，姿勢、光照、遮擋、尺寸等復雜變化的標注和屬性準確描述的數據集尚需進一步研究。

表4 各算法體系性能匯總

5.2 展望

遮擋人臉檢測在面向現實場景的實時應用時，對模型魯棒性及檢測速度、精度都有較高要求，基于手工設計特征的經典方法應注重提升算法的抗干擾能力，提高模型應對維度變化時的穩定性和檢測時效性問題。

基于Adaboost 的算法重在提高特征靈活性及穩健型，在手工設計特征時可參考3D 人臉特點設計[89]更貼合面部的特征以應對維度變化，基于DPM 的算法模型應注重降低模型計算復雜度應對實時性問題，可通過結合深度神經網絡和應用GPU 來降低時間成本。此外，開發設計新型算法應對各種遮擋及復雜場景等特征損失或噪聲干擾的魯棒性問題也值得關注。

基于深度學習的遮擋人臉檢測算法中，深度卷積神經網絡框架用于圖像特征提取和噪聲抑制，準確率和魯棒性較好，但是目前基礎框架訓練難度大，對硬件設備性能依賴性較強的問題仍然存在，故應加強對基礎框架的創新及優化，包括設計輕量型網路架構。在這一點上，羅明柱等[90]微調AlexNet 使其突破圖片尺寸限制和張等[91]設計輕量級網絡的做法值得借鑒。加強對GAN、注意力機制和信息融合等方面的探索，在保證檢測精度的同時降低模型訓練難度，如GAN 在應對姿態變化和雜亂背景方面有突出優勢，然而其設計還不成熟，易在訓練時出現學習崩潰和模型不可控的問題，應加強對網絡性能的探索，使其更易量化地判斷模型的優劣，注意力機制則具有參數少，模型簡單，容易訓練的特點，易與其他網絡層融合提高局部特征可辨性和抑制噪聲[94]；充分利用圖像信息，注重面部屬性信息的同時參考人眼視覺機制，融合語境信息進行檢測，以提高檢測準確率。

眾所周知，數據集對模型訓練意義重大，構建用于遮擋人臉檢測的專門數據集和評測標準以優化深度模型的訓練，提高模型的精確度、魯棒性和實時性也是未來的重要工作之一。但是包含遮擋等復雜場景的數據集不可能包含所有場景，數據量也不可能過大，故未來半監督、無監督或遷移學習方法在遮擋人臉檢測領域值得重點研究。

綜上所述，相信隨著人工智能的快速發展，面向現實場景的遮擋人臉檢測一定可以實現高精度實時應用。