基于人臉關(guān)鍵點(diǎn)與多任務(wù)學(xué)習(xí)的遮擋人臉檢測算法的研究*

史豐暢

（江蘇科技大學(xué)計算機(jī)學(xué)院 鎮(zhèn)江 212003）

1 引言

人臉識別［1］是根據(jù)人的臉部特征信息進(jìn)行身份識別的一種技術(shù)，在現(xiàn)實(shí)生活廣泛應(yīng)用于教育、金融、公安等領(lǐng)域。而人臉檢測是指輸入一副圖像，確定圖像中所有人臉的位置、尺度和位姿的過程。它是進(jìn)行人臉識別、人像對比、視頻人像追蹤等視覺任務(wù)的基本步驟和前提。

早期的人臉檢測技術(shù)基于先驗知識來和手工設(shè)計的特征來提取人臉圖像的特征。如：姜軍［2］等人采用與人臉生理結(jié)構(gòu)特征相符合的人臉鑲嵌圖模型，針對人臉圖像的灰度和邊緣信息，建立人臉知識庫。并通過多級監(jiān)測步驟加快檢測速度。很好地解決了復(fù)雜背景下的多人臉檢測問題。梁路宏［3］等提出了多模板匹配的人臉檢測方法，首先通過人眼模板進(jìn)行初步篩選，然后使用多個不同長寬比的人臉模板進(jìn)行檢測定位，最后利用人臉的邊緣特征確認(rèn)。該方法具有較高的檢測成功率。

近年來，研究人員發(fā)現(xiàn)基于卷積神經(jīng)網(wǎng)絡(luò)的算法能夠自動學(xué)習(xí)到圖像中的特征，并且取得了超越傳統(tǒng)視覺算法的效果。越來越多的人也將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于人臉檢測算法中，如劉偉強(qiáng)［4］設(shè)計了一種級聯(lián)架構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)，通過多個尺度的圖像區(qū)分人臉與背景區(qū)域。蔣紀(jì)威［5］等對目標(biāo)檢測算法YOLO［6］進(jìn)行改進(jìn)，提出了一種基于YOLOv3［7］的人臉檢測算法，該算法能夠?qū)θ四樳M(jìn)行實(shí)時檢測。

但是上述人臉檢測算法大多是將受限條件下的圖片作為檢測檢測對象，在現(xiàn)實(shí)場景中應(yīng)用時，人臉檢測算法仍然面臨人群高密度、明暗變化、小人臉以及遮擋等諸多挑戰(zhàn)［8］。

人臉關(guān)鍵點(diǎn)檢測是人臉識別中的關(guān)鍵步驟，通常用于人臉識別、三維人臉重建、表情分析等。通過對眉毛、眼睛、鼻子、嘴巴等關(guān)鍵點(diǎn)的檢測，以獲得更好的人臉特征，從而提升人臉識別的準(zhǔn)確率。如Face++［9］提出的從粗到細(xì)的人臉關(guān)鍵點(diǎn)檢測算法，能夠準(zhǔn)確檢測出人臉的內(nèi)部關(guān)鍵點(diǎn)和輪廓關(guān)鍵點(diǎn)共68個。

本文在現(xiàn)有的人臉檢測算法上進(jìn)行改進(jìn)，將人臉關(guān)鍵點(diǎn)檢測技術(shù)用于人臉檢測中，提出了一種一階段的人臉檢測算法。該算法利用特征金字塔網(wǎng)絡(luò)提取多尺度的人臉特征，通過多任務(wù)學(xué)習(xí)策略同時預(yù)測人臉分?jǐn)?shù)，人臉框位置和人臉關(guān)鍵點(diǎn)。實(shí)驗表明，加入了人臉關(guān)鍵點(diǎn)檢測后，不僅提高了對正常人臉的檢測性能，也能夠準(zhǔn)確檢測出被遮擋的人臉。

2 算法設(shè)計與實(shí)現(xiàn)

本文的人臉檢測算法首先使用特征金字塔網(wǎng)絡(luò)［10］提取圖像中多尺度的人臉特征信息，并通過上下文模塊來增強(qiáng)對較小人臉的檢測性能。然后通過多任務(wù)學(xué)習(xí)的方式，進(jìn)行人臉分類，戴口罩人臉分類，以及回歸人臉框和人臉的關(guān)鍵點(diǎn)，人臉檢測網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 人臉檢測網(wǎng)絡(luò)結(jié)構(gòu)

2.1 特征金字塔

人臉尺度的變換很大，同一張圖像中存在從幾個像素到幾千個像素的人臉，因此對于檢測中的多尺度問題，本文采用特征金字塔網(wǎng)絡(luò)提取不同尺度的人臉特征。

本文的特征金字塔網(wǎng)絡(luò)以ResNet-152［11］作為主干網(wǎng)絡(luò)，其中特征圖C2、C3、C4、C5四個不同尺度的特征為ResNet中各個殘差塊輸出的特征圖，特征圖C6由C5經(jīng)過3*3卷積后得到。

2.2 上下文模塊

為了增強(qiáng)對小人臉的檢測能力，本文在五個特征金字塔輸出的特征圖上均加入了上下文模塊來擴(kuò)張預(yù)檢測區(qū)域的上下文信息，增強(qiáng)特征的感受野。

上下文模塊將特征金字塔輸出的特征輸入感受野分別為3、5、7的分支中，然后將三個分支得到的特征合并，最后經(jīng)過relu激活函數(shù)后輸出特征。

2.3 多任務(wù)損失函數(shù)

多任務(wù)學(xué)習(xí)在人類檢測中廣泛使用，能夠有效提高算法的性能。本文也采用了多任務(wù)學(xué)習(xí)的方式來檢測圖像中包含的人臉。多任務(wù)損失函數(shù)如下：

人臉分類損失Lcls(pi，p*i)：這是一個二分類的softmax損失，其中pi是錨點(diǎn)i為人臉的概率值，p*i是錨點(diǎn)i的標(biāo)簽值，正錨點(diǎn)（含有人臉）值為1，負(fù)錨點(diǎn)（不含人臉）值為0。

戴口罩人臉分類損失Lcls_mask(qi，q*i)：與人臉分類損失類似，戴口罩人臉分類損失也是二分類損失，其中qi為錨點(diǎn)i人臉戴口罩的概率值，q*i為標(biāo)簽值，q*i為1表示該錨點(diǎn)的人佩戴了口罩，為0則表示沒有佩戴口罩。

人臉框回歸損失Lbox(ti，ti*)：該損失函數(shù)用于回 歸 人 臉 所 在 的 位 置，其 中ti={tx，ty，tw，th}和分別為與正錨點(diǎn)有關(guān)的人臉預(yù)測框和人臉標(biāo)簽框（包括中心點(diǎn)坐標(biāo)，寬度和高度）。損失函數(shù)采用如下所示的smooth L1損失：

人臉關(guān)鍵點(diǎn)損失Lpts(li，l*i)：為了增強(qiáng)對部分困難人臉樣本的檢測能力，本文還對人臉關(guān)鍵點(diǎn)進(jìn)行了回歸，其中}分別為預(yù)測和標(biāo)注的五個人臉關(guān)鍵點(diǎn)。與人臉框的損失相同，關(guān)鍵點(diǎn)損失也采用了smooth L1損失：

為了加快網(wǎng)絡(luò)的收斂速度，多任務(wù)損失的中的部分損失只在滿足條件的情況下計算。如戴口罩人臉分類損失Lcls_mask(qi，q*i)和人臉框回歸損失只在存在人臉的情況下（p*i=1）計算；由于目前開源的口罩人臉檢測數(shù)據(jù)集中沒有對人臉關(guān)鍵點(diǎn)進(jìn)行標(biāo)注，因此人臉關(guān)鍵點(diǎn)損失只在存在人臉且不帶口罩的情況下計算，即p*i=1，q*i=0。

3 實(shí)驗與分析

3.1 數(shù)據(jù)集

為了驗證本文的算法在復(fù)雜環(huán)境下是否能正確檢測出人臉。本文采用了WIDER Face［12］和MAFA［13］兩個數(shù)據(jù)集，其中WIDER Face用于測試算法在復(fù)雜環(huán)境下人臉的檢測性能，MAFA數(shù)據(jù)集用于測試算法能否有效檢測戴口罩的人臉。

WIDER Face數(shù)據(jù)集是是常用的人臉檢測數(shù)據(jù)集，包含32203張圖像。本文使用了帶人臉關(guān)鍵點(diǎn)的WIDER Face數(shù)據(jù)集，然后在61個不同的場景類別中隨機(jī)采樣，將該數(shù)據(jù)集分為訓(xùn)練集（70%），驗證集（10%）和測試集（20%）。并且根據(jù)EdgeBox［14］方法的檢測率，通過逐步合并困難樣本定義了三個難度的樣本（簡單、中等和困難）。

MAFA數(shù)據(jù)集是一個遮擋人臉數(shù)據(jù)集，其中大部分?jǐn)?shù)據(jù)為被口罩遮擋的人臉圖片，本文篩選后，從數(shù)據(jù)集中選出了3006張圖片作為訓(xùn)練集，1059張圖片作為測試集。

3.2 實(shí)驗平臺

本文的實(shí)驗平臺為Ubuntu16.04、CUDA10.1、cuDNN7.6.5、NVIDIA GTX1080Ti。人臉檢測算法使用Python語言和深度學(xué)習(xí)框架Tensorflow實(shí)現(xiàn)。

首先將人臉數(shù)據(jù)集進(jìn)行預(yù)處理，將標(biāo)簽轉(zhuǎn)換為CSV文件，數(shù)據(jù)集含有4類標(biāo)簽，分別為人臉是否佩戴口罩、是否為人臉、人臉框坐標(biāo)和人臉關(guān)鍵點(diǎn)坐標(biāo)。然后使用預(yù)訓(xùn)練的模型初始化網(wǎng)絡(luò)參數(shù)，初始化學(xué)習(xí)率設(shè)置為0.0001，使用帶動量的隨機(jī)梯度下降算法進(jìn)行優(yōu)化。

3.3 WIDER Face數(shù)據(jù)集實(shí)驗結(jié)果

本節(jié)評估了人臉關(guān)鍵點(diǎn)對測試集準(zhǔn)確率的影響，并著重考察在困難樣本上算法的性能。表1為有無人臉關(guān)鍵點(diǎn)對算法效果的影響。從表1可以看出，在不使用人臉關(guān)鍵點(diǎn)損失的情況下，模型在困難樣本上的單類別平均正確率（Average Precision，AP）為90.6%，略低于ISRN模型［15］的90.9%，添加了關(guān)鍵點(diǎn)回歸損失后，困難樣本的AP顯著提升，達(dá)到了91.7%，全類平均正確率（mean Average Precision，mAP）也從50.8%提升至52.3%，說明人臉關(guān)鍵點(diǎn)損失對于準(zhǔn)確率的提升至關(guān)重要。

表1 人臉檢測關(guān)鍵點(diǎn)對算法的影響

3.4 MAFA數(shù)據(jù)集實(shí)驗效果

為了評估算法在遮擋人臉數(shù)據(jù)集上的準(zhǔn)確率，本節(jié)使用MAFA數(shù)據(jù)集進(jìn)行測試。表2為算法在MAFA數(shù)據(jù)集上的實(shí)驗結(jié)果。從表2可以看出，在不使用人臉關(guān)鍵點(diǎn)損失時，算法的mAP為88.6%，略高于FAN模型［16］的88.4%，而加入人臉關(guān)鍵點(diǎn)損失后，本文的算法提升至89.5%，提升了0.9%，說明盡管模型在訓(xùn)練戴口罩人臉樣本時沒有對人臉關(guān)鍵點(diǎn)損失進(jìn)行計算，但人臉關(guān)鍵點(diǎn)損失增強(qiáng)了網(wǎng)絡(luò)對人臉特征的提取能力和對不帶口罩人臉的檢測準(zhǔn)確率，進(jìn)而提升了對戴口罩人臉的檢測能力。

表2 MAFA數(shù)據(jù)集實(shí)驗結(jié)果

4 結(jié)語

本文提出了一種一階段的人臉檢測算法，通過多尺度特征提取和多任務(wù)學(xué)習(xí)進(jìn)行訓(xùn)練，同時加入了人臉關(guān)鍵點(diǎn)用于提升人臉檢測準(zhǔn)確率。訓(xùn)練后的算法不僅能夠檢測圖像中任意尺度的人臉，而且也能夠準(zhǔn)確檢測出戴口罩人臉。實(shí)驗結(jié)果表明加入人臉關(guān)鍵點(diǎn)損失后不僅提高了常規(guī)人臉數(shù)據(jù)集上的準(zhǔn)確率，也提升了面部被遮擋的人臉檢測能力。