一種基于MAE 人臉隱私保護(hù)方法的身份認(rèn)證系統(tǒng)

錢澤凱 ，童彥澎 ，劉紹輝 ，王雨桐 ，王詩(shī)語(yǔ)

(1.哈爾濱工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，黑龍江 哈爾濱 150006；2.哈爾濱工業(yè)大學(xué) 軟件學(xué)院，黑龍江 哈爾濱 150006；3.哈爾濱工業(yè)大學(xué) 建筑學(xué)院，黑龍江 哈爾濱 150006)

0 引言

隨著神經(jīng)網(wǎng)絡(luò)的再度崛起與深度學(xué)習(xí)技術(shù)迅猛發(fā)展，人臉識(shí)別的準(zhǔn)確率和性能不斷提升，人臉識(shí)別技術(shù)在各領(lǐng)域得以快速發(fā)展，在行政、公共安全、交通、商業(yè)等各領(lǐng)域發(fā)揮重要作用。然而，人臉識(shí)別技術(shù)在提升便捷性的同時(shí)，也遭到了濫用，個(gè)人隱私安全問(wèn)題迫在眉睫。

在近年中一些調(diào)研中，文獻(xiàn)[1]發(fā)現(xiàn)包括人臉信息在內(nèi)的生物特征信息泄露問(wèn)題越來(lái)越嚴(yán)重。2019年8 月，生物識(shí)別平臺(tái)BioStar2 泄露超過(guò)2 780 萬(wàn)條記錄，數(shù)據(jù)量達(dá)23 GB，其中包括指紋、人臉識(shí)別和用戶圖片、未加密的用戶名和口令及員工數(shù)據(jù)等。2021 年3 月科勒衛(wèi)浴、寶馬等企業(yè)在主體不知情情況下，對(duì)人臉信息捕捉、記錄，并對(duì)該信息進(jìn)行行為分析，導(dǎo)致個(gè)人行蹤泄露。同時(shí)根據(jù)《南方都市報(bào)》個(gè)人信息保護(hù)研究中心人工智能倫理課題組和軟件專項(xiàng)治理工作組發(fā)布的《人臉識(shí)別應(yīng)用公眾調(diào)研報(bào)告(2020)》[2]發(fā)現(xiàn)，當(dāng)前人臉識(shí)別技術(shù)普及率高，但仍存在強(qiáng)制使用等問(wèn)題，六成受訪者認(rèn)為人臉識(shí)別技術(shù)有被濫用的趨勢(shì)。此外，針對(duì)目前幾類較有爭(zhēng)議的人臉識(shí)別應(yīng)用場(chǎng)景，受訪者最不能接受的是商城使用人臉識(shí)別收集顧客的行為數(shù)據(jù)。在各大商場(chǎng)、酒店、旅游景點(diǎn)等具有爭(zhēng)議的公共場(chǎng)合，人臉信息過(guò)度采集與非法存儲(chǔ)行為屢見不鮮，甚至在很多安全級(jí)別低且不必要的場(chǎng)景中強(qiáng)制要求人臉認(rèn)證。其次，用戶對(duì)于人臉識(shí)別認(rèn)證的態(tài)度也日趨保守與抵觸。根據(jù)具《南方都市報(bào)》發(fā)布的《人臉識(shí)別應(yīng)用場(chǎng)景合規(guī)報(bào)告(2021)》[2]顯示，在感受人臉識(shí)別便捷性的同時(shí)，大眾對(duì)人臉識(shí)別的安全性保持擔(dān)憂。

針對(duì)人臉識(shí)別的安全性問(wèn)題已經(jīng)有相關(guān)研究，目前的系統(tǒng)中通常使用更精準(zhǔn)的人臉識(shí)別手段過(guò)濾不安全的人臉，從而保護(hù)系統(tǒng)的安全性。常用的手段是三維結(jié)構(gòu)光識(shí)別[3]，該技術(shù)將編碼的光柵或線光源等投射到被測(cè)物上，根據(jù)它們產(chǎn)生的畸變來(lái)解調(diào)出被測(cè)物的三維信息。但所有的技術(shù)只是關(guān)注系統(tǒng)的安全性，忽略了人臉隱私安全問(wèn)題，所有的人臉識(shí)別技術(shù)離不開數(shù)字化特征值的提取[2]，提取的人臉特征具有唯一性、不可撤銷性，一旦遭到攻擊、篡改或泄露，則意味著終生泄露，用戶隱私安全正面臨巨大威脅。

針對(duì)以上的問(wèn)題，本文從人臉識(shí)別中使用的人臉數(shù)據(jù)出發(fā)，對(duì)提取的數(shù)據(jù)進(jìn)行合適的加密和處理，從底層解決了人臉隱私泄露的問(wèn)題。進(jìn)行了全面的背景調(diào)研、系統(tǒng)設(shè)計(jì)、功能實(shí)現(xiàn)以及系統(tǒng)測(cè)試。系統(tǒng)主要分為前端與后端兩個(gè)部分。后端主要包括數(shù)據(jù)庫(kù)的部署與搭建、接口設(shè)計(jì)以及模型訓(xùn)練。前端開發(fā)了軟件端與網(wǎng)頁(yè)端。系統(tǒng)具有封閉安全、輕量高效、準(zhǔn)確率高、公開透明的特點(diǎn)，同時(shí)還具可拓展性和移植性，幾乎可以適用于人臉識(shí)別的各種場(chǎng)合。不僅適用于高級(jí)機(jī)密的安全場(chǎng)所，更能從普羅大眾所接觸到日常生活中的各個(gè)場(chǎng)景解決人臉隱私泄露的問(wèn)題，可以代替大部分場(chǎng)景下的人臉識(shí)別系統(tǒng)。

系統(tǒng)在普通版本的基礎(chǔ)上，開發(fā)了大量其他的應(yīng)用場(chǎng)景模擬系統(tǒng)。主要針對(duì)設(shè)備解鎖、上班打卡、微信取紙等具體的多種應(yīng)用場(chǎng)景進(jìn)行了設(shè)計(jì)。在不同場(chǎng)景下，簽名與密鑰的形式便捷多樣，如NFC 卡、手機(jī)序列號(hào)、手機(jī)號(hào)碼等，能夠滿足用戶在多種場(chǎng)景下的需求，有效防范人臉信息的非法盜取與濫用。最后在系統(tǒng)上實(shí)現(xiàn)了上述提出的想法。系統(tǒng)是開源的，開源網(wǎng)址為：https：//github.com/qzkinhit/MAEBased -Face -Privacy -Protection -and -Authentication -System。

1 系統(tǒng)原理

現(xiàn)行人臉識(shí)別技術(shù)基于數(shù)字化特征值的提取[2]，而后通過(guò)特征向量的相似性比對(duì)來(lái)確認(rèn)用戶身份。提取的人臉特征具有唯一性、不可撤銷性，一旦遭到攻擊、篡改或泄露，則意味著終生泄露。針對(duì)該問(wèn)題，本系統(tǒng)在數(shù)據(jù)庫(kù)中僅存儲(chǔ)缺失位置信息的殘缺人臉?biāo)槠幋a，利用數(shù)據(jù)切片技術(shù)實(shí)現(xiàn)去人臉化。在認(rèn)證時(shí)利用遮罩自編碼模型進(jìn)行復(fù)原，將復(fù)原圖像與實(shí)時(shí)采集圖像進(jìn)行比對(duì)來(lái)完成認(rèn)證。系統(tǒng)將圖像位置信息與現(xiàn)有密鑰技術(shù)相結(jié)合，采用傳統(tǒng)密鑰/生物特征密鑰實(shí)現(xiàn)雙重認(rèn)證，進(jìn)一步提高系統(tǒng)的安全性。在認(rèn)證過(guò)程的用戶人臉實(shí)時(shí)采集階段，現(xiàn)行身份認(rèn)證系統(tǒng)針對(duì)照片臉、模型臉、視頻臉、雙胞胎臉、二次翻拍等人臉造假手段，多未進(jìn)行特殊處理，容易被偽造人臉欺騙。本系統(tǒng)采用活體防偽技術(shù)與可遮擋口罩識(shí)別，有效拒識(shí)偽造人臉，且支持用戶佩戴口罩情況下的識(shí)別，符合當(dāng)下疫情的時(shí)代主題。此外，系統(tǒng)采用數(shù)據(jù)簽名環(huán)技術(shù)，保證信道安全。原理詳細(xì)闡述如下。

1.1 遮罩自編碼模型

本系統(tǒng)使用的關(guān)鍵技術(shù)是遮罩自編碼模型(Masked Autoencoders，MAE)[4]。本模型將自然語(yǔ)言處理領(lǐng)域的語(yǔ)義補(bǔ)全方式用于計(jì)算機(jī)視覺(jué)領(lǐng)域。模型大致訓(xùn)練過(guò)程為：先將輸入圖像的隨機(jī)部分予以遮罩，再重建丟失的像素。經(jīng)過(guò)海量數(shù)據(jù)的學(xué)習(xí)和訓(xùn)練，人工智能模型會(huì)理解圖像的語(yǔ)義信息，并將圖像復(fù)原。

整個(gè)MAE 模型大體上分為非對(duì)稱的編碼器和解碼器兩部分。首先將一幅完整的圖片分成一行16 塊、一列16 塊的圖像塊，并得到每一個(gè)圖像塊的嵌入表示，這樣就可以按照自然語(yǔ)言序列的形式將圖片輸入到模型的編碼器中。模型的編碼器實(shí)際上就是一個(gè)視覺(jué)轉(zhuǎn)換器網(wǎng)絡(luò)(Vision Transformer，VIT)[5]，但編碼器的輸入并不是整幅圖像，而是隨機(jī)遮掩住一部分圖像塊(通常的遮掩比例為75%，通過(guò)大量對(duì)比實(shí)驗(yàn)確定)；然后將剩余的圖像塊輸入到編碼器網(wǎng)絡(luò)中，同時(shí)輸入每一個(gè)圖像塊的位置信息，以便在解碼器輸入前重建出整個(gè)圖像的位置信息。

在通過(guò)編碼器網(wǎng)絡(luò)后，可以得到關(guān)于輸入圖像的隱藏層信息表示。之后根據(jù)每一個(gè)圖像塊的位置信息重建出原始圖像塊順序，其中被遮罩的圖像塊都用一個(gè)統(tǒng)一的形式表示。然后將所有編碼器輸出信息按原始的圖像塊順序輸入到模型的解碼器中，解碼器試圖從這些輸入信息中重建出原始圖像。最后將解碼器得到的輸出圖像與原始圖像進(jìn)行比較，計(jì)算誤差并反向傳播更新模型的參數(shù)，從而實(shí)現(xiàn)對(duì)整個(gè)模型的訓(xùn)練。

MAE 的基本架構(gòu)如圖1 所示。

圖1 MAE 模型架構(gòu)圖

1.2 活體防偽技術(shù)與可遮擋口罩識(shí)別

本系統(tǒng)摒棄傳統(tǒng)人臉識(shí)別采用二維圖形處理模型，對(duì)人臉進(jìn)行三維結(jié)構(gòu)化處理。在人臉識(shí)別階段通過(guò)對(duì)人體行為及細(xì)節(jié)實(shí)時(shí)分析偵測(cè)，有效杜絕照片臉、模型臉、視頻臉、雙胞胎臉等作假手段，過(guò)濾檢測(cè)中不符合標(biāo)準(zhǔn)的人臉[6]。

同時(shí)為了符合當(dāng)前疫情防控的需求和提供更可靠的人臉隱私保護(hù)，注冊(cè)和認(rèn)證時(shí)，本系統(tǒng)可以在使用口罩進(jìn)行遮擋的情況下，準(zhǔn)確地識(shí)別和分析人的身份信息[7-8]。

活體識(shí)別[6]首先使用基于圖片中人像的破綻(摩爾紋、成像畸形等)，判斷目標(biāo)是否為活體，有效防止屏幕二次翻拍等作弊攻擊。其次，在攝像頭中采用3D 結(jié)構(gòu)光技術(shù)，亦可有效對(duì)抗非活體攻擊。紅外攝像頭喚醒點(diǎn)陣投影器，繪制出人臉深度圖像，從而有效對(duì)抗2D 非活體攻擊。

1.3 去圖像化與數(shù)據(jù)切片

依托于MAE 圖像語(yǔ)義補(bǔ)全模型的技術(shù)，系統(tǒng)在數(shù)據(jù)存儲(chǔ)和處理過(guò)程中具有不可逆的圖像處理流程，保證了數(shù)據(jù)庫(kù)中信息即使被盜取，也不可能復(fù)原初始圖像信息。

系統(tǒng)通過(guò)遮罩實(shí)現(xiàn)人像分離采集，對(duì)攝像頭采集的圖像進(jìn)行實(shí)時(shí)“去人臉化”處理，即只保留25%的圖像。隨后，對(duì)圖像塊的切片與劃分后形成無(wú)序碎片信息，并通過(guò)MAE 編碼器自注意力特征提取去圖形化。在經(jīng)過(guò)MAE 模型的編碼器后，圖像僅為向量化特征表示，從而達(dá)到去圖形化的操作。

這樣的手段具有不可逆性，經(jīng)過(guò)碎片化和去圖像化處理的數(shù)據(jù)難以還原成人像，即便竊取密鑰與模型進(jìn)行還原，也無(wú)法獲得原圖，僅為缺失關(guān)鍵生物信息的模糊人臉圖。而只有最后去圖形化的信息才會(huì)存入服務(wù)器端數(shù)據(jù)庫(kù)中，這一技術(shù)從源頭上避免了用戶人像照片被竊取并還原的可能。

1.4 生物特征密鑰提取

人們比較熟知的密鑰技術(shù)是通過(guò)助記詞算法生成私鑰，傳統(tǒng)的助記詞模式具有易被竊取、易丟失等諸多問(wèn)題，生物特征密鑰摒棄了這一做法。生物特征生成密鑰時(shí)，將從用戶實(shí)時(shí)上傳的清晰人臉中去提取分析。和傳統(tǒng)密鑰技術(shù)不一樣，生物特征密鑰實(shí)時(shí)產(chǎn)生，并不會(huì)存儲(chǔ)在任何地方，也無(wú)法從模糊或碎片化的人臉圖像中提取，保證了密鑰的安全。

通過(guò)人臉檢測(cè)定位，檢測(cè)圖片中的人臉并標(biāo)記出人臉坐標(biāo)，精準(zhǔn)定位包括臉、眉、眼、口、鼻等人臉五官及輪廓的72 個(gè)關(guān)鍵點(diǎn)，分析臉型、眼睛形狀等人臉特征作為身份特征密鑰，同時(shí)綜合分析膚色、性別、人種等穩(wěn)定特征的生物特征信息，具體分析位點(diǎn)如圖2 所示。通過(guò)這些生物特征信息，系統(tǒng)就可以將這些信息編碼成密鑰。

圖2 人臉?lè)治鲈敿?xì)位點(diǎn)示意圖

針對(duì)實(shí)時(shí)產(chǎn)生的生物特征密鑰的穩(wěn)定性，本系統(tǒng)制定了相應(yīng)實(shí)驗(yàn)測(cè)試，生成了生物特征的穩(wěn)定性排序，具體實(shí)驗(yàn)方法和結(jié)果見實(shí)驗(yàn)測(cè)試部分。

1.5 數(shù)據(jù)簽名環(huán)

在系統(tǒng)中，由用戶設(shè)備碼等信息形成身份簽名，使用身份簽名可以保證節(jié)點(diǎn)獨(dú)立、一個(gè)身份簽名對(duì)應(yīng)唯一的一個(gè)節(jié)點(diǎn)，恢復(fù)人臉次數(shù)盡量少的情況下，泄露可能性就越低。

系統(tǒng)設(shè)計(jì)了一種簽名環(huán)技術(shù)，具體內(nèi)容如下：在進(jìn)行注冊(cè)和認(rèn)證操作時(shí)，使用實(shí)時(shí)生成的生物特征密鑰，將認(rèn)證時(shí)獲取的人臉原圖進(jìn)行分塊打亂，并丟棄其中75%的圖像塊，將剩余的25%的圖像塊進(jìn)行加密編碼。多種公鑰共同組成缺口數(shù)據(jù)簽名環(huán)，與用戶人臉特征密鑰、加密編碼、身份簽名一起形成完整的簽名環(huán)。經(jīng)過(guò)人臉環(huán)形簽名技術(shù)簽名的數(shù)據(jù)，外界無(wú)法獲知到底是誰(shuí)進(jìn)行了該簽名，確保了簽名身份的隱匿，保證了信道安全。

綜上，系統(tǒng)基于MAE 模型與數(shù)據(jù)切片實(shí)現(xiàn)去圖像化，將傳統(tǒng)密鑰/生物特征密鑰與MAE 模型中的圖像位置信息結(jié)合，實(shí)現(xiàn)雙重認(rèn)證，采用活體防偽技術(shù)與可遮擋口罩識(shí)別增強(qiáng)認(rèn)證時(shí)人臉采集的安全性，并采用數(shù)據(jù)簽名環(huán)技術(shù)保證信道安全。

2 系統(tǒng)設(shè)計(jì)

2.1 系統(tǒng)結(jié)構(gòu)

本系統(tǒng)主要包括人臉提取和密鑰生成兩大核心，功能架構(gòu)如圖3 所示。

圖3 “見微”系統(tǒng)功能架構(gòu)

2.1.1 人臉提取

系統(tǒng)對(duì)用戶人像進(jìn)行提取，并進(jìn)行相應(yīng)的處理和加密。系統(tǒng)中的人像有三種形態(tài)，包括完整人像、人像碎片與復(fù)原人像，每種形態(tài)的人像各自的功能和適用范圍。

(1)完整人像

在系統(tǒng)的實(shí)時(shí)錄入階段需要獲取用戶完整、清晰的人像，主要用于活體防偽并過(guò)濾不合格人臉。

完整人像示例圖如圖4 所示。完整人臉在通過(guò)密鑰加密處理后生成人臉?biāo)槠瘓D像后就會(huì)銷毀丟棄，不會(huì)被存儲(chǔ)和發(fā)送，從而杜絕了被泄露的可能。同時(shí)，用戶可以選擇不提供完整人像，在識(shí)別階段進(jìn)行人臉遮擋，如佩戴口罩或墨鏡識(shí)別，系統(tǒng)將根據(jù)裸露的生物特征進(jìn)行分析。

圖4 完整人臉圖像舉例

(2)遮罩圖像與人像碎片

遮罩圖像是在客戶端對(duì)人臉原圖隨機(jī)遮罩75%生成的部分的圖像；人像碎片[9]是由密鑰生成的、遮罩后劃分出的圖像塊。人像碎片只提取原人像中25%的臉信息，同時(shí)隱匿圖像塊原本的位置信息，在沒(méi)有密鑰參與的情況下，人像碎片就成為了無(wú)意義數(shù)據(jù)，即使數(shù)據(jù)庫(kù)被攻擊，也無(wú)法泄露用戶隱私。

示例如圖5 所示，遮罩圖像只是展示使用，不存儲(chǔ)在數(shù)據(jù)庫(kù)中。碎片化圖像去除位置信息，分塊并以去圖像化編碼的形式存儲(chǔ)在數(shù)據(jù)庫(kù)中。

圖5 遮罩圖像(上)與碎片化圖像(下)舉例

(3)復(fù)原圖像

復(fù)原人像是在認(rèn)證階段由用戶提供密鑰和數(shù)據(jù)庫(kù)存儲(chǔ)的人像碎片編碼共同參與，通過(guò)MAE 模型進(jìn)行圖像語(yǔ)義補(bǔ)全，最終得到的產(chǎn)物。復(fù)原人像用于認(rèn)證時(shí)的比對(duì)，相似度合格后比對(duì)通過(guò)。

示例如圖6 所示，在此種手段下復(fù)原的人像準(zhǔn)確性高，誤識(shí)率小于萬(wàn)分之一，同時(shí)它具有足夠模糊的特點(diǎn)，使其被盜用價(jià)值低，保證了用戶隱私安全。

圖6 復(fù)原后的圖像舉例

2.1.2 密鑰生成

系統(tǒng)將實(shí)時(shí)生成不被存儲(chǔ)的密鑰，用于生成圖像塊的位置信息。密鑰由用戶存儲(chǔ)，在服務(wù)器端實(shí)時(shí)獲取。主要有兩種設(shè)置方式：用戶手動(dòng)設(shè)置和人臉生物特征提取。

(1)手動(dòng)設(shè)置

可由用戶自行選擇是否設(shè)置密鑰，若選擇自行手動(dòng)設(shè)置，密鑰將掌握在用戶手中，若無(wú)用戶主動(dòng)提供信息，任何一方無(wú)法獲取、復(fù)原人臉信息。適用于機(jī)密級(jí)別高的安全場(chǎng)景，由用戶掌握自身的隱私安全。

(2)人臉生物特征提取

然而，在多數(shù)場(chǎng)景下，用戶手動(dòng)設(shè)置與輸入密鑰的交互方式過(guò)于繁瑣，且一旦忘記，找回密鑰需重新進(jìn)行注冊(cè)，流程較繁瑣。因此，本系統(tǒng)開發(fā)了另一種更加人性化的密鑰設(shè)置方式——生物特征密鑰提取。注冊(cè)與登錄環(huán)節(jié)實(shí)時(shí)獲取用戶人臉圖，自動(dòng)分析眉眼間距、臉型等參數(shù)，在線分析并獲取密鑰。生物特征提取只會(huì)應(yīng)用于客戶端和不存儲(chǔ)人像的錄入階段，且其他不符合要求的人臉圖片無(wú)法得到正確結(jié)果，在便捷的同時(shí)保證了安全性。

2.2 軟件流程分析

系統(tǒng)運(yùn)行示意圖如圖7 所示，為了方便示意，流程圖中的分塊只分25 塊，實(shí)際應(yīng)用中的分塊數(shù)目更多，一般不少于256 塊。

圖7 系統(tǒng)運(yùn)行示意圖

(1)系統(tǒng)的注冊(cè)流程。首先，系統(tǒng)實(shí)時(shí)獲取用戶人臉圖，通過(guò)AI 自動(dòng)分析眉眼間距、臉型等參數(shù)，獲取人臉特征密鑰(即1.4 節(jié)提及的生物特征密鑰)，由人臉特征密鑰生成遮罩75%部分的位置信息對(duì)人像進(jìn)行遮罩，之后丟棄人臉原圖。隨后，系統(tǒng)提取剩余25%未遮罩的、沒(méi)有位置信息的圖像碎塊生成加密編碼，進(jìn)行信道傳輸時(shí)，由公鑰組成缺口數(shù)據(jù)簽名環(huán)，與用戶人臉特征密鑰、加密編碼、身份簽名一起形成完整的簽名環(huán)發(fā)送至服務(wù)器端。最后，服務(wù)器端解析簽名環(huán)并將各個(gè)要素提取出，通過(guò)系統(tǒng)獨(dú)有的MAE 框架將碎片化圖像進(jìn)行復(fù)原，通過(guò)復(fù)原的情況，以此來(lái)驗(yàn)證簽名環(huán)的有效性，隨后將身份簽名和加密編碼進(jìn)行保存，并立即丟棄用戶的人臉特征密鑰。

(2)系統(tǒng)的認(rèn)證流程。首先，和注冊(cè)部分的流程基本一致，用戶在客戶端被采集一張新的人臉圖像，但在采集過(guò)程中進(jìn)行活體防偽檢測(cè)，有效防止人臉偽造攻擊。而后經(jīng)過(guò)同樣的加密方式發(fā)送至服務(wù)器端。隨后，服務(wù)器端解析簽名環(huán)將各個(gè)要素提取出后，需要先匹配注冊(cè)時(shí)留下的身份簽名，并通過(guò)MAE框架用人臉特征密鑰將數(shù)據(jù)庫(kù)中保存的碎片化圖像編碼和接收到的碎片化圖像編碼分別進(jìn)行復(fù)原。最后，將兩個(gè)復(fù)原的人臉圖對(duì)比相似度，判定合格后認(rèn)證通過(guò)。

3 實(shí)驗(yàn)測(cè)試

本實(shí)驗(yàn)針對(duì)訓(xùn)練模型、密鑰安全穩(wěn)定性和遮擋條件下的性能分別進(jìn)行了測(cè)試與分析。系統(tǒng)也被投放到實(shí)際應(yīng)用場(chǎng)景中，供志愿者測(cè)試與使用。

3.1 實(shí)驗(yàn)數(shù)據(jù)

測(cè)試過(guò)程中的數(shù)據(jù)采用哥倫比亞大學(xué)于2009年發(fā)布的人臉數(shù)據(jù)集[10]。該數(shù)據(jù)集是一個(gè)大型人臉數(shù)據(jù)集，主要用于人臉識(shí)別和身份鑒定，其涵蓋互聯(lián)網(wǎng)上200 人的58 797 張圖像，不同于大多數(shù)現(xiàn)有面部數(shù)據(jù)集，這些圖像是在主體完全不受控制的情況下拍攝的，因此不同圖像中姿勢(shì)、光照、表情、場(chǎng)景、相機(jī)、成像條件和參數(shù)存在較大差異，適合用于實(shí)驗(yàn)測(cè)試。

3.2 實(shí)驗(yàn)系統(tǒng)實(shí)現(xiàn)

系統(tǒng)包括后端方案和前端方案兩個(gè)部分。具體方案設(shè)計(jì)如圖8 所示。

圖8 系統(tǒng)方案設(shè)計(jì)

作為客戶端，前端用于提供多元化、多平臺(tái)的系統(tǒng)場(chǎng)景方案模擬。本文設(shè)計(jì)了網(wǎng)頁(yè)端和軟件移動(dòng)端兩類實(shí)現(xiàn)方案，保證不同人群的多平臺(tái)使用習(xí)慣。同時(shí)，針對(duì)前期調(diào)研中的敏感隱私場(chǎng)景，設(shè)計(jì)了多元化的場(chǎng)景實(shí)現(xiàn)方案。網(wǎng)頁(yè)端包括上班打卡系統(tǒng)的設(shè)計(jì)實(shí)現(xiàn)，軟件移動(dòng)端包括雙重認(rèn)證系統(tǒng)、門禁打卡系統(tǒng)、應(yīng)用設(shè)備鎖和刷臉取紙等前期調(diào)研中的敏感隱私場(chǎng)景的設(shè)計(jì)實(shí)現(xiàn)。

作為服務(wù)器端，后端負(fù)責(zé)連接數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)存儲(chǔ)，同時(shí)為前端提供接口以幫助其使用。其核心是MAE 圖像復(fù)原模型的實(shí)現(xiàn)，需要實(shí)現(xiàn)MAE 框架對(duì)人臉圖像復(fù)原的應(yīng)用，包括利用密鑰生成遮罩位置、圖像預(yù)處理、編碼器解碼器模型結(jié)構(gòu)實(shí)現(xiàn)、模型訓(xùn)練等步驟。此外，系統(tǒng)需要通過(guò)人臉面部分析，實(shí)現(xiàn)人臉識(shí)別認(rèn)證、活體檢測(cè)和生物密鑰提取功能。

3.3 訓(xùn)練模型的測(cè)試與分析

模型的實(shí)際效果可以用復(fù)原后圖像和實(shí)際圖像之間的相似度進(jìn)行評(píng)價(jià)。選用的相似度評(píng)價(jià)指標(biāo)是兩幅圖像之間的結(jié)構(gòu)相似性度量，即結(jié)構(gòu)相似性(Structural Similarity，SSIM)指標(biāo)[11]。該指標(biāo)從圖像中提取三個(gè)關(guān)鍵特征，分別為亮度、對(duì)比和結(jié)構(gòu)。

給定兩個(gè)圖像x 和y，兩張圖像的結(jié)構(gòu)相似性可按照下式求出：

式中μx是x 的平均值，μy是y 的平均值，是x 的方差，是y 的方差，σxy是x 和y 的協(xié)方差，c1和c2是用來(lái)維持穩(wěn)定的常數(shù)。

由此可以計(jì)算兩張圖片之間的結(jié)構(gòu)相似性。SSIM 值越大，說(shuō)明圖像失真越小，兩張圖像越相似。所以SSIM 可以作為對(duì)復(fù)原圖像效果進(jìn)行評(píng)價(jià)的一個(gè)指標(biāo)。最終，在實(shí)驗(yàn)數(shù)據(jù)上測(cè)得SSIM 指標(biāo)的平均值為0.879 0。由結(jié)果可以看出，整個(gè)模型對(duì)被掩碼圖像的復(fù)原效果較好，只存儲(chǔ)少量人臉圖像塊即實(shí)現(xiàn)對(duì)整個(gè)人臉進(jìn)行識(shí)別。

3.4 密鑰安全穩(wěn)定性的測(cè)試與分析

系統(tǒng)通過(guò)客戶端在線分析出人臉72 個(gè)關(guān)鍵位點(diǎn)，以幫助密鑰的生成。結(jié)合分析出的皮膚特征，可以分析出人臉形狀、眼睛形狀、膚色、人種、皮膚質(zhì)量等生物特征作為密鑰使用，保證同一個(gè)用戶人臉的密鑰一致。但是對(duì)于不同的提取特征，需要考慮其受角度、光照、時(shí)間等因素影響，來(lái)計(jì)算穩(wěn)定性的差異，通常穩(wěn)定性越強(qiáng)的特征越需要較少的資源去識(shí)別。經(jīng)過(guò)試驗(yàn)和測(cè)試，最終分析出生物特征的穩(wěn)定性排序策略，如表1 所示。

表1 人臉生物特征穩(wěn)定性排序策略

3.5 遮擋條件下的性能測(cè)試

考慮到實(shí)際使用中用戶會(huì)戴口罩進(jìn)行人臉識(shí)別，本實(shí)驗(yàn)針對(duì)遮擋條件下的數(shù)據(jù)進(jìn)行性能的測(cè)試與分析。

本系統(tǒng)測(cè)得用戶在戴口罩和不戴口罩的情況下的平均注冊(cè)時(shí)間、平均登錄時(shí)間和登錄時(shí)的平均SSIM 指標(biāo)如表2 所示。戴口罩注冊(cè)和登錄時(shí)花費(fèi)的時(shí)間略長(zhǎng)于不戴口罩花費(fèi)的時(shí)間，但仍在接受范圍之內(nèi)；戴口罩登錄時(shí)獲得的SSIM 指標(biāo)會(huì)略有下降，但是仍在有效識(shí)別的范圍內(nèi)。

表2 戴口罩與不戴口罩情況下各項(xiàng)指標(biāo)對(duì)比

此外本實(shí)驗(yàn)還對(duì)用戶進(jìn)行登錄時(shí)，上傳的人臉圖像在不同遮擋方式和遮擋比例的條件下獲得的平均SSIM 指標(biāo)進(jìn)行測(cè)定，結(jié)果如表3 所示。

表3 不同遮擋方式和遮擋比例下的平均SSIM 指標(biāo)

從表3 中可以看出，除上部遮擋以外，其余的遮擋方式在遮擋比例高達(dá)50%的條件下也可以得到比較可靠的比對(duì)結(jié)果；而人臉下部被遮擋70%的條件下，比對(duì)結(jié)果依然可靠。該測(cè)試結(jié)果說(shuō)明，人臉的眼部及以上的區(qū)域包含了較為重要的信息，如果該區(qū)域被遮擋，即對(duì)應(yīng)上部遮擋50%及以上的結(jié)果，則會(huì)使得人臉比對(duì)的可靠度明顯下降；相反，若該區(qū)域的人臉信息得以保留，則比對(duì)效果依然可靠。

現(xiàn)在考慮實(shí)際應(yīng)用中的場(chǎng)景，最有可能發(fā)生的面部大比例遮擋的情況應(yīng)當(dāng)是用戶佩戴口罩進(jìn)行認(rèn)證，大致對(duì)應(yīng)于下部被遮擋50%的情況。實(shí)驗(yàn)結(jié)果顯示，在該遮擋條件下獲得的對(duì)比結(jié)果依然可靠；而用戶面部上部被遮擋超過(guò)50%的情況十分少見；而其他常見的遮擋比例超過(guò)50%的可能性很小。由此可得，身份認(rèn)證系統(tǒng)在絕大多數(shù)面部遮擋情況下都具有一定的魯棒性，可以保證比對(duì)結(jié)果安全可靠。

3.6 實(shí)際場(chǎng)景下的產(chǎn)品使用測(cè)試

為了評(píng)估最終產(chǎn)品的可靠性，100 名志愿者對(duì)開發(fā)的安卓App 中的4 個(gè)使用場(chǎng)景進(jìn)行了試用。志愿者的性別和年齡組成數(shù)據(jù)如表4 和表5 所示。

表4 測(cè)試者的性別組成

表5 測(cè)試者的年齡組成

志愿者分別體驗(yàn)了雙重認(rèn)證、門禁打卡、設(shè)備解鎖以及刷臉取紙4 個(gè)應(yīng)用場(chǎng)景下的注冊(cè)和登錄功能。經(jīng)過(guò)測(cè)試，這100 名實(shí)驗(yàn)者均成功在所有場(chǎng)景下完成了身份的注冊(cè)，而注冊(cè)后進(jìn)行身份認(rèn)證的測(cè)試結(jié)果如表6 所示。

可見，基于系統(tǒng)設(shè)計(jì)實(shí)現(xiàn)的產(chǎn)品在實(shí)際使用中能夠發(fā)揮出較高的可靠性。針對(duì)不同年齡性別的人群以及不同的使用場(chǎng)景、周邊環(huán)境下，該產(chǎn)品均能較為出色地發(fā)揮其功能。對(duì)于其中出現(xiàn)的極少數(shù)認(rèn)證失敗的情況，分析是用戶在采集人臉圖像時(shí)周邊環(huán)境的光照條件不良、鏡頭出現(xiàn)抖動(dòng)導(dǎo)致圖像較為模糊等原因?qū)е碌摹Ｓ脩艨梢栽谂懦@些因素后再次進(jìn)行注冊(cè)或身份認(rèn)證，正常使用本系統(tǒng)。

4 結(jié)論

當(dāng)前時(shí)代背景下，個(gè)人隱私泄露問(wèn)題愈加嚴(yán)重，公眾對(duì)人臉識(shí)別不信任情緒加劇。諸多具有爭(zhēng)議的場(chǎng)合，對(duì)人臉信息存在過(guò)度采集與非法存儲(chǔ)等問(wèn)題。目前，人臉識(shí)別手段具有唯一性和不可撤銷性，一旦遭到攻擊篡改，就會(huì)終生泄露。

針對(duì)上述問(wèn)題，本文設(shè)計(jì)了基于MAE 人臉隱私保護(hù)方法的雙重認(rèn)證系統(tǒng)。本系統(tǒng)從去人像化的圖像化信息入手，設(shè)計(jì)人臉識(shí)別與認(rèn)證的各個(gè)環(huán)節(jié)，結(jié)合實(shí)際的應(yīng)用場(chǎng)景，杜絕隱私泄露的可能，有效保護(hù)用戶人像隱私，讓人臉信息這一私人核心數(shù)據(jù)真正由用戶自己掌控。從安全性角度考慮，本系統(tǒng)采集可遮擋，身份被隱匿，即使被盜取，也很難重建原信息。同時(shí)，本系統(tǒng)達(dá)成了輕量高效、準(zhǔn)確率高、公開透明的預(yù)期效果，針對(duì)設(shè)備解鎖、上班打卡、微信取紙等具體的隱私敏感場(chǎng)景進(jìn)行了模擬，具有實(shí)用的前景。未來(lái)，將針對(duì)一些已有的人臉識(shí)別系統(tǒng)進(jìn)行遷移，提高本系統(tǒng)的可移植性，同時(shí)對(duì)比遷移前后的系統(tǒng)性能，進(jìn)而提高系統(tǒng)的準(zhǔn)確率和效率。