基于計(jì)算機(jī)視覺的人臉關(guān)鍵點(diǎn)特征智能提取方法

作者簡介：田石磊（1987— ），男，學(xué)士；研究方向：計(jì)算機(jī)人像處理，圖像處理，靜態(tài)人像比對識別，動(dòng)態(tài)人像比對識別。

摘要：為了提高人臉關(guān)鍵點(diǎn)特征提取的精度，文章引入了計(jì)算機(jī)視覺技術(shù)，以開展人臉關(guān)鍵點(diǎn)特征智能提取方法研究。通過背景去噪、圖像灰度處理，完成人臉圖像的預(yù)處理；構(gòu)建殘差網(wǎng)絡(luò)，對遮擋圖像進(jìn)行智能修復(fù)；結(jié)合計(jì)算機(jī)視覺，實(shí)現(xiàn)對多人臉關(guān)鍵點(diǎn)特征識別與提取。通過對比實(shí)驗(yàn)證明，新提取方法提取結(jié)果的F1分?jǐn)?shù)最大，提取精度最高。

關(guān)鍵詞：計(jì)算機(jī)視覺；關(guān)鍵點(diǎn)；智能提取；特征；人臉

中圖分類號：TS102.54" 文獻(xiàn)標(biāo)志碼：A

0" 引言

人臉關(guān)鍵點(diǎn)特征提取是人臉識別技術(shù)的核心，旨在精確定位和提取眼睛、鼻子、嘴巴等關(guān)鍵特征點(diǎn)的位置信息。這些特征點(diǎn)不僅對人臉識別至關(guān)重要，也為后續(xù)的表情分析、姿態(tài)估計(jì)提供數(shù)據(jù)基礎(chǔ)。隨著計(jì)算機(jī)視覺和人工智能技術(shù)的發(fā)展，人臉關(guān)鍵點(diǎn)提取方法得到廣泛研究。傳統(tǒng)方法是基于人臉幾何結(jié)構(gòu)，通過測量和計(jì)算特征點(diǎn)幾何屬性來表示人臉特征［1］。局部特征法則提取特定區(qū)域以減少光照和表情影響。基于圖像變換的方法也具備較強(qiáng)魯棒性［2］。然而，人臉姿態(tài)多變和遮擋問題仍是研究難點(diǎn)，尤其是在非理想條件下。因此，本文引入計(jì)算機(jī)視覺技術(shù)，開展人臉關(guān)鍵點(diǎn)特征智能提取方法的設(shè)計(jì)研究，以應(yīng)對這些挑戰(zhàn)，提高提取的準(zhǔn)確性和穩(wěn)定性。

1" 人臉圖像預(yù)處理

本文采用Adaboost算法，篩選出具有顯著分類能力的特征，并據(jù)此構(gòu)建一系列弱分類器［3］。這些弱分類器通過線性組合的方式，逐層疊加累積，最終形成一個(gè)強(qiáng)大的分類器，專門用于精準(zhǔn)地篩選人臉區(qū)域。這些弱分類器在大多數(shù)情況下僅包含單層決策樹，其表達(dá)式為：

fi=+1，" vi≥ti

-1，" vilt;t（1）

公式中，fi表示人臉圖像中的第i個(gè)特征；vi表示第i個(gè)特征對應(yīng)特征值；ti表示閾值。當(dāng)出現(xiàn)特征值超過閾值的情況時(shí)，此時(shí)得到的結(jié)果為正，即該區(qū)域內(nèi)檢測到的人臉，并認(rèn)定該區(qū)域?yàn)槿四槄^(qū)域；反之，為非人臉區(qū)域［4］。Adaboost算法結(jié)構(gòu)如圖1所示。

在人臉關(guān)鍵點(diǎn)特征智能提取中，Adaboost算法至關(guān)重要。它通過篩選弱分類器并加權(quán)組合，形成強(qiáng)大的分類器。隨著算法推進(jìn)，弱分類器對特征要求越發(fā)嚴(yán)格，確保精確提取［5］。Adaboost算法累積的矩形特征日益復(fù)雜，分類器區(qū)分能力增強(qiáng)，為人臉關(guān)鍵點(diǎn)提取提供堅(jiān)實(shí)基礎(chǔ)［6］。

在此基礎(chǔ)上，對人臉圖像進(jìn)行灰度化處理，采用加權(quán)平均的方法，按照計(jì)算機(jī)視覺對3種原色分量的敏感度為三原色分配不同權(quán)值，加權(quán)公式表示為：

Gr=0.3R+0.59G+0.11B（2）

公式中，Gr表示圖像灰度值；R、G、B表示三原色分量。在現(xiàn)實(shí)場景中，待檢測的人臉圖像及其所在環(huán)境的視角往往存在顯著差異，導(dǎo)致人臉尺寸大小各異。為確保提取的特征維度一致，必須對人臉尺寸進(jìn)行標(biāo)準(zhǔn)化處理，即實(shí)現(xiàn)圖像尺度的歸一化［7］。然而，圖像縮放過程中不可避免地會伴隨信息丟失的風(fēng)險(xiǎn)。因此，本文采用雙線性插值算法進(jìn)行尺度歸一化處理。這種算法通過綜合考慮目標(biāo)像素點(diǎn)周圍的像素值，并對其進(jìn)行加權(quán)處理，從而在縮放圖像的同時(shí)最大程度地保留像素信息。

假設(shè)，目標(biāo)點(diǎn)（x，y）的像素值為f（x，y），其周圍的4個(gè)像素點(diǎn)分別為（x1，y1）（x1，y2）（x2，y1）和（x2，y2），其對應(yīng)的像素值分別為Q11、Q12、Q21和Q22，則目標(biāo)點(diǎn)的像素值可以通過以下公式計(jì)算：

f（x，y）≈（1-dx）［（1-dy）Q11+dyQ21］+dx［（1-dy）Q12+dyQ22］（3）

公式中，dx表示目標(biāo)點(diǎn)在水平方向上與最近像素點(diǎn)的距離比例；dy表示目標(biāo)點(diǎn)在垂直方向上與最近像素點(diǎn)的距離比例。在圖像尺度歸一化的過程中，更好地保留原始圖像的細(xì)節(jié)信息，完成對人臉圖像的預(yù)處理。

2" 遮擋圖像智能修復(fù)

利用經(jīng)過優(yōu)化的殘差網(wǎng)絡(luò)來構(gòu)建圖像修復(fù)網(wǎng)絡(luò)，實(shí)現(xiàn)對遮擋圖像的智能恢復(fù)。這個(gè)網(wǎng)絡(luò)架構(gòu)中融入了3種不同類型的殘差網(wǎng)絡(luò)，分別是R1、R2和R3。每種殘差網(wǎng)絡(luò)的結(jié)構(gòu)都融合了殘差連接和跳躍連接2種機(jī)制。

具體來說，殘差網(wǎng)絡(luò)R1的殘差部分由2層卷積層、1層激活函數(shù)層以及1層平均池化層構(gòu)成［8］。而跳躍連接部分則包括1層卷積層和1層平均池化層，用于直接傳遞特征信息，強(qiáng)化網(wǎng)絡(luò)的特征提取能力。如表1所示記錄了3個(gè)殘差網(wǎng)絡(luò)的詳細(xì)參數(shù)。

殘差網(wǎng)絡(luò)R1的殘差部分采用3×3卷積核，滑動(dòng)步長為1，填充為1，配合LeakyReLU激活函數(shù)，增強(qiáng)非線性特性。殘差與跳躍連接部分均使用2×2平均池化層，步長為2，無填充，實(shí)現(xiàn)特征降維。跳躍連接部分則使用1×1卷積核，步長為1，無填充，以融合特征［9］。

殘差網(wǎng)絡(luò)R2結(jié)構(gòu)獨(dú)特，殘差部分包含2層卷積與激活函數(shù)層，挖掘潛在特征；跳躍連接部分則為1層卷積層，傳遞關(guān)鍵信息。殘差部分使用3×3卷積核，步長與填充均為1，激活函數(shù)為LeakyReLU。跳躍連接部分則采用1×1卷積核，保持特征尺度［10］。

殘差網(wǎng)絡(luò)R3融合殘差與跳躍連接，優(yōu)化特征提取。殘差部分包括歸一化、卷積、激活函數(shù)與反卷積層；跳躍連接部分則僅含反卷積層。殘差部分卷積層使用3×3卷積核，步長為1，填充為1。反卷積層在殘差與跳躍連接部分均使用3×3轉(zhuǎn)置卷積，步長為2，填充為1，實(shí)現(xiàn)特征放大。激活函數(shù)采用LeakyReLU，同時(shí)采用譜歸一化提升穩(wěn)定性與訓(xùn)練效率。

3" 基于計(jì)算機(jī)視覺的多人臉關(guān)鍵點(diǎn)特征識別與提取

在修復(fù)遮擋圖像后，使用計(jì)算機(jī)視覺技術(shù)對多人臉圖像的關(guān)鍵點(diǎn)特征進(jìn)行識別和提取。首先，確保修復(fù)后的圖像質(zhì)量滿足提取要求，必要時(shí)進(jìn)行圖像增強(qiáng)。然后，利用深度學(xué)習(xí)算法定位多人臉位置，并輸出邊界框。最后，通過訓(xùn)練好的關(guān)鍵點(diǎn)定位模型，識別每個(gè)人臉的特定關(guān)鍵點(diǎn)，確保多人臉圖像處理時(shí)不會產(chǎn)生混淆或誤檢。

在圖像處理和特征提取中，引入卷積運(yùn)算，其公式為：

S（i，j）=（I·K）（i，j）=∑m∑nI（i+m，j+n）K（m，n）（4）

公式中，S（i，j）表示卷積運(yùn)算函數(shù)；I表示輸入圖像；K表示卷積核；S表示卷積后的結(jié)果。最后，在完成多人臉關(guān)鍵點(diǎn)特征提取后，可以利用這些特征進(jìn)行進(jìn)一步的人臉識別或相關(guān)應(yīng)用。例如，可以將提取到的關(guān)鍵點(diǎn)特征與已知的人臉數(shù)據(jù)庫進(jìn)行比對，以實(shí)現(xiàn)多人臉識別；或者利用關(guān)鍵點(diǎn)特征進(jìn)行人臉表情識別、人臉動(dòng)畫等應(yīng)用。

4" 對比實(shí)驗(yàn)

為驗(yàn)證該提取方法的應(yīng)用效果，選用以某人臉圖像集為實(shí)驗(yàn)數(shù)據(jù)集，分別利用本文基于計(jì)算機(jī)視覺的提取方法（實(shí)驗(yàn)組）、基于融合卷積神經(jīng)網(wǎng)絡(luò)的提取方法（對照A組）、基于深度學(xué)習(xí)算法的提取方法（對照B組）對該人臉圖像集進(jìn)行關(guān)鍵點(diǎn)特征提取。在該人臉圖像集當(dāng)中包含了用手遮擋圖像、佩戴口罩圖像、佩戴圍巾圖像和未佩戴任何東西圖像。分別記錄3種提取方法應(yīng)用下針對不同類別圖像特征提取的F1分?jǐn)?shù)結(jié)果，如表2所示。

根據(jù)表2的提取結(jié)果對比，實(shí)驗(yàn)組的F1分?jǐn)?shù)在各類別中均顯著高于對照A組和對照B組。特別是在面對遮擋圖像時(shí)，如用手遮擋、佩戴口罩和佩戴圍巾，實(shí)驗(yàn)組的F1分?jǐn)?shù)均超過0.9，表明該方法在遮擋

情況下仍能保持較高的人臉關(guān)鍵點(diǎn)特征提取精度。對于未佩戴任何東西的圖像，實(shí)驗(yàn)組F1分?jǐn)?shù)接近滿分，進(jìn)一步證明了該方法的優(yōu)越性能。相比之下，對照A組和對照B組的提取精度普遍較低，特別是在處理遮擋圖像時(shí)效果欠佳。綜上，實(shí)驗(yàn)組的提取方法在各類別中均表現(xiàn)出顯著優(yōu)勢。

5" 結(jié)語

本文結(jié)合計(jì)算機(jī)視覺，提出了一種全新的人臉特征提取方法，并通過對比實(shí)驗(yàn)，實(shí)現(xiàn)了對該方法應(yīng)用的可行性驗(yàn)證。未來，期待通過進(jìn)一步的研究和創(chuàng)新，建立更加統(tǒng)一、簡潔且高效的人臉關(guān)鍵點(diǎn)特征提取方法框架，解決現(xiàn)有方法中存在的問題，提高人臉關(guān)鍵點(diǎn)提取的準(zhǔn)確性和魯棒性。同時(shí)，也將積極探索新的技術(shù)和算法，以適應(yīng)不同場景和條件下的人臉識別需求，推動(dòng)人臉識別技術(shù)的持續(xù)發(fā)展和應(yīng)用。

參考文獻(xiàn)

［1］張珂，于婷婷，石超君，等.融合通道位置注意力機(jī)制和并行空洞卷積的人臉年齡合成［J］.中國圖象圖形學(xué)報(bào)，2023（12）：3870-3883.

［2］許夢珍，張靜，彭鴻濱.基于改進(jìn)Goog Le Net卷積網(wǎng)絡(luò)的人臉面部表情識別方法［J］.電腦與信息技術(shù)，2024（1）：32-36.

［3］林澤強(qiáng)，汪思文.基于改進(jìn)孿生網(wǎng)絡(luò)的小樣本人臉識別方法與系統(tǒng)設(shè)計(jì)［J］.電腦與信息技術(shù)，2024（1）：28-31.

［4］李?yuàn)檴?基于FaceBoxes和ResNet34的人臉視頻心率測量［J］.現(xiàn)代信息科技，2024（3）：139-142.

［5］孫強(qiáng)，陳遠(yuǎn).多層次時(shí)空特征自適應(yīng)集成與特有-共享特征融合的雙模態(tài)情感識別［J］.電子與信息學(xué)報(bào)，2024（2）：574-587.

［6］張紹龍.基于人工智能技術(shù)的高光譜人臉自動(dòng)化識別系統(tǒng)設(shè)計(jì)［J］.自動(dòng)化與儀表，2024（1）：130-133.

［7］呂曉琪，李浩，谷宇.基于深度學(xué)習(xí)算法的人臉圖像活體特征變換尺度提取［J］.吉林大學(xué)學(xué)報(bào)（工學(xué)版），2023（11）：3201-3206.

［8］羅明杰，馮開平.基于沙漏結(jié)構(gòu)與注意力機(jī)制的輕量級人臉表情識別方法［J］.計(jì)算機(jī)與現(xiàn)代化，2023（11）：89-94.

［9］黃靈，何希平，賀丹，等.融合卷積神經(jīng)網(wǎng)絡(luò)和Transformer的人臉欺騙檢測模型［J］.信息安全研究，2024（1）：25-33.

［10］陳北京，張海濤，李玉茹.面向人臉屬性編輯的三階段對抗擾動(dòng)生成主動(dòng)防御算法［J］.計(jì)算機(jī)學(xué)報(bào)，2024（3）：677-689.

（編輯" 沈" 強(qiáng)）

Intelligent extraction method for face key point features based on computer vision

TIAN" Shilei

（North China Electric Power University （Baoding）， Baoding 071000， China）

Abstract：" In order to improve the accuracy of face key features extraction， computer vision technology is introduced to carry out the research of intelligent extraction method of face key features. The preprocessing of face image is completed through background denoising and image grayscale processing. The residual network is constructed to intelligently repair the occlusion images. Combined with computer vision， the recognition and extraction of multiple face key point features are realized. The comparative experiments show that the new extraction method has the largest F1 score and the highest extraction accuracy.

Key words： computer vision; key points; intelligent extraction; features; face