幾何約束下虛擬人臉重復視覺特征點匹配研究

摘" 要： 為最大程度地減少虛擬人臉特征點的誤匹配，文中研究幾何約束下虛擬人臉重復視覺特征點匹配方法。首先，利用高斯濾波構(gòu)造虛擬人臉圖像的多尺度空間，結(jié)合形狀變更指數(shù)檢測虛擬人臉在多尺度空間的重復視覺特征點；然后，采用基于動態(tài)特征矩陣求解（DFMS）的特征點匹配方法，完成重復視覺特征點初始匹配后，依據(jù)匹配點對的連接線距離、斜率一致的特點，構(gòu)建最佳幾何約束，有效刪除錯誤匹配點對；最后，經(jīng)RANSAC算法進行二次過濾后，實現(xiàn)了虛擬人臉的重復視覺特征點最佳匹配。實驗結(jié)果顯示，所提方法可在虛擬人臉的關(guān)鍵位置檢測到重復視覺特征點，并最大程度地刪除誤匹配點對，實現(xiàn)重復視覺特征點的精準匹配。

關(guān)鍵詞： 幾何約束； 虛擬人臉； 重復視覺特征點； 特征點匹配； 特征點檢測； 多尺度空間； 奇異值矩陣

中圖分類號： TN911.73?34； TP391.41" " " " " " " " " "文獻標識碼： A" " " " " " " "文章編號： 1004?373X（2024）20?0148?05

Research on repetitive visual feature point matching of virtual face

under geometric constraints

GU Fenghao， GE Liang

（Changzhou University， Changzhou 213164， China）

Abstract： In order to minimize the mismatching of virtual facial feature points， a method for matching repeated visual feature points of virtual faces under geometric constraints is studied. The Gaussian filtering is used to construct the multi?scale space for virtual face images， and combined with the shape change index to detect repeated visual feature points of virtual faces in the multi?scale space. The feature point matching method based on dynamic feature matrix solution （DFMS） is used to complete the initial matching of repeated visual feature points. Based on the consistent distance and slope of the connecting lines between the matching point pairs， the optimal geometric constraints are constructed to effectively remove mismatched point pairs. After secondary filtering by RANSAC algorithm， the best matching of repeated visual feature points of virtual faces is realized. The experimental results show that the proposed method can detect repeated visual feature points at key positions of virtual faces， and remove mismatched point pairs to the greatest extent， realizing the accurate matching of repeated visual feature points.

Keywords： geometric constraint; repetitive face;repectitive visual feature point; feature point matching; feature point detection; multi?scale space; singular value matrix

0" 引" 言

虛擬人臉技術(shù)作為計算機視覺與人工智能的核心之一，從娛樂產(chǎn)業(yè)的虛擬角色創(chuàng)建到安全領(lǐng)域的身份認證，再到人機交互的自然化，虛擬人臉技術(shù)均扮演著至關(guān)重要的角色。在虛擬人臉中，重復視覺特征點主要指的是在虛擬人臉圖像上重復出現(xiàn)或用于識別、定位的關(guān)鍵點[1]。這些特征點通常包括眼睛、鼻子、嘴巴等面部器官的關(guān)鍵位置，以及輪廓上的重要節(jié)點。由于人臉的復雜性和多樣性，傳統(tǒng)的特征點匹配方法可能會導致誤匹配，而通過匹配重復視覺特征點可以更加準確地定位人臉的關(guān)鍵部位，減少誤匹配的發(fā)生[2]。因此，如何實現(xiàn)精準的虛擬人臉重復視覺特征點匹配，成為虛擬人臉圖像應用領(lǐng)域的研究關(guān)鍵。

陳素雅等人通過兩階段策略優(yōu)化虛擬人臉特征點的匹配過程，在初步配準階段，采用動態(tài)特征矩陣解析技術(shù)迅速確立基礎(chǔ)變換，有效剔除偽特征點，減少其干擾；在精細配準階段，創(chuàng)新性地運用二次加權(quán)法向量垂直距離篩選機制，精準挑選出更具代表性的特征點，并結(jié)合特征融合與局部特征一致性增強的迭代最近點算法，顯著削弱偽特征點的影響，大幅度提升匹配的精準度與效率[3]。但是該方法在面對不同光照、遮擋、極端表情等復雜場景時，其泛化能力可能受限。王宇等人在SBR框架中創(chuàng)新性地融合了平滑性優(yōu)化與LSTM機制，借助光流追蹤技術(shù)，不僅提升了視頻特征點檢測的精準度，還顯著強化了其在時間軸上的連貫性，實現(xiàn)了更為穩(wěn)定、平滑的虛擬人臉特征點序列匹配，有效降低了傳統(tǒng)方法中的重復檢測與誤差累積問題[4]。該方法雖然減少了重復檢測和誤差累積問題，但在長時間序列中，微小的誤差仍可能逐漸累積，影響最終匹配結(jié)果的準確性。楊小琴等人通過提取和預處理人臉圖像的關(guān)鍵特征點，利用粗糙集等方法對特征向量進行降維，減少冗余信息；并且采用優(yōu)化后的特征向量距離計算方法，將待測人臉的重復視覺特征點與已知人臉庫中的特征點進行匹配，通過比較相似度來確定匹配結(jié)果[5]。但是，優(yōu)化后的特征向量距離計算方法可能不適用于所有類型的特征分布，對于某些特定類型的特征點或數(shù)據(jù)集，無法準確反映其相似度。文獻[6]通過SpyGAN將視頻中的人臉轉(zhuǎn)換為逼真的草圖，并利用PCA?SIFT描述符來提取草圖的關(guān)鍵面部重復視覺特征點。隨后，基于余弦距離度量這些特征點與數(shù)據(jù)庫中草圖或照片的特征點進行匹配，實現(xiàn)虛擬人臉與真實人臉的重復視覺特征點匹配。雖然該方法考慮了不同光照和姿勢，但PCA?SIFT描述符在處理極端光照變化或復雜姿勢時表現(xiàn)不佳，影響匹配效果。

幾何約束作為一種重要的技術(shù)手段，利用圖像中特征點之間的空間關(guān)系、形狀特性等幾何信息，對匹配過程進行約束和優(yōu)化，從而提高匹配的準確性和魯棒性[7]。在虛擬人臉處理中，幾何約束不僅可以幫助剔除錯誤的匹配點，還能在遮擋、光照變化等復雜情況下，依然保持較高的匹配性能。為此，本文研究幾何約束下虛擬人臉重復視覺特征點匹配方法，為虛擬人臉技術(shù)的廣泛應用提供有力的技術(shù)支持。

1" 虛擬人臉重復視覺特征點匹配

1.1" 虛擬人臉重復視覺特征點檢測

有效檢測虛擬人臉的重復視覺特征點，用于后續(xù)特征點的匹配。具體過程如下。

1） 預處理虛擬人臉圖像，去除耳朵、頭發(fā)、肩膀等冗余區(qū)域的干擾。

2） 采用高斯濾波來構(gòu)造預處理后虛擬人臉圖像的多尺度空間，公式如下：

[Ms=M，" s=0GσsM， otherwise] （1）

[σs=e?2σ03?2sk] （2）

式中：[M]、[Gσs]分別用于描述虛擬人臉的三維網(wǎng)絡(luò)、尺度為[σs]的高斯濾波；[e]、[s]和[k]分別用于描述虛擬人臉三維網(wǎng)絡(luò)邊長均值，以及[σ0]的兩個參數(shù)。

3） 采用形狀變更指數(shù)檢測虛擬人臉的重復視覺特征點。

通過4.5 mm的分辨率在xOy平面上均勻采樣虛擬人臉，得到一系列采樣點[8]，構(gòu)建點集合[Ps]。該集合由采樣點[p]及其以[r]為半徑的鄰域內(nèi)點組成。利用霍特林變換處理[Ps]，獲取[Ps]，使[Ps]中的點具備局部對齊特點。[Ps]中各個點的形狀變更指數(shù)計算公式為：

[?=max（x∈Ps）-min（x∈Ps）max（y∈Ps）-min（y∈Ps）] （3）

式中[?]用于描述采樣點[p]所處虛擬人臉表面的幾何變化詳情。設(shè)定[?]的閾值為[ε]，同時將小于[ε]的[?]對應的采樣點視為虛擬人臉重復視覺特征點[9]。

4） 將虛擬人臉處于多尺度空間的重復視覺特征點的檢測結(jié)果并集作為最終檢測獲取的虛擬人臉重復視覺特征點集合。

1.2" 虛擬人臉重復視覺特征點初始匹配

采用基于動態(tài)特征矩陣求解（DFMS）的初始匹配方法，能有效避免傳統(tǒng)匹配方法在匹配重復視覺特征點方面存在的匹配冗余計算以及效率低下問題[10]。

DFMS可以動態(tài)挑選1.1小節(jié)檢測到的虛擬人臉重復視覺特征點，以不斷迭代處理的方式獲取最佳重復視覺特征點集合，并建立與求解其動態(tài)協(xié)方差矩陣[11]，將具備最小誤差均值的匹配點對集合對應變換矩陣視為最終虛擬人臉的初始匹配的結(jié)果。

令[PC]和[QC]分別用于描述通過1.1小節(jié)獲取的源及目標虛擬人臉重復視覺特征點集，[pc]、[qc]分別為其中對應的重復視覺特征點[12]。虛擬人臉重復視覺特征點初始匹配過程如下。

1） 計算[PC]和[QC]的質(zhì)心[p]和[q]：

[p=1Ni=1Npciq=1Ni=1Nqci] （4）

式中：[pci]、[qci]分別為[PC]和[QC]中的第[i]個重復視覺特征點；[N]用于描述集合中重復視覺特征點的數(shù)量。

2） 對協(xié)方差矩陣[H]進行求解：

[H=1Ni=1Npci-pTqci-qT] （5）

3） 經(jīng)[H]的奇異值分解獲取旋轉(zhuǎn)矩陣[R0]以及平移向量[t0]：

[H=UΣVT] （6）

[R0=VUT] （7）

[t0=q-R01Ni=1Npci] （8）

式中：[Σ]、[U]、[V]分別用于描述奇異值矩陣，以及[H]的左、右奇異向量。

4） 對初始變換矩陣[T0]進行求解：

[T0=R0" " "t0 0" " " 1] （9）

5） 對[T0]的誤差均值[E]進行求解：

[E=1Ni=1NpciT0-qci] （10）

經(jīng)不斷迭代操作后，將最小[E]的匹配點集對應變換矩陣作為虛擬人臉重復特征點的初始匹配結(jié)果。

1.3" 基于幾何約束的特征點匹配優(yōu)化

為降低1.2節(jié)獲取的虛擬人臉重復視覺特征點的初始匹配結(jié)果的錯誤匹配對后續(xù)虛擬人臉應用效果的影響，結(jié)合幾何約束進行錯誤匹配點刪除，并通過RANSAC進行二次過濾，提升虛擬人臉的重復視覺特征點匹配效果。

初始匹配中因匹配錯誤而導致錯誤的匹配連線，如圖1所示。正確匹配重復視覺特征點之間的距離一致，且兩點之前的連線的斜率一致。其中實線為正確匹配連線，虛線和短線一點分別為距離不一致、斜率不一致的錯誤匹配。因此，可以依據(jù)距離一致和斜率一致兩個幾何約束將錯誤匹配點對刪除。鑒于實際應用過程存在的誤差，因此確保距離和斜率近似一致便可。

設(shè)[p1i（x，y）]、[p2j（u，v）]分別表示兩個匹配虛擬人臉圖像中的重復視覺特征匹配點，二者之間距離、連線斜率的計算公式為：

[dij=（uj-xi）2+（vj-yi）2] （11）

[kij=vj-yiuj-xi] （12）

式中：[i，j∈[1，n′]]，[n′]用于描述匹配特征點對數(shù)量。

基于幾何約束的錯誤匹配刪除過程如下。

1） 初始化初始匹配特征點對連線集合，其中匹配特征點對連線距離及斜率的集合分別為[md]、[mk]。

2） 統(tǒng)計各匹配特征點對的[dij]和[kij]，并視二者分別為[md]、[mk]的[key]，[md]和[mk]的[value]分別為符合[dij]和[kij]的匹配連線數(shù)量。

3） 分別將[md]和[mk]中[value]最大的[key]視為長度和斜率的基準，分別用[D]、[K]描述。

4） 設(shè)置匹配點連線長度和斜率的誤差分別為[m]、[n]，當[D-m≤dij≤D+m]、[K-n≤dij≤K+n]時，保留該匹配點連線對應的匹配點；反之，則刪除對應的匹配點。

綜上可知，幾何約束條件為：

[C=dij-D≤mamp;amp;kij-K≤n]

當同時滿足二者時，難以獲取足夠的匹配點對，因此將幾何約束調(diào)整為：

[C=dij-D≤mkij-K≤n]

滿足其中一種幾何約束即可。至此，通過上述幾何約束將錯誤匹配點對去除，留下了符合幾何約束條件的匹配點對[13]。

采用RANSAC算法對滿足幾何約束的虛擬人臉重復特征匹配點對進行優(yōu)化，提升匹配效果，具體過程如下。

1） 以隨機方式從滿足幾何約束的虛擬人臉重復特征匹配點對中挑選4個樣本數(shù)據(jù)，其彼此之間不共線。

2） 計算步驟1）樣本的變換矩陣[M]。

3） 計算[M]與匹配特征點集中全部數(shù)據(jù)的投影差異[δij]，并判斷其與投影差異閾值[λ]的關(guān)系，將滿足[δijlt;λ]條件的數(shù)據(jù)放入內(nèi)點集合[I]中。

4） 若[I]中數(shù)據(jù)量高于最優(yōu)內(nèi)點集合[Ibest]，將[I]視為[Ibest]，并更新迭代次數(shù)[o]，若[o]高于最大迭代次數(shù)，則結(jié)束；否則繼續(xù)增加迭代次數(shù)，重復上述過程。

通過上述過程的匹配點二次優(yōu)化，提升了虛擬人臉重復特征點匹配效果。

2" 實驗分析

隨機選取一個某虛擬現(xiàn)實環(huán)境的若干張?zhí)摂M人臉圖像，來構(gòu)建虛擬人臉圖像數(shù)據(jù)集，應用本文方法進行虛擬人臉重復視覺特征點匹配研究。從虛擬人臉重復視覺特征檢測、初始匹配、基于幾何約束的優(yōu)化匹配等幾個角度驗證本文方法的實際應用效果。

隨機選取其中一張?zhí)摂M人臉圖像，如圖2所示。應用本文方法進行虛擬人臉的重復視覺特征點定位，定位結(jié)果見圖3。

分析圖3發(fā)現(xiàn)，本文方法成功地在虛擬人臉的關(guān)鍵位置（如眼睛、鼻子、嘴巴周圍以及面部輪廓等）檢測到了重復視覺特征點。這表明本文方法具有較高的定位準確率，能夠捕捉到人臉上最具辨識度的區(qū)域。該方法不僅識別了較大的面部特征（如眼睛、鼻子），還能夠在一些細微之處（如眼角、嘴角等）檢測到特征點，顯示了良好的細節(jié)捕捉能力。

采用本文方法對虛擬人臉的重復視覺特征點進行匹配，將初始匹配結(jié)果與匹配優(yōu)化結(jié)果分別呈現(xiàn)于圖4、圖5。

分析圖4發(fā)現(xiàn)，初始匹配結(jié)果中存在少量的重復視覺特征點錯誤匹配。其中，虛線為斜率不一致的重復視覺特征點匹配結(jié)果；短線一點為匹配點對距離不一致的重復視覺特征點匹配結(jié)果；粗實線為兩者均不一致的匹配結(jié)果。分析圖5發(fā)現(xiàn)，經(jīng)本文方法匹配優(yōu)化后，可以有效地通過虛擬人臉匹配點對之間的幾何約束，將不符合約束條件的匹配點對刪除，得到最佳的匹配結(jié)果。

利用幾何約束進行錯誤重復視覺特征點匹配點對刪除時，匹配連線距離及斜率誤差范圍m、n的取值對幾何約束效果至關(guān)重要。為此隨機選取虛擬人臉圖像進行重復視覺特征點匹配，統(tǒng)計不同m、n取值幾何約束下的匹配結(jié)果，如表1所示。

分析表1數(shù)據(jù)發(fā)現(xiàn)：當同時滿足距離和斜率兩種幾何約束條件時，刪除誤匹配后的重復視覺特征點對數(shù)量顯著減少，難以滿足虛擬人臉匹配需求；當變更為僅滿足一種幾何約束條件時，在刪除誤匹配點對的同時，可以保證留有足夠多的匹配點對數(shù)量，同時也不會嚴重影響匹配效率。因此，選取m=13||n=0.04作為幾何約束條件，保障有足夠多的匹配點對數(shù)量的同時，不影響匹配效率，可以實現(xiàn)最佳的虛擬人臉重復視覺特征匹配。

3" 結(jié)" 論

本文研究幾何約束下虛擬人臉重復視覺特征點匹配方法，并通過實驗驗證該方法在虛擬人臉重復視覺特征點匹配中的高效性和準確性。通過精確的特征點定位和基于幾何約束的優(yōu)化匹配，顯著減少了誤匹配，確定了最優(yōu)的幾何約束條件（m=13||n=0.04）。在保障匹配精度的同時，實現(xiàn)了高效的匹配效果，為虛擬人臉識別及虛擬現(xiàn)實應用提供了有力支持。

參考文獻

[1] 盧超超，彭煒.基于無線傳感人臉識別的空間弱小人體目標跟蹤方法[J].傳感技術(shù)學報，2022，35（3）：405?411.

[2] 徐琳，魏曉超，蔡國鵬，等.一個高效的安全兩方近似模式匹配協(xié)議[J].計算機研究與發(fā)展，2022，59（8）：1819?1830.

[3] 陳素雅，何宏.基于特征點動態(tài)選擇的三維人臉點云模型重建[J].計算機應用研究，2024，41（2）：629?634.

[4] 王宇，胡哲昊，涂曉光，等.基于改進SBR算法的人臉特征點穩(wěn)定檢測[J].電訊技術(shù)，2023，63（5）：719?724.

[5] 楊小琴，朱玉全.基于距離限定優(yōu)化的多姿態(tài)人臉圖像智能識別[J].計算機仿真，2022，39（1）：200?203.

[6] YOGAMEENA B， JAKKAMSETTI G， AISHWARYA S. SpyGAN sketch： heterogeneous face matching in video for crime investigation [J]. Journal of visual communication amp; image representation， 2022， 82： 103400.1?103400.8.

[7] 張喜民，詹海生，余奇穎.幾何特征約束的SIFT特征匹配改進算法[J].計量學報，2023，44（8）：1182?1187.

[8] 翁存福，朱喜順.復雜背景下基于SIFT算法的局部遮擋人臉識別[J].計算機仿真，2024，41（2）：232?236.

[9] 孫妍，胡龍，馮雪玲.基于變換匹配層融合的雙模態(tài)生物特征識別方法[J].計算機工程，2023，49（5）：269?276.

[10] 楊萍，吳曉紅，何小海，等.逐點特征匹配的跨域行人重識別方法[J].模式識別與人工智能，2022，35（6）：516?525.

[11] 黃妍妍，蓋紹彥，達飛鵬.三分支空間變換注意力機制的圖像匹配算法[J].系統(tǒng)工程與電子技術(shù)，2023，45（11）：3363?3373.

[12] 潘峰，沈建新，秦順，等.融合GMS的ORB特征點提取與匹配算法[J].計算機工程與設(shè)計，2022，43（8）：2244?2251.

[13] 寧小娟，李潔茹，高凡，等.基于最佳幾何約束和RANSAC的特征匹配算法[J].系統(tǒng)仿真學報，2022，34（4）：727?734.

作者簡介：顧峰豪（1986—），男，江蘇常州人，博士研究生，講師，研究方向為交互設(shè)計。

葛" 亮（1991—），男，江蘇常州人，碩士研究生，講師，研究方向為交互設(shè)計。

DOI：10.16652/j.issn.1004?373x.2024.20.023

引用格式：顧峰豪，葛亮.幾何約束下虛擬人臉重復視覺特征點匹配研究[J].現(xiàn)代電子技術(shù)，2024，47（20）：148?152.

收稿日期：2024?07?19" " " " " "修回日期：2024?08?14