摘" 要： 為最大程度地減少虛擬人臉特征點(diǎn)的誤匹配，文中研究幾何約束下虛擬人臉重復(fù)視覺特征點(diǎn)匹配方法。首先，利用高斯濾波構(gòu)造虛擬人臉圖像的多尺度空間，結(jié)合形狀變更指數(shù)檢測虛擬人臉在多尺度空間的重復(fù)視覺特征點(diǎn)；然后，采用基于動態(tài)特征矩陣求解（DFMS）的特征點(diǎn)匹配方法，完成重復(fù)視覺特征點(diǎn)初始匹配后，依據(jù)匹配點(diǎn)對的連接線距離、斜率一致的特點(diǎn)，構(gòu)建最佳幾何約束，有效刪除錯誤匹配點(diǎn)對；最后，經(jīng)RANSAC算法進(jìn)行二次過濾后，實(shí)現(xiàn)了虛擬人臉的重復(fù)視覺特征點(diǎn)最佳匹配。實(shí)驗(yàn)結(jié)果顯示，所提方法可在虛擬人臉的關(guān)鍵位置檢測到重復(fù)視覺特征點(diǎn)，并最大程度地刪除誤匹配點(diǎn)對，實(shí)現(xiàn)重復(fù)視覺特征點(diǎn)的精準(zhǔn)匹配。

關(guān)鍵詞： 幾何約束； 虛擬人臉； 重復(fù)視覺特征點(diǎn)； 特征點(diǎn)匹配； 特征點(diǎn)檢測； 多尺度空間； 奇異值矩陣

中圖分類號： TN911.73?34； TP391.41" " " " " " " " " "文獻(xiàn)標(biāo)識碼： A" " " " " " " "文章編號： 1004?373X（2024）20?0148?05

Research on repetitive visual feature point matching of virtual face

under geometric constraints

GU Fenghao， GE Liang

（Changzhou University， Changzhou 213164， China）

Abstract： In order to minimize the mismatching of virtual facial feature points， a method for matching repeated visual feature points of virtual faces under geometric constraints is studied. The Gaussian filtering is used to construct the multi?scale space for virtual face images， and combined with the shape change index to detect repeated visual feature points of virtual faces in the multi?scale space. The feature point matching method based on dynamic feature matrix solution （DFMS） is used to complete the initial matching of repeated visual feature points. Based on the consistent distance and slope of the connecting lines between the matching point pairs， the optimal geometric constraints are constructed to effectively remove mismatched point pairs. After secondary filtering by RANSAC algorithm， the best matching of repeated visual feature points of virtual faces is realized. The experimental results show that the proposed method can detect repeated visual feature points at key positions of virtual faces， and remove mismatched point pairs to the greatest extent， realizing the accurate matching of repeated visual feature points.

Keywords： geometric constraint; repetitive face;repectitive visual feature point; feature point matching; feature point detection; multi?scale space; singular value matrix

0" 引" 言

虛擬人臉技術(shù)作為計算機(jī)視覺與人工智能的核心之一，從娛樂產(chǎn)業(yè)的虛擬角色創(chuàng)建到安全領(lǐng)域的身份認(rèn)證，再到人機(jī)交互的自然化，虛擬人臉技術(shù)均扮演著至關(guān)重要的角色。在虛擬人臉中，重復(fù)視覺特征點(diǎn)主要指的是在虛擬人臉圖像上重復(fù)出現(xiàn)或用于識別、定位的關(guān)鍵點(diǎn)[1]。這些特征點(diǎn)通常包括眼睛、鼻子、嘴巴等面部器官的關(guān)鍵位置，以及輪廓上的重要節(jié)點(diǎn)。由于人臉的復(fù)雜性和多樣性，傳統(tǒng)的特征點(diǎn)匹配方法可能會導(dǎo)致誤匹配，而通過匹配重復(fù)視覺特征點(diǎn)可以更加準(zhǔn)確地定位人臉的關(guān)鍵部位，減少誤匹配的發(fā)生[2]。因此，如何實(shí)現(xiàn)精準(zhǔn)的虛擬人臉重復(fù)視覺特征點(diǎn)匹配，成為虛擬人臉圖像應(yīng)用領(lǐng)域的研究關(guān)鍵。

陳素雅等人通過兩階段策略優(yōu)化虛擬人臉特征點(diǎn)的匹配過程，在初步配準(zhǔn)階段，采用動態(tài)特征矩陣解析技術(shù)迅速確立基礎(chǔ)變換，有效剔除偽特征點(diǎn)，減少其干擾；在精細(xì)配準(zhǔn)階段，創(chuàng)新性地運(yùn)用二次加權(quán)法向量垂直距離篩選機(jī)制，精準(zhǔn)挑選出更具代表性的特征點(diǎn)，并結(jié)合特征融合與局部特征一致性增強(qiáng)的迭代最近點(diǎn)算法，顯著削弱偽特征點(diǎn)的影響，大幅度提升匹配的精準(zhǔn)度與效率[3]。但是該方法在面對不同光照、遮擋、極端表情等復(fù)雜場景時，其泛化能力可能受限。王宇等人在SBR框架中創(chuàng)新性地融合了平滑性優(yōu)化與LSTM機(jī)制，借助光流追蹤技術(shù)，不僅提升了視頻特征點(diǎn)檢測的精準(zhǔn)度，還顯著強(qiáng)化了其在時間軸上的連貫性，實(shí)現(xiàn)了更為穩(wěn)定、平滑的虛擬人臉特征點(diǎn)序列匹配，有效降低了傳統(tǒng)方法中的重復(fù)檢測與誤差累積問題[4]。該方法雖然減少了重復(fù)檢測和誤差累積問題，但在長時間序列中，微小的誤差仍可能逐漸累積，影響最終匹配結(jié)果的準(zhǔn)確性。楊小琴等人通過提取和預(yù)處理人臉圖像的關(guān)鍵特征點(diǎn)，利用粗糙集等方法對特征向量進(jìn)行降維，減少冗余信息；并且采用優(yōu)化后的特征向量距離計算方法，將待測人臉的重復(fù)視覺特征點(diǎn)與已知人臉庫中的特征點(diǎn)進(jìn)行匹配，通過比較相似度來確定匹配結(jié)果[5]。但是，優(yōu)化后的特征向量距離計算方法可能不適用于所有類型的特征分布，對于某些特定類型的特征點(diǎn)或數(shù)據(jù)集，無法準(zhǔn)確反映其相似度。文獻(xiàn)[6]通過SpyGAN將視頻中的人臉轉(zhuǎn)換為逼真的草圖，并利用PCA?SIFT描述符來提取草圖的關(guān)鍵面部重復(fù)視覺特征點(diǎn)。隨后，基于余弦距離度量這些特征點(diǎn)與數(shù)據(jù)庫中草圖或照片的特征點(diǎn)進(jìn)行匹配，實(shí)現(xiàn)虛擬人臉與真實(shí)人臉的重復(fù)視覺特征點(diǎn)匹配。雖然該方法考慮了不同光照和姿勢，但PCA?SIFT描述符在處理極端光照變化或復(fù)雜姿勢時表現(xiàn)不佳，影響匹配效果。

幾何約束作為一種重要的技術(shù)手段，利用圖像中特征點(diǎn)之間的空間關(guān)系、形狀特性等幾何信息，對匹配過程進(jìn)行約束和優(yōu)化，從而提高匹配的準(zhǔn)確性和魯棒性[7]。在虛擬人臉處理中，幾何約束不僅可以幫助剔除錯誤的匹配點(diǎn)，還能在遮擋、光照變化等復(fù)雜情況下，依然保持較高的匹配性能。為此，本文研究幾何約束下虛擬人臉重復(fù)視覺特征點(diǎn)匹配方法，為虛擬人臉技術(shù)的廣泛應(yīng)用提供有力的技術(shù)支持。

1" 虛擬人臉重復(fù)視覺特征點(diǎn)匹配

1.1" 虛擬人臉重復(fù)視覺特征點(diǎn)檢測

有效檢測虛擬人臉的重復(fù)視覺特征點(diǎn)，用于后續(xù)特征點(diǎn)的匹配。具體過程如下。

1） 預(yù)處理虛擬人臉圖像，去除耳朵、頭發(fā)、肩膀等冗余區(qū)域的干擾。

2） 采用高斯濾波來構(gòu)造預(yù)處理后虛擬人臉圖像的多尺度空間，公式如下：

[Ms=M，" s=0GσsM， otherwise] （1）

[σs=e?2σ03?2sk] （2）

式中：[M]、[Gσs]分別用于描述虛擬人臉的三維網(wǎng)絡(luò)、尺度為[σs]的高斯濾波；[e]、[s]和[k]分別用于描述虛擬人臉三維網(wǎng)絡(luò)邊長均值，以及[σ0]的兩個參數(shù)。

3） 采用形狀變更指數(shù)檢測虛擬人臉的重復(fù)視覺特征點(diǎn)。

通過4.5 mm的分辨率在xOy平面上均勻采樣虛擬人臉，得到一系列采樣點(diǎn)[8]，構(gòu)建點(diǎn)集合[Ps]。該集合由采樣點(diǎn)[p]及其以[r]為半徑的鄰域內(nèi)點(diǎn)組成。利用霍特林變換處理[Ps]，獲取[Ps]，使[Ps]中的點(diǎn)具備局部對齊特點(diǎn)。[Ps]中各個點(diǎn)的形狀變更指數(shù)計算公式為：

[?=max（x∈Ps）-min（x∈Ps）max（y∈Ps）-min（y∈Ps）] （3）

式中[?]用于描述采樣點(diǎn)[p]所處虛擬人臉表面的幾何變化詳情。設(shè)定[?]的閾值為[ε]，同時將小于[ε]的[?]對應(yīng)的采樣點(diǎn)視為虛擬人臉重復(fù)視覺特征點(diǎn)[9]。

4） 將虛擬人臉處于多尺度空間的重復(fù)視覺特征點(diǎn)的檢測結(jié)果并集作為最終檢測獲取的虛擬人臉重復(fù)視覺特征點(diǎn)集合。

1.2" 虛擬人臉重復(fù)視覺特征點(diǎn)初始匹配

采用基于動態(tài)特征矩陣求解（DFMS）的初始匹配方法，能有效避免傳統(tǒng)匹配方法在匹配重復(fù)視覺特征點(diǎn)方面存在的匹配冗余計算以及效率低下問題[10]。

DFMS可以動態(tài)挑選1.1小節(jié)檢測到的虛擬人臉重復(fù)視覺特征點(diǎn)，以不斷迭代處理的方式獲取最佳重復(fù)視覺特征點(diǎn)集合，并建立與求解其動態(tài)協(xié)方差矩陣[11]，將具備最小誤差均值的匹配點(diǎn)對集合對應(yīng)變換矩陣視為最終虛擬人臉的初始匹配的結(jié)果。

令[PC]和[QC]分別用于描述通過1.1小節(jié)獲取的源及目標(biāo)虛擬人臉重復(fù)視覺特征點(diǎn)集，[pc]、[qc]分別為其中對應(yīng)的重復(fù)視覺特征點(diǎn)[12]。虛擬人臉重復(fù)視覺特征點(diǎn)初始匹配過程如下。

1） 計算[PC]和[QC]的質(zhì)心[p]和[q]：

[p=1Ni=1Npciq=1Ni=1Nqci] （4）

式中：[pci]、[qci]分別為[PC]和[QC]中的第[i]個重復(fù)視覺特征點(diǎn)；[N]用于描述集合中重復(fù)視覺特征點(diǎn)的數(shù)量。

2） 對協(xié)方差矩陣[H]進(jìn)行求解：

[H=1Ni=1Npci-pTqci-qT] （5）

3） 經(jīng)[H]的奇異值分解獲取旋轉(zhuǎn)矩陣[R0]以及平移向量[t0]：

[H=UΣVT] （6）

[R0=VUT] （7）

[t0=q-R01Ni=1Npci] （8）

式中：[Σ]、[U]、[V]分別用于描述奇異值矩陣，以及[H]的左、右奇異向量。

4） 對初始變換矩陣[T0]進(jìn)行求解：

[T0=R0" " "t0 0" " " 1] （9）

5） 對[T0]的誤差均值[E]進(jìn)行求解：

[E=1Ni=1NpciT0-qci] （10）

經(jīng)不斷迭代操作后，將最小[E]的匹配點(diǎn)集對應(yīng)變換矩陣作為虛擬人臉重復(fù)特征點(diǎn)的初始匹配結(jié)果。

1.3" 基于幾何約束的特征點(diǎn)匹配優(yōu)化

為降低1.2節(jié)獲取的虛擬人臉重復(fù)視覺特征點(diǎn)的初始匹配結(jié)果的錯誤匹配對后續(xù)虛擬人臉應(yīng)用效果的影響，結(jié)合幾何約束進(jìn)行錯誤匹配點(diǎn)刪除，并通過RANSAC進(jìn)行二次過濾，提升虛擬人臉的重復(fù)視覺特征點(diǎn)匹配效果。

初始匹配中因匹配錯誤而導(dǎo)致錯誤的匹配連線，如圖1所示。正確匹配重復(fù)視覺特征點(diǎn)之間的距離一致，且兩點(diǎn)之前的連線的斜率一致。其中實(shí)線為正確匹配連線，虛線和短線一點(diǎn)分別為距離不一致、斜率不一致的錯誤匹配。因此，可以依據(jù)距離一致和斜率一致兩個幾何約束將錯誤匹配點(diǎn)對刪除。鑒于實(shí)際應(yīng)用過程存在的誤差，因此確保距離和斜率近似一致便可。

設(shè)[p1i（x，y）]、[p2j（u，v）]分別表示兩個匹配虛擬人臉圖像中的重復(fù)視覺特征匹配點(diǎn)，二者之間距離、連線斜率的計算公式為：

[dij=（uj-xi）2+（vj-yi）2] （11）

[kij=vj-yiuj-xi] （12）

式中：[i，j∈[1，n′]]，[n′]用于描述匹配特征點(diǎn)對數(shù)量。

基于幾何約束的錯誤匹配刪除過程如下。

1） 初始化初始匹配特征點(diǎn)對連線集合，其中匹配特征點(diǎn)對連線距離及斜率的集合分別為[md]、[mk]。

2） 統(tǒng)計各匹配特征點(diǎn)對的[dij]和[kij]，并視二者分別為[md]、[mk]的[key]，[md]和[mk]的[value]分別為符合[dij]和[kij]的匹配連線數(shù)量。

3） 分別將[md]和[mk]中[value]最大的[key]視為長度和斜率的基準(zhǔn)，分別用[D]、[K]描述。

4） 設(shè)置匹配點(diǎn)連線長度和斜率的誤差分別為[m]、[n]，當(dāng)[D-m≤dij≤D+m]、[K-n≤dij≤K+n]時，保留該匹配點(diǎn)連線對應(yīng)的匹配點(diǎn)；反之，則刪除對應(yīng)的匹配點(diǎn)。

綜上可知，幾何約束條件為：

[C=dij-D≤mamp;amp;kij-K≤n]

當(dāng)同時滿足二者時，難以獲取足夠的匹配點(diǎn)對，因此將幾何約束調(diào)整為：

[C=dij-D≤mkij-K≤n]

滿足其中一種幾何約束即可。至此，通過上述幾何約束將錯誤匹配點(diǎn)對去除，留下了符合幾何約束條件的匹配點(diǎn)對[13]。

采用RANSAC算法對滿足幾何約束的虛擬人臉重復(fù)特征匹配點(diǎn)對進(jìn)行優(yōu)化，提升匹配效果，具體過程如下。

1） 以隨機(jī)方式從滿足幾何約束的虛擬人臉重復(fù)特征匹配點(diǎn)對中挑選4個樣本數(shù)據(jù)，其彼此之間不共線。

2） 計算步驟1）樣本的變換矩陣[M]。

3） 計算[M]與匹配特征點(diǎn)集中全部數(shù)據(jù)的投影差異[δij]，并判斷其與投影差異閾值[λ]的關(guān)系，將滿足[δijlt;λ]條件的數(shù)據(jù)放入內(nèi)點(diǎn)集合[I]中。

4） 若[I]中數(shù)據(jù)量高于最優(yōu)內(nèi)點(diǎn)集合[Ibest]，將[I]視為[Ibest]，并更新迭代次數(shù)[o]，若[o]高于最大迭代次數(shù)，則結(jié)束；否則繼續(xù)增加迭代次數(shù)，重復(fù)上述過程。

通過上述過程的匹配點(diǎn)二次優(yōu)化，提升了虛擬人臉重復(fù)特征點(diǎn)匹配效果。

2" 實(shí)驗(yàn)分析

隨機(jī)選取一個某虛擬現(xiàn)實(shí)環(huán)境的若干張?zhí)摂M人臉圖像，來構(gòu)建虛擬人臉圖像數(shù)據(jù)集，應(yīng)用本文方法進(jìn)行虛擬人臉重復(fù)視覺特征點(diǎn)匹配研究。從虛擬人臉重復(fù)視覺特征檢測、初始匹配、基于幾何約束的優(yōu)化匹配等幾個角度驗(yàn)證本文方法的實(shí)際應(yīng)用效果。

隨機(jī)選取其中一張?zhí)摂M人臉圖像，如圖2所示。應(yīng)用本文方法進(jìn)行虛擬人臉的重復(fù)視覺特征點(diǎn)定位，定位結(jié)果見圖3。

分析圖3發(fā)現(xiàn)，本文方法成功地在虛擬人臉的關(guān)鍵位置（如眼睛、鼻子、嘴巴周圍以及面部輪廓等）檢測到了重復(fù)視覺特征點(diǎn)。這表明本文方法具有較高的定位準(zhǔn)確率，能夠捕捉到人臉上最具辨識度的區(qū)域。該方法不僅識別了較大的面部特征（如眼睛、鼻子），還能夠在一些細(xì)微之處（如眼角、嘴角等）檢測到特征點(diǎn)，顯示了良好的細(xì)節(jié)捕捉能力。

采用本文方法對虛擬人臉的重復(fù)視覺特征點(diǎn)進(jìn)行匹配，將初始匹配結(jié)果與匹配優(yōu)化結(jié)果分別呈現(xiàn)于圖4、圖5。

分析圖4發(fā)現(xiàn)，初始匹配結(jié)果中存在少量的重復(fù)視覺特征點(diǎn)錯誤匹配。其中，虛線為斜率不一致的重復(fù)視覺特征點(diǎn)匹配結(jié)果；短線一點(diǎn)為匹配點(diǎn)對距離不一致的重復(fù)視覺特征點(diǎn)匹配結(jié)果；粗實(shí)線為兩者均不一致的匹配結(jié)果。分析圖5發(fā)現(xiàn)，經(jīng)本文方法匹配優(yōu)化后，可以有效地通過虛擬人臉匹配點(diǎn)對之間的幾何約束，將不符合約束條件的匹配點(diǎn)對刪除，得到最佳的匹配結(jié)果。

利用幾何約束進(jìn)行錯誤重復(fù)視覺特征點(diǎn)匹配點(diǎn)對刪除時，匹配連線距離及斜率誤差范圍m、n的取值對幾何約束效果至關(guān)重要。為此隨機(jī)選取虛擬人臉圖像進(jìn)行重復(fù)視覺特征點(diǎn)匹配，統(tǒng)計不同m、n取值幾何約束下的匹配結(jié)果，如表1所示。

分析表1數(shù)據(jù)發(fā)現(xiàn)：當(dāng)同時滿足距離和斜率兩種幾何約束條件時，刪除誤匹配后的重復(fù)視覺特征點(diǎn)對數(shù)量顯著減少，難以滿足虛擬人臉匹配需求；當(dāng)變更為僅滿足一種幾何約束條件時，在刪除誤匹配點(diǎn)對的同時，可以保證留有足夠多的匹配點(diǎn)對數(shù)量，同時也不會嚴(yán)重影響匹配效率。因此，選取m=13||n=0.04作為幾何約束條件，保障有足夠多的匹配點(diǎn)對數(shù)量的同時，不影響匹配效率，可以實(shí)現(xiàn)最佳的虛擬人臉重復(fù)視覺特征匹配。

3" 結(jié)" 論

本文研究幾何約束下虛擬人臉重復(fù)視覺特征點(diǎn)匹配方法，并通過實(shí)驗(yàn)驗(yàn)證該方法在虛擬人臉重復(fù)視覺特征點(diǎn)匹配中的高效性和準(zhǔn)確性。通過精確的特征點(diǎn)定位和基于幾何約束的優(yōu)化匹配，顯著減少了誤匹配，確定了最優(yōu)的幾何約束條件（m=13||n=0.04）。在保障匹配精度的同時，實(shí)現(xiàn)了高效的匹配效果，為虛擬人臉識別及虛擬現(xiàn)實(shí)應(yīng)用提供了有力支持。

參考文獻(xiàn)

[1] 盧超超，彭煒.基于無線傳感人臉識別的空間弱小人體目標(biāo)跟蹤方法[J].傳感技術(shù)學(xué)報，2022，35（3）：405?411.

[2] 徐琳，魏曉超，蔡國鵬，等.一個高效的安全兩方近似模式匹配協(xié)議[J].計算機(jī)研究與發(fā)展，2022，59（8）：1819?1830.

[3] 陳素雅，何宏.基于特征點(diǎn)動態(tài)選擇的三維人臉點(diǎn)云模型重建[J].計算機(jī)應(yīng)用研究，2024，41（2）：629?634.

[4] 王宇，胡哲昊，涂曉光，等.基于改進(jìn)SBR算法的人臉特征點(diǎn)穩(wěn)定檢測[J].電訊技術(shù)，2023，63（5）：719?724.

[5] 楊小琴，朱玉全.基于距離限定優(yōu)化的多姿態(tài)人臉圖像智能識別[J].計算機(jī)仿真，2022，39（1）：200?203.

[6] YOGAMEENA B， JAKKAMSETTI G， AISHWARYA S. SpyGAN sketch： heterogeneous face matching in video for crime investigation [J]. Journal of visual communication amp; image representation， 2022， 82： 103400.1?103400.8.

[7] 張喜民，詹海生，余奇穎.幾何特征約束的SIFT特征匹配改進(jìn)算法[J].計量學(xué)報，2023，44（8）：1182?1187.

[8] 翁存福，朱喜順.復(fù)雜背景下基于SIFT算法的局部遮擋人臉識別[J].計算機(jī)仿真，2024，41（2）：232?236.

[9] 孫妍，胡龍，馮雪玲.基于變換匹配層融合的雙模態(tài)生物特征識別方法[J].計算機(jī)工程，2023，49（5）：269?276.

[10] 楊萍，吳曉紅，何小海，等.逐點(diǎn)特征匹配的跨域行人重識別方法[J].模式識別與人工智能，2022，35（6）：516?525.

[11] 黃妍妍，蓋紹彥，達(dá)飛鵬.三分支空間變換注意力機(jī)制的圖像匹配算法[J].系統(tǒng)工程與電子技術(shù)，2023，45（11）：3363?3373.

[12] 潘峰，沈建新，秦順，等.融合GMS的ORB特征點(diǎn)提取與匹配算法[J].計算機(jī)工程與設(shè)計，2022，43（8）：2244?2251.

[13] 寧小娟，李潔茹，高凡，等.基于最佳幾何約束和RANSAC的特征匹配算法[J].系統(tǒng)仿真學(xué)報，2022，34（4）：727?734.

作者簡介：顧峰豪（1986—），男，江蘇常州人，博士研究生，講師，研究方向?yàn)榻换ピO(shè)計。

葛" 亮（1991—），男，江蘇常州人，碩士研究生，講師，研究方向?yàn)榻换ピO(shè)計。

DOI：10.16652/j.issn.1004?373x.2024.20.023

引用格式：顧峰豪，葛亮.幾何約束下虛擬人臉重復(fù)視覺特征點(diǎn)匹配研究[J].現(xiàn)代電子技術(shù)，2024，47（20）：148?152.

收稿日期：2024?07?19" " " " " "修回日期：2024?08?14