深圳信息職業(yè)技術(shù)學(xué)院團(tuán)委 胡吉良

深圳信息職業(yè)技術(shù)學(xué)院軟件學(xué)院 張華健 花罡辰

基于幾何約束的重復(fù)視覺(jué)特征點(diǎn)匹配方法

深圳信息職業(yè)技術(shù)學(xué)院團(tuán)委 胡吉良

深圳信息職業(yè)技術(shù)學(xué)院軟件學(xué)院 張華健 花罡辰

當(dāng)前，特征特征點(diǎn)匹配廣泛采用固定閾值或NNDR（最近鄰距離比率）策略，這些方法均假設(shè)每個(gè)特征點(diǎn)最佳匹配是惟一的。而重復(fù)特征點(diǎn)在現(xiàn)實(shí)世界大量存在，固定閾值或NNDR策略均不能有效處理重復(fù)的特征點(diǎn)，從而極易引起誤匹配，誤匹配將導(dǎo)致各類(lèi)計(jì)算機(jī)視覺(jué)算法精度大大下降，所以重復(fù)特征點(diǎn)匹配是計(jì)算機(jī)視覺(jué)中的一個(gè)難題。本文針對(duì)重復(fù)特征點(diǎn)無(wú)法使用NNDR等傳統(tǒng)方法匹配的問(wèn)題，創(chuàng)新地在NNDR策略基礎(chǔ)上，基于RANSAC算法，利用特征點(diǎn)的幾何約束迭代地回收被NNDR策略丟棄的重復(fù)特征點(diǎn)，進(jìn)而有效地提高重復(fù)特征點(diǎn)匹配精度。

幾何約束；重復(fù)特征點(diǎn)；特征點(diǎn)回收；最近鄰距離比率

1.研究背景

目前，局部視覺(jué)特征點(diǎn)被廣泛用在計(jì)算機(jī)視覺(jué)領(lǐng)域進(jìn)行圖形圖像匹配運(yùn)算。例如人臉識(shí)別[1]，SLAM[2]等。Lowe[3]在2004年提出了SIFT（Scale-Invariant Feature Transform）特征。SIFT首先利用高斯差分（Difference of Gaussian）金字塔檢測(cè)出尺度不變興趣點(diǎn)，然后根據(jù)興趣點(diǎn)相鄰像素梯度特征計(jì)算出每個(gè)興趣點(diǎn)的旋轉(zhuǎn)不變的特征向量（建議為128維）。SIFT特征具有完全的尺度不變和旋轉(zhuǎn)不變性質(zhì)。Bay[4]建議使用NNDR（Nearest Neighbor Distance Ratio最近鄰距離比率）策略匹配視覺(jué)特征，進(jìn)而產(chǎn)生精確的一對(duì)一特征匹配對(duì)。NNDR策略主要是為了避免重復(fù)特征點(diǎn)產(chǎn)生歧義而設(shè)計(jì)，只有最近似特征點(diǎn)與第二近似特征點(diǎn)的歐拉距離比小于某個(gè)閾值，該匹配才會(huì)被判斷為有效匹配，如式(1)所示：

由于NNDR策略能夠足夠精確地提取一對(duì)一特征點(diǎn)匹配對(duì)，所以被廣泛應(yīng)用于局部特征和全局特征中 。但是現(xiàn)實(shí)環(huán)境下，重復(fù)紋理普遍存在，例如：灌木叢，草地，高樓的表面等等。這些重復(fù)紋理導(dǎo)致大量重復(fù)特征點(diǎn)被提取出來(lái)。若采用NNDR策略進(jìn)行匹配則這些重復(fù)特征點(diǎn)產(chǎn)生的正確匹配也會(huì)被拋棄。重復(fù)特征點(diǎn)（紋理）匹配的問(wèn)題是計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)難題。

2.算法流程

本文提出了一種結(jié)合NNDR和RANSAC[5]算法的新穎的重復(fù)特征點(diǎn)匹配、回收方法。本算法流程簡(jiǎn)單描述如下：（1）利用NNDR過(guò)濾兩圖片的特征點(diǎn)匹配對(duì)，過(guò)濾后的匹配對(duì)作為有效一對(duì)一匹配對(duì)集合S。（2）利用S使用RANSAC算法獲取這對(duì)圖像的的單應(yīng)性變換矩陣H。（3）基于H重新測(cè)試被第1步被NNDR排除掉的潛在匹配對(duì)。若投影誤差小于Thr則回收該匹配對(duì)。（4）把新回收的匹配對(duì)加入到S，并回到第2步再次利用RANSAC算法計(jì)算單應(yīng)性變換矩陣H。直到RANSAC算法排除誤匹配后沒(méi)有新的匹配對(duì)被加入，算法結(jié)束。

由于本算法初始的單應(yīng)性變換矩陣H僅由NNDR過(guò)濾后的有效匹配集合S確定，所以通過(guò)步驟1，2，3計(jì)算的初始的H并不是全局最優(yōu)解，而是局部最優(yōu)解。本算法迭代地重復(fù)步驟2，3，4以保證取得的最終結(jié)果為全局最優(yōu)解。本算法能夠有效匹配重復(fù)的特征點(diǎn)，特點(diǎn)是思路簡(jiǎn)潔、魯棒性強(qiáng)且算法所需時(shí)間略微大于傳統(tǒng)SIFT+RANSAC算法。

3.實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本方法的正確性和效率，我們進(jìn)行了匹配重復(fù)特征點(diǎn)的實(shí)驗(yàn)。實(shí)驗(yàn)用圖片如圖1所示。圖片分辨率均為794 × 595，兩張實(shí)驗(yàn)用圖片分別從不同角度拍，圖片中的物體未做任何移動(dòng)，兩圖中均有大量重復(fù)的特征點(diǎn)集中在黑白紋理的筆記本上。實(shí)驗(yàn)時(shí)進(jìn)行左右圖片的特征點(diǎn)匹配。

圖1所示為SIFT+NNDR+RANSAC方法的實(shí)驗(yàn)結(jié)果，白色線(xiàn)條表示匹配的特征點(diǎn)對(duì)，可以看出集中在黑白紋理的筆記本上的重復(fù)特征點(diǎn)幾乎沒(méi)有被匹配。圖2所示為本方法的實(shí)驗(yàn)結(jié)果，顯然地，黑白重復(fù)紋理產(chǎn)生的特征點(diǎn)也被正確、充分地匹配了。

圖1 SIFT+NNDR+RANSAC方法實(shí)驗(yàn)結(jié)果

圖2 本方法實(shí)驗(yàn)結(jié)果

SIFT+NNDR+RANSAC方法耗時(shí)1577.713毫秒，本方法耗時(shí)1653.785毫秒。本方法對(duì)比SIFT+NNDR+RANSAC方法額外耗時(shí)為76.045毫秒，額外耗時(shí)比率為4.82%。SIFT+NNDR+RANSAC方法獲取匹配對(duì)數(shù)為210對(duì)，本方法獲取匹配對(duì)數(shù)為564對(duì)，提升幅度為168.57%。

4.總結(jié)

根據(jù)上述實(shí)驗(yàn)結(jié)果可見(jiàn)本方法在含有重復(fù)紋理的特征點(diǎn)匹配中表現(xiàn)令人滿(mǎn)意。對(duì)比傳統(tǒng)的SIFT+NNDR+RANSAC方法，本方法在額外花費(fèi)4.82%處理時(shí)間基礎(chǔ)上獲取匹配數(shù)量得到了高達(dá)168.57%的提升。除了對(duì)有明顯重復(fù)紋理的圖像特征點(diǎn)匹配外，本方法也能用于不含有大量重復(fù)紋理的圖像特征點(diǎn)匹配以獲取更多有效匹配對(duì)。在付出極小代價(jià)的基礎(chǔ)上，本方法能完全替代傳統(tǒng)的特征點(diǎn)匹配加幾何約束的圖像匹配方法。因此本方法可以廣泛使用于立體視覺(jué)、3D重建、SLAM等等領(lǐng)域。

[1]于祥春.一種基于SIFT的特征提取在人臉識(shí)別算法中的研究[D].吉林大學(xué),2015.

[2]朱代先,王曉華.基于改進(jìn)SIFT算法的雙目視覺(jué)SLAM研究[J].計(jì)算機(jī)工程與應(yīng)用,2011(14):170-173.

[3]Lowe D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision,2004,60(2):91-110. [DOI:10.1023/B:VISI.0000029664.99615.94].

致謝：本研究得到廣東大學(xué)生創(chuàng)新培育專(zhuān)項(xiàng)（攀登計(jì)劃）資金資助（項(xiàng)目編號(hào)：pdjh2016b0715）。

胡吉良（1978—），男，江蘇徐州人，碩士研究生，深圳信息職業(yè)技術(shù)學(xué)院講師，主要研究方向：大學(xué)生科技創(chuàng)新與創(chuàng)業(yè)。

張華健（1995—），男，廣東茂名人，大學(xué)專(zhuān)科，主要研究方向：軟件技術(shù)、圖像處理。

花罡辰（1988—），男，江西撫州人，博士，深圳信息職業(yè)技術(shù)學(xué)院軟件學(xué)院講師，主要研究方向：軟件技術(shù)、圖像處理。