楊弘凡，李 航，陳凱陽，李嘉琪，王曉菲

基于改進(jìn)ORB算法的圖像特征點(diǎn)提取與匹配方法

楊弘凡，李 航，陳凱陽，李嘉琪，王曉菲

(河南科技大學(xué)機(jī)電工程學(xué)院，河南 洛陽 471003)

針對傳統(tǒng)ORB算法閾值選取固定，存在誤提取、誤匹配，無法滿足不同圖像特征點(diǎn)的準(zhǔn)確提取和匹配的問題，提出了一種改進(jìn)的ORB特征點(diǎn)提取與匹配方法。首先設(shè)定局部自適應(yīng)閾值；然后通過像素分類，設(shè)計(jì)自適應(yīng)閾值選取準(zhǔn)則，達(dá)到ORB特征點(diǎn)的精準(zhǔn)提取；最后在改進(jìn)ORB特征點(diǎn)基礎(chǔ)上通過PROSAC算法完成對特征點(diǎn)的匹配。實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的方法對亮度變化具有較強(qiáng)的適應(yīng)能力，計(jì)算速度和提取精度得到了提升。匹配總時(shí)間降低，誤匹配點(diǎn)對數(shù)量較少，正確匹配率較高，具有良好的準(zhǔn)確性和實(shí)時(shí)性。利用匹配階段得到的特征點(diǎn)進(jìn)行跟蹤時(shí)得到的RMSE誤差較小，表明匹配精度得到了較大提升。和其他方法相比，具有更好的環(huán)境適應(yīng)能力和應(yīng)用價(jià)值。

特征點(diǎn)提??；局部自適應(yīng)閾值；重復(fù)率；特征點(diǎn)對匹配；跟蹤

同步定位與地圖構(gòu)建(simultaneous localization and mapping，SLAM)在智能機(jī)器人、無人駕駛、無人機(jī)、增強(qiáng)現(xiàn)實(shí)(augmented reality，AR)等方面有著巨大地應(yīng)用和研究價(jià)值。其中，大多數(shù)定位和構(gòu)圖的研究集中于視覺SLAM，其關(guān)鍵問題是從視覺圖像中找到具有代表性的圖像特征。圖像特征一般分為點(diǎn)特征、線特征、面特征，由于點(diǎn)特征具有在相機(jī)視角發(fā)生少許變化時(shí)能保持不變的獨(dú)特優(yōu)點(diǎn)而備受關(guān)注[1-2]。特征點(diǎn)提取與匹配是視覺SLAM環(huán)境感知的重要環(huán)節(jié)，對于目標(biāo)識別、圖像重構(gòu)等具有非常重要的意義。

定向二進(jìn)制簡單描述符(oriented fast and rotated brief，ORB)適當(dāng)降低了特征點(diǎn)的精度和健碩性，提升了計(jì)算速度、減少了計(jì)算時(shí)間，是不同類型特征點(diǎn)中質(zhì)量和性能較好的折中[3-5]。在ORB圖像特征點(diǎn)提取與匹配領(lǐng)域，專家學(xué)者圍繞目標(biāo)檢測、減少耗時(shí)、精確匹配等問題做了許多改進(jìn)。文獻(xiàn)[6]提出了一種改進(jìn)的ORB特征匹配和差分相乘算法融合的檢測方法，采用基于K最近鄰的特征點(diǎn)描述，對前后兩幀特征點(diǎn)進(jìn)行雙向匹配，再通過順序抽樣一致性算法進(jìn)一步提純，該算法運(yùn)算速度十分優(yōu)秀。文獻(xiàn)[7]在尺度不變特征變換(scale-invariant feature transform，SIFT)算法的基礎(chǔ)上提出了一種改進(jìn)的ORB算法。文獻(xiàn)[8]根據(jù)投影圖像像素點(diǎn)與三維網(wǎng)格端點(diǎn)的映射關(guān)系計(jì)算三維特征點(diǎn)對，并對加速穩(wěn)健特征(speeded-up robust features，SURF)點(diǎn)進(jìn)行匹配，通過匹配的特征點(diǎn)對求取模型變換矩陣完成配準(zhǔn)。文獻(xiàn)[9]提出了將ORB算法和SURF算法相結(jié)合的SURB算法用于特征點(diǎn)檢測。文獻(xiàn)[10]提出了一種利用ORB技術(shù)，并通過將隨機(jī)抽樣一致算法(random sample consensus，RANSAC)作為后處理步驟來消除多余的關(guān)鍵點(diǎn)和噪聲，提高了ORB效率以便提供一個(gè)穩(wěn)定的圖像識別系統(tǒng)。文獻(xiàn)[11]使用SURF提取特征點(diǎn)，漸進(jìn)采樣一致算法(progressive sample consensus，PROSAC)剔除誤匹配點(diǎn)對。文獻(xiàn)[12]利用快速近似最近鄰搜索算法實(shí)現(xiàn)高維向量空間中的快速匹配，采用改進(jìn)的PROSAC算法剔除誤匹配進(jìn)一步提高匹配正確率。

在道路、城市、校園等場景，由于光照不均勻和陰影等因素，會帶來圖像亮度的改變。雖然上述方法可以較準(zhǔn)確地提取圖像特征點(diǎn)并剔除誤匹配點(diǎn)對，但在圖像亮度改變時(shí)，現(xiàn)有方法的穩(wěn)定性不高、適應(yīng)能力差，并且提取的結(jié)果會出現(xiàn)大量重疊。針對這些缺陷本文對原始ORB算法進(jìn)行了改進(jìn)，采用自適應(yīng)閾值的FAST關(guān)鍵點(diǎn)提取算法，根據(jù)像素的亮度自動(dòng)設(shè)計(jì)、計(jì)算閾值，從而提高ORB特征點(diǎn)提取的精度。在特征點(diǎn)匹配階段，利用改進(jìn)ORB特征點(diǎn)的優(yōu)勢，在此基礎(chǔ)上使用PROSAC算法對改進(jìn)后的特征點(diǎn)進(jìn)行匹配，從而減少匹配過程的迭代次數(shù)。實(shí)驗(yàn)測試在KITTI數(shù)據(jù)集的城市、居民區(qū)、道路、校園等場景進(jìn)行，結(jié)果表明相較于傳統(tǒng)算法以及當(dāng)前相關(guān)類似算法，改進(jìn)ORB算法提取的特征點(diǎn)在亮度變化時(shí)的數(shù)量、重復(fù)率更加穩(wěn)定，耗時(shí)也得到了降低。在特征點(diǎn)對匹配階段，改進(jìn)ORB-PROSAC匹配算法減少了匹配階段耗時(shí)，降低了誤匹配點(diǎn)對數(shù)量，增加了正確匹配率。同時(shí)利用匹配得到的有效特征點(diǎn)對進(jìn)行了跟蹤測試，較小的均方根誤差(root mean squared error，RMSE)也間接反映了匹配的準(zhǔn)確性。

1 改進(jìn)后的ORB特征點(diǎn)提取與匹配

ORB的特征點(diǎn)檢測部分采用的是FAST關(guān)鍵點(diǎn)。FAST關(guān)鍵點(diǎn)是一種角點(diǎn)，與SIFT、SURF檢測相比，具有操作快速和計(jì)算量低的特點(diǎn)，在計(jì)算機(jī)視覺的角點(diǎn)檢測中被廣泛使用。圖1為FAST關(guān)鍵點(diǎn)示意圖，在圖像中為候選角點(diǎn)，亮度為I。圖1主要分析以為圓心，半徑為3的圓周上的16個(gè)像素點(diǎn)。

圖1 FAST關(guān)鍵點(diǎn)檢測示意圖

FAST關(guān)鍵點(diǎn)檢測如下[13]

其中，I為16個(gè)像素中第個(gè)像素的亮度；為固定閾值。當(dāng)S=時(shí)，該像素歸類至dark類；當(dāng)S=時(shí)，歸類至similar類；當(dāng)S=時(shí)，歸類至bright類。如果有9個(gè)連續(xù)的像素屬于dark或bright類，則可以被認(rèn)為是特征點(diǎn)(即FAST-9)[14]。當(dāng)圓周上有連續(xù)9個(gè)像素的亮度屬于dark或bright類，該像素為特征點(diǎn)，否則舍棄。在實(shí)際運(yùn)算中，為了檢測出連續(xù)9個(gè)符合條件的像素，需要從像素1~9，2~10，···，8~16范圍內(nèi)檢測。最理想情況需要計(jì)算9個(gè)像素亮度，最差則需要計(jì)算54個(gè)像素亮度。

由于FAST關(guān)鍵點(diǎn)不具備方向性，因此在ORB算法中添加了對旋轉(zhuǎn)的描述，實(shí)現(xiàn)的方法是給FAST點(diǎn)分配一個(gè)方向，使其成為具有方向性的FAST點(diǎn)(oriented-FAST，o-FAST)，方向性的計(jì)算是通過灰度質(zhì)心法實(shí)現(xiàn)的[15]。

1.1 基于改進(jìn)FAST的ORB特征點(diǎn)提取方法

FAST檢測中的閾值是人為設(shè)定的，設(shè)置為亮度的一定百分比。在傳統(tǒng)方法中，需將圓周上的所有像素點(diǎn)根據(jù)固定閾值與中心像素點(diǎn)比較，才能排除非特征點(diǎn)，計(jì)算量巨大。隨著光照的變化，視覺系統(tǒng)所采集的圖像亮度也會變化，特征點(diǎn)將出現(xiàn)誤提取和誤排除的現(xiàn)象。如果用固定全局或局部閾值，無法兼顧整幅圖像的各處，難以達(dá)到理想效果，故可以采用動(dòng)態(tài)局部閾值法：用自適應(yīng)閾值分割的思想，將圖像中每個(gè)像素設(shè)置為不同的閾值。選取方法是對每個(gè)像素定義閾值，即

其中，max為圓周上亮度最大的像素點(diǎn)的亮度；min為最低像素點(diǎn)的亮度；I為去掉max，min后剩余14個(gè)像素點(diǎn)亮度的平均值。由于max，min，I均不是固定值，因此是動(dòng)態(tài)局部閾值。

為了減少計(jì)算量，需對候選特征點(diǎn)進(jìn)行快速篩選，且不需要將圓周上所有像素點(diǎn)與中心像素點(diǎn)比較。方法如下：直接檢測圓周上第1，5，9，13個(gè)像素點(diǎn)的亮度(也可以選取2，6，10，14等，需間隔3個(gè)像素)。當(dāng)有3個(gè)像素同時(shí)屬于dark或bright類，則該像素點(diǎn)可能是候選點(diǎn)，否則直接排除。判斷3個(gè)像素為候選點(diǎn)后，檢測3個(gè)像素包圍環(huán)內(nèi)覆蓋的剩余6個(gè)像素亮度，若剩余6個(gè)像素點(diǎn)的亮度均屬于dark或bright類，則該點(diǎn)是正確特征點(diǎn)。

改進(jìn)FAST算法的ORB特征點(diǎn)提取流程圖如圖2所示。

圖2 改進(jìn)FAST算法的ORB特征點(diǎn)提取流程圖

1.2 基于改進(jìn)ORB特征點(diǎn)的PROSAC匹配

ORB特征點(diǎn)的準(zhǔn)確快速提取為特征點(diǎn)對的匹配打下了良好基礎(chǔ)。特征點(diǎn)對匹配可解決不同幀間的數(shù)據(jù)關(guān)聯(lián)問題。匹配過程中出現(xiàn)的欠匹配、誤匹配等情況，被稱為異常值。盡管這些異常值與所有特征點(diǎn)對總和相比不值得一提，但其會產(chǎn)生很多錯(cuò)誤，比如在雙目視覺中會降低左右兩幀圖像之間單應(yīng)性矩陣的精度，進(jìn)而影響雙目視覺系統(tǒng)的測量精度，對于初始位姿估計(jì)有很大影響，最終在整個(gè)運(yùn)動(dòng)中積累誤差。傳統(tǒng)的誤匹配去除方法有RANSAC、松弛迭代法、最小中值法以及基于視差的濾波算法，但在匹配中耗時(shí)巨大，精度不夠。本文利用基于改進(jìn)ORB特征點(diǎn)的PROSAC算法，即以O(shè)RB-PROSAC算法對誤匹配進(jìn)行改進(jìn)，保持系統(tǒng)的實(shí)時(shí)性。

PROSAC算法是在RANSAC算法基礎(chǔ)上進(jìn)行的改進(jìn)。RANSAC算法隨機(jī)抽取樣本，不考慮樣本之間的差異性，即優(yōu)良程度。在實(shí)際情況中，樣本內(nèi)點(diǎn)概率高、低不等。PROSAC假設(shè)采樣集合中正確的點(diǎn)集比錯(cuò)誤的數(shù)量多，即內(nèi)點(diǎn)數(shù)量大于外點(diǎn)數(shù)量。本文使用的改進(jìn)ORB算法本身內(nèi)點(diǎn)概率高，因此非常適合于PROSAC算法。PROSAC算法如下：

求特征點(diǎn)匹配對的最鄰近和次鄰近的漢明距離的比值，即

其中，為特征點(diǎn)的特征向量；為一幅圖中最鄰近點(diǎn)的特征向量；為一幅圖中次鄰近特征點(diǎn)的特征向量；為向量之間的距離。

匹配點(diǎn)與非匹配點(diǎn)的漢明距離有著明顯的不同，故設(shè)定0.7倍最大漢明距離為閾值。當(dāng)小于閾值時(shí)，對采樣點(diǎn)集合按照匹配質(zhì)量由優(yōu)到差排列。其中質(zhì)量函數(shù)為，如式(4)所示

改進(jìn)ORB-PROSAC算法匹配流程：

(1) 設(shè)置迭代初值和最大迭代次數(shù)。

(2) 判斷迭代次數(shù)是否大于最大迭代次數(shù)。若是，在未找到合適的數(shù)學(xué)模型時(shí)，給出提示；反之，進(jìn)行下一步。

(3) 對采樣點(diǎn)集合按匹配質(zhì)量降序排列，選取個(gè)質(zhì)量較高的數(shù)據(jù)。

(4) 從個(gè)數(shù)據(jù)中隨機(jī)選取個(gè)，計(jì)算模型參數(shù)，并計(jì)算用此模型參數(shù)得到的誤差小于內(nèi)點(diǎn)誤差閾值的數(shù)據(jù)數(shù)量，判斷數(shù)據(jù)數(shù)量是否大于設(shè)定的閾值，若是，返回內(nèi)點(diǎn)和模型參數(shù)；若不是，迭代次數(shù)加1，返回第(2)步。

由于改進(jìn)的ORB特征點(diǎn)提取算法對于特征點(diǎn)數(shù)目起到了良好的限制，便在很大程度上減少了改進(jìn)ORB-PROSAC匹配階段的迭代次數(shù)，從而降低耗時(shí)。

2 實(shí) 驗(yàn)

2.1 實(shí)驗(yàn)環(huán)境

ORB特征點(diǎn)提取實(shí)驗(yàn)在KITTI-raw數(shù)據(jù)集上進(jìn)行，KITTI是自動(dòng)駕駛汽車專用數(shù)據(jù)集，囊括了眾多傳感器對行車環(huán)境的采集數(shù)據(jù)，數(shù)據(jù)采集系統(tǒng)由4臺攝像機(jī)(2臺灰度，2臺彩色，可自由選擇使用灰度或彩色數(shù)據(jù))，一個(gè)Velodyne 3D激光雷達(dá)，4個(gè)光學(xué)鏡頭，以及1個(gè)GPS導(dǎo)航系統(tǒng)組成。其用于測試立體圖像、光流、視覺測距、3D物體檢測和3D跟蹤等。本文采用路徑為城市場景下的2011_09_28_drive_0016、道路場景下的2011_09_ 26_drive_0029、居民區(qū)場景下2011_09_26_drive_ 0046以及校園場景下的2011_09_28_drive_0105作為實(shí)驗(yàn)數(shù)據(jù)。測試環(huán)境設(shè)置為Windows 7，Inteli3- 4170，4 G RAM，matlab R2014a。設(shè)置原ORB算法程序中閾值threshold=40。經(jīng)實(shí)驗(yàn)，當(dāng)改進(jìn)ORB算法程序中自適應(yīng)參數(shù)取10%~30%時(shí)，特征點(diǎn)數(shù)量較多且出現(xiàn)了重疊、聚集。低于10%或高于30%時(shí)會造成判斷條件過大或過小，盡管此時(shí)特征點(diǎn)沒有重疊、聚集，但數(shù)量較少，無法準(zhǔn)確反映整幅圖像，故在以下實(shí)驗(yàn)中取=20%。為了使對比效果明顯，特征點(diǎn)提取階段不進(jìn)行非極大值抑制[15]，在匹配實(shí)驗(yàn)中再進(jìn)行非極大值抑制，匹配階段使用的實(shí)驗(yàn)圖像是可變基線雙目立體相機(jī)在室外拍攝的一幀左右目圖像。

2.2 特征點(diǎn)提取實(shí)驗(yàn)

測試在KITTI-raw數(shù)據(jù)集中的4個(gè)主要場景中進(jìn)行，實(shí)驗(yàn)結(jié)果如圖3所示。從圖3(a)可以看出，原方法在提取特征點(diǎn)時(shí)出現(xiàn)3處具有大量重疊特征點(diǎn)，分別為框出的樹干間空隙處、枝葉間空隙處及路面處，同時(shí)路面上車道標(biāo)識線也有特征點(diǎn)聚集。從圖3(b)可以看出，改進(jìn)后的方法提取的特征點(diǎn)數(shù)量明顯減少，幾乎沒有重疊特征點(diǎn)，且分布均勻，在一定程度上抑制了特征點(diǎn)的聚集。如圖3(c)所示，盡管原方法可以檢測到道路環(huán)境中的車道線，但是特征點(diǎn)聚集度過大，且遠(yuǎn)處車輛也未被有效檢測出來。使用改進(jìn)后方法可以準(zhǔn)確地檢測到居民區(qū)中的車道線、邊緣線和遠(yuǎn)處的車輛，如圖3(d)所示。圖3(e)為原方法提取的特征點(diǎn)出現(xiàn)了大量重疊，未檢測到居民區(qū)中的車輛，而圖3(f)為改進(jìn)方法可以均勻地檢測居住區(qū)中房屋和車輛的特征點(diǎn)。如圖3(g)和圖3(h)所示，改進(jìn)方法相較于原方法可以更加均勻地在校園環(huán)境中檢測到行人、車輛和車道線。

圖像亮度變化包括部分陰影、對比度的變化和整體圖像亮度變化。部分陰影和對比度的變化可以對連續(xù)幀數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，因?yàn)槠囆羞M(jìn)過程采集的連續(xù)幀數(shù)據(jù)包含了場景的變化，以及亮度陰影的變化，該實(shí)驗(yàn)在2.3節(jié)中進(jìn)行詳細(xì)描述。整體亮度變化可以通過人為改變整幅圖像亮度進(jìn)行模擬。

為了驗(yàn)證本文優(yōu)化后的ORB算法在整體亮度變化中具有一定的適應(yīng)能力，在城市場景的實(shí)驗(yàn)原圖基礎(chǔ)上人為分別增加和減少50%的亮度進(jìn)行模擬，如圖4和圖5所示。從圖5(a)可以看出，當(dāng)亮度減少50%后，改進(jìn)ORB算法特征點(diǎn)數(shù)量不僅未減少，反而出現(xiàn)了輕微增加，檢測范圍也擴(kuò)大，特征點(diǎn)分布均勻無重疊；而圖4(a)中，原ORB算法檢測的特征點(diǎn)在亮度減少50%后數(shù)量劇烈減少且含有大量重疊。同樣的，可以看到在亮度增加50%后，改進(jìn)ORB算法具有較高的準(zhǔn)確性。

圖4 亮度變化下原方法城市場景提取效果

2.3 特征點(diǎn)對匹配實(shí)驗(yàn)

對雙目相機(jī)在室外采集的圖像分別應(yīng)用本文算法、傳統(tǒng)ORB算法、SURF算法[16]、SURB算法[9]進(jìn)行測試。所有待匹配圖像特征點(diǎn)與其最鄰近點(diǎn)、次鄰近點(diǎn)漢明距離比值的閾值設(shè)置為0.7。

匹配結(jié)果如圖6所示，為了增加匹配結(jié)果的可視化效果，設(shè)黃色線段為正確匹配的線段，綠色線段為誤匹配線段。從圖6(a)可以看出，傳統(tǒng)ORB算法檢測范圍較廣，但誤匹配點(diǎn)對多，特征點(diǎn)聚集程度大；從圖6(b)可以看出，SURF算法只有1對誤匹配點(diǎn)對，正確匹配率極高，但檢測范圍太小，無法對整幅圖像進(jìn)行有效檢測；從圖6(c)可以看出，SURB算法相較于SURF算法，誤匹配點(diǎn)對增多，檢測范圍仍然有限；從圖6(d)可以看出，本文算法相較于SURF、SURB算法，擴(kuò)大了檢測范圍、對圖像各個(gè)區(qū)域都有良好的檢測，且沒有特征點(diǎn)對聚集。相較于傳統(tǒng)ORB算法，本文算法的誤匹配點(diǎn)對大大減少，特征點(diǎn)對重疊現(xiàn)象也得到了消除。

表1是不同算法組合時(shí)的特征點(diǎn)對匹配指標(biāo)結(jié)果數(shù)據(jù)。從表1結(jié)果可以看出：①在匹配階段，本文方法剔除誤匹配點(diǎn)對的時(shí)間只有48.8 ms，遠(yuǎn)遠(yuǎn)小于其他3種方法，這是因?yàn)楦倪M(jìn)的ORB特征點(diǎn)提取算法對于特征點(diǎn)數(shù)目進(jìn)行了篩選，大大節(jié)省了匹配階段的迭代時(shí)間；②本文方法的誤匹配點(diǎn)對只有7對，正確匹配率達(dá)到了89.8%，高于傳統(tǒng)ORB和SURB算法。盡管正確匹配率低于SURF算法，但是總耗時(shí)遠(yuǎn)遠(yuǎn)小于SURF算法，且從圖7可以看到，SURF算法的檢測范圍遠(yuǎn)不及本文算法。

表1 不同算法特征點(diǎn)對匹配結(jié)果對比

為了進(jìn)一步驗(yàn)證特征點(diǎn)對匹配效果的影響，使結(jié)果表達(dá)更加清晰，本文對特征點(diǎn)進(jìn)行了路徑跟蹤實(shí)驗(yàn)。因?yàn)楦檿r(shí)坐標(biāo)計(jì)算的前提即為匹配點(diǎn)對像素點(diǎn)對的坐標(biāo)，故特征點(diǎn)的跟蹤結(jié)果可以反映特征點(diǎn)匹配的效果。將本文方法與基于傳統(tǒng)ORB特征的方法和中值濾波+RANSAC方法進(jìn)行對比。

在KITTI原始數(shù)據(jù)集中對3種不同場景進(jìn)行測試，這些原始數(shù)據(jù)集由多幅包括行人和汽車等移動(dòng)對象的連續(xù)幀組成。住宅區(qū)路徑為：2011_09_26_ 0046，其包含125幀；道路區(qū)路徑為2011_09_26_ 0029，包含130幀；校園區(qū)路徑為2011_09_28_0105，包含106幀。以上每一組數(shù)據(jù)均是在車輛行進(jìn)中采集的，包含場景的逐漸改變，以及場景改變帶來的圖像陰影、對比度的改變。特征點(diǎn)提取階段，實(shí)驗(yàn)圖像亮度變化是通過人為改變圖像整體亮度進(jìn)行模擬的，而此處為實(shí)際應(yīng)用情況下的部分陰影、對比度變化。因此對上述3組數(shù)據(jù)的實(shí)驗(yàn)可以間接證明改進(jìn)ORB算法的魯棒性。

實(shí)際軌跡、本文算法的軌跡和其他軌跡的定性比較如圖7所示。表2是在KITTI原始數(shù)據(jù)集中不同場景中3種不同方法在3次執(zhí)行中的RMSE，RMSE在文中衡量的是模擬軌跡與真實(shí)軌跡的偏離程度，其值越大說明與真實(shí)軌跡偏離越遠(yuǎn)，反之貼合程度越近。從表2可以看出在居民區(qū)場景和校園場景的RMSE誤差均小于1.00 m，且低于傳統(tǒng)ORB特征的方法和中值濾波+RANSAC方法。在道路場景下RMSE誤差增加為2.21 m，低于其他同類算法，略大于其他2個(gè)場景下的誤差，這是由于所測試的道路場景面積較大，誤差積累所致。

表2 不同場景下的RMSE誤差對比

3 結(jié)束語

本文針對亮度變化下ORB特征點(diǎn)提取不穩(wěn)定、正確匹配率較低等問題，提出了一套特征點(diǎn)提取、匹配流程的方法。首先設(shè)計(jì)了一種基于自適應(yīng)閾值的ORB特征點(diǎn)提取算法，實(shí)現(xiàn)了亮度變化下室外場景圖像ORB特征點(diǎn)的穩(wěn)定、精確提取。其次利用改進(jìn)ORB特征點(diǎn)無聚集、數(shù)量少的優(yōu)勢，在匹配階段基于改進(jìn)ORB特征點(diǎn)的基礎(chǔ)上使用PROSAC算法來對改進(jìn)后的特征點(diǎn)進(jìn)行匹配，以減少迭代次數(shù)。

實(shí)驗(yàn)結(jié)果表明改進(jìn)ORB算法切實(shí)有效，提高了在不同場景下、不同光照變化下的穩(wěn)定性、魯棒性，能夠有效去除誤匹配點(diǎn)對、提高正確匹配率、減小RMSE誤差。整套特征點(diǎn)提取和匹配流程尤其適用于對系統(tǒng)速率和穩(wěn)定性要求高的場合。該研究對ORB-SLAM的環(huán)境感知，定位導(dǎo)航研究具有良好的實(shí)用價(jià)值。下一步工作是用視覺系統(tǒng)執(zhí)行所改進(jìn)的算法，完成運(yùn)動(dòng)位姿估計(jì)和地圖構(gòu)建。

[1] BAYRAKTAR E, BOYRAZ P. Analysis of feature detector and descriptor combinations with a localization experiment for various performance metrics[J]. Turkish Journal of Electrical Engineering & Computer Sciences, 2017, 25(3): 2444-2454.

[2] 劉國忠, 胡釗政. 基于SURF和ORB全局特征的快速閉環(huán)檢測[J]. 機(jī)器人, 2017, 39(1): 36-45. LIU G Z, HU Z Z. Fast loop closure detection based on holistic features from SURF and ORB[J]. Robot, 2017, 39(1): 36-45 (in Chinese).

[3] 柴江龍, 樊彥國, 王斌, 等. 尺度及主方向改正的ORB特征匹配算法[J]. 計(jì)算機(jī)工程與應(yīng)用, 2019, 55(13): 178-185. CHAI J L, FAN Y G, WANG B, et al. Improved ORB feature matching algorithm for scale and main orientation correction[J]. Computer Engineering and Applications, 2019, 55(13): 178-185 (in Chinese).

[4] ZHAO Q, FENG W, WAN L, et al. SPHORB: a fast and robust binary feature on the sphere[J]. International Journal of Computer Vision, 2015, 113(2): 143-159.

[5] 李兵, 劉磊, 魏志強(qiáng). 一種具有強(qiáng)實(shí)時(shí)性、強(qiáng)魯棒性的圖像匹配算法[J]. 軟件學(xué)報(bào), 2014, 25(7): 1583-1592. LI B, LIU L, WEI Z Q. A strong robust real-time image matching algorithm[J]. Journal of Software, 2014(7): 219-228 (in Chinese).

[6] 劉威, 趙文杰, 李成, 等. 基于改進(jìn)ORB特征匹配的運(yùn)動(dòng)小目標(biāo)檢測[J]. 光電工程, 2015, 42(10): 13-20. LIU W, ZHAO WJ, LI C, et al. Detecting small moving target based on the improved ORB feature matching[J]. Opto-Electronic Engineering, 2015, 42(10): 13-20 (in Chinese).

[7] QIN Y Y, XU H K, CHEN H R. Image feature points matching via improved ORB[C]//2014 IEEE International Conference on Progress in Informatics and Computing. New York: IEEE Press, 2014: 204-208.

[8] 童立靖, 劉博文. 基于投影圖像SURF特征提取的三維模型配準(zhǔn)[J]. 圖學(xué)學(xué)報(bào), 2018, 39(6): 1117-1122. TONG L J, LIU B W. 3D model registration based on SURF feature extraction of projection images[J]. Journal of Graphics, 2018, 39(6): 105-110 (in Chinese).

[9] 戴雪梅, 郎朗, 陳孟元. 基于改進(jìn)ORB的圖像特征點(diǎn)匹配研究[J]. 電子測量與儀器學(xué)報(bào), 2016, 30(2): 233-240. DAI X M, LANG L, CHEN M Y. Research of image feature point matching based on improved ORB algorithm[J]. Journal of Electronic Measurement and Instrumentation, 2016, 30(2): 233-240 (in Chinese).

[10] VINAY A, RAO A S, SHEKHAR V S, et al. Feature extractionusing ORB-RANSAC for face recognition[J]. Procedia Computer Science, 2015, 70: 174-184.

[11] 李倫. 基于PROSAC算法的室內(nèi)定位算法研究[D]. 哈爾濱: 哈爾濱工業(yè)大學(xué), 2018. LI L. Research on indoor localization based on PROSAC algorithm[D]. Harbin: Harbin Institute of Technology, 2018 (in Chinese).

[12] 張皖南, 楊學(xué)志, 董張玉. 一種改進(jìn)的SAR與可見光圖像的快速配準(zhǔn)算法[J]. 圖學(xué)學(xué)報(bào), 2018, 39(2): 209-213. ZHANG W N, YANG X Z, DONG Z Y. Registration between SAR and optical images based on an improved rapid algorithm[J]. Journal of Graphics, 2018, 39(2): 209-213 (in Chinese).

[13] HUANG J J, ZHOU G Q, ZHOU X, et al. A new FPGA architecture of FAST and BRIEF algorithm for on-board corner detection and matching[J]. Sensors, 2018, 18(4): 1014.

[14] ROSTEN E, DRUMMOND T. Machine learning for high-speed corner detection[M]//Computer Vision – ECCV 2006. Heidelberg: Springer, 2006: 430-443.

[15] ROSTEN E, PORTER R, DRUMMOND T. Faster and better: a machine learning approach to corner detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 32(1): 105-119.

[16] CHEON S H, EOM I K, MOON Y H. Fast descriptor extraction method for a SURF-based interest point[J]. Electronics Letters, 2016, 52(4): 274-275.

Image feature points extraction and matching method based on improved ORB algorithm

YANG Hong-fan, LI Hang, CHEN Kai-yang, LI Jia-qi, WANG Xiao-fei

(School of Mechatronics Engineering, Henan University of Science and Technology, Luoyang Henan 471003, China)

Thefixed threshold selection of traditional ORB algorithm results in many false extractions and mismatches, which cannot meet the requirements of accurate extraction and matching of different image feature points. To solve this problem, an improved ORB feature point extraction and matching method was proposed. Firstly,the local adaptive threshold was set up. Then, an adaptive threshold selection criterion was designed by classifying the pixels, and thus the precise extraction of ORB feature points was achieved. Finally, the PROSAC algorithm was used to complete the matching of feature points based on the improved ORB feature points. The experimental results indicate that the improved method has a high adaptability to variations in brightness, and both the calculation speed and extraction accuracy are greatly improved. The total matching time is reduced, the number of mismatches is less, and the accurate matching rate is increased, which indicates that this improved method is characterized with accuracy and real-time performance. In addition, the RMSE error obtained by tracking the feature points acquired at the matching stage is small, which demonstrates a significant improvement in matching accuracy. Compared with other existing methods, this method has better environmental adaptive capacity and application value.

feature point extraction; local adaptive threshold; repetition rate; point pairs matching; tracking

TP 391

10.11996/JG.j.2095-302X.2020040548

A

2095-302X(2020)04-0548-08

2020-02-06；

2020-03-13

13March，2020

6 February，2020；

國家重點(diǎn)研發(fā)計(jì)劃重點(diǎn)專項(xiàng)(2018YFB200502)；河南省科技攻關(guān)項(xiàng)目(182102110420)

National Key Research and Development Program (2018YFB200502); Key Science and Technology Program of Henan Province (182102110420)

楊弘凡(1994-)，男，河南洛陽人，碩士研究生。主要研究方向?yàn)橛?jì)算機(jī)視覺。E-mail：hongfan1017@sina.com

YANG Hong-fan (1994-), male, master student. His main research interest covers computer vision. E-mail：hongfan1017@sina.com