潘建平， 郝建明， 趙繼萍

(1.重慶交通大學(xué)土木建筑學(xué)院,重慶 400074； 2.國家測繪地理信息局第三地理信息制圖院，成都 610100； 3.國家測繪局重慶測繪院,重慶 400074)

基于SURF的圖像配準(zhǔn)改進(jìn)算法

潘建平1,3， 郝建明1,2， 趙繼萍1

(1.重慶交通大學(xué)土木建筑學(xué)院,重慶 400074； 2.國家測繪地理信息局第三地理信息制圖院，成都 610100； 3.國家測繪局重慶測繪院,重慶 400074)

針對傳統(tǒng)的加速魯棒性特征(speeded-up robust features,SURF)算法在圖像配準(zhǔn)中的應(yīng)用現(xiàn)狀，結(jié)合圖像分塊策略和相對距離理論，提出一種基于SURF的圖像配準(zhǔn)改進(jìn)算法。通過圖像分塊策略改善提取特征點(diǎn)分布的均勻性； 在SURF算法初匹配基礎(chǔ)上，引用相對距離理論剔除異常匹配點(diǎn)，從而提高特征點(diǎn)匹配的精度和可靠性。選取覆蓋重慶市沙坪壩實(shí)驗(yàn)區(qū)的QuickBird衛(wèi)星數(shù)據(jù)，以特征點(diǎn)正確匹配率和均方根誤差RMSE為量化指標(biāo)，對所提出的SURF改進(jìn)算法的圖像配準(zhǔn)效果進(jìn)行驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的SURF算法的特征點(diǎn)正確匹配率達(dá)到88%以上，高于傳統(tǒng)SURF算法的76%。通過相對距離剔除誤匹配點(diǎn)后，最終配準(zhǔn)結(jié)果的RMSE達(dá)到2.69個像元，符合圖像配準(zhǔn)的基本需求(RMSE在2個像元左右)，具有一定的應(yīng)用推廣價值。

加速魯棒性特征(SURF)； 分塊策略； 相對距離理論； 圖像配準(zhǔn)

0 引言

圖像配準(zhǔn)(image registration)是將不同時相(獲取時間)、不同傳感器(成像設(shè)備)或不同條件(天候、照度、攝像位置和角度)下獲取的2景或多景圖像進(jìn)行幾何匹配的過程。隨著信息技術(shù)的迅猛發(fā)展，傳統(tǒng)的基于灰度值和變換域的圖像配準(zhǔn)技術(shù)已難以滿足需要，基于影像特征的高精度圖像配準(zhǔn)方法已經(jīng)成為當(dāng)前圖像配準(zhǔn)技術(shù)的研究趨勢。近年來，國內(nèi)外涌現(xiàn)出了大量基于影像特征的圖像配準(zhǔn)方法研究，包括特征點(diǎn)、邊緣、區(qū)域和輪廓等[1-2]。特征點(diǎn)的提取相對容易，且不易受空間分辨率、光照條件等圖像變化的影響而被廣泛應(yīng)用。Lowe[3]提出了尺度不變特征變換(scale invariant feature transform,SIFT)算法，具有尺度、旋轉(zhuǎn)、亮度不變的特征。劉小軍等[4]針對不同傳感器圖像的配準(zhǔn)問題，將SIFT算法用于圖像配準(zhǔn)，具有仿射不變性，但檢測的特征點(diǎn)較少。張銳娟等[5]在研究SIFT算法的基礎(chǔ)上，提出了基于加速魯棒性特征(speeded-up robust features, SURF)的圖像配準(zhǔn)方法，具有比SIFT算法計算量小、配準(zhǔn)速度快的優(yōu)點(diǎn)。高素青等[6]針對虛擬場景中圖像配準(zhǔn)的效率問題，提出了一種改進(jìn)的SURF圖像配準(zhǔn)算法，對SURF算法檢測出的特征點(diǎn)進(jìn)行篩選，去除一些分布密集的點(diǎn)，在一定程度上提高了運(yùn)算效率，但無法保證匹配特征點(diǎn)的分布均勻性。綜合來說，目前基于影像特征的圖像配準(zhǔn)方法主要存在3個方面的問題亟待解決： ①配準(zhǔn)方法的普適性不強(qiáng)； ②特征點(diǎn)匹配時，特征點(diǎn)分布不均勻，導(dǎo)致局部配準(zhǔn)誤差較大； ③圖像配準(zhǔn)方法耗時多、復(fù)雜度高、配準(zhǔn)效率較低。基于上述情況，本文在研究傳統(tǒng)SURF圖像配準(zhǔn)算法的基礎(chǔ)上，將圖像的分塊策略和相對距離理論集成到SURF算子中，提出了一種基于SURF的圖像配準(zhǔn)改進(jìn)算法。該方法首先將待配準(zhǔn)的圖像分割成互不重疊的子塊； 然后利用SURF算法在所有子塊中提取特征點(diǎn)，并進(jìn)行特征點(diǎn)的初始匹配； 最后利用相對距離的基本理論去除其中的誤匹配點(diǎn)，在一定程度上保證了特征點(diǎn)分布的均勻性，同時能夠提高特征點(diǎn)匹配的精度和可靠性。并通過實(shí)驗(yàn)對所提出的SURF改進(jìn)算法的圖像配準(zhǔn)效果進(jìn)行了驗(yàn)證。

1 圖像配準(zhǔn)方法

1.1 改進(jìn)SURF算法

1.1.1 SURF算法原理

SURF算法是在SIFT算法的基礎(chǔ)上提出的一種快速魯棒特征提取的配準(zhǔn)算法[7]?；赟URF算法的圖像配準(zhǔn)主要包括圖像特征點(diǎn)提取、特征點(diǎn)匹配、去除誤匹配點(diǎn)、確定匹配模型和圖像重采樣4個方面[8-10]。而在利用傳統(tǒng)SURF算法進(jìn)行圖像配準(zhǔn)時，提取的特征點(diǎn)分布不均，會導(dǎo)致匹配的特征點(diǎn)出現(xiàn)局部集中現(xiàn)象，使圖像配準(zhǔn)誤差較大而影響整體配準(zhǔn)的精度。

1.1.2 基于SURF的圖像配準(zhǔn)改進(jìn)算法

本文將圖像的分塊策略和相對距離理論集成到SURF算法中，對傳統(tǒng)的基于SURF的圖像配準(zhǔn)算法進(jìn)行改進(jìn)，其具體流程如圖1所示。

圖1 基于SURF的圖像配準(zhǔn)改進(jìn)算法流程圖

1.1.2.1 特征點(diǎn)提取的改進(jìn)

圖像分塊策略主要用于圖像的壓縮編碼與分塊配準(zhǔn)，將各個子塊圖像分別與參考圖像進(jìn)行配準(zhǔn)[11]。在利用SURF算法提取特征點(diǎn)時，提取的特征點(diǎn)主要位于圖像中的角點(diǎn)、交叉點(diǎn)等特征明顯部位； 這些特征點(diǎn)在整景圖像中分布不均勻，因而影響圖像配準(zhǔn)的最終效果。本文在特征點(diǎn)提取之前先對圖像進(jìn)行分塊操作，將圖像分割成互不重疊的子塊； 然后利用SURF算法對所有子塊進(jìn)行特征點(diǎn)提取。采取這種方法提取出的特征點(diǎn)存在于每個子塊中特征較顯著的位置，能夠在一定程度上改善特征點(diǎn)分布的均勻性。

1.1.2.2 特征點(diǎn)匹配的改進(jìn)

特征點(diǎn)匹配是基于特征的圖像配準(zhǔn)的核心技術(shù)，其關(guān)鍵步驟就是尋找正確的匹配關(guān)系和排除錯誤的匹配關(guān)系。采用相對距離理論尋找特征點(diǎn)集的相對位置關(guān)系，可提高匹配點(diǎn)集之間的可靠性； 有的學(xué)者則采用連續(xù)相對定向的方法對SIFT算法誤匹配點(diǎn)集進(jìn)行剔除[12]。本文在上述研究基礎(chǔ)上，引入相對距離的基本理論，對改進(jìn)的SURF算法提取的初始匹配特征點(diǎn)集進(jìn)行誤匹配點(diǎn)剔除，確定出最理想的匹配特征點(diǎn)集，從而提高了圖像配準(zhǔn)的可靠性。使用的相對距離公式[7]為

(1)

式中：pi與mi分別為2景圖像各自的特征點(diǎn)；d為歐氏距離，d(pi,pj)=‖pi,pj‖；Np為其中1景圖像所有特征點(diǎn)的數(shù)量和；Nm為另1景圖像所有特征點(diǎn)的數(shù)量和。

1.2 精度評估標(biāo)準(zhǔn)

本文引用均方根誤差(root-mean-square error,RMSE)作為圖像配準(zhǔn)精度的評估標(biāo)準(zhǔn)。RMSE表示各個誤差平方和的平均值的開方，是一組觀測過程中各個觀測值的函數(shù)。它不取決于觀測中個別誤差的符號，對觀測值中較大者和較小者都比較敏感，是表示準(zhǔn)確度(或精度)的好方法。本文對圖像配準(zhǔn)產(chǎn)生的誤差采用RMSE[13]來描述，其定義為

(2)

式中：mi(i=1,2,3,4)，tx和ty均為實(shí)驗(yàn)過程中求得的幾何變換參數(shù)；x1i和y1i為第1景圖像中的特征點(diǎn)；x2i和y2i為第2景圖像中與第1景圖像相對應(yīng)的特征點(diǎn)。

2 圖像配準(zhǔn)實(shí)驗(yàn)

2.1 實(shí)驗(yàn)區(qū)與遙感數(shù)據(jù)概況

本文選取重慶市沙坪壩區(qū)為實(shí)驗(yàn)區(qū)。實(shí)驗(yàn)數(shù)據(jù)為QuickBird衛(wèi)星圖像，全色圖像分辨率為0.61 m； 多光譜圖像分辨率為2.44 m，擁有紅、綠、藍(lán)和近紅外4個波段。本文選用2004年和2009年獲取的QuickBird多光譜數(shù)據(jù)近紅外波段圖像，對改進(jìn)后SURF算法的圖像配準(zhǔn)結(jié)果進(jìn)行驗(yàn)證。所選用的圖像大小為400像元×500像元，圖像中包含道路、建筑物、耕地、植被、水域等典型地物，在進(jìn)行圖像配準(zhǔn)實(shí)驗(yàn)時具有較好的代表性。

2.2 實(shí)驗(yàn)結(jié)果與分析

2.2.1 特征點(diǎn)提取

在對遙感圖像進(jìn)行特征點(diǎn)提取時，分別采用傳統(tǒng)SURF算法與本文改進(jìn)后的SURF算法對2009年獲取的研究區(qū)的QuickBird圖像(圖2(a))進(jìn)行特征點(diǎn)提取，提取效果如圖2(b)(c)所示。

(a) 待配準(zhǔn)圖像 (b) 傳統(tǒng)SURF算法提取特征點(diǎn) (c) 改進(jìn)后SURF算法提取特征點(diǎn)

圖2 2種SURF算法特征點(diǎn)提取結(jié)果

Fig.2 Results of two kinds of SURF algorithm for feature point extraction

從圖2(c)中的特征點(diǎn)提取結(jié)果可以看出，本文改進(jìn)后的SURF算法提取的特征點(diǎn)分布較均勻且數(shù)量足夠多； 而傳統(tǒng)SURF算法提取的特征點(diǎn)(圖2(b))有局部集中的現(xiàn)象，并且提取的特征點(diǎn)較少，會影響后續(xù)圖像配準(zhǔn)的結(jié)果。所提取特征點(diǎn)的數(shù)量統(tǒng)計結(jié)果見表1。

表1 傳統(tǒng)與改進(jìn)SURF算法特征點(diǎn)提取數(shù)量對比

從表1可以看出，本文改進(jìn)后的SURF算法能夠提取出更多的特征點(diǎn)，且這些特征點(diǎn)分布在圖像的全局范圍內(nèi)； 在進(jìn)行圖像匹配時，能得到數(shù)量更多、分布更均勻的匹配特征點(diǎn)集，從而減少圖像配準(zhǔn)的局部誤差，提高配準(zhǔn)的精度和可靠性。

2.2.2 誤匹配點(diǎn)剔除

在特征點(diǎn)提取的基礎(chǔ)上，分別采用隨機(jī)采樣一致性(randon sample consensus,RANSAC)算法(圖3)和相對距離理論(圖4)對用傳統(tǒng)SURF算法得到的初始匹配點(diǎn)集剔除誤匹配點(diǎn)，并與本文改進(jìn)后SURF算法的誤匹配點(diǎn)剔除效果與匹配結(jié)果(圖5)進(jìn)行對比。

圖4 傳統(tǒng)SURF算法采用相對距離剔除誤匹配點(diǎn)

圖5 改進(jìn)后SURF算法特征點(diǎn)匹配結(jié)果

從圖3和圖4中的誤匹配點(diǎn)剔除效果可以看出，RANSAC算法檢測出6對誤匹配點(diǎn)，相對距離算法檢測出9對誤匹配點(diǎn)； 且RANSAC算法只能剔除較為明顯的誤匹配點(diǎn)，而采用相對距離理論能夠檢測出更多的誤匹配點(diǎn)，匹配效果較好。由圖4和圖5中特征點(diǎn)匹配結(jié)果可以看出，傳統(tǒng)SURF算法由于提取特征點(diǎn)的不均勻性，導(dǎo)致特征點(diǎn)匹配主要集中在圖像中特征較明顯的局部區(qū)域，且由相對距離基本理論檢測出來的誤匹配點(diǎn)較多。本文通過分塊策略改進(jìn)后的SURF算法匹配的特征點(diǎn)分布在圖像的全局范圍內(nèi)，且誤匹配點(diǎn)較少，匹配效果較好(圖5)。傳統(tǒng)與改進(jìn)SURF算法匹配結(jié)果對比見表2。表中傳統(tǒng)SURF算法的正確匹配率為76.31%，本文改進(jìn)后SURF算法的正確匹配率達(dá)88.37%，說明經(jīng)分塊策略改進(jìn)后的SURF算法匹配的特征點(diǎn)對較多、匹配精度較高。

表2 傳統(tǒng)與改進(jìn)SURF算法匹配結(jié)果對比

2.2.3 圖像配準(zhǔn)

在引用相對距離理論剔除誤匹配點(diǎn)的基礎(chǔ)上，分別采用傳統(tǒng)SURF算法和改進(jìn)后SURF算法，通過正確匹配的特征點(diǎn)集對圖像進(jìn)行配準(zhǔn)； 以RMSE的值為配準(zhǔn)精度衡量標(biāo)準(zhǔn)，最終配準(zhǔn)結(jié)果見表3。

表3 傳統(tǒng)和改進(jìn)后SURF算法的配準(zhǔn)結(jié)果對比

①m1,m2,tx,m3,m4和ty為圖像配準(zhǔn)模型的6個參數(shù)； ②T為配準(zhǔn)耗用的時間。

從表3中的最終配準(zhǔn)結(jié)果可以看出，傳統(tǒng)SURF算法的RMSE為6.762個像元，改進(jìn)后SURF算法的RMSE為2.690個像元，說明改進(jìn)后SURF算法使圖像配準(zhǔn)的精度和可靠度得到了提高； 從配準(zhǔn)耗用的時間T來看，改進(jìn)后SURF算法的配準(zhǔn)效率也得到了提高，從而證明了經(jīng)過分塊策略和相對距離理論改進(jìn)后的SURF算法在圖像配準(zhǔn)中具有一定的實(shí)用性。采用改進(jìn)后SURF算法對實(shí)驗(yàn)區(qū)遙感圖像的最終配準(zhǔn)結(jié)果如圖6所示。

(a) 待配準(zhǔn)圖像 (b) 參考圖像 (c) 改進(jìn)后SURF算法配準(zhǔn)結(jié)果

圖6 基于SURF的圖像配準(zhǔn)改進(jìn)算法配準(zhǔn)結(jié)果

Fig.6 Registration results of improved image registration algorithm based on SURF

3 結(jié)論

本文提出的基于SURF的圖像配準(zhǔn)改進(jìn)算法，結(jié)合了圖像分塊策略與相對距離理論，是對傳統(tǒng)SURF算法進(jìn)行圖像配準(zhǔn)的一種改進(jìn)。通過對比實(shí)驗(yàn)得出以下結(jié)論：

1)在對一景遙感圖像進(jìn)行特征點(diǎn)提取時，與傳統(tǒng)SURF算法相比，改進(jìn)后的SURF算法提取的特征點(diǎn)在圖像中分布更加均勻，具有更好的幾何匹配效果。

2)在剔除誤匹配點(diǎn)對時，使用傳統(tǒng)的RANSAC算法只能剔除比較明顯的誤匹配點(diǎn)對，而采用相對距離理論能夠更好地剔除誤匹配點(diǎn)對，從而提高遙感圖像配準(zhǔn)的精度。

3)改進(jìn)后的SURF算法的配準(zhǔn)精度和配準(zhǔn)效率都得到了提高，具有一定的實(shí)用價值。

因受實(shí)驗(yàn)數(shù)據(jù)的限制，本文提出的SURF改進(jìn)算法目前只針對QuickBird遙感圖像進(jìn)行了實(shí)驗(yàn)，對其他傳感器圖像的實(shí)驗(yàn)尚未開展，這將是下一步研究的重點(diǎn)。

[1] Harris C,Stephens M.A combined corner and edge detector[C]//Proceedings of the 4th Alvey Conference.Manchester,UK:[s.n.],1988:147-152.

[2] You J,Bhattacharya P.A wavelet-based coarse-to-fine image matching scheme in a parallel virtual machine environment[J].IEEE Transactions on Image Processing,2009,9(9):1547-1559.

[3] Lowe D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision,2004,60(2):91-110.

[4] 劉小軍,楊杰,孫堅偉,等.基于SIFT的圖像配準(zhǔn)方法[J].紅外與激光工程,2008,37(1):156-160. Liu X J,Yang J,Sun J W,et al.Image registration approach based on SIFT[J].Infrared and Laser Engineering,2008,37(1):156-160.

[5] 張銳娟,張建奇,楊翠,等.基于SURF的圖像配準(zhǔn)方法研究[J].紅外與激光工程,2009,38(1):160-165. Zhang R J,Zhang J Q,Yang C,et al.Image registration approach based on SURF[J].Infrared and Laser Engineering,2009,38(1):160-165.

[6] 高素青,譚勛軍,黃承夏.一種基于SURF的圖像配準(zhǔn)改進(jìn)算法[J].解放軍理工大學(xué)學(xué)報:自然科學(xué)版,2013,14(4):372-376. Gao S Q,Tan X J,Huang C X.Improved algorithm of image registration based on SURF[J].Journal of PLA University of Science and Technology:Natural Science Edition,2013,14(4):372-376.

[7] 劉朝霞,安居白,邵峰,等.航空遙感圖像配準(zhǔn)技術(shù)[M].北京:科學(xué)出版社,2014:1-54. Liu Z X,An J B,Shao F,et al.Aerial Remote Sensing Image Registration Technology[M].Beijing:Science Press,2014:1-54.

[8] 楊占龍.基于特征點(diǎn)的圖像配準(zhǔn)與拼接技術(shù)研究[D].西安:西安電子科技大學(xué),2008. Yang Z L.Research on Image Registration and Mosaic Based on Feature Point[D].Xi’an:Xidian University,2008.

[9] 陳超,秦其明,江濤,等.一種改進(jìn)的遙感圖像配準(zhǔn)方法[J].北京大學(xué)學(xué)報:自然科學(xué)版,2010,46(4):629-635. Chen C,Qin Q M,Jiang T,et al.An improved method for remote sensing image registration[J].Acta Scientiarum Naturalium Universitatis Pekinensis,2010,46(4):629-635.

[10]范大昭,任玉川,賈博,等.一種基于點(diǎn)特征的高精度圖像配準(zhǔn)方法[J].地理信息世界,2007(5):66-70. Fan D Z,Ren Y C,Jia B,et al.A high precision image registration method based on point features[J].Geomatics World,2007(5):66-70.

[11]龔詠喜,劉瑜,謝玉波,等.基于分塊-空間聚類的圖像配準(zhǔn)算法[J].計算機(jī)工程與應(yīng)用,2007,43(29):53-55. Gong Y X,Liu Y,Xie Y B,et al.Image registration algorithm based on blocking-spatial clustering[J].Computer Engineering and Applications,2007,43(29):53-55.

[12]孫彬,邊輝,王培忠.基于勢函數(shù)點(diǎn)分布調(diào)整的SIFT圖像配準(zhǔn)算法[J].國土資源遙感,2015,27(3):36-41.doi:10.6046/gtzyyg.2015.03.07. Sun B,Bian H,Wang P Z.Image registration algorithm based on SIFT and potential function adjusting location of points[J].Remote Sensing for Land and Resources,2015,27(3):36-41.doi:10.6046/gtzyyg.2015.03.07.

[13]李慧,藺啟忠,劉慶杰.基于FAST和SURF的遙感圖像自動配準(zhǔn)方法[J].國土資源遙感,2012,24(2):28-33.doi:10.6046/gtzyyg.2012.02.06. Li H,Lin Q Z,Liu Q J.An automatic registration method of remote sensing imagery based on FAST corner and SURF descriptor[J].Remote Sensing for Land and Resources,2012,24(2):28-33.doi:10.6046/gtzyyg.2012.02.06.

(責(zé)任編輯： 劉心季)

Improved algorithm based on SURF for image registration

PAN Jianping1,3， HAO Jianming1,2， ZHAO Jiping1

(1.CollegeofChongqingJiaotongUniversity,Chongqing400074，China； 2.TheThirdGeographicInformationMappingInstitute,TheStateBrreauofSurveyingandMapping,Chengdu610100,China; 3.SurveyingandMappingInstituteofChongqing，TheStateBureauofSurveyingandMapping，Chongqing400074，China)

In view of the study status of traditional speeded-up robust features (SURF)algorithm, an improved image registration algorithm based on SURF was proposed in combination with the image blocking strategies and the relative distance theory. The proposed algorithm can improve image uniformity of the feature distribution by image blocking strategy and increase the matching accuracy of the feature point through relative distance theory. With the quantitative indicators of correct feature point matching rate and RMSE, the authors selected the QuickBird satellite data of Shapingba District in Chongqing as the test area to verify the image registration results by using the improved algorithm based on SURF. The results show that the correct feature point matching rate of improved SURF algorithm reached 88%, higher than that of the traditional SURF algorithm (the rate is 76%). Excluding the mismatching points by relative distance, the RMSE of the final registration results reached 2.69 pixels. It meets the basic need of high-precision image registration(the RMSE is 2 pixels around), achieves the automation of remote sensing image registration and thus has some promotional value.

speeded-up robust features(SURF)； blocking strategy； relative distance theory； image registration

10.6046/gtzyyg.2017.01.17

潘建平,郝建明,趙繼萍.基于SURF的圖像配準(zhǔn)改進(jìn)算法[J].國土資源遙感,2017,29(1)：110-115.(Pan J P,Hao J M,Zhao J P.Improved algorithm based on SURF for image registration[J].Remote Sensing for Land and Resources,2017,29(1)：110-115.)

2015-06-25；

2015-07-19

重慶市國土資源與房屋管理局2010年科技計劃項(xiàng)目“面向土地利用分類體系的高分辨率遙感影像變化檢測應(yīng)用技術(shù)研究”(編號： [2011]51-01號)和國家測繪地理信息局2014年基礎(chǔ)測繪科技項(xiàng)目“面向地理國情監(jiān)測的信息化測繪生產(chǎn)技術(shù)升級改造”(編號： [2012]56號)共同資助。

潘建平(1976-),男，教授，博士,主要從事攝影測量與遙感等方面的研究。Email： 6370554@qq.com。

郝建明(1990-),男,碩士研究生,主要研究方向?yàn)?S信息處理與集成應(yīng)用。Email： jaminhoh@hotmail.com。

TP 751.1

A

1001-070X(2017)01-0110-06