董 強(qiáng) 劉晶紅 王 超 周前飛

?

基于改進(jìn)BRISK的圖像拼接算法

董 強(qiáng)①②劉晶紅*①王 超③周前飛①②

①(中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所 長(zhǎng)春 130033)②(中國(guó)科學(xué)院大學(xué) 北京 100049)③(解放軍77110部隊(duì) 什邡 618400)

為了獲得精準(zhǔn)的航空拼接圖像，更好地解決圖像拼接中經(jīng)常出現(xiàn)的尺度變化、角度旋轉(zhuǎn)、光照差異以及傳統(tǒng)的BRISK(Binary Robust Invariant Scalable Keypoints)算法匹配正確率較低，圖像拼接精度低等問(wèn)題，該文提出一種全新的基于有向線段的BRISK特征的圖像拼接模型。首先，使用BRISK算法進(jìn)行圖像匹配，得到粗匹配點(diǎn)對(duì)，再構(gòu)造有向線段及其BRISK特征進(jìn)行鄰近線段匹配，通過(guò)概率統(tǒng)計(jì)模型進(jìn)行特征點(diǎn)的精匹配，最后進(jìn)行加權(quán)融合和亮度均衡化進(jìn)行圖像融合完成圖像拼接。實(shí)驗(yàn)結(jié)果表明，該文算法針對(duì)圖像的光照條件不同、角度旋轉(zhuǎn)、分辨率低、尺度變化等均有良好的魯棒性和穩(wěn)定性，該文算法是一種耗時(shí)短、精確度高、拼接效果良好的圖像拼接方法。

圖像配準(zhǔn)；圖像拼接；BRISK特征；鄰近線段

1 引言

近年來(lái)，隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展，圖像處理技術(shù)也得到空前的提升，作為其重要組成部分的圖像拼接已經(jīng)廣泛應(yīng)用于圖像壓縮、虛擬現(xiàn)實(shí)、醫(yī)學(xué)圖像處理等各領(lǐng)域。圖像拼接主要分為圖像預(yù)處理、圖像配準(zhǔn)和圖像融合3個(gè)步驟。

圖像配準(zhǔn)技術(shù)是圖像拼接的關(guān)鍵。其方法大體分為兩類(lèi)：基于灰度信息的配準(zhǔn)方法和基于特征的配準(zhǔn)方法?；诨叶鹊膱D像配準(zhǔn)方法較為簡(jiǎn)單，直接計(jì)算圖像間的灰度值關(guān)系來(lái)匹配圖像，這種方法雖然簡(jiǎn)單、易實(shí)現(xiàn)，但其穩(wěn)定性差，對(duì)光照變化敏感。相比之下，基于局部特征的方法具有良好的穩(wěn)定性，在克服圖像的光照、尺度、旋轉(zhuǎn)等變化上比基于灰度的方法有更好的魯棒性，是目前主流的圖像配準(zhǔn)方法。

SIFT(Scale Invariant Feature Transform)特征檢測(cè)算法是Lowe于1999年提出并在2004年完善的，該算法對(duì)于尺度縮放、平移旋轉(zhuǎn)、光照變化都具有良好的不變性，對(duì)于圖像的仿射變換及噪聲也具有一定的穩(wěn)定性，但其描述算子復(fù)雜，運(yùn)行時(shí)間過(guò)長(zhǎng)，很難滿足實(shí)時(shí)性要求。針對(duì)SIFT算法在低分辨率圖像中出現(xiàn)的誤匹配點(diǎn)對(duì)較多的問(wèn)題，文獻(xiàn)[12,13]引入一種有向線段匹配方法，能夠有效的提高SIFT的匹配正確率，但其增加了算法的復(fù)雜度，運(yùn)行時(shí)間較SIFT算法更長(zhǎng)。BRISK(Binary Robust Invariant Scalable Keypoints)算法解決了SIFT算法在實(shí)時(shí)性方面的不足，極大的提高了匹配速度，但相較于SIFT算法，該算法的魯棒性明顯降低，誤匹配率較高[14,15]。

兼顧配準(zhǔn)精度及運(yùn)行時(shí)間，本文引入一種有向線段BRISK特征的圖像配準(zhǔn)算法。該算法通過(guò)構(gòu)造有向線段BRISK特征的方法，充分利用圖像細(xì)節(jié)信息，對(duì)匹配點(diǎn)進(jìn)行精確定位，能夠有效剔除誤匹配點(diǎn)，提高配準(zhǔn)的準(zhǔn)確率和精度，同時(shí)，由于BRISK特征的提取匹配時(shí)間較短，本文增加的時(shí)間開(kāi)銷(xiāo)很少。實(shí)驗(yàn)表明本文算法匹配準(zhǔn)確率高于SIFT算法和BRISK算法，運(yùn)行時(shí)間遠(yuǎn)遠(yuǎn)小于SIFT算法，經(jīng)過(guò)本文算法獲得的遙感拼接圖像無(wú)明顯錯(cuò)位，拼接精度高。

2 BRISK算法

BRISK 算法主要包含3步：角點(diǎn)檢測(cè)、特征描述、特征匹配。首先，構(gòu)建尺度空間金字塔，并通過(guò)AGAST(Adaptiveand Generic Accelerated Segment Test)角點(diǎn)檢測(cè)算子提取連續(xù)尺度空間中亞像素級(jí)精度的穩(wěn)定極值點(diǎn)。然后，利用局部圖像鄰域內(nèi)隨機(jī)采樣點(diǎn)對(duì)的灰度大小關(guān)系來(lái)建立局部圖像的二值特征描述子。最后，采用漢明距離進(jìn)行特征匹配。

3 改進(jìn)BRISK算法

本文針對(duì)BRISK存在的問(wèn)題，對(duì)BRISK的匹配算法提出改進(jìn)，首先采用BRISK算法進(jìn)行基于特征的圖像匹配，在尋找到匹配點(diǎn)對(duì)后，利用匹配點(diǎn)建立有向線段和線段特征進(jìn)行鄰近線段匹配，采用概率統(tǒng)計(jì)方法精確尋找正確的匹配點(diǎn)對(duì)，提高匹配精度，增強(qiáng)算法的魯棒性和穩(wěn)定性。

3.1 構(gòu)造線段特征

3.2 鄰近線段匹配

本文構(gòu)造一種鄰近線段匹配模型，假定在參考圖像和待配準(zhǔn)圖像中構(gòu)造了條有向線段，表示為和。記：有向線段的特征描述為，有向線段的特征描述為。

因?yàn)楸疚牟捎镁仃囎鳛橛邢蚓€段的特征描述，故計(jì)算矩陣的F-范數(shù)進(jìn)行鄰近線段匹配，即：。得到長(zhǎng)度為的向量，對(duì)進(jìn)行歸一化，當(dāng)小于給定的閾值時(shí)，即為的鄰近線段。本文閾值取0.6。

3.3 特征點(diǎn)匹配

利用鄰近線段匹配準(zhǔn)則得到了有向線段的匹配，為了得到精確的拼接圖像，有必要得到更精確的匹配點(diǎn)。對(duì)于給定的兩幅圖像的匹配點(diǎn)和，使用統(tǒng)計(jì)模型來(lái)獲得匹配點(diǎn)的出現(xiàn)頻率，從而進(jìn)行點(diǎn)的匹配。

如果兩條有向線段匹配，那么這兩條線段的起點(diǎn)和終點(diǎn)是兩對(duì)匹配點(diǎn)。首先建立統(tǒng)計(jì)矩陣,的計(jì)算過(guò)程如下：

圖1 TP值對(duì)匹配的影響

利用經(jīng)典BRISK算法匹配圖像后，易產(chǎn)生大量誤匹配點(diǎn)對(duì)。本文通過(guò)構(gòu)造有向線段的方法，充分利用匹配點(diǎn)間的圖像信息，能夠有效地剔除誤匹配點(diǎn)對(duì)。如圖2所示，與是參考圖像與待配準(zhǔn)圖像中的3組匹配點(diǎn)對(duì)，其中，為一組誤匹配點(diǎn)對(duì)。分別在兩幅圖像中利用本文算法構(gòu)造有向線段,,和。,,分別為有向線段,,的中點(diǎn)，,,分別為有向線段的中點(diǎn)。由圖2可以看出與在圖像中的位置不同，像素點(diǎn)周?chē)膱D像信息差異較大，點(diǎn)在圖像中的位置一致，其周?chē)募y理信息相同。故以?xún)啥它c(diǎn)及中點(diǎn)的BRISK特征作為有向線段描述進(jìn)行鄰近線段匹配時(shí)，和能夠有效地進(jìn)行匹配，,和,由于特征差異較大，不能夠進(jìn)行匹配，從而誤匹配點(diǎn)對(duì)得以剔除。

圖2 誤匹配點(diǎn)剔除

4 圖像拼接及融合算法

在獲得兩幅圖像的精確匹配特征點(diǎn)對(duì)后，由式(4)圖像變換關(guān)系可以求解出變換矩陣，將待配準(zhǔn)圖像通過(guò)進(jìn)行變換后與參考圖像進(jìn)行疊加。

由于輸出圖像存在亮度等方面的差異，在完成圖像配準(zhǔn)疊加后，在得到的拼接圖像上一般會(huì)存在明顯的縫合線，不利于視覺(jué)觀察，本文可以采用加權(quán)平滑算法來(lái)實(shí)現(xiàn)兩幅圖像間的融合過(guò)渡[16]。融合方法如下：

式中，1為圖像1的非重合區(qū)域，3為圖像2的非重合區(qū)域，2為兩幅圖像的重疊區(qū)域，1和2分別為加權(quán)值，與重疊區(qū)域有關(guān)，并且：,,。在重疊區(qū)域，1由1平滑變到0,2由0平滑變到1，這樣就實(shí)現(xiàn)了兩幅圖像的融合。

5 實(shí)驗(yàn)結(jié)果及分析

本文基于改進(jìn)的BRISK算法圖像拼接流程如圖3所示。

針對(duì)本文提出的改進(jìn)BRISK算法，采用了大量圖像進(jìn)行實(shí)驗(yàn)，并將本文算法與BRISK算法、SIFT算法進(jìn)行比較，對(duì)其匹配性能和拼接精度進(jìn)行了定量評(píng)價(jià)與分析。

5.1 運(yùn)行環(huán)境

算法運(yùn)行環(huán)境為：CPU為Intel core i5, 3.20 GHz，內(nèi)存為4 GB的PC機(jī)，32位Win7操作系統(tǒng)，Matlab版本為Matlab 8.1.0.604(R2013a)。

5.2 評(píng)價(jià)指標(biāo)

本文采用3個(gè)參數(shù)對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行綜合評(píng)價(jià)。

(1)采用運(yùn)行時(shí)間對(duì)匹配速度進(jìn)行評(píng)價(jià)。

5.3 配準(zhǔn)性能評(píng)價(jià)

圖4為實(shí)驗(yàn)圖像，分別對(duì)本文算法的抗光照、抗旋轉(zhuǎn)、分辨率低、及抗尺度變化性能進(jìn)行測(cè)試，并且與BRISK算法和SIFT算法進(jìn)行對(duì)比。圖4中各圖像對(duì)大小為748×534像素、696×524像素、710×536像素、708×410像素。

表1給出使用BRISK算法、SIFT算法和本文算法對(duì)上述4組圖像進(jìn)行配準(zhǔn)實(shí)驗(yàn)的正確匹配點(diǎn)對(duì)數(shù)、匹配正確率及算法運(yùn)行時(shí)間。表2給出本文算法的各個(gè)步驟的耗時(shí)。

圖3 圖像拼接流程圖

圖4 測(cè)試圖像

表1 3種方法的匹配結(jié)果對(duì)比

表2 本文算法時(shí)間分析(s)

由表1比較可以看出，本文算法對(duì)圖像的光照變化、旋轉(zhuǎn)、分辨率低及尺度變化都有較強(qiáng)的魯棒性和穩(wěn)定性。相較與BRISK算法，雖然本文算法運(yùn)行時(shí)間略長(zhǎng)，但匹配正確率獲得極大的提高。相較與SIFT算法，本文算法獲取的匹配特征點(diǎn)數(shù)略少，但運(yùn)行時(shí)間大大減少，匹配正確率也有所提高。

由表2可以看出，本文算法相較與BRISK算法增加的時(shí)間消耗主要集中在有向線段的構(gòu)造與特征提取部分，且增加的時(shí)間與BRISK算法中的匹配點(diǎn)對(duì)數(shù)有關(guān)，增加的時(shí)間消耗與匹配點(diǎn)對(duì)數(shù)成二次方關(guān)系，這是因?yàn)樘崛〉挠邢蚓€段數(shù)為,為粗匹配點(diǎn)對(duì)數(shù)。雖然本文算法較BRISK算法用時(shí)增加，但精度大大提高，同時(shí)算法時(shí)間仍遠(yuǎn)遠(yuǎn)少于SIFT算法用時(shí)。

均衡時(shí)間與精度兩方面，本文算法較前兩種算法更具優(yōu)越性。

5.4 圖像拼接結(jié)果

分別不同的圖像配準(zhǔn)算法對(duì)圖像進(jìn)行拼接，放大拼接邊緣，拼接結(jié)果如圖5所示，圖5(a)、圖5(b)、圖5(c)分別為BRISK算法、SIFT算法、本文方法的拼接圖像，圖5(d)、圖5(e)、圖5(f)為上述3種方法的拼接邊緣放大圖像，即圖中標(biāo)注區(qū)域。由圖5(d)可以看出，BRISK算法拼接圖像精度最差，有明顯錯(cuò)位，由圖5(e)可以看出，SIFT算法拼接圖像精度良好，明顯錯(cuò)位較少，拼接精度較BRISK算法有很大提高，圖5(f)可以看出，本文算法無(wú)明顯的接縫，拼接精度較前兩種算法均有顯著提高。

圖5 圖像拼接比較

最后，針對(duì)兩圖像亮度差異產(chǎn)生的明顯接縫，采用如前所述的加權(quán)平滑算法對(duì)圖像進(jìn)行處理，得到亮度變化均勻，無(wú)明顯接縫，無(wú)鬼影，保真度高的拼接圖像，如圖6所示。

圖6 拼接圖像

6 結(jié)論

針對(duì)基于BRISK的拼接算法誤匹配率高、拼接精度低的問(wèn)題，本文提出一種全新的基于有向線段BRISK特征的圖像拼接方法，并與BRISK算法和SIFT算法進(jìn)行對(duì)比。首先利用BRISK算法進(jìn)行粗匹配，再利用匹配點(diǎn)構(gòu)造有向線段及其特征，采用鄰近線段匹配法及概率統(tǒng)計(jì)模型進(jìn)行特征點(diǎn)的精確匹配，最后利用加權(quán)融合算法和亮度均衡化實(shí)現(xiàn)圖像的融合拼接。實(shí)驗(yàn)結(jié)果表明，本文算法對(duì)于圖像拼接中經(jīng)常出現(xiàn)的光照強(qiáng)度差異、角度旋轉(zhuǎn)、分辨率低及尺度變化等問(wèn)題都具有較強(qiáng)的魯棒性和穩(wěn)定性。相較于BRISK算法，本文算法能夠有效地剔除誤匹配點(diǎn)，提高匹配正確率，為圖像拼接提供更為準(zhǔn)確的變換模型，因此，本文算法的拼接精度較BRISK算法更高。相較于SIFT算法，本文算法精度有所提高，但運(yùn)行時(shí)間大大減少。綜合權(quán)衡時(shí)間及精度兩方面，本文算法較上述兩種算法更具優(yōu)越性。綜上所述，本文提出了一種耗時(shí)短、精確度高、拼接效果良好的圖像拼接方法。

[1] GHOSH D and KAABOUCH N. A survey on image mosaicing techniques[J].&, 2015, 34(C): 1-11. doi: org/10.1016/ j.jvcir.2015.10.014.

[2] 張寶龍, 李洪蕊, 李丹, 等. 一種針對(duì)車(chē)載全景系統(tǒng)的圖像拼接算法的仿真[J]. 電子與信息學(xué)報(bào), 2015, 37(5): 1149-1153. doi: 10.11999/JEIT141185.

ZHANG Baolong, LI Hongrui, LI Dan,. A simulation of image mosaic algorithm based on vehicle panorama system[J].&, 2015, 37(5): 1149-1153. doi: 10.11999/JEIT141185.

[3] XIE X, XU Y, LIU Q,. A study on fast SIFT image mosaic algorithm based on compressed sensing and wavelet transform[J].&, 2015, 6(6): 835-843. doi: org/10.1007/s12652- 015-0319-2.

[4] 余先川, 呂中華, 胡丹. 遙感圖像配準(zhǔn)技術(shù)綜述[J]. 光學(xué)精密工程, 2013, 21(11): 2960-2972.doi: 10.3788/OPE.20132111. 2960.

YU Xianchuan, Lü Zhonghua, and HU Dan. Review of remote sensing image registration technique[J]., 2013, 21(11): 2960-2972. doi: 10.3788/ OPE.20132111.2960.

[5] AGHAJANI K, YOUSEFPOUR R, SHIRPOUR M,. Intensity based image registration by minimizing the complexity of weighted subtraction under illumination changes[J].&, 2016, 25: 35-45. doi: org/10.1016/j.bspc.2015.10.009.

[6] 趙春陽(yáng), 趙懷慈. 多模態(tài)魯棒的局部特征描述符[J]. 光學(xué)精密工程, 2015, 23(5): 1474-1483. doi: 10.3788/OPE.20152305. 1474.

ZHAO Chunyan and ZHAO Huaici. Multimodality robust local feature descriptors[J]., 2015, 23(5): 1474-1483. doi: 10.3788/OPE.20152305.1474.

[7] 顏雪軍, 趙春霞, 袁夏. 一種魯棒的基于圖像對(duì)比度的局部特征描述方法[J]. 電子與信息學(xué)報(bào), 2014, 36(4): 882-887. doi: 10.3724/SP.J.1146.2013.00846.

YAN Xuejun, ZHAO Chunxia, and YUAN Xia. A robust local feature descriptor based on image contrast[J].&, 2014, 36(4): 882-887. doi: 10.3724/SP.J.1146.2013.00846.

[8] WANG Weixing, CAO Ting, LIU Sheng,. Remote sensing image automatic registration on multi-scale harris- laplacian[J]., 2015, 43(3): 501-511. doi: org/10.1007/s12524-014-0432-2.

[9] LOWE D G. Object recognition from local scaleinvariant features[C]. Proceedings of the 7th International Conference on Computer Vision, Corfu, Greece, ICCV, 1999, 2: 1150-1157.

[10] LOWE D G. Distinctive image features from scale-invariant key points[J]., 2004, 60(2): 91-110.doi: org/10.1023/B:VISI.0000029664.99615.94.

[11] CALONDER M, LEPETIT V, STRECHA C,. BRIEF: Binary Robust Independent Elementary Features[C]. European Conference on Computer Vision, Springer Berlin Heidelberg, Germany, 2010: 778-792. doi: org/10.1007/ 978-3-642- 15561-1_56.

[12] LEUTENEGGER S, CHLI M, and SIEGWART R Y. BRISK: Binary Robust Invariant Scalable Keypoints[C]. International Conference on Compater Vision, Barcelona, Spain, 2011: 2548-2555. doi: org/10.1109/ICCV.2011.6126542.

[13] KASHIF M, DESERNO T M, HAAK D,. Feature description with SIFT, SURF, BRIEF, BRISK, or FREAK? A general question answered for bone age assessment[J]., 2015, 68: 67-75. doi: org/10.1016/j.compbiomed.2015.11.006.

[14] ZHU Jun and REN Mingwu. Image mosaic method based on SIFT features of line segment[J]., 2014, 2014(6): 926312.doi: org/10.1155/2014/926312.

[15] ZHAO Chunyang, ZHAO Huaici, Lü Jinfeng,. Multimodal image matching based on multimodality robust line segment descriptor[J]., 2016(177): 290-303. doi: org/10.1016/j.neucom.2015.11.025.

[16] 黃立勤, 陳財(cái)淦. 全景圖拼接中圖像融合算法的研究[J]. 電子與信息學(xué)報(bào), 2014, 36(6): 1292-1298. doi: 10.3724/SP.J.1146. 2013.01220.

HUANG Liqin and CHEN Caigan. Study on image fusion algorithm of panoramic image stitching[J].&, 2014, 36(6): 1292-1298.doi: 10.3724/SP.J.1146.2013.01220.

Image Mosaic Algorithm Based on Improved BRISK

DONG Qiang①②LIU Jinghong①WANG Chao③ZHOU Qianfei①②

①(,,,130033,)②(,100049,)③(77110’,618400,)

In order to obtain accurate aerial stitching images,this paper proposes a novel image mosaic method based on Binary Robust Invariant Scalable Keypoints (BRISK) feature of directed line segment, aiming to resolve incident scaling, rotation, changes in lighting condition, the low correct matching rate and low accuracy using conventional BRISK algorithm in image mosaic. This method firstly uses BRISK algorithm to match in order to acquire rough point matching. Secondly, it constructs directed line segments, describes them with BRISK feature, and matches those directed segments.The method is used to purified point matching based on statistical voting. Finally, weighted fusion and luminance equalization are used to image fusion to accomplish image mosaic. The experiment results show that the method has strong robustness and stability for lighting, rotation, resolution and scaling. The proposed method has high precision, and can achieve fine image mosaic results.

Image registration; Image mosaic;Binary Robust Invariant Scalable Keypoints (BRISK) feature; Nearest-neighbor line segments

TP7221

A

1009-5896(2017)02-0444-07

10.11999/JEIT160324

2016-04-05；改回日期：2016-10-11；

2016-12-02

劉晶紅 liu1577@126.com

吉林省重大科技攻關(guān)項(xiàng)目(11ZDGG001)，國(guó)家林業(yè)公益性行業(yè)科研專(zhuān)項(xiàng)(201204515)

The Key Science and Technology Project of Jilin Province (11ZDGG001), The Forestry Industry Scientific Research for National Public Welfare Projects (201204515)

董 強(qiáng)： 男，1989 年生，博士生，研究方向?yàn)檫b感圖像拼接技術(shù).

劉晶紅： 女，1967 年生，研究員，研究方向?yàn)闄C(jī)載光電成像測(cè)量設(shè)備.

王 超： 男，1983 年生，工程師，研究方向?yàn)闊o(wú)人機(jī)技術(shù).

周前飛： 男，1989 年生，博士生，研究方向?yàn)楹娇展怆姵上窕冃Ｕ夹g(shù).