王建永,常 偉

(火箭軍工程大學(xué) 士官學(xué)院,山東 青州 262500)

一種針對(duì)MSER區(qū)域的雙層匹配策略

王建永,常 偉

(火箭軍工程大學(xué) 士官學(xué)院,山東 青州 262500)

為了快速高效地采用圖像的最大穩(wěn)定極值區(qū)域(MSER)進(jìn)行圖像匹配，提出了一種針對(duì)歸一化MSER區(qū)域的雙層匹配策略。對(duì)于待匹配圖像的MSER區(qū)域進(jìn)行歸一化之后，采用互相關(guān)性進(jìn)行區(qū)域的粗匹配；再將候選匹配區(qū)劃分為4×4個(gè)子區(qū)域，計(jì)算對(duì)應(yīng)子區(qū)域的hausdorff距離，作為投票依據(jù)，根據(jù)投票多少從候選匹配對(duì)中選擇最優(yōu)匹配對(duì)作為最終的匹配結(jié)果。采用標(biāo)準(zhǔn)圖像庫及實(shí)拍紅外圖像進(jìn)行了2組實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，該方法能夠較好地完成圖像匹配任務(wù)。提出了一種針對(duì)MSER區(qū)域的雙層匹配策略，采用標(biāo)準(zhǔn)圖像庫及紅外實(shí)拍圖像進(jìn)行了匹配試驗(yàn)。實(shí)驗(yàn)結(jié)果表明，方法簡單高效，匹配效果較好。

最大穩(wěn)定極值區(qū)域；雙層匹配策略；互相關(guān)性；hausdorff距離；圖像識(shí)別

0 引言

圖像局部特征提取在圖像匹配，目標(biāo)檢測、跟蹤等方面有著重要應(yīng)用。局部特征檢測包括特征區(qū)域或特征點(diǎn)的檢測，對(duì)這些特征區(qū)域或特征點(diǎn)進(jìn)行描述，使其具有某些不變特征[1]。最常用的特征點(diǎn)提取算法為SIFT特征檢測，而區(qū)域檢測方法則有MSER[2]、Harris-Affine[3]、Hessien-Affine[4]、EBR、IBR[5]和Salient Region等。在比較了MSER、SIFT及其他檢測算法之后，結(jié)果顯示SIFT檢測平坦物體效果較好，而MSER對(duì)大多數(shù)物體均有較好的檢測效果[6-9]。K Mikolajczyk[10]等對(duì)上述5種常用的區(qū)域檢測方法進(jìn)行了比較分析，結(jié)果表明在區(qū)域檢測算子中，MSER檢測最為穩(wěn)定，效果也最為理想。

鑒于MSER區(qū)域在視角變換、光照變化和尺度縮放等畸變影響下的高穩(wěn)定性，利用MSER進(jìn)行圖像匹配、目標(biāo)識(shí)別等任務(wù)一直是一項(xiàng)重要的選擇[11]。如何實(shí)現(xiàn)對(duì)應(yīng)2幅圖像中MSER區(qū)域的匹配，常用方法是為MSER添加描述，常見的描述方法有SIFT[12-13]、GLOH[14]等利用局部梯度信息進(jìn)行特征描述，以及利用局部灰度信息對(duì)鄰域紋理特征進(jìn)行描述的局部二值模式[15](Local Binary Patterns，LBP)。文獻(xiàn)[16]中提出了一種多尺度自卷積熵的新型描述符，將其與多尺度自卷積進(jìn)行融合作為MSER的描述。上述提到的幾種描述方法計(jì)算相對(duì)復(fù)雜，本文提出了一種雙層匹配方法，首先利用2幅圖像MSER區(qū)域之間的互相關(guān)性進(jìn)行粗匹配，然后將區(qū)域進(jìn)行分塊，塊與塊之間采用hausdorff距離進(jìn)行投票，最終確定匹配結(jié)果。實(shí)驗(yàn)結(jié)果表明，本文方法原理簡單，匹配效果較好。

1 最大穩(wěn)定極值區(qū)域MSER

最大極值穩(wěn)定區(qū)域使用地形中分水嶺的概念來求解穩(wěn)定局部區(qū)域。在求取MSER的原理中有以下定義：

① 圖像I是一個(gè)區(qū)域D到灰度S的映射：D?Z2→S，對(duì)于灰度圖像，S={0,1,…,255};

② 鄰域關(guān)系A(chǔ)?D×D;

③ 區(qū)域Q是D的一個(gè)連通子集；

④ 區(qū)域邊界?Q不屬于區(qū)域Q，但區(qū)域Q中至少存在一個(gè)像元與其構(gòu)成鄰接關(guān)系；

⑤ 極值區(qū)域Q?D，對(duì)于所有p∈Q，q∈?Q：I(p)>I(q)(最大極值區(qū)域)或I(p)

如果Q1,…Qi-1,Qi,…為一系列相互包含的極值區(qū)域，即Qi?Qi+1。若極值區(qū)域Qi*為最大極值區(qū)域，當(dāng)且僅當(dāng)區(qū)域變化率q(i)=|Qi+Δ-Qi-Δ|/Qi在灰度值i*處取得局部極小值，|·|表示區(qū)域面積，Δ∈S，為微小的灰度變化。

由上面幾個(gè)定義可知，MSER即是指在某個(gè)灰度閾值i的時(shí)候，區(qū)域內(nèi)像元數(shù)量變化最小的區(qū)域。

直接提取的MSER區(qū)域?yàn)椴灰?guī)則區(qū)域，需進(jìn)行歸一化[18-19]，將不規(guī)則區(qū)域擬合為橢圓，再仿射歸一化為圓形區(qū)域。在歸一化區(qū)域內(nèi)進(jìn)行圖像梯度直方圖統(tǒng)計(jì)，找出直方圖最大值，將其對(duì)應(yīng)的方向作為歸一化圖像梯度的主方向。根據(jù)主方向?qū)w一化圖像進(jìn)行旋轉(zhuǎn)歸一化，以消除仿射變換等畸變影響對(duì)提取區(qū)域的影響。

2 雙層匹配策略

提取MSER區(qū)域之后，就是對(duì)區(qū)域進(jìn)行匹配，為圖像匹配、目標(biāo)識(shí)別等做準(zhǔn)備。MSER區(qū)域相對(duì)于圖像來說尺寸較小，怎樣充分利用這些圖像信息是影響匹配效果的關(guān)鍵。互相關(guān)性在早期模板匹配中有較好的應(yīng)用，但是不能抗旋轉(zhuǎn)等畸變影響，而歸一化后的MSER區(qū)域原理上可以消除扭曲變形、尺度大小和旋轉(zhuǎn)方向上的差異，針對(duì)MSER區(qū)域這一優(yōu)點(diǎn)，引入?yún)^(qū)域之間的互相關(guān)性指標(biāo)，基于此本文提出了一種雙層匹配方法，首先利用2幅圖像歸一化后的MSER區(qū)域之間的互相關(guān)性進(jìn)行粗匹配，然后將區(qū)域進(jìn)行分塊，塊與塊之間采用hausdorff距離進(jìn)行投票，最終確定匹配結(jié)果。

2個(gè)區(qū)域之間的互相關(guān)性指標(biāo)可以通過下式計(jì)算：

(1)

式中，MSERm(i,j)，MSERn(i,j)分別代表2幅圖像中的MSER區(qū)域的灰度值。當(dāng)區(qū)域灰度信息區(qū)別明顯時(shí)，直接采用相關(guān)性指標(biāo)，當(dāng)corr大于設(shè)置的閾值時(shí)即表示實(shí)現(xiàn)了正確匹配，但灰度信息接近時(shí)則會(huì)出現(xiàn)一對(duì)多或多對(duì)一的情況，以致出現(xiàn)誤匹配。

為從這些錯(cuò)誤的匹配情況中提取出正確的匹配對(duì)，本文設(shè)計(jì)了一種精匹配的思路。以圖1為例，圖1(a)為基準(zhǔn)圖，圖1(b)和圖1(c)均為經(jīng)粗匹配得到的候選匹配圖像，現(xiàn)將每個(gè)區(qū)域分為4×4個(gè)子區(qū)域，如A={Apatch1,Apatch2,…,Apatch16}，B={Bpatch1,Bpatch2,…,Bpatch16}，各子區(qū)域之間的hausdorff距離[17]可通過下式計(jì)算得到：

hausdorff(A,B)=max(dh(A,B),dh(B,A))，

(2)

(a) 基準(zhǔn)圖 (b) 匹配圖 (c) 匹配圖圖1 精匹配中的子區(qū)域劃分

雙層匹配策略實(shí)現(xiàn)的具體步驟如下：

① 提取待匹配圖像的MSER區(qū)域;

② 計(jì)算區(qū)域之間的互相關(guān)性，若corri>th1且corrmax/corrnext>th2，則為正確匹配區(qū)域；若corri>th1且corrmax/corrnext

③ 對(duì)步驟②中得到的候選匹配對(duì)進(jìn)行處理。將MSER區(qū)域分別劃分為4×4個(gè)子區(qū)域，計(jì)算對(duì)應(yīng)子區(qū)域之間的hausdorff距離，若hdi>th3，則投一次票;

④ 統(tǒng)計(jì)得票情況，得票最多的匹配對(duì)即為最終的匹配結(jié)果。

其中corrmax代表相關(guān)性最大的區(qū)域?qū)?，corrnext代表相關(guān)性次大的區(qū)域?qū)?，th1～th3代表3個(gè)閾值。

以圖1為例，圖1中(a)應(yīng)與圖1(b)匹配，但是與圖1(c)出現(xiàn)了誤匹配，corrab=0.992 2，corrac=0.995 2。利用投票策略后，得到的票數(shù)分別為voteab=9，voteac=4，進(jìn)而排除圖1(a)和圖1(c)組合，得到正確的匹配結(jié)果圖1(a)和圖1(b)。

3 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證算法的有效性，本文設(shè)計(jì)了2個(gè)實(shí)驗(yàn)。試驗(yàn)1采用哥倫比亞大學(xué)coil-100標(biāo)準(zhǔn)圖像庫[20]。coil-100標(biāo)準(zhǔn)圖像庫包含了7 200幅圖像(100個(gè)物體，每個(gè)物體旋轉(zhuǎn)5°拍攝一張圖像，共拍72張，大小為128×128)，本文選擇第14個(gè)物體圖像作為實(shí)驗(yàn)的數(shù)據(jù)集。采用文獻(xiàn)[4]中的實(shí)驗(yàn)方法，以下面7幅中均檢測出的區(qū)域作為匹配對(duì)象，將相同位置處區(qū)域劃分為一類，如左眼作為一類，得到7類區(qū)域，每一類包括6個(gè)區(qū)域。以0°圖像為準(zhǔn)對(duì)6幅圖像進(jìn)行匹配，試驗(yàn)中設(shè)th1=0.9，th2=1.006，th3=5，識(shí)別率為85.71%，如圖2所示。

圖2 實(shí)驗(yàn)1中所用的圖像及提取的MSER區(qū)域

利用本文方法的匹配結(jié)果如圖3所示。由圖3可以看出，旋轉(zhuǎn)角度較小時(shí)(±30°以下)；匹配區(qū)域連線接近于平行，當(dāng)出現(xiàn)大角度旋轉(zhuǎn)時(shí)(±30°以上)，匹配區(qū)域連線會(huì)出現(xiàn)交叉。在以往的匹配結(jié)果處理中，常采用RANSAC消除誤匹配，而對(duì)于實(shí)驗(yàn)1中的情況，RANSAC將會(huì)消除過多的正確匹配區(qū)域。實(shí)驗(yàn)1中沒有采用RANSAC消除誤匹配，而是直接顯示的采用雙層匹配策略得到的正確匹配結(jié)果。

實(shí)驗(yàn)2利用M3制冷型紅外熱像儀拍攝了一組序列圖像，該序列圖像為某發(fā)電廠周圍區(qū)域，使用本方法得到的匹配結(jié)果如圖4所示。從匹配結(jié)果可以看出，在序列圖出現(xiàn)平移、旋轉(zhuǎn)等畸變時(shí)，本文算法仍能準(zhǔn)確進(jìn)行匹配。

圖3 實(shí)驗(yàn)1匹配結(jié)果

圖4 實(shí)驗(yàn)2匹配結(jié)果

4 結(jié)束語

本文提出了利用MSER區(qū)域進(jìn)行匹配識(shí)別的雙層匹配策略，并且采用coil-100標(biāo)準(zhǔn)圖像庫及紅外實(shí)拍圖像進(jìn)行了2組匹配試驗(yàn)，得到了較好的匹配效果。本文針對(duì)描述子生成較復(fù)雜的問題，提出了針對(duì)歸一化MSER區(qū)域的雙層匹配策略：利用互相關(guān)性進(jìn)行粗匹配，將候選區(qū)域進(jìn)行分塊，采用hausdorff距離進(jìn)行投票，最終確定正確匹配區(qū)域。本文提出的雙層匹配策略計(jì)算量小，易于實(shí)現(xiàn)，在實(shí)拍圖像的匹配識(shí)別中體現(xiàn)出較好的匹配結(jié)果。

[1] 吳偉平.局部仿射不變特征的提取技術(shù)研究[D].中國科學(xué)院研究生院(長春光學(xué)精密機(jī)械與物理研究所),2015.

[2] MIKOLAJCZYK K,SCHMID C.Scale & Affine Invariant Interest Point Detectors[J].International Journal of Computer vision,2004,60(1):63-86.

[3] MIKOLAJCZYK K,SCHMID C.An Affine Invariant Interest Point Detector[C]∥Computer Vision—ECCV 2002.Springer Berlin Heidelberg,2002:128-142.

[4] MATAS J,CHUM O,URBAN M,et al.Robust Wide-baseline Stereo from Maximally Stable Extremal Regions[J].Image and vision computing,2004,22(10):761-767.

[5] TUYTELAARS T,GOOL V L.Matching Widely Separated Views Based on Affine Invariant Regions[J].International journal of Computer Vision,2004,59(1):61-85.

[6] KIMMEL R,ZHANG C,BRONSTEIN A M,et al.Are MSER Features Really Interesting?[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2011,33(11):2316-2320.

[7] 廉藺,李國輝,王海濤,等.基于MSER的紅外與可見光圖像關(guān)聯(lián)特征提取算法[J].電子與信息學(xué)報(bào),2011(7):1625-1631.

[8] 柳濤.多通道圖像MSER局部不變特征提取算法研究[D].長沙：國防科學(xué)技術(shù)大學(xué),2010.

[9] 程丹,范洪冬,鄧喀中,等.基于MSER的SAR影像配準(zhǔn)算法[J].測繪通報(bào),2014(12):28-31.

[10] MIKOLAJCZYK K,TUYTELAARS T,SCHMID C,et al.A Comparison of Affine Region Detectors[J].International Journal of Computer Vision,2005,65(1-2):43-72.

[11] 萬文寅.最大穩(wěn)定極值區(qū)域應(yīng)用研究[D].西安：西安電子科技大學(xué),2011.

[12] 杜玉龍,李建增,張巖,等.基于MSER與SIFT融合的多通道圖像匹配算法研究[J].軍械工程學(xué)院學(xué)報(bào),2016(1):52-58.

[13] 王帥,孫偉,姜樹明,等.基于旋轉(zhuǎn)不變特征的SIFT描述子在圖像配準(zhǔn)中的應(yīng)用[J].計(jì)算機(jī)應(yīng)用,2014(9):2678-2682.

[14] MIKOLAJCZYK K,SCHMID C.A Performance Evaluation of Local Descriptors[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2005,27(10):1615-1630.

[15] 韓田甜,李航,張濤.基于改進(jìn)HOG-LBP特征的行人檢測[J].信息工程大學(xué)學(xué)報(bào),2016(3):298-302.

[16] 張潔玉,陳強(qiáng),白小晶,等.一種新的局部仿射不變特征描述符[J].光電子·激光,2009,11(20):1503-1506.

[17] DUBUISSON M P,JAIN A K.A Modified Hausdorff Distance for Object Matching[J].Pattern Recognition,1994.Vol.1-Conference A:Computer Vision & Image Processing,Proceedings of the 12th IAPR International Conference on.IEEE,1994,1:566-568.

[18] PEI S C,LIN C N.Image Normalization for Pattern Recognition[J].Image and Vision Computing,1995,13(10):711-723.

[19] LEU J G.Shape Normalization through Compacting[J].Pattern Recognition Letters,1989,10(4):243-250.

[20] Columbia University.Coil-100 imagedatabase[EB/OL].http:∥www.cs.columbia.edu/CAVE/software/softlib/coil-100.php

ATwo-stepMatchingStrategyforMSERs

WANG Jian-yong,CHANG Wei

(RocketForceUniversityofEngineering,QingzhouShandong262500,China)

To quickly and efficiently conducting the image matching task using the Maximally Stable Extremal Regions(MSER),this paper presents a novaltwo-step matching strategy for the normalized MSER regions.After the MSER regions extracted from images to be matched are normalized,the coarse matching is performed by using cross correlation;the candidate regions are divided into 4×4sub-regions,the hausdorff distance of the corresponding sub-regions is calculated,and the results are used as the voting basis.Depending on the voting results,the best matching pairs are chosen from the candidates as the final matches.The two experiments are conducted by using standard image database and real infrared images respectively.The experimental results show that the proposed method can better complete the image matching task.This paper presents a two-step matching strategy for MSER regions,and the two matching experiments are conducted by using standard image database and infrared images respectively.The results show that this method is simple and efficient,and has better matching effect.

MSER;two-step matching strategy;cross correlation;hausdorff distance;image recognition

10.3969/j.issn.1003-3106.2017.10.15

王建永,常偉.一種針對(duì)MSER區(qū)域的雙層匹配策略[J].無線電工程,2017,47(10):68-72.[WANG Jianyong,CHANG Wei.A Two-step Matching Strategy for MSERs[J].Radio Engineering,2017,47(10):68-72.]

TP391.4

A

1003-3106(2017)10-0068-05

2017-07-05

王建永男,(1989—),碩士，助教。主要研究方向：測試與控制技術(shù)。常偉男，(1985—)，碩士，助教。主要研究方向：測試與控制技術(shù)。