李俊山，朱英宏，2朱藝娟，蘇光偉

(1．第二炮兵工程大學(xué)402室，陜西 西安710025;2．武警福建總隊(duì)廈門支隊(duì)，福建 廈門361000;3．武警福建總隊(duì)漳州支隊(duì)，福建漳州363100;4．武警工程大學(xué)電子技術(shù)系網(wǎng)絡(luò)與信息安全武警部隊(duì)重點(diǎn)實(shí)驗(yàn)室，陜西西安710086)

1 引言

相對(duì)于單一傳感器，多傳感器采集的信息具有更高的冗余性、互補(bǔ)性、可靠性。因此，基于多傳感器的圖像匹配、配準(zhǔn)、融合技術(shù)成為計(jì)算機(jī)視覺(jué)的研究熱點(diǎn)。作為常見(jiàn)的傳感器，可見(jiàn)光傳感器獲取的圖像具有高信噪比、細(xì)節(jié)信息豐富等優(yōu)點(diǎn);由于紅外線具有穿透能力強(qiáng)、輻射吸收范圍大、低可視性的特點(diǎn)，紅外傳感器獲取的圖像具有抗干擾能力強(qiáng)、全天候工作的優(yōu)點(diǎn)。因此，基于紅外與可見(jiàn)光匹配技術(shù)具有重要意義，且被廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)、搶險(xiǎn)救災(zāi)、反恐安防、軍事應(yīng)用等領(lǐng)域。

近年來(lái)，大量學(xué)者致力于圖像匹配技術(shù)的研究，提出了多種算法，文獻(xiàn)［1］～［3］均對(duì)此進(jìn)行了詳細(xì)的分析和綜述。由于成像機(jī)制不同，紅外與可見(jiàn)光圖像存在的差異主要體現(xiàn)在:①相同場(chǎng)景的紅外與可見(jiàn)光圖像灰度差異較大;②紅外圖像表現(xiàn)紋理信息較可見(jiàn)光圖像弱;③紅外圖像較可見(jiàn)光圖像具有對(duì)比度低、圖像模糊的特點(diǎn)。因此，常見(jiàn)的基于特征點(diǎn)匹配算法，如尺度不變特征變換(scale invariant feature transform，SIFT)［4］、局部二值模式(local binary pattern，LBP)［5］、SURF(speeded-up robust features)［6］等算法在紅外與可見(jiàn)光圖像的表現(xiàn)也差強(qiáng)人意。

2007 年，Shechtman 和 Irani［7］提出了一種基于自相似性(Self-Similarities)的目標(biāo)識(shí)別算法，該算法分別對(duì)模板和目標(biāo)圖像進(jìn)行平方差之和(sum of square differences，SSD)運(yùn)算，并以此構(gòu)造相關(guān)表面，再采用搜索策略實(shí)現(xiàn)目標(biāo)識(shí)別。該算法能夠在背景和目標(biāo)灰度出現(xiàn)較大差異、目標(biāo)出現(xiàn)變形的情況下實(shí)現(xiàn)目標(biāo)識(shí)別。該算法提出之后，很多學(xué)者對(duì)其進(jìn)行研究與改進(jìn)，提出一些基于Self-Similarities的目標(biāo)識(shí)別算法［8－9］。

鑒于自相似性算法在背景和目標(biāo)灰度與模板出現(xiàn)較大差異的情況下，仍然能夠?qū)崿F(xiàn)目標(biāo)識(shí)別的優(yōu)良特性。本文將對(duì)其進(jìn)行改進(jìn)，使其應(yīng)用于基于特征點(diǎn)的紅外與可見(jiàn)光圖像匹配算法。

2 基于平方和的圖像預(yù)處理

由于成像機(jī)制不同，紅外與可見(jiàn)光圖像表現(xiàn)形式各有特點(diǎn)，紅外圖像具有對(duì)比度低、噪聲高的特點(diǎn)，而可見(jiàn)光圖像具有對(duì)比度高、細(xì)節(jié)表現(xiàn)能力強(qiáng)的特點(diǎn)。如何有效地提高兩種圖像的相似度，是基于特征匹配算法的重要基礎(chǔ)。因此，本文對(duì)圖像I(x，y)中的每個(gè)像素點(diǎn)pp構(gòu)造一個(gè)5×5子區(qū)域。

通過(guò)計(jì)算pp與子區(qū)域中各像素點(diǎn)灰度值的平方和(sum of square，SS)可得pp的SS值，計(jì)算方法如下:

則圖像I(x，y)中各個(gè)像素點(diǎn)經(jīng)過(guò)SS計(jì)算之后，可得最后的預(yù)處理結(jié)果SSI，如圖1所示。

由圖1可以看出，由于紅外圖像具有高噪聲、低對(duì)比度的特點(diǎn)，因此，本文采用的5×5子區(qū)域分別對(duì)紅外與可見(jiàn)光圖像進(jìn)行平方和運(yùn)算，可有效抑制噪聲且提高對(duì)比度;同時(shí)，本文進(jìn)行的SS運(yùn)算可弱化可見(jiàn)光圖像對(duì)細(xì)小紋理的表現(xiàn)能力，一定程度上提高兩種圖像的相似度。為從兩種圖像中提取具有較高可重復(fù)率的特征點(diǎn)提供了必要的前提。

3 基于多尺度FAST－9的特征點(diǎn)提取

在對(duì)紅外與可見(jiàn)光圖像進(jìn)行SS預(yù)處理之后，需對(duì)兩種圖像進(jìn)行特征點(diǎn)提取。2006年，Rasten等［10］人提出了一種FAST－9角點(diǎn)檢測(cè)算法，基本思想是通過(guò)對(duì)比中心點(diǎn)與其由16個(gè)像素點(diǎn)組成的Brenham圓環(huán)的灰度值，當(dāng)中心點(diǎn)灰度值恒大于或恒小于圓環(huán)上連續(xù)的9個(gè)像素點(diǎn)灰度值時(shí)，該中心點(diǎn)即為角點(diǎn)。與上文提及的算法相比，F(xiàn)AST－9算法具有抗噪聲能力強(qiáng)、可重復(fù)率高、檢測(cè)速度快和檢測(cè)數(shù)量大的優(yōu)點(diǎn)［10］。然而，F(xiàn)AST－9為單尺度角點(diǎn)檢測(cè)算法。

因此，本文利用高斯函數(shù)G(x，y，σ)對(duì)預(yù)處理后的圖像SSI(x，y)進(jìn)行卷積，建立高斯尺度空間，其計(jì)算如下:

其中，SSI，σ(x，y)為圖像 SSI(x，y)的尺度空間;×為卷積操作;σ為尺度因子，σ的取值定義如下:

其中，o為每組的標(biāo)號(hào)，o={0，1，2};S為每一組中圖像的總層數(shù);S=3，s為每一層的標(biāo)號(hào)，s={1，2，3}。

由此構(gòu)造了一個(gè)3組3層的高斯金字塔，并在每個(gè)高斯金字塔圖層進(jìn)行FAST－9角點(diǎn)提取，使提取的角點(diǎn)具有尺度屬性。采用p(x，y，σp)表示角點(diǎn)，其中 x，y為角點(diǎn)坐標(biāo)，σp為角點(diǎn)所在的尺度空間。

4 基于相關(guān)平面的特征點(diǎn)描述子

4．1 特征點(diǎn)主方向構(gòu)成

經(jīng)多尺度FAST－9算法提取的角點(diǎn)即為本文的特征點(diǎn)。為使所構(gòu)造的描述子具有旋轉(zhuǎn)不變性，需為特征點(diǎn)確定主方向。在 SSI，σ(x，y)尺度空間上，選取給定特征點(diǎn)p(x，y，σp)的半徑為R=21個(gè)像素點(diǎn)的圓形鄰域，并將該圓形鄰域均分為36等份，統(tǒng)計(jì)36個(gè)扇形區(qū)域SS值的直方圖，該直方圖的峰值所在方向即為特征點(diǎn)的主方向。若存在大于該峰值80%的方向，則增加一個(gè)相同的特征點(diǎn)，將該方向定義為新增特征點(diǎn)的主方向，以此提高特征匹配時(shí)的魯棒性。

4．2 基于相關(guān)平面的特征點(diǎn)描述

在構(gòu)造特征點(diǎn)描述子時(shí)，為保證生成的描述子具有旋轉(zhuǎn)不變性，對(duì)于任意給定特征點(diǎn)p(x，y，σp)選取相應(yīng)的 41 ×41 矩形鄰域 SSp，σ(x，y)，假設(shè)特征點(diǎn)主方向?yàn)間L，沿gL方向順時(shí)針旋轉(zhuǎn)90°的方向?yàn)間⊥，建立新的坐標(biāo)系，如圖2所示。

圖2 特征點(diǎn)主方向

在提取特征點(diǎn)鄰域之后，需對(duì)特征點(diǎn)鄰域進(jìn)一步的處理，以構(gòu)造特征點(diǎn)描述子。

首先，求取矩形鄰域各像素點(diǎn)與特征點(diǎn)p(x，y，σp)的SS值之差，即為求取原始圖像I(x，y)的平方差之和(sum of square differences，SSD)，可得 SSp，σ(x，y)的平方差之和的圖像 SSDp，σ(x，y)。

然后，將矩形鄰域 SSDp，σ(x，y)進(jìn)行歸一化，通過(guò)公式(5)將其轉(zhuǎn)化為相關(guān)平面(Correlation Surface)CSp，σ(x，y):

其中，var(p)是以特征點(diǎn)為中心，半徑為1個(gè)像素點(diǎn)的鄰域中SSD最大值。特征點(diǎn)鄰域的相關(guān)平面如圖3(b)所示。

最后，以新建立的坐標(biāo)系為基礎(chǔ)，將相關(guān)平面CSp，σ(x，y)劃分為 100 個(gè)部分，其中將角度均分為20部分，距離均分為5部分，如圖3(c)所示。然后選取相關(guān)平面在這每個(gè)部分的最大值作為該部分的特征值，以此構(gòu)造出100維的特征點(diǎn)子鄰域的自相似性描述子。再將描述子進(jìn)行歸一化得到最終描述子des(p)。

圖3給出了一組紅外與可見(jiàn)光圖像特征點(diǎn)鄰域的相關(guān)平面與自相似性描述子的對(duì)比圖。從圖中可以看出，雖然兩種圖像原圖的灰度差異較大，但是經(jīng)過(guò)SSD運(yùn)算之后，生成的相關(guān)平面已有一定的相似性，再通過(guò)特征統(tǒng)計(jì)、描述子歸一化處理之后，兩種圖像特征點(diǎn)鄰域生成的描述子具有更高的相似度。

4．3 剔除不良描述子

通過(guò)上述相關(guān)平面理論構(gòu)造的描述子，可能存在不良描述子，需對(duì)不良描述子進(jìn)行剔除，以增強(qiáng)匹配的穩(wěn)定性。本文將不良描述子定義為:不包含足夠的結(jié)構(gòu)和紋理信息的描述子(即在100維的描述子中多數(shù)特征值都小于某個(gè)閾值)。因此，本文采用如下公式作為不良描述子的批判標(biāo)準(zhǔn)。

其中，num(des(p，i))為每個(gè)描述子中每一維的特征值小于閾值thre1的個(gè)數(shù);num(des(p))為描述子的維數(shù)。thre是不良描述子的批判標(biāo)準(zhǔn)，當(dāng)某描述子的比值大于thre時(shí)，即為不良描述子，將該描述子剔除。

4．4 描述子匹配

在剔除不良描述子之后，將采用匹配算法對(duì)描述子進(jìn)行匹配?；邳c(diǎn)特征的圖像匹配方法已經(jīng)有大量的研究，本文采用最近鄰算法(nearest neighbor，NN)進(jìn)行配準(zhǔn)，具體步驟為:計(jì)算描述子的歐式距離，最近鄰(NN)和第二近鄰(second-nearest neighbor，SCN)的距離之比(NN/SCN)作為相似性度量，設(shè)定閾值dist_rate，確定候選匹配點(diǎn)對(duì)。

5 實(shí)驗(yàn)結(jié)果與分析

為了證明本文算法的有效性，本文仿真實(shí)驗(yàn)的軟硬件環(huán)境為CPU Dual-Core 2．5 GHz，內(nèi)存2 GB，WindowsXP+SP3，Matlab 2010，仿真實(shí)驗(yàn)使用的圖像分辨率為320×240。

5．1 實(shí)驗(yàn)閾值設(shè)置

在剔除不良描述子時(shí)，需對(duì)thre1和thre兩個(gè)參數(shù)進(jìn)行設(shè)置，通過(guò)對(duì)這兩個(gè)參數(shù)數(shù)值的調(diào)整，對(duì)多組實(shí)驗(yàn)結(jié)果進(jìn)行統(tǒng)計(jì)，如圖4所示。從圖4可以看出，thre值在［0．05，0．5］區(qū)間由小變大的過(guò)程中，無(wú)論thre1的取值如何，正確匹配率隨之增長(zhǎng)，在thre=0．3之后，正確匹配率增長(zhǎng)幅度有所放緩。其中，當(dāng)thre=0．3 時(shí)，thre1=0．07 和 thre1=0．08 時(shí)均能取得較高的正確匹配率，且thre1=0．08的正確匹配率略高于 thre1=0．07，但是從實(shí)驗(yàn)結(jié)果可以看出，thre1=0．08具有較高正確匹配率的效果，是以犧牲正確匹配對(duì)數(shù)為前提的，因此，為了保持較高正確匹配率，保證較多的正確匹配對(duì)數(shù)，本文采用thre=0．3，thre1=0．07 來(lái)剔除不良描述子。

圖4 閾值設(shè)置

同時(shí)，通過(guò)對(duì)大量的對(duì)比實(shí)驗(yàn)的結(jié)果進(jìn)行分析，發(fā)現(xiàn)將最近鄰匹配算法的閾值dist_rate設(shè)置為0．65時(shí)，可得到較好的匹配效果。

5．2 實(shí)驗(yàn)結(jié)果分析

為證明本文算法的有效性，通過(guò)大量對(duì)比實(shí)驗(yàn)，圖5給出了一組對(duì)比實(shí)驗(yàn)結(jié)果圖。本文將誤差在2個(gè)像素點(diǎn)以內(nèi)的匹配點(diǎn)對(duì)認(rèn)為是正確匹配點(diǎn)對(duì)。從圖5(a)可以看出，雖然存在個(gè)別誤匹配點(diǎn)，本文算法在相同尺度和相同視角的紅外與可見(jiàn)光圖像匹配中具有較多的匹配對(duì)數(shù)及較高的正確匹配率。由于本文在構(gòu)造描述子時(shí)，將角度均分為20等份，距離均分為5等份，使得描述子提取的特征信息具有“中心密集，外圍稀疏”的特點(diǎn)，因此，從圖5(b)可以看出本文構(gòu)造的描述子在視角變換下具有一定的魯棒性。同時(shí)，本文算法計(jì)算了每個(gè)特征點(diǎn)的主方向，并以主方向選取特征點(diǎn)鄰域，以此構(gòu)造的描述子具有旋轉(zhuǎn)不變性，圖5(c)給出了本文算法在匹配圖像與待匹配圖像之間存在30°變換的實(shí)驗(yàn)結(jié)果，可以看出本文算法具有一定的旋轉(zhuǎn)不變性。在圖5(d)中，待匹配圖像的分辨率為256×192，由于本文構(gòu)造了3組3層的高斯金字塔對(duì)圖像進(jìn)行特征點(diǎn)提取，使得提取的特征點(diǎn)具有尺度屬性，從實(shí)驗(yàn)結(jié)果可以看出本文算法具有一定的尺度不變性。

圖5 本文算法的匹配結(jié)果

5．3 對(duì)比實(shí)驗(yàn)

基于特征點(diǎn)匹配領(lǐng)域，尺度不變特征變換(scale invariant feature transform，SIFT)以其優(yōu)良的匹配效果，已廣泛應(yīng)用于各個(gè)領(lǐng)域。Mikolajczyk［11］對(duì)10種基于特征點(diǎn)匹配算法的研究分析，指出SIFT算法的性能最為優(yōu)異。因此，本文通過(guò)SIFT算法對(duì)以上4組圖像進(jìn)行匹配運(yùn)算，結(jié)果如表1所示。由于采用的特征點(diǎn)提取算法及描述子構(gòu)造方法的不同，兩種算法匹配對(duì)數(shù)有所差異，本文將誤差在2個(gè)像素點(diǎn)以內(nèi)的匹配認(rèn)定為正確匹配，采用正確匹配率作為最終評(píng)價(jià)標(biāo)準(zhǔn)，由表1可以看出，本文算法與SIFT算法相比，具有較高的正確匹配率。

表1 本文算法與SIFT算法的對(duì)比實(shí)驗(yàn)

6 結(jié)論

針對(duì)紅外與可見(jiàn)光圖像匹配的難題，提出了一種基于自相似性的異源圖像點(diǎn)特征匹配算法。通過(guò)構(gòu)造多尺度FAST－9角點(diǎn)檢測(cè)算法進(jìn)行特征點(diǎn)提取;分析統(tǒng)計(jì)特征點(diǎn)鄰域的特征信息確定主方向;再對(duì)特征點(diǎn)鄰域進(jìn)行相關(guān)表面計(jì)算，統(tǒng)計(jì)并構(gòu)造自相似性描述子;最后采用最近鄰匹配算法進(jìn)行特征匹配。實(shí)驗(yàn)結(jié)果表明，本文算法可實(shí)現(xiàn)紅外與可見(jiàn)光圖像在視角、旋轉(zhuǎn)、尺度等變換的有效匹配。與SIFT算法相比，本文算法的正確匹配率較SIFT算法有明顯的提高。

［1］ Elizabeth A S．Matching methods for causal inference:A review and a look forward［J］．Pub Med Central，2010，25(1):1－21．

［2］ Stephen JC，Richard D T，Rade D P．Dental colormatching instruments and systems．Review of clinical and research aspects［J］．Journal of Dentistry，2010，38(2):2 －16．

［3］ Watson B，Yeo L，F(xiàn)riend J．A study on axial and torsional resonant mode matching for a mechanical system with complex non-linear geometries［J］．Review of Scientific Instruments，2010，81(6):1 －9．

［4］ Lowe D．Distinctive image features from scale-invariant keypoints［J］．International Journal of Computer Vision，2004，60(2):91 －110．

［5］ Ojala T P，Pietikainen M，Maenpaa T．Multiresolution gray-scale and rotation invariant texture classification with local binary patterns［J］．IEEE Trans on Pattern Analysis and Machine Intelligence，2002，24(7):971 －987．

［6］ Bay H，Tuytelaars T，Van Gool L．SURF:Speeded up robust features［C］//Proceedings of the 9thEuropean Conference on Computer Vision，Graz，Austria，ECCV，2006:404－417．

［7］ E Shechtman，M Irani．Matching local self-similarities across images and videos［C］//Proceedings of the Conference on Computer Vision and Pattern Recognition，Weizmann，IEEE，2007:1 －8．

［8］ Ken C，James P，Andrew Z．Efficient retrieval of deformable shape classes using local self-similarities［C］//Proceedings of the 12thInternational Conference on Computer Vision Workshops，Oxford，IEEE，2009:264 －271．

［9］ Selen A，et al．Wave interference for pattern description［J］．Lecture Notes in Computer Science，2011，6493:41－54．

［10］ Rosten E，Drummond T．Machine learning for high-speed corner detection［J］．Proceedings of the European Conference on Computer Vision，2006:430 －443．

［11］ Mikolajczyk K，Schmid C．A performance evaluation of local descriptors［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27(10):1615 －1630．