蔡天旺， 付 勝

(1.北京工業(yè)大學(xué)，北京 100022； 2.三亞學(xué)院，海南 三亞 572022)

圖像配準(zhǔn)是圖像處理領(lǐng)域中的重要環(huán)節(jié)[1-2]，基于特征點(diǎn)的圖像配準(zhǔn)在圖像配準(zhǔn)領(lǐng)域應(yīng)用最為廣泛[3-4]，而基于特征點(diǎn)的紅外圖像配準(zhǔn)難以實(shí)現(xiàn)兩張?zhí)卣鞑幻黠@的紅外圖像的高精度配準(zhǔn)[5-6]，目前用的最多的是紅外圖像與可見光圖像之間的配準(zhǔn)[7-8]，因此迫切需要一種可以實(shí)現(xiàn)兩幅紅外圖像進(jìn)行精確匹配的算法。主要針對(duì)電路板紅外圖像的低對(duì)比度等特點(diǎn)，對(duì)原有的SIFT算法進(jìn)行了相應(yīng)的改進(jìn)，改進(jìn)的SIFT算法能夠很好地對(duì)電路板紅外圖像進(jìn)行配準(zhǔn)。選取了3對(duì)紅外圖像，經(jīng)過比對(duì)可以說明改進(jìn)的SIFT算法具有很好的配準(zhǔn)效果。

國(guó)內(nèi)外很多學(xué)者對(duì)此方向有一定的研究。王麗芳等[9]將腦部的醫(yī)學(xué)圖像進(jìn)行配準(zhǔn)，是將腦部的紅外圖像與已訓(xùn)練好的頭部圖像進(jìn)行配準(zhǔn)。秦杰等[10]提出一種基于角點(diǎn)幅值與方向的點(diǎn)特征描述HIOHC，用以改進(jìn)Harris角點(diǎn)檢測(cè)器進(jìn)行圖像配準(zhǔn)。陳辰等[11]對(duì)圖像進(jìn)行U-net分割，針對(duì)不同區(qū)域特征的誤差，將變量含異質(zhì)噪聲模型應(yīng)用于配準(zhǔn)參數(shù)估計(jì)，提高目標(biāo)區(qū)域的配準(zhǔn)精度。陶謙等[12]對(duì)紋理影像序列進(jìn)行融合預(yù)處理，利用共線方程實(shí)現(xiàn)多幅點(diǎn)云數(shù)據(jù)與多張紋理影像的配準(zhǔn)。Lowe[13]提出了SIFT算法，但SIFT算法會(huì)產(chǎn)生許多誤匹配點(diǎn)，后來很多專家對(duì)其進(jìn)行了深入研究。Chaturvedi 等[14]提出SURF改進(jìn)法，明顯地提升了圖像匹配算法的準(zhǔn)確率。Hossein-nejad 等[15]對(duì)SIFT算法中的冗余點(diǎn)進(jìn)行了剔除，進(jìn)一步增強(qiáng)了算法的運(yùn)行速度和準(zhǔn)確率。

綜上所述，可以看出大部分的研究都局限于紅外圖像與可見光圖像的配準(zhǔn)，算法的魯棒性和準(zhǔn)確率方面還有很大的提升，因此，針對(duì)電路板紅外圖像的配準(zhǔn)開發(fā)了改進(jìn)的SIFT算法，結(jié)果顯示能夠很好地適應(yīng)電路板紅外圖像的特點(diǎn)，算法的準(zhǔn)確率和匹配速度有了很大的提升。

1 SIFT算法簡(jiǎn)介

SIFT算法的運(yùn)算過程可以分為以下幾步：構(gòu)建尺度空間，在尺度空間中提取特征點(diǎn)，對(duì)提取出的特征點(diǎn)進(jìn)行描述，對(duì)兩幅圖像中的特征點(diǎn)描述子進(jìn)行匹配。

1.1 特征點(diǎn)檢測(cè)

通過式(1)和式(2)構(gòu)建尺度空間。

L(x,y,σ)=G(x,y,σ)?I(x,y)

(1)

(2)

式中，I(x,y)為輸入的原圖像；G(x,y,σ)為可變高斯核函數(shù)；σ為尺度空間高斯模糊參數(shù)；(x,y)為圖像的像素位置；p,q為高斯模板的維度。

高斯差分尺度空間中差分算子為

D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))?I(x,y)

=L(x,y,kσ)-L(x,y,σ)

(3)

構(gòu)建出圖1所示的高斯差分圖像，在圖1中進(jìn)行特征點(diǎn)的提取，中間的檢測(cè)點(diǎn)和它同尺度的8個(gè)相鄰點(diǎn)和上下相鄰尺度對(duì)應(yīng)的9×2個(gè)點(diǎn)共26個(gè)點(diǎn)進(jìn)行比較，以確保在尺度空間和二維圖像空間都檢測(cè)到極值點(diǎn)，求取出局部極大值點(diǎn)作為特征點(diǎn)。

圖1 高斯差分圖像

1.2 描述子的構(gòu)建

其描述子的構(gòu)建示意圖如圖2所示。通過在像素點(diǎn)周圍劃分成16方形子區(qū)域，能夠覆蓋圖像的大部分特征，在子區(qū)域中求取8個(gè)方向(等角度)的梯度和模值，這樣就構(gòu)成了128維的特征向量對(duì)特征點(diǎn)進(jìn)行描述。其模值以及梯度的計(jì)算公式為

圖2 SIFT算法的描述子構(gòu)建

(4)

(5)

1.3 特征點(diǎn)的匹配

利用歐式距離進(jìn)行特征點(diǎn)的匹配，通過計(jì)算最近歐氏距離與次最近歐氏距離的比值，如果比值在閾值范圍內(nèi)則匹配成功，否則匹配失敗。閾值的選取尤為重要，Lowe等[13]在多次實(shí)驗(yàn)之后確定閾值在0.7附近的時(shí)候效果最好。歐氏距離的計(jì)算方程式為

(6)

式中，dis為兩個(gè)特征矢量的歐氏距離；P為描述子維數(shù)；m，n為兩張圖中特征點(diǎn)；Dm，Dn為特征描述子。

2 算法改進(jìn)

2.1 特征點(diǎn)的提取

圖3為改進(jìn)算法的特征提取方式示意圖，在像素點(diǎn)周圍畫一個(gè)直徑為6的圓，因?yàn)樵诔叨瓤臻g中，選取直徑為6，可以包含盡可能多的有效像素點(diǎn)，不遺失重要特征點(diǎn)，在圓周上選取16個(gè)像素點(diǎn)，分別與圓心處的像素點(diǎn)作差，當(dāng)圓周上16個(gè)像素點(diǎn)有13個(gè)像素點(diǎn)滿足閾值范圍的時(shí)候，則選取該像素點(diǎn)為特征點(diǎn)，否則，不是特征點(diǎn)。

圖3 改進(jìn)算法的特征點(diǎn)提取

2.2 特征點(diǎn)的描述

圖4為改進(jìn)算法的特征點(diǎn)的描述符，改進(jìn)的特征點(diǎn)的描述是在特征點(diǎn)周圍子區(qū)域劃分為4個(gè)等梯度的同心圓區(qū)域，對(duì)于4個(gè)同心圓區(qū)域，分別求出其10個(gè)方向(0°、36°、72°、108°、144°、180°、216°、252°、288°、324°)的梯度累加值。由中心向外，取第一個(gè)圓環(huán)的10維向量作為特征向量的第1～10個(gè)元素，取第二個(gè)圓環(huán)的10維向量作為特征向量的第11～20個(gè)元素，以此類推。這樣，特征點(diǎn)描述子即為4×10=40維向量。

圖4 改進(jìn)算法的特征點(diǎn)的描述符

2.3 特征點(diǎn)的匹配

在特征點(diǎn)匹配的時(shí)候不同于原始SIFT算法的是在同心圓每一層加入一個(gè)步長(zhǎng)，使得每一層的閾值是不同的，由內(nèi)到外依次增大，因?yàn)榭拷卣鼽c(diǎn)的圖像信息較為重要。

定義最近歐氏距離與次最近歐氏距離的比值為R：

(7)

式中，mindis為最近歐氏距離；smindis為次最近歐氏距離。

通過比對(duì)每一層的R，當(dāng)R1,R2,R3,R4滿足閾值條件的時(shí)候，則匹配成功，經(jīng)多次實(shí)驗(yàn)，R1的閾值為0.7，后面每一層增加一個(gè)0.05的步長(zhǎng)效果最佳。

主要的改進(jìn)就是特征點(diǎn)的提取方式，降低了計(jì)算的復(fù)雜度；改變了特征點(diǎn)的描述，將原來的SIFT算法描述符維數(shù)從128維降到40維。最后在特征點(diǎn)匹配的時(shí)候加入了分層閾值的概念，極大地提升了算法的匹配準(zhǔn)確度。

3 實(shí)驗(yàn)結(jié)果分析

為驗(yàn)證改進(jìn)SIFT算法的可行性和有效性，對(duì)兩幅電路板的紅外圖像進(jìn)行了匹配測(cè)試，實(shí)驗(yàn)平臺(tái)為Intel?CoreTMi3-7100 CPU@3.9 GHz，內(nèi)存1 TB，Windows 7系統(tǒng)，采用Python 3軟件。

在閾值的選取過程中做了以下測(cè)試,圖5為不同閾值和步長(zhǎng)情況下的匹配準(zhǔn)確率，可以看出閾值越高，匹配的準(zhǔn)確率越高，但是閾值太高的話，容易丟失太多的特征點(diǎn)。步長(zhǎng)越長(zhǎng)，準(zhǔn)確率越高，同樣的，步長(zhǎng)太長(zhǎng)的話，也會(huì)丟失很多特征點(diǎn)。所以需要一個(gè)適中的值，既不會(huì)丟失特征點(diǎn)，也能有很好的準(zhǔn)確率。圖6為不同閾值和步長(zhǎng)情況下的PSNR(峰值信噪比)，其中PSNR(峰值信噪比)的值越大表示圖像匹配的質(zhì)量越好，可以看出，閾值在0.7附近的時(shí)候PSNR(峰值信噪比)的值較大，步長(zhǎng)在0.05附近的時(shí)候達(dá)到了最大值。

圖5 不同閾值和步長(zhǎng)情況下的匹配準(zhǔn)確率

圖6 不同閾值和步長(zhǎng)情況下的PSNR

3對(duì)電路板紅外圖像如圖7所示。通過對(duì)圖7中的3對(duì)電路板紅外圖像進(jìn)行多次圖像配準(zhǔn)實(shí)驗(yàn)，可得到表1～表3所示的數(shù)據(jù)，可以看出本算法運(yùn)算結(jié)果的準(zhǔn)確率明顯高于原始的SIFT算法，以及后來學(xué)者提出的PCA-SIFT[14]算法和GLOH[15]算法；運(yùn)算時(shí)長(zhǎng)明顯減少，極大地提升了算法的運(yùn)算效率，幾乎實(shí)現(xiàn)了實(shí)時(shí)性；從PSNR的數(shù)值可以看出本算法處理過后的圖像質(zhì)量相比于SIFT算法、PCA-SIFT算法和GLOH算法均較高；在經(jīng)過誤匹配點(diǎn)剔除之后，可以看出本算法的準(zhǔn)確率達(dá)到了100%，沒有誤匹配點(diǎn)，說明本算法在匹配的時(shí)候具有明顯的優(yōu)勢(shì)。綜上，本算法在實(shí)時(shí)性、準(zhǔn)確性和質(zhì)量上都得到了很大的提升，可以很好地適應(yīng)電路板紅外圖像特征不明顯的特點(diǎn)。

表1 電路板1的紅外圖像配準(zhǔn)結(jié)果

表2 電路板2的紅外圖像配準(zhǔn)結(jié)果

表3 電路板3的紅外圖像配準(zhǔn)結(jié)果

圖7為3對(duì)電路板紅外圖像，左圖為標(biāo)準(zhǔn)電路的圖像，右圖為待測(cè)電路板的圖像。圖8為原始的SIFT算法的匹配結(jié)果圖，可以看出誤匹配點(diǎn)較多，特征點(diǎn)的對(duì)數(shù)也較多，運(yùn)算時(shí)間也較長(zhǎng)。圖9為PCA-SIFT改進(jìn)法的匹配結(jié)果圖，可以看出PCA-SIFT改進(jìn)法匹配準(zhǔn)確度得到了一定的提升，但是PSNR值提升不大。圖10為GLOH算法的匹配結(jié)果圖，可以看出GLOH算法的PSNR值得到了提升，但是匹配準(zhǔn)確率比較低。圖11為改進(jìn)的SIFT算法的匹配結(jié)果圖，可以看出匹配的準(zhǔn)確率以及PSNR值都得到了提升，同時(shí)匹配對(duì)數(shù)降低，運(yùn)算時(shí)間變短，幾乎實(shí)現(xiàn)了實(shí)時(shí)性。圖12為改進(jìn)的SIFT算法剔除后的匹配結(jié)果圖，可以看出改進(jìn)的SIFT算法剔除后的誤匹配率為0，匹配的準(zhǔn)確率非常高。

圖8 原始的SIFT算法的匹配結(jié)果圖

圖9 PCA-SIFT改進(jìn)法的匹配結(jié)果圖

圖10 GLOH改進(jìn)法的匹配結(jié)果圖

圖11 改進(jìn)的SIFT算法的匹配結(jié)果圖

圖12 改進(jìn)的SIFT算法剔除后的匹配結(jié)果圖

通過以上結(jié)果可以看出，改進(jìn)的SIFT算法對(duì)電路板的紅外圖像進(jìn)行高質(zhì)量、高準(zhǔn)確度的配準(zhǔn)，能夠很好地克服紅外圖像分辨率低、對(duì)比度低、信噪比低、視覺效果模糊的缺點(diǎn)，改進(jìn)的SIFT算法通過改進(jìn)特征點(diǎn)的描述以及特征點(diǎn)的匹配方式能夠?qū)崿F(xiàn)紅外圖像高質(zhì)量的配準(zhǔn)，因此改進(jìn)的SIFT算法適用于低對(duì)比度的紅外圖像。

4 結(jié)束語

改進(jìn)的SIFT算法在進(jìn)行紅外圖像配準(zhǔn)時(shí)的匹配準(zhǔn)確率、匹配時(shí)間和PSNR值都得到了很大的提升，并針對(duì)電路板紅外圖像設(shè)置了一個(gè)分層閾值，使電路板紅外圖像特征點(diǎn)不明顯的缺陷得到了很好的彌補(bǔ)，極大地提升了算法的效率，幾乎實(shí)現(xiàn)了實(shí)時(shí)性，使電路板紅外圖像的配準(zhǔn)更加容易。因此可以得出結(jié)論：改進(jìn)的SIFT算法在進(jìn)行電路板紅外圖像配準(zhǔn)時(shí)，效果較好，優(yōu)于原來的SIFT算法以及后來的PCA-SIFT改進(jìn)法和GLOH算法。