崔得龍 ， 弓云峰 ， 左敬龍

（1.廣東石油化工學(xué)院 計(jì)算機(jī)與電子信息學(xué)院，廣東 茂名 525000；2.廣東省石化裝備故障診斷重點(diǎn)實(shí)驗(yàn)室 廣東 茂名 525000）

圖像拼接是基于圖像繪制技術(shù)（IBR）中的一種基本的處理方法，所謂圖像拼接就是將多幅相互間存在重疊的序列圖像進(jìn)行無(wú)縫拼接，合成一幅包含各圖像信息的、寬視角場(chǎng)景的高清晰圖像，是目前計(jì)算機(jī)視覺(jué)、圖像處理和虛擬現(xiàn)實(shí)等領(lǐng)域的研究熱點(diǎn)。

圖像配準(zhǔn)問(wèn)題是圖像拼接技術(shù)的關(guān)鍵技術(shù)之一。目前主要的圖像配準(zhǔn)方法可分為基于灰度信息的圖像配準(zhǔn)方法[1]，基于特征的圖像配準(zhǔn)方法[2]和基于變換域的圖像配準(zhǔn)方法[3]等。其中最常用的是基于圖像特征的配準(zhǔn)方法：首先對(duì)待拼接圖像進(jìn)行特征提取得到特征點(diǎn)集，并通過(guò)相似性度量找到匹配的特征點(diǎn)對(duì)，然后匹配計(jì)算得到圖像空間坐標(biāo)變換參數(shù)，最后進(jìn)行圖像配準(zhǔn)，特征提取和特征匹配是配準(zhǔn)技術(shù)的關(guān)鍵。

傳統(tǒng)的特征提取方法如Harris角點(diǎn)算法、基于邊緣的特征提取算法等對(duì)于圖像配準(zhǔn)的條件要求很高，當(dāng)圖像間發(fā)生尺度縮放、旋轉(zhuǎn)和光照變換以及仿射變換等情況時(shí)，匹配效果就會(huì)受到嚴(yán)重的影響。目前去除誤匹配的方法多采用極幾何約束、迭代求精，如 M-estimators[4]、RANSAC[5]等方法，但這些方法受初匹配內(nèi)點(diǎn)（正確匹配的點(diǎn)）比例影響較大，如何提高內(nèi)點(diǎn)的比例常常決定著匹配圖像的配準(zhǔn)精度和迭代效率。文獻(xiàn)[6]利用歐氏距離通過(guò)調(diào)整最近鄰（NN）與次近鄰（SCN）距離的比值閾值，可以減少一些誤匹配，但同時(shí)也易損失一部分原本正確的匹配點(diǎn)，不能在真正意義上提高正確匹配率。文獻(xiàn)[7]提出一種基于中值濾波的特征點(diǎn)對(duì)匹配算法，能部分但不能完全剔除錯(cuò)誤匹配的特征點(diǎn)對(duì)，同時(shí)該方法執(zhí)行效率較低。文獻(xiàn)[8]提出把中值濾波用于檢測(cè)RANSAC的初始迭代特征點(diǎn)對(duì)，但并沒(méi)有考慮排除錯(cuò)誤的特征點(diǎn)對(duì)，因此對(duì)RANSAC的執(zhí)行效率沒(méi)有實(shí)質(zhì)的改進(jìn)。

針對(duì)目前基于SIFT的圖像拼接算法復(fù)雜度較高和特征點(diǎn)匹配不準(zhǔn)等問(wèn)題，提出了一種基于改進(jìn)SIFT的圖像拼接算法。算法利用改進(jìn)的SIFT進(jìn)行特征提取，降低了算法的復(fù)雜度，同時(shí)采用模擬退火算法進(jìn)行特征點(diǎn)匹配，從而估計(jì)出幾何變換的參數(shù)。實(shí)驗(yàn)結(jié)果表明，該方法對(duì)圖像間存在的平移、旋轉(zhuǎn)、明暗強(qiáng)度和噪聲干擾都具有良好的魯棒性，可實(shí)現(xiàn)高質(zhì)量的圖像拼接。

1 SIFT特征提取

1.1 SIFT

2004年David G.Lowe提出了一種基于尺度空間的，對(duì)圖像旋轉(zhuǎn)、縮放甚至仿射變換保持不變的圖形局部特征算子—SIFT（Scale Invariant Feature Transform）。 SIFT算子不僅能提取出大量穩(wěn)定的特征點(diǎn)，而且其獨(dú)特性較高的特征描述符在大多數(shù)情況下也能保證較高的匹配率[9]。SIFT算法特征點(diǎn)提取具體步驟如下：

1）構(gòu)造高斯差分尺度空間（DOG），檢測(cè)尺度空間極值點(diǎn)

為了得到多尺度空間內(nèi)的穩(wěn)定關(guān)鍵點(diǎn)，利用不同尺度的高斯差分核與圖像進(jìn)行卷積構(gòu)成高斯差分尺度空間。

檢測(cè)尺度空間的極值點(diǎn)，每個(gè)檢測(cè)點(diǎn)和它同尺度的8個(gè)相鄰點(diǎn)以及上下相鄰尺度的個(gè)點(diǎn)進(jìn)行比較，以確保在尺度空間和二維空間都能檢測(cè)到極值點(diǎn)，DOG尺度空間極值檢測(cè)如圖1所示。

圖1 DOG尺度空間局部極值檢測(cè)Fig.1 Local Key-point detection of DOG scale space

2）極值點(diǎn)精確定位

通過(guò)擬合三維二次函數(shù)精確定位極值點(diǎn)的位置和尺度，同時(shí)去除低對(duì)比度的點(diǎn)和不穩(wěn)定的邊緣響應(yīng)點(diǎn)。邊緣響應(yīng)點(diǎn)通過(guò)式（2）去除。

式中，H為的Hessian矩陣，r為控制特征值大小的參數(shù)。

3）分配關(guān)鍵點(diǎn)方向

為使SIFT特征點(diǎn)具備局部旋轉(zhuǎn)不變性，利用關(guān)鍵點(diǎn)鄰域梯度像素的分布特性為每個(gè)關(guān)鍵點(diǎn)分配方向參數(shù)，點(diǎn)處梯度的模和方向的公式如式（4）和式（5）。

其中L的取值為每個(gè)關(guān)鍵點(diǎn)所在的尺度。實(shí)際中，在以關(guān)鍵點(diǎn)為中心的鄰域窗口內(nèi)采樣，并用直方圖統(tǒng)計(jì)鄰域像素的梯度方向，直方圖的峰值代表了該特征點(diǎn)處鄰域梯度的主方向，即為該特征點(diǎn)的主方向。

4）生成特征點(diǎn)描述符

首先將坐標(biāo)軸旋轉(zhuǎn)為關(guān)鍵點(diǎn)的主方向，以確保旋轉(zhuǎn)不變性，然后以關(guān)鍵點(diǎn)為中心取的窗口均勻地分為16個(gè)的小塊，在每個(gè)小塊的 8 個(gè)方向 （0°，45°，90°，135°，180°，225°，270°，315°）的梯度直方圖上繪制每個(gè)梯度方向的累加值，形成一個(gè)種子點(diǎn)，則每個(gè)種子點(diǎn)含有8個(gè)方向的信息向量。一個(gè)特征點(diǎn)用16個(gè)種子點(diǎn)描述，即由128維向量來(lái)描述。

1.2 改進(jìn)的SIFT特征點(diǎn)描述符

在SIFT提取的第（3）步，需要為特征點(diǎn)分配一個(gè)主方向，通過(guò)主方向旋轉(zhuǎn)特征點(diǎn)的局部區(qū)域?qū)崿F(xiàn)特征點(diǎn)的抗旋轉(zhuǎn)能力。考慮到圓具有很好的旋轉(zhuǎn)不變性，因此文獻(xiàn)[10]提出利用特征點(diǎn)周?chē)膱A形區(qū)域來(lái)構(gòu)造SIFT特征描述子，當(dāng)圖像產(chǎn)生旋轉(zhuǎn)時(shí)，僅子環(huán)內(nèi)的像素位置發(fā)生了變化，其余特性基本保持不變，如圖2所示，具體構(gòu)造過(guò)程如下：

首先，計(jì)算圓環(huán)內(nèi)各像素的梯度值和方向，統(tǒng)計(jì)出8個(gè)方向的梯度累加值。其次，將梯度累加值從大到小進(jìn)行排序，以保證旋轉(zhuǎn)后排序值的不變性。最后，將該向量進(jìn)行歸一化處理，減少光照變化對(duì)特征描述符的影響。改進(jìn)的SIFT描述符本身具有旋轉(zhuǎn)不變性，不需要通過(guò)坐標(biāo)軸的旋轉(zhuǎn)來(lái)確保特征描述符的旋轉(zhuǎn)不變性。同時(shí)，改進(jìn)的SIFT描述符從原來(lái)的128維向量降低到64維，有效提高了算法的運(yùn)行效率，降低了特征點(diǎn)的匹配復(fù)雜度。

圖2 改進(jìn)的SIFT特征點(diǎn)描述符生成過(guò)程圖Fig.2 Flow of improved SIFT feature point

2 特征點(diǎn)匹配

對(duì)于需要進(jìn)行拼接的兩幅圖像，按照相同的SIFT特征點(diǎn)提取方法，可以分別得到它們的特征點(diǎn)集，記為P={pj=（pj1，pj2）T|j=1，2，…，m}和 Q={qj=（qj1，qj2）T|j=1，2，…m}。 則集合 P和Q之間由仿射變換（A，t）關(guān)聯(lián)。定義匹配矩陣M，其元素mjk滿(mǎn)足條件此時(shí)點(diǎn)集匹配的問(wèn)題可被重新定義為：對(duì)于給定的點(diǎn)集P和Q，求出仿射（A，t）變換或匹配矩陣M，使得匹配達(dá)到最優(yōu)。按照Gold所提出的方法，對(duì)于給定的兩個(gè)點(diǎn)集P和Q的匹配問(wèn)題可以看作為求解下面目標(biāo)函數(shù)的最小化狀態(tài)[11]。

2）g（A）=γ（a2+b2+c2）

此時(shí)特征點(diǎn)匹配問(wèn)題就轉(zhuǎn)化為聯(lián)合求解匹配矩陣和變換參數(shù)的優(yōu)化問(wèn)題。為避免目標(biāo)函數(shù)式（6）落入局部極小，將二值的匹配矩陣轉(zhuǎn)化為連續(xù)實(shí)數(shù)矩陣，即 mjk∈{0，1}→mjk∈[0，1]。

式中對(duì)M行和列的約束是不等式，通過(guò)引入一松弛變量，可以將不等式約束轉(zhuǎn)化為等式約束。

為了求解目標(biāo)函數(shù)（6），選用模擬退火算法進(jìn)行全局最小值求解。在確定性模擬退火算法中，當(dāng)溫度足夠高時(shí)，能夠很容易求出目標(biāo)函數(shù)的全局最小值。根據(jù)優(yōu)化理論，目標(biāo)函數(shù)應(yīng)該凸化，為此引入一個(gè)阻尼項(xiàng)其中 T是控制模擬溫度，這個(gè)阻尼項(xiàng)的作用是：

1）在高退火溫度下，使目標(biāo)函數(shù)凸化，其凸度由模擬溫度T控制；

2）確保匹配矩陣所有的元素非負(fù)。

將匹配矩陣的等式約束式（7）和阻尼項(xiàng)加到目標(biāo)函數(shù)式（6）中，可以得到新的特征點(diǎn)匹配問(wèn)題的目標(biāo)函數(shù)如下所示：

其中 μj和 υk是 Lagrange因子。

通過(guò)最小化目標(biāo)函數(shù)（8）可以得到匹配矩陣和點(diǎn)集P和Q之間的變換參數(shù)。

3 圖像拼接

算法性能驗(yàn)證以Matlab R2007為實(shí)驗(yàn)平臺(tái)，選用兩幅標(biāo)準(zhǔn)測(cè)試圖像進(jìn)行圖像拼接驗(yàn)證，測(cè)試圖像分別如圖3（a），（b）所示。

3.1 圖像拼接

具體圖像拼接步驟如下：

1）SIFT特征點(diǎn)提取，分別對(duì)需要進(jìn)行拼接的兩幅圖像提取SIFT特征點(diǎn)集合；

2）按照第2節(jié)的方法對(duì)提取的特征點(diǎn)集合進(jìn)行特征點(diǎn)匹配，估計(jì)出兩幅圖像的幾何形變參數(shù)及圖像間的重疊區(qū)域，SIFT特征點(diǎn)匹配結(jié)果如圖3（c）所示；

3）以拼接后的圖像尺寸大小，生成一幅區(qū)域圖像。將兩幅圖像分別擴(kuò)展至區(qū)域圖像大小，擴(kuò)大了的部分取原圖像相應(yīng)部分填充；

4）灰度校正，由于拍攝角度和曝光時(shí)間等條件的不同，拼接圖像可能存在光強(qiáng)差異，使得拼接后的圖像接縫處存在明顯的明暗變化。為了實(shí)現(xiàn)無(wú)縫拼接，需要對(duì)圖像拼接處的縫隙進(jìn)行灰度校正，詳細(xì)灰度校正步驟如3.2所述。

5）得到兩幅圖像拼接后的最終圖像，本文算法下得到的圖像拼接結(jié)果如圖3（d）所示。

圖3 圖像拼接示例Fig.3 An example of image mosaic

3.2 灰度校正

光學(xué)系統(tǒng)中，在物方亮度均勻的情況下，軸外像點(diǎn)M′的照度可表示為：

根據(jù)與光軸成ω′角的像素位上照度按cos4ω′的比例減少這一規(guī)律，可以對(duì)原始圖像乘以1/cos4ω′進(jìn)行灰度校正。

通常光源照度中心并不嚴(yán)格在圖像中心。因此，對(duì)于一維照度曲線，可以設(shè) ω′=s（x-x0），其中 s為系數(shù)，x 為橫向坐標(biāo)，x0為橫軸方向照度中心，則有：

利用非線性最小二乘估計(jì)法，按照式（10）對(duì)原圖背景中x方向進(jìn)行照度曲線擬合，可得到現(xiàn)場(chǎng)照度中心方向的坐標(biāo)。

然后再用同樣的方法對(duì)y方向的照度也進(jìn)行擬合，這樣就得到了現(xiàn)場(chǎng)的照度中心坐標(biāo)（x0，y0），圖像的二維灰度校正函數(shù)就可以表示為

利用式（11）生成與原圖尺寸相同的灰度校正曲線，并將該曲線與原圖相乘即可對(duì)原圖進(jìn)行灰度校正。

4 結(jié) 論

本文針對(duì)目前基于SIFT的圖像拼接算法復(fù)雜度較高和特征點(diǎn)匹配不準(zhǔn)等問(wèn)題，提出了一種基于改進(jìn)SIFT的圖像拼接算法。算法在SIFT特征提取過(guò)程中簡(jiǎn)化了SIFT特征描述符，降低了算法的復(fù)雜度，同時(shí)在特征匹配過(guò)程中采用模擬退火算法進(jìn)行特征點(diǎn)匹配，降低了匹配誤差。實(shí)驗(yàn)結(jié)果表明，本文算法在降低SIFT特征提取的同時(shí)，取得了良好的圖像拼接效果。今后的工作將從進(jìn)一步深入探討SIFT特征點(diǎn)的穩(wěn)定性以及特征點(diǎn)匹配精度，進(jìn)一步提高算法整體性能等方面展開(kāi)。

[1]Kybic J.High-dimensional mutual information estimation for image registration using control point and intensity[J].IEEE Transaction on Image，2004，13（8）：1115-1127.

[2]Zitova B，F(xiàn)lusser J.Image registration methods:a survey[J].Image and vision computing，2003，21（11）：977-1000.

[3]田偉剛，郭雷，黃雷.一種應(yīng)用于圖像配準(zhǔn)中的點(diǎn)特征匹配算法[J].微電子學(xué)與計(jì)算機(jī)，2008，25（3）：172-174.TIAN Wei-gang，GUO Lei，HUANG Lei.An algorithm for point pattern matching applied to the registration of images with relatively great affine geometric distortion[J].Microelectronics&Computer，2008，25（3）：172-174.

[4]CHEN Jiun-hung，CHEN Chu-song，Chen Yong-sheng.Fast algorithm for robust template matching with M-estimators[J]．IEEE Trans on Signal Processing，2003，51（1）：230-243．

[5]CHENFu-xing，WANGRun-sheng.Fast RANSACwith preview model parameters evaluation[J]．Journal of Software，2006，16（8）：1431-1437．

[6]Kasar T，Ramakrishnaa A G．Block-based feature detection and matching for mosaicing of camera-captured document images[C]//Proc of IEEE Region 10 Conference，Symposium on Applications of Holography in Mechanics，New York:ASME，2007：1-4.

[7]鄒北驥，阮鵬，向遙.一種精確匹配的全景圖自動(dòng)拼接算法[J].計(jì)算機(jī)工程與科學(xué)，2010，32（8）:60-63.ZOU Bei-ji，RUAN Peng，XIANG Yao.An automatic panoramic images mosaic algorithm with precise matching[J].Computer Engineering&Science，2010，32（8）：60-63.

[8]FANG Xian-yong，ZHANG Ming-min，PAN Zhi-geng，et al.A new method of manifold mosaic for large displacement images[J].Journal of Computer Science and Technology，2006，21（2）：218-223．

[9]Lowe D.Distinctive image features from scale invariant keypoints[J].International Journal of Computer Vision，2004，60（2）:91-110.

[10]蘭世爽，孫勁光.基于改進(jìn)SIFT的抗幾何攻擊的數(shù)字水印[J].計(jì)算機(jī)工程與應(yīng)用，2011，49（7）:200-203.LAN Shi-shuang，SUN Jin-guang.Geometrical attack digital watermarkingbased onimproved SIFT[J].Computer Engineering and Applications，2011，49（7）：200-203.

[11]金聰，葉俊民，許凱華，等.具有抗幾何攻擊能力的盲數(shù)字圖像水印算法[J].計(jì)算機(jī)學(xué)報(bào)，2007，30（3）：474-482.JINCong，YEJun-Min，XUKai-hua.Blind image watermarking algorithm resist to geometrical attacks[J].Chinese Journal of Computers，2007，30（3）：474-482.