羅群明， 施 霖

(昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院，云南 昆明 650500)

圖像拼接方法綜述*

羅群明， 施 霖

(昆明理工大學(xué)信息工程與自動(dòng)化學(xué)院，云南昆明650500)

概述了圖像拼接的基本理論和一般過程，分類介紹了各種圖像配準(zhǔn)方法的原理和優(yōu)缺點(diǎn)，重點(diǎn)分析了基于特征的圖像配準(zhǔn)技術(shù)，詳細(xì)闡述了隨機(jī)采樣一致算法在基于特征的圖像配準(zhǔn)技術(shù)中的應(yīng)用。

圖像拼接； 配準(zhǔn)； 特征匹配； 全景圖像

0 引 言

近年來(lái)，隨著攝像設(shè)備的普及，越來(lái)越多的領(lǐng)域應(yīng)用了圖像分析技術(shù)來(lái)研究和處理各種各樣的問題，從而對(duì)采集的圖像提出更高的要求[1]。由于攝像設(shè)備的物理限制，采集到的圖像總是不能滿足人們的寬視角、高分辨率的要求。而獲取全景圖像的硬件設(shè)備(全景相機(jī)、廣角鏡頭等)一般比較昂貴, 不適合普遍應(yīng)用, 于是人們提出了利用計(jì)算機(jī)進(jìn)行圖像拼接來(lái)獲得全景圖的方法。

圖像拼接是指將一組相互之間存在重疊部分的圖像，經(jīng)過各種圖像變換、圖像配準(zhǔn)和圖像融合等形成一個(gè)寬視角(甚至是360°視角)的、高分辨率的全景圖的技術(shù)，涉及計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)視覺、圖像處理和模式識(shí)別等多個(gè)學(xué)科，廣泛應(yīng)用于宇宙空間探測(cè)、醫(yī)學(xué)圖像、視頻檢索、虛擬現(xiàn)實(shí)等多個(gè)領(lǐng)域[2,3]。在虛擬現(xiàn)實(shí)中，關(guān)鍵在于生產(chǎn)高質(zhì)量的虛擬場(chǎng)景，利用圖像拼接技術(shù)形成的全景圖具有真實(shí)感強(qiáng)、圖像生產(chǎn)速度快、實(shí)時(shí)性好、硬件要求低的優(yōu)點(diǎn)[4]。在醫(yī)學(xué)影像學(xué)方面, 大幅度的全景圖像能幫助醫(yī)生對(duì)病灶及其周圍部位的情況進(jìn)行全面、直觀地觀察[5]。在獲取醫(yī)學(xué)全景圖像時(shí), 通過圖像拼接技術(shù)來(lái)獲得全景平面或立體圖像, 是一種有效的解決途徑。本文對(duì)圖像配準(zhǔn)方法進(jìn)行分類分析并討論其優(yōu)劣。

1 圖像拼接基本流程

圖像拼接的基本流程包括圖像預(yù)處理、圖像配準(zhǔn)、圖像融合等。圖像預(yù)處理的目的是增強(qiáng)圖像的細(xì)節(jié)信息，抑制噪聲，改善圖像質(zhì)量[6]。圖像配準(zhǔn)是圖像拼接成功的關(guān)鍵[7]，即將不同傳感器所采集到的同一場(chǎng)景的多光譜、多波段或同一傳感器在不同時(shí)間、不同方位、不同條件下(氣候、亮度等)獲得的同一場(chǎng)景的兩幅或多幅圖像進(jìn)行匹配、對(duì)齊的過程，所以，圖像配準(zhǔn)方法的不同直接決定了圖像拼接的優(yōu)劣[8]。圖像配準(zhǔn)方法主要分為基于區(qū)域的圖像拼接方法和基于特征的圖像拼接方法。

2 基于區(qū)域的圖像配準(zhǔn)方法

基于區(qū)域的配準(zhǔn)方法利用圖像像素間相關(guān)性強(qiáng)度大小進(jìn)行對(duì)齊。首先，在一個(gè)圖像中選擇興趣點(diǎn)，然后在另一個(gè)圖像中利用互相關(guān)搜索對(duì)應(yīng)的像素點(diǎn)?；趨^(qū)域的方法優(yōu)點(diǎn)是使用所有可利用的圖像數(shù)據(jù)，能提供非常精確的配準(zhǔn)，但缺點(diǎn)是需要一個(gè)復(fù)雜的初始化[9]。

相關(guān)性方法是傳統(tǒng)的配準(zhǔn)方法，該類方法直接利用圖像的灰度信息計(jì)算圖像的相似度，這就需要根據(jù)待配準(zhǔn)圖像的特點(diǎn)選擇相應(yīng)的度量函數(shù)，通過一種或幾種最優(yōu)化算法尋找一個(gè)最佳空間變換。這類方法一般不需要對(duì)圖像進(jìn)行復(fù)雜的預(yù)處理，實(shí)現(xiàn)簡(jiǎn)單，缺點(diǎn)是應(yīng)用范圍較窄，運(yùn)算量大。

Kuglin C D和Hines提出了相位相關(guān)法[10]，通過傅里葉變換將圖像由空域變換到頻域，利用互功率譜中的相位信息進(jìn)行圖像配準(zhǔn)。該方法對(duì)亮度變化不敏感，并且可用于從不同傳感器獲得的圖像，但配準(zhǔn)結(jié)果依賴于信號(hào)的特性和噪聲。如果圖像受到某個(gè)很窄頻段內(nèi)的噪聲污染(低頻噪聲或尖刺雜聲)，白化過程可以有效地消除這些區(qū)域中的噪聲影響。但是，如果圖像中某些區(qū)域信噪比很低，白化過程反而會(huì)惡化結(jié)果。

De Castro和Morandi C提出了一種擴(kuò)展的相位相關(guān)法[11]，用于對(duì)既有旋轉(zhuǎn)又有平移變換的圖像進(jìn)行配準(zhǔn)。旋轉(zhuǎn)變換本身不包含平移，但旋轉(zhuǎn)和平移同時(shí)發(fā)生,構(gòu)成了一個(gè)更復(fù)雜的變換。De Castro和Morandi C通過先確定旋轉(zhuǎn)角度然后確定平移變換的方法計(jì)算。

3 基于特征的配準(zhǔn)方法

基于特征的配準(zhǔn)方法通過提取圖像中明顯的塊、線和點(diǎn)作為特征來(lái)估算圖像間的變換矩陣。圖像配準(zhǔn)的一般步驟是：1)提取待配準(zhǔn)的圖像的特征；2)圖像特征匹配；3)通過匹配的特征估算得出圖像間的變換矩陣；4)利用變換矩陣將圖像對(duì)齊。這類方法的優(yōu)點(diǎn)是對(duì)亮度、噪聲不敏感，能夠處理圖像間存在比較大的未對(duì)準(zhǔn)情況。所以，目前普遍采用基于特征的圖像配準(zhǔn)方法。

3.1 特征檢測(cè)

特征檢測(cè)是圖像配準(zhǔn)的基礎(chǔ)，應(yīng)根據(jù)待拼接圖像的場(chǎng)景特性來(lái)選擇不同的特征檢測(cè)方法。常用的邊緣檢測(cè)方法有Roberts算子、Sobel算子[12]、Prewitt算子[13]、Canny算子[14]等，最常用的角點(diǎn)檢測(cè)方法是Harris角點(diǎn)檢測(cè)算法。

Roberts算子在圖像上執(zhí)行一個(gè)簡(jiǎn)單的、計(jì)算速度快的、二維的空間梯度度量。它突出了高空間頻率的區(qū)域，該區(qū)域往往對(duì)應(yīng)于邊緣。在使用時(shí)，輸入圖像和輸出圖像通常都是灰度圖像。輸出圖像的每一點(diǎn)的像素值表示輸入圖像在該點(diǎn)的空間梯度的絕對(duì)幅度。Robert算子的卷積掩模如圖1所示，Gx計(jì)算垂直邊緣分量，Gy計(jì)算水平邊緣分量。

圖1 Roberts掩模

Sobel算子是在圖像上執(zhí)行2維的空間梯度度量，突出高空間頻率區(qū)域，這些區(qū)域?qū)?yīng)于邊緣。通常它是用來(lái)尋找輸入的灰度圖像中每個(gè)點(diǎn)的近似絕對(duì)梯度大小。至少在理論上，該算子由一對(duì)3×3的卷積掩模組成。一個(gè)掩模由另一個(gè)掩模旋轉(zhuǎn)90°形成，如圖2。與Prewitt算子相比，Sobel算子對(duì)于像素的位置的影響做了加權(quán)，可以降低邊緣模糊程度，因此,效果更好。

圖2 Sobel掩模

Prewitt算子是估計(jì)的邊緣的大小和方向的近似方法。盡管差分梯度邊緣檢測(cè)需要一個(gè)相當(dāng)耗時(shí)的計(jì)算,從x和y方向的幅值來(lái)估計(jì)邊緣的方向，但羅盤邊緣檢測(cè)直接從核的最大響應(yīng)獲取該方向。Prewitt算子被限制在8個(gè)可能的方向，然而經(jīng)驗(yàn)表明，大多數(shù)直接方向估計(jì)均不是很精確[15]。該算子的掩模如圖3所示。

圖3 Prewitt掩模

Canny 推導(dǎo)出最優(yōu)邊緣檢測(cè)算子的一個(gè)近似實(shí)現(xiàn)，即邊界點(diǎn)位于圖像被高斯函數(shù)平滑后的梯度幅度極大值點(diǎn)上。Canny算子先用高斯濾波器對(duì)圖像進(jìn)行平滑濾波，計(jì)算梯度的幅值和方向，然后采用非極值抑制技術(shù)對(duì)圖像進(jìn)行處理，最后得到所需的邊緣圖像。該算子具有較好的抗噪性能和邊緣檢測(cè)精度，因此，得到了廣泛應(yīng)用。但Canny算子需要人為地設(shè)置閾值，這需要一定的經(jīng)驗(yàn)并且經(jīng)過多次實(shí)驗(yàn)才能找到合適的閾值。設(shè)置過高或過低的閾值均無(wú)法獲得圖像實(shí)際的邊緣。所以，Canny算子不具有自適應(yīng)能力。

Harris C和Mike Stephens提出了一種基于局部自相關(guān)函數(shù)的結(jié)合了角點(diǎn)和邊緣的特征檢測(cè)算子—Harris算子[16]，在Moravec算子[17]的基礎(chǔ)上改進(jìn)而成，與Moravec算子的主要不同之處在于用一階偏導(dǎo)來(lái)描述亮度的變化。優(yōu)點(diǎn)是計(jì)算簡(jiǎn)單，只用到灰度的一階差分以及濾波。實(shí)驗(yàn)表明[18]，在紋理信息豐富的區(qū)域，Harris算子可以提取出大量有用的特征點(diǎn)、而在紋理信息少的區(qū)域，提取的特征點(diǎn)則較少。因?yàn)槠溆?jì)算過程只涉及了圖像的一階導(dǎo)數(shù)，所以，即使存在圖像旋轉(zhuǎn)、灰度變化、噪聲的影響和視點(diǎn)的變換，對(duì)角點(diǎn)的提取亦比較穩(wěn)定。

3.2 特征匹配

特征匹配是影響圖像配準(zhǔn)精度的關(guān)鍵步驟，好的匹配算法使同一場(chǎng)景的不同圖像的特征一一匹配，能有效地避免誤匹配。

3.2.1 迭代最近點(diǎn)算法

迭代最近點(diǎn)(iterative closest point，ICP)算法是Besl P J和Mckay N D[19]于1992年首次提出的一種點(diǎn)集匹配算法，其目標(biāo)是尋找最近點(diǎn)。ICP算法實(shí)質(zhì)上是基于最小二乘法的最優(yōu)匹配方法，重復(fù)進(jìn)行確定具有對(duì)應(yīng)關(guān)系的點(diǎn)集并計(jì)算最優(yōu)剛體變換的過程，直到滿足某個(gè)表示正確匹配的收斂準(zhǔn)則。

ICP算法在高斯噪聲存在的情況下仍然能得到好的效果，但是無(wú)法應(yīng)用于非重疊區(qū)域。因?yàn)閷?duì)于目標(biāo)點(diǎn)集的每個(gè)點(diǎn)，均需要與參考點(diǎn)集的所有點(diǎn)進(jìn)行比較來(lái)確定相應(yīng)的最近點(diǎn)，所以，該算法的效率較低。另外，不能保證迭代的收斂性[20]，如果初始化不當(dāng)，可能導(dǎo)致收斂失敗。

3.2.2 隨機(jī)樣本一致算法

隨機(jī)樣本一致(random sample consensus，RANSAC)算法[21]是由Fischler M A和Bolles R C于1981年首次提出的一種魯棒性的擬合數(shù)據(jù)的算法，容錯(cuò)能力強(qiáng)，能有效剔除外點(diǎn),屬于非確定性算法，會(huì)產(chǎn)生一個(gè)在一定概率下合理的結(jié)果，而提高迭代次數(shù)可以增加這一概率[22]。該算法的思想是：從數(shù)據(jù)集中隨機(jī)選取一組數(shù)據(jù)并認(rèn)為是有效數(shù)據(jù)(內(nèi)點(diǎn))來(lái)確定待定參數(shù)模型，以此模型測(cè)試數(shù)據(jù)集中的所有數(shù)據(jù)，滿足此模型的數(shù)據(jù)叫做內(nèi)點(diǎn)，反之叫做外點(diǎn)，迭代執(zhí)行此過程，直到某一個(gè)參數(shù)模型得到的內(nèi)點(diǎn)數(shù)最大，那么該模型即適用于數(shù)據(jù)集的最優(yōu)模型。

設(shè)2個(gè)圖像的匹配點(diǎn)分別是X=[x,y]T和X′=[x′,y′]T,則必須滿足公式

X′=HX

(1)

式中H為6參數(shù)的仿射變換矩陣，則

(2)

則3對(duì)不共線的匹配點(diǎn)可以求出變換矩陣。RANSAC算法的步驟為：

1)隨機(jī)選取不共線的3個(gè)匹配點(diǎn)對(duì)，計(jì)算變換矩陣H；

2)計(jì)算每個(gè)匹配點(diǎn)經(jīng)過矩陣變換后到對(duì)應(yīng)匹配點(diǎn)的距離，并根據(jù)預(yù)先設(shè)定的閾值將匹配點(diǎn)集分為內(nèi)點(diǎn)和外點(diǎn)；

3)如果內(nèi)點(diǎn)足夠多，那么模型H即足夠合理，用所有的內(nèi)點(diǎn)重新估計(jì)H；

4)根據(jù)模型的內(nèi)點(diǎn)數(shù)和錯(cuò)誤率評(píng)估模型H；

5)重復(fù)步驟(1)～步驟(4)，直到內(nèi)點(diǎn)數(shù)最大而錯(cuò)誤率小于最小錯(cuò)誤率。

RANSAC算法的優(yōu)點(diǎn)是其能魯棒地估計(jì)模型參數(shù)[23]。缺點(diǎn)是迭代次數(shù)沒有上限，設(shè)置的迭代次數(shù)過高會(huì)降低算法的時(shí)間復(fù)雜度；過低則得到的模型參數(shù)并不是最優(yōu)的，甚至可能是錯(cuò)誤的結(jié)果。另外，該算法需要預(yù)先設(shè)置閾值[24]。

4 結(jié)束語(yǔ)

本文對(duì)圖像配準(zhǔn)技術(shù)進(jìn)行了詳細(xì)地介紹，總結(jié)了圖像配準(zhǔn)的主要方法，并分析了兩類配準(zhǔn)方法的優(yōu)缺點(diǎn)。基于區(qū)域的配準(zhǔn)方法具有精確度高、充分利用全部圖像數(shù)據(jù)的優(yōu)點(diǎn)，但是計(jì)算量大，對(duì)亮度、尺度變化等敏感，不能滿足現(xiàn)實(shí)應(yīng)用中實(shí)時(shí)性、自適應(yīng)性的要求。基于特征的配準(zhǔn)方法通過提取圖像的某些特征進(jìn)行匹配，方法能有效減小計(jì)算量，并對(duì)亮度和尺度變化具有一定的魯棒性，成為目前研究的熱點(diǎn)。近年，圖像配準(zhǔn)技術(shù)特別是基于特征的圖像配準(zhǔn)方法的研究取得了一定的進(jìn)展，但在提高配準(zhǔn)的自適應(yīng)性、實(shí)現(xiàn)自動(dòng)配準(zhǔn)方面還有待進(jìn)一步研究。

[1] 李紹成，左洪福.基于小波融合的磨粒圖像拼接方法研究[J].傳感器與微系統(tǒng)，2011,30(10)：44-49.

[2] 葉朝陽(yáng).大視圖圖像拼接:原理和應(yīng)用 [D].杭州:浙江大學(xué),2004.

[3] 鄭海珍.圖像拼接技術(shù)的研究與應(yīng)用 [D].杭州：杭州電子科技大學(xué),2010.

[4] 江加和,宋子善,沈?yàn)槿?等.虛擬現(xiàn)實(shí)中基于圖像繪制虛擬場(chǎng)景技術(shù)綜述[J].系統(tǒng)工程與電子技術(shù)，2000，22(10):86-89.

[5] 張 猛,嚴(yán)壯志,潘志君,等.基于Web的醫(yī)學(xué)圖像拼接系統(tǒng)[J].中國(guó)醫(yī)療器械雜志,2006,30(6):33-36.

[6] 李 陽(yáng)，常 霞，紀(jì) 峰.圖像增強(qiáng)方法研究新進(jìn)展[J].傳感器與微系統(tǒng)，2015，34(12)：9-15.

[7] 趙 輝,陳 輝,于 泓.一種改進(jìn)的全景圖自動(dòng)拼接算法[J].中國(guó)圖象圖形學(xué)報(bào),2007,12(2):336-342.

[8] 蔡夢(mèng)穎，徐貴力.仿蠅復(fù)眼視覺系統(tǒng)中大視場(chǎng)圖像的拼接[J].傳感器與微系統(tǒng)，2007,26(12)：82-84.

[9] Brown M,Lowe D G.Automatic panoramic image stitching using invariant features[J].International Journal of Computer Vision,2007,74(1):59-73.

[10] Kuglin C D.The phase correlation image alignment method[C]∥Proc of Int’l Conf on Cybernetics & Society,1975:163-165.

[11] De Castro E,Morandi C.Registration of translated and rotated images using finite fourier transforms[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,1987,9(5):700-703.

[12] Sobel I.Camera models and machine perception[R].Stanford:Stanford University,1970.

[13] Prewitt J,Mendelsohn M L.The analysis of cell images[J].Annals of the New York Academy of Sciences,1966,128(3):1035-1053.

[14] Hwang H，Haddad R A.Adaptive median filters:New algorithms and results[J].IEEE Transactions on Image Processing,1995,4(4):499-502.

[15] Senthikumaran N,Rajesh R.Edge detection techniques for image segmentation—A survey of soft computing approaches[J].International Journal of Recent Trends in Engineering,2009,1(2):250-254.

[17] Harris C,Stephens M.A combined corner and edge detector[C]∥Alvey Vision Conference,IEEE，1988:147-151.

[18] Moravec H P.Towards automatic visual obstacle avoidance[C]∥Proceedings of International Joint Conference on Artificial Intelligence,Cambridge,MA,USA:1977:584.

[19] 陳夢(mèng)婷,閆冬梅,王 剛.基于Harris角點(diǎn)和SIFT描述符的高分辨率遙感影像匹配算法[J].中國(guó)圖象圖形學(xué)報(bào),2012,17(11):1453-1459.

[20] Besl P J,Mckay N D.A method for registration of 3D shapes[J].IEEE Transaction on Pattern Analysis and Machine Intelfigence,1992,14(2):239-256.

[21] 王程冬，程筱勝，崔海華，等.SIFT算法在點(diǎn)云配準(zhǔn)中的應(yīng)用[J].傳感器與微系統(tǒng)，2012,31(2)：149-152.

[22] Fischler M A,Bolles R C.Random sample consensus:A paradigm for model fitting with applications to image analysis and automated cartography[J].Communications of the ACM,1981,24(6):381-395.

[23] Kim T,Im Y J.Automatic satellite image registration by combination of matching and random sample consensus[J].IEEE Tran-sactions on Geoscience and Remote Sensing,2003,41(5):1111-1117.

[24] 郭紅玉,王 鑒.一種基于RANSAC基本矩陣估計(jì)的圖像匹配方法[J].紅外,2008,29(2):5-8.

[25] 羅宇平.一種新型遙感圖像配準(zhǔn)方法[J].傳感器與微系統(tǒng)，2009,28(10)：12-15.

Reviewonimagestitchingmethods*

LUO Qun-ming, SHI Lin

(FacultyofInformationEngineeringandAutomation,KunmingUniversityofScienceandTechnology,Kunming650500,China)

The basic theory and general image stitching process are summarized.The various image registration method principles,advantages and disadvantages are introduced and classified,and the feature-based image registration technique are analyzed.Application of random sampling consensus algorithm in feature-based image registration are described in detail.

image stitching; registration; feature matching; panoramic image

10.13873/J.1000—9787(2017)12—0004—03

TP 391.4

A

1000—9787(2017)12—0004—03

2016—09—30

國(guó)家自然科學(xué)基金資助項(xiàng)目(61368005)

羅群明(1988-)，男，碩士研究生，主要研究方向?yàn)閳D像處理。施 霖(1972-)，男，通訊作者，博士，副教授，主要從事實(shí)驗(yàn)心理學(xué)、計(jì)算機(jī)軟件、計(jì)算機(jī)應(yīng)用方面的研究工作。