余清洲,陳水利,蔡　國(guó)榕,蘇松志，吳云東

(1.廈門市無(wú)人機(jī)遙感應(yīng)用工程技術(shù)研究中心，福建 廈門 361021；2.集美大學(xué)理學(xué)院，福建 廈門 361021；

3.集美大學(xué)誠(chéng)毅學(xué)院，福建 廈門 361021；4.集美大學(xué)計(jì)算機(jī)工程學(xué)院，福建 廈門 361021；

5.廈門大學(xué)信息科學(xué)與技術(shù)學(xué)院，福建 廈門 361005)

?

基于約束逼近投影變換的全景圖像拼接方法

余清洲1,2,陳水利1,3,蔡國(guó)榕1,4,蘇松志5，吳云東1,4

(1.廈門市無(wú)人機(jī)遙感應(yīng)用工程技術(shù)研究中心，福建 廈門 361021；2.集美大學(xué)理學(xué)院，福建 廈門 361021；

3.集美大學(xué)誠(chéng)毅學(xué)院，福建 廈門 361021；4.集美大學(xué)計(jì)算機(jī)工程學(xué)院，福建 廈門 361021；

5.廈門大學(xué)信息科學(xué)與技術(shù)學(xué)院，福建 廈門 361005)

[摘要]全景圖像拼接算法是遙感信息處理、圖像處理等領(lǐng)域的研究熱點(diǎn).基于逼近投影變換的算法對(duì)低空遙感圖像拼接有較好的效果，但對(duì)于遠(yuǎn)離參考圖像的矩形塊會(huì)出現(xiàn)較大的畸變并且拼接縫周邊會(huì)出現(xiàn)大量的形變、鬼影等現(xiàn)象.為此，在逼近投影變換的基礎(chǔ)上，提出一種基于光束平差與投影變換相結(jié)合的圖像拼接策略，目的是通過(guò)約束變換總誤差來(lái)減少畸變現(xiàn)象.針對(duì)低空航拍圖像的實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)拼接算法相比，新方法減少了圖像中的鬼影和模糊，且避免了建筑物、道路等地物的畸變現(xiàn)象.

[關(guān)鍵詞]投影；變換；動(dòng)態(tài)直接線性變化；逼近投影變換算法；光束平差法

0引言

全景圖像拼接是當(dāng)前遙感信息工程、計(jì)算機(jī)視覺(jué)、圖像處理等領(lǐng)域的重要研究課題.目前大多數(shù)方法以特征點(diǎn)為基礎(chǔ)，其基本流程包括：估計(jì)圖像的變換矩陣，使重疊的區(qū)域?qū)R，然后使對(duì)齊配準(zhǔn)的圖像合并到一個(gè)共同的圖像坐標(biāo)系上.在文獻(xiàn)[1]中可以找到一系列關(guān)于圖像自動(dòng)拼接的優(yōu)秀算法.當(dāng)前比較流行的合成圖像拼接技術(shù)中，最主要的有基于Graph Cut算法的縫切割方法[2-3]和先進(jìn)的像素融合技術(shù)，如拉普拉斯金字塔融合[4]和泊松圖像融合[5]，這樣可以減少由于無(wú)法對(duì)齊而導(dǎo)致的模糊.

在圖像對(duì)齊方面，近年來(lái)出現(xiàn)很多優(yōu)秀算法，如：對(duì)于圖像中只有局部配準(zhǔn)誤差的情況，文獻(xiàn)[6]提出了一種保護(hù)內(nèi)容的變換算法(Content-Preserving Warps,CPW)，將圖像分割為固定網(wǎng)格，通過(guò)優(yōu)化每個(gè)網(wǎng)格中基于局部對(duì)齊的數(shù)據(jù)項(xiàng)和基于全局相似矩陣的平滑項(xiàng)所建立的能量函數(shù)得到最優(yōu)的單應(yīng)矩陣；對(duì)于具有兩類較大幾何變換的圖像，如遠(yuǎn)景與近景情況，文獻(xiàn)[7]提出了一種雙單應(yīng)性變換算法(Dual-Homography Warping，DHW)，采用聚類算法將特征點(diǎn)分為近景與遠(yuǎn)景類，并確定相應(yīng)的單應(yīng)矩陣，最終在局部使用加權(quán)的單應(yīng)矩陣變換圖像；對(duì)于更復(fù)雜的拍攝環(huán)境下(不僅只有近景與遠(yuǎn)景)的變換模型，文獻(xiàn)[8]提出了一種多個(gè)平滑變化的仿射變換算法(Smoothly Varying Affine，SVA)，分別在兩幅圖像中提取一定數(shù)量的特征點(diǎn)，建立混合高斯模型，利用EM算法得到光滑變化的局部仿射變換參數(shù)；對(duì)于建立多個(gè)復(fù)雜幾何模型依然無(wú)法很好對(duì)齊的圖像，文獻(xiàn)[9]提出了縫驅(qū)動(dòng)拼接算法(Seam-Driven Image Stitching,SEAM)，對(duì)同一組圖像進(jìn)行多次匹配拼接，尋找每組拼接結(jié)果的拼接縫并計(jì)算對(duì)應(yīng)的能量函數(shù)，使用損失函數(shù)值最小的一組對(duì)齊圖像作為最終拼接結(jié)果.

然而，如果提供的圖像數(shù)據(jù)不夠理想，特別是遙感圖像中的復(fù)雜環(huán)境，存在不同的高程信息，每個(gè)區(qū)域?qū)?yīng)不同單應(yīng)性，只簡(jiǎn)單使用一個(gè)或幾個(gè)單應(yīng)性矩陣很難完整表達(dá)圖像之間的幾何關(guān)系，使用以上方法[6-9]將無(wú)法得到令人滿意的拼接結(jié)果.為了使最后生成的全景圖沒(méi)有太大的畸變保證建筑物的幾何結(jié)構(gòu)符合實(shí)際，又要對(duì)圖像的局部區(qū)域進(jìn)行精確配準(zhǔn)，保證沒(méi)有模糊及鬼影現(xiàn)象，本文仔細(xì)分析了光束平差法(Bundle Adjustment，BA)對(duì)全局配準(zhǔn)的約束效果和逼近投影變換算法[10](As-Projective-As-Possible Warp， APAP)在圖像局部配準(zhǔn)上的優(yōu)秀特性，將兩種算法結(jié)合起來(lái)以解決無(wú)人機(jī)遙感圖像的拼接問(wèn)題.

1逼近投影變換算法

1.1　投影變換基本原理

(1)

(2)

1.2　動(dòng)態(tài)直接線性變換

(3)

(4)

σ是一個(gè)標(biāo)量.由式(4)可以知道，與點(diǎn)p*越接近的點(diǎn)權(quán)值更大.稱其為動(dòng)態(tài)直接線性變換算法.將式(3)重新書寫為：

(5)

2全景圖像拼接

2.1　光束平差法

在進(jìn)行全景圖像的拼接時(shí)，累積誤差將會(huì)導(dǎo)致圖像的兩端產(chǎn)生過(guò)度的變形，這將產(chǎn)生不理想的結(jié)果.光束平差法[11]就是保證大量圖像在進(jìn)行拼接時(shí)，保持在同樣的幾何結(jié)構(gòu)上，避免圖像的過(guò)分失真.

(6)

2.2　約束逼近投影變換算法

當(dāng)待拼接的圖像是無(wú)人機(jī)遙感圖像時(shí)，由于飛機(jī)在一個(gè)固定的高度基本保持平穩(wěn)的飛行狀態(tài)，所得到的圖像近似接近正攝影圖像，圖像間具有良好的幾何關(guān)系，在沒(méi)有大的旋轉(zhuǎn)、縮放的情況下，只需要進(jìn)行簡(jiǎn)單的平移和微調(diào)，就可以得到相對(duì)滿意的拼接結(jié)果.在拼接的過(guò)程中應(yīng)盡量減少道路、建筑物等圖像中目標(biāo)的失真.使用經(jīng)過(guò)全局光束平差法修正過(guò)的單應(yīng)矩陣可以約束圖像的整體幾何結(jié)構(gòu).但這也將不可避免地導(dǎo)致圖像局部匹配的不精確，從而導(dǎo)致較明顯的鬼影和模糊現(xiàn)象.為此本文提出了一種基于光束平差法優(yōu)化的逼近投影變換算法.

如圖2a所示，根據(jù)公式(9)，為了使全局的誤差函數(shù)最小，多個(gè)點(diǎn)與點(diǎn)之間將無(wú)法完全對(duì)齊，每個(gè)點(diǎn)都做出了犧牲.當(dāng)使用平均值融合算法得到全景圖像IPorig時(shí)，由于同一對(duì)應(yīng)點(diǎn)出現(xiàn)在了畫布的不同位置，而產(chǎn)生了鬼影和模糊現(xiàn)象.如圖2b所示，雖然有鬼影現(xiàn)象，但總會(huì)有一點(diǎn)相對(duì)于其他的對(duì)應(yīng)點(diǎn)的強(qiáng)度更大.圖2中，使用實(shí)心的點(diǎn)表示強(qiáng)度最大的點(diǎn)，空心的點(diǎn)表示被融合算法弱化掉的點(diǎn)，繼續(xù)使用高斯平滑可使這一現(xiàn)象更明顯.

本算法的主要流程如下：

1)使用傅里葉梅林算法，計(jì)算圖像間的拓?fù)潢P(guān)系，在圖像序列中選出一張參考圖像IR;

3實(shí)驗(yàn)結(jié)果分析

3.1　參數(shù)設(shè)置與運(yùn)行時(shí)間

實(shí)驗(yàn)使用CPU為IntelCore2E7500 ，內(nèi)存3G，系統(tǒng)為Window7 32位的普通計(jì)算機(jī).在進(jìn)行逼近投影變換算法時(shí)，采用的是作者提供的開(kāi)源代碼[14]，而光束平差法是基于谷歌的開(kāi)源代碼Ceressolver庫(kù)函數(shù)[15]進(jìn)行編寫的.

本研究采用的實(shí)驗(yàn)數(shù)據(jù)為2013年在福建省龍巖市才溪鎮(zhèn)拍攝的無(wú)人機(jī)遙感圖像，降采樣后的分辨率為983×653.對(duì)每張圖像選取的特征點(diǎn)數(shù)為800個(gè).在對(duì)圖像進(jìn)行分塊時(shí)，設(shè)置C1=50,C2=50，這樣既能得到最佳的拼接效果，又能減少程序的內(nèi)存消耗.

實(shí)驗(yàn)中采用了多條航帶，每條航帶抽取5到6張遙感圖像進(jìn)行拼接，由于計(jì)算機(jī)的計(jì)算時(shí)間具有隨機(jī)性，故對(duì)同一個(gè)拼接任務(wù)進(jìn)行了多次計(jì)算.包括預(yù)處理階段在內(nèi)，全部計(jì)算時(shí)間平均小于4min，每一張圖像，特征點(diǎn)的提取和匹配使用時(shí)間平均小于15s，光束平差法的時(shí)間平均小于5s，即每張圖像的動(dòng)態(tài)直接線性變換計(jì)算時(shí)間平均小于20s.

3.2　實(shí)驗(yàn)結(jié)果分析

圖3為一組具有不同高程信息的航拍圖像全景拼接的實(shí)驗(yàn)結(jié)果，其中第一行為APAP算法的結(jié)果，第二行為光束平差法的拼接結(jié)果，第三行為本文算法的拼接結(jié)果.在第一列的全景圖中可以看到APAP算法沒(méi)有明顯的視差現(xiàn)象，但全局發(fā)生了較大的扭曲，特別是第一行中藍(lán)色橢圓圈出的局部區(qū)域可以清楚地看到全景圖像底部和右部邊緣出現(xiàn)嚴(yán)重變形，道路和建筑物等也發(fā)生較大扭曲；光束平差法保證了全景圖像整體幾何關(guān)系的穩(wěn)定，但從放大圖像中可以看到，模糊與鬼影現(xiàn)象較明顯，特別是房屋與樹(shù)木等較高程的區(qū)域；本文算法與光束平差法一樣很好地保證了全局的幾何結(jié)構(gòu)，且在紅色矩形圈出的放大圖像中，房屋和道路的拼接結(jié)果準(zhǔn)確清晰，肉眼幾乎無(wú)法發(fā)現(xiàn)模糊和鬼影.

在災(zāi)害應(yīng)急及虛擬現(xiàn)實(shí)等實(shí)際應(yīng)用中，具有較大幾何畸變的圖像沒(méi)有利用價(jià)值，故在進(jìn)行誤差分析時(shí)，對(duì)于APAP算法不予考慮.只使用光束平差法與本文的約束逼近投影變換算法進(jìn)行比較.

從表1可以看出，與傳統(tǒng)的光束平差法相比，本文算法匹配精度得到了很大提高，每個(gè)像素的精準(zhǔn)度可以提高2到4個(gè)像素，大大減輕了視差現(xiàn)象.

表1　誤差檢測(cè)

4結(jié)束語(yǔ)

本文提出了一種針對(duì)遙感圖像的全景拼接算法，它充分發(fā)揮了光束平差法和逼近投影變換算法各自的優(yōu)勢(shì)，與傳統(tǒng)算法相比，減少了視差的出現(xiàn)，并避免了道路和建筑物的扭曲.本文算法具有較大的靈活性，在得到最終拼接結(jié)果后，可以根據(jù)圖像的質(zhì)量，繼續(xù)采用結(jié)果圖作為參考幀迭代進(jìn)行逼近投影變換，以達(dá)到預(yù)期的目標(biāo).但這個(gè)算法依賴于光束平差法的拼接質(zhì)量，若初始的拼接效果不理想，在后續(xù)的二次配準(zhǔn)中將影響圖像的拼接結(jié)果.今后將進(jìn)行最優(yōu)拼接縫的研究，以消除依然存在的部分模糊現(xiàn)象.

[參考文獻(xiàn)]

[1]SZELISKIR.Image alignment and stitching:a tutorial[J].Foundations and Trendsin Computer Graphics and Vision,2006,2(1):1-104.

[2]AGARWALA A,DONTCHEVA M,AGRAWALA M,et al.Interactive Digital Photomontage[J].ACM Trans Graph,2004,23(3):294-302.

[3]EDEN A,UYTTENDAELE M,SZELISKIR.Seamless image stitching of scenes with large motions and exposure differences[C]//Proceeding of Computer Society Conference on Computer Vision and Pattern Recognition.New York:IEEE,2006,2:2498-2505.

[4]BURT P J,ADELSON E H.A multiresolution spline with application to image mosaics[J].ACM Transactions on Graphics(TOG),1983,2(4):217-236.

[5]PURT P J,ADELSONM,BLAKE A.Poisson image editing[J].ACM Transactions on Graphics (TOG)，2003,22(3):313-318..

[6]LIU F,GLEICHER M,JIN H,et al.Content-preserving warps for 3D video stabilization[J].ACM Transactions on Graphics(TOG),2009,28(3):44.

[7]GAO J,KIM S J,BROWN M S.Constructing image panoramas using dual-homography warping[C]//2011 IEEE Conference on Computer Vision and Pattern Recognition.Colorado,USA:IEEE,2011:49-56.

[8]LIN W Y,LIU S,MATSUSHITA Y,et al.Smoothly varying affine stitching[C]//Proceeding of Computer Society Conference on Computer Vision and Pattern Recognition.Colorado,USA:IEEE,2011:345-352.

[9]GAO J,LI Y,CHINT J,et al.Seam-Driven Image Stitching[C]//Eurographics 2013-Short Papers.Girona,Spain:The Eurographics Association,2013:45-48.

[10]ZARAGOZA J,CHIN T J,BROWN M S,et al.As-Projective-As-Possible image stitching with moving DLT[C]//Proceeding of Computer Society Conference on Computer Vision and Pattern Recognition.Ohio,USA:IEEE,2013:2339-2346.

[11]AGARWAL S,SNAVELY N,SEITZ S M,et al.Bundle adjustment in the large[M]//Computer Vision-ECCV.Berlin :Springer Heidelberg,2010:29-42.

[12]BROWN M,LOWED G.Automatic panoramic image stitching using invariant features[J].International Journal of Computer Vision,2007,74(1):59-73.

[13]REDDY B S,CHATTERJIB N.An FFT-based technique for translation,rotation,and scale-invariant image registration[J].IEEE Transactions on Image Processing,1996,5(8):1266-1271.

[14]JULIO ZARAGOZA.MDLT[EB/OL].(2014-04-08)[2014-10-31].http://cs.adelaide.edu.au/~jzaragoza/doku.php?id=mdlt.

[15]AGARWAL S,MIERLE K.Ceres solver[EB/OL].(2014-06-09)[2014-10-31].https://code.google.com/p/ceres-solver/.

(責(zé)任編輯朱雪蓮英文審校黃振坤)

Panoramic Image Stitching Based on ConstraintAs-Projective-As-Possible TransformYU Qing-zhou1,2,CHEN Shui-li1，3，CAI Guo-rong1,4,SU Song-zhi5,WU Yun-dong1,4

(1.Xiamen UAVRS Application Engineering Technology Research Center,Xiamen 361021,China;

2.School of Science,Jimei University,Xiamen 361021,China;3.Chengyi College,Jimei University,

Xiamen 361021,China;4.School of Computer Engineering,Jimei University,Xiamen 361021,China;

5.School of Information Science and Technology,Xiamen University,Xiamen 361005,China)

Abstract:Panoramic image mosaic algorithm is a hot topic in the fields of remote sensing and image processing.State-of-the-art such as As-Projective-As-Possible (APAP) warp is efficient in low altitude remote sensing image mosaic.However,in APAP related algorithms,the rectangular block away from the reference image and seams suffer from large scale deformation and parallax,respectively.Therefore,in this paper,a novel algorithm that is based on the as-projective-as-possible warps and bundle adjustment is proposed.The purpose is to control the total transform error,thus to reduce image distortion.Experimental results conducted on low-altitude aerial images show that the proposed method reduces the phenomenon of ghosting and blurring.Moreover,the distortions of buildings and roads have been alleviated.

Key words:Projective；Warp;Moving DLT;As-Projective-As-Possible Warps;Bundle Adjustment

[中圖分類號(hào)]TP 391.41

[文獻(xiàn)標(biāo)志碼]A

[文章編號(hào)]1007-7405(2015)06-0463-07

[作者簡(jiǎn)介]余清洲(1990—)，男,碩士生，主要研究方向?yàn)閳D像處理與模式識(shí)別.通信作者：陳水利(1956—)，男，教授，從事模糊數(shù)學(xué)及其應(yīng)用、遙感影像信息處理等方面研究，E-mail:sgzx@jmu.edu.cn

[基金項(xiàng)目]國(guó)家自然科學(xué)基金項(xiàng)目(61202143)；國(guó)家科技支撐計(jì)劃項(xiàng)目(201309110001)；863項(xiàng)目子課題(2012AA12A208-06)；國(guó)家博士后基金項(xiàng)目(2014M561090)；福建省自然科學(xué)基金項(xiàng)目(2013J01245,2012J01013)；福建省科技廳專項(xiàng)(JK2012025)；福建省科技計(jì)劃重點(diǎn)項(xiàng)目(2014H0034)

[收稿日期]2015-03-31[修回日期]2015-04-26