梁 艷

(江蘇海事職業(yè)技術(shù)學(xué)院，江蘇 南京 211170)

隨著人們對(duì)數(shù)字城市建設(shè)的關(guān)注程度越來(lái)越高，全面、真實(shí)、準(zhǔn)確地獲取地理空間數(shù)據(jù)并再現(xiàn)三維空間結(jié)構(gòu)已經(jīng)成為虛擬地理環(huán)境的核心研究問(wèn)題之一[1]。在地理數(shù)據(jù)中，三維點(diǎn)云已經(jīng)成為三維空間信息的重要數(shù)據(jù)源，在數(shù)字城市、虛擬現(xiàn)實(shí)、古建筑重建、公安偵探、工業(yè)制造等諸多領(lǐng)域中都發(fā)揮著重要的作用[2]。目前，三維點(diǎn)云的獲取方式有多種，可采用激光掃描、雷達(dá)、數(shù)字?jǐn)z影方式等[3]，其中，基于近景圖像序列的三維點(diǎn)云采集方法，因其具有成本低、效率高、勞動(dòng)強(qiáng)度低等特點(diǎn)，已成為一種吸引眾多領(lǐng)域日益關(guān)注和采用的空間信息獲取的有力工具[4]。

在三維點(diǎn)位置的計(jì)算過(guò)程中，描述像片位置和姿態(tài)的像片內(nèi)外方位元素的精確解算是實(shí)現(xiàn)目標(biāo)三維空間重構(gòu)的必要前提[5]。因此，如何準(zhǔn)確計(jì)算像片內(nèi)外方位元素并進(jìn)一步解算三維空間點(diǎn)位置是恢復(fù)三維空間結(jié)構(gòu)的核心和關(guān)鍵。Heyden、Pollefeys、Snavely等利用較具代表性的SFM(Structure from Motion)方法實(shí)現(xiàn)了像片方位元素的計(jì)算[6，7]，該方法利用光束法平差，先構(gòu)造誤差方程，從圖像EXIF信息中提取焦距、CCD寬度等參數(shù)作為像片方位元素的初始參數(shù)，迭代計(jì)算并同步得到像片的內(nèi)外方位元素及三維空間點(diǎn)位置，該方法避免傳統(tǒng)方法中將像片的方位元素和三維空間點(diǎn)位置分布解算的誤差傳播及過(guò)程繁瑣問(wèn)題，將計(jì)算過(guò)程簡(jiǎn)化[8,9，10]。

近景圖像序列由于多采用大交角大重疊的攝影方式，會(huì)引起更大、更復(fù)雜的幾何變形，用于重構(gòu)三維空間的圖像特征點(diǎn)鄰域也存在較大的畸變[11]，導(dǎo)致特征點(diǎn)處的定位誤差通常是各向異性，而且常常具有很強(qiáng)的方向性[12]。然而，當(dāng)前SFM方法并未考慮圖像特征點(diǎn)處的畸變程度及其引起的誤差的分布方向問(wèn)題，顯然該方法所得到的解并不能很好地適應(yīng)近景圖像透視畸變較大引起的誤差各向異性等實(shí)際應(yīng)用情況。

針對(duì)近景圖像特征點(diǎn)畸變較大問(wèn)題，本文探討一種顧及近景圖像特征點(diǎn)誤差分布各向異性的三維空間重構(gòu)方法。

1 基于SFM方法的三維重構(gòu)原理

1.1 運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)流程

圖1 運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)方法流程

在運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)方法中，光束平差貫穿于整個(gè)三維信息解算過(guò)程的始終，如圖1所示，首先利用特征點(diǎn)提取及匹配得到表征特征之間對(duì)應(yīng)關(guān)系的本質(zhì)矩陣，利用三角化方法進(jìn)行初始結(jié)構(gòu)重建，得到兩圖像的初始內(nèi)外方位元素及三維空間點(diǎn)位置，然后對(duì)初始值進(jìn)行光束法平差優(yōu)化；對(duì)每幅新添加的圖像，求解新增圖像的內(nèi)外方位元素及未被解算的匹配特征點(diǎn)對(duì)，并進(jìn)行光束法平差優(yōu)化；在局部光束平差優(yōu)化的基礎(chǔ)上，最后做全局優(yōu)化，得到所有圖像的方位元素與三維點(diǎn)特征的最優(yōu)解[13]。

1.2 光束平差優(yōu)化模型

共線方程表示像點(diǎn)、攝影中心及空間點(diǎn)之間關(guān)系[14]，簡(jiǎn)單描述為：m=f(X,P)。其中，m為像點(diǎn)位置，X為相應(yīng)的目標(biāo)空間點(diǎn)位置，P為投影矩陣，分解后可得到像片的內(nèi)外方位元素。

光束平差以共線方程作為基本的數(shù)學(xué)模型，將像點(diǎn)坐標(biāo)作為觀測(cè)值，通過(guò)最小化反投影誤差構(gòu)建誤差方程[11]：

在誤差方程中，Vi表示三維空間點(diǎn)Xi與圖像中特征點(diǎn)的相對(duì)應(yīng)關(guān)系，即表示Xi在哪些圖像中可以被“看”到。

光束平差法采用非線性最小化算法來(lái)迭代解算誤差方程，對(duì)當(dāng)每一像點(diǎn)誤差小于某一限差時(shí)，迭代計(jì)算結(jié)束。通過(guò)此計(jì)算過(guò)程中，三維點(diǎn)云結(jié)構(gòu)和像片的內(nèi)外方位元素得到優(yōu)化。

2 近景圖像特征點(diǎn)的誤差各向異性

2.1 仿射變換

近距離拍攝的圖像，一般存在較大的透視畸變或幾何變形，對(duì)于在近距離、不同視點(diǎn)下獲取的近景圖像，對(duì)應(yīng)的局部區(qū)域之間的關(guān)系可以利用仿射變換矩陣表征[11]。

同一圖像中不同特征點(diǎn)鄰域的灰度信息以及同名點(diǎn)鄰域灰度模式在不同圖像上均不相同。仿射變換下局部鄰域?qū)傩韵鄬?duì)穩(wěn)定的特征點(diǎn)，即仿射不變特征點(diǎn)，仿射變換矩陣可以借助仿射不變特征局部區(qū)域的匹配進(jìn)一步求解。

2.2 特征點(diǎn)分布各向異性

圖2為3種不同程度的仿射變換，仿射不變特征點(diǎn)的局部區(qū)域采用橢圓來(lái)描述，表示兩幅圖像對(duì)應(yīng)的橢圓內(nèi)部整體灰度信息基本相同，不受仿射變換的影響，橢圓的長(zhǎng)、短軸方向及長(zhǎng)度分別表示該特征點(diǎn)所在位置即橢圓圓心處定位誤差分布的不確定性的方向和大小。從圖中可以看出，特征點(diǎn)只有在正交角點(diǎn)時(shí)，誤差分布的不確定性在水平和垂直方向上大小相等且相對(duì)較小，當(dāng)特征點(diǎn)為銳角或鈍角角點(diǎn)時(shí)，誤差分布的不確定性在水平和垂直兩個(gè)方向上大小上并不相等[12]。

圖2 特征點(diǎn)誤差分布

傳統(tǒng)光束平差模型中，誤差方程的構(gòu)建并未考慮誤差分布的不確定性在水平和垂直兩個(gè)方向上大小上并不相等時(shí)的情況，它僅以誤差分布各向同性即情況(a)為假設(shè)前提，那么按照傳統(tǒng)方法求解的相機(jī)參數(shù)及三維結(jié)構(gòu)并不能與(b)和(c)相適應(yīng)。

為進(jìn)一步提高三維結(jié)構(gòu)計(jì)算的精度，結(jié)合誤差分布特點(diǎn)，解算三維結(jié)構(gòu)信息時(shí)應(yīng)考慮特征點(diǎn)的畸變程度，構(gòu)建符合近景圖像本身實(shí)際情況的新的光束平差優(yōu)化模型。

3 顧及誤差各向異性的三維空間重構(gòu)

本文利用圖像之間的仿射變換原理，將誤差的各向異性產(chǎn)生的影響和作用融入到光束平差優(yōu)化模型中，并構(gòu)造相應(yīng)的誤差方程，使得即使在特征點(diǎn)誤差分布的不確定性是各向異性時(shí)，最小化誤差方程所得到的解也是最優(yōu)解。

由于特征點(diǎn)仿射不變區(qū)域的不同，對(duì)解的約束作用及貢獻(xiàn)也應(yīng)該是不同的。如何體現(xiàn)各個(gè)特征點(diǎn)誤差分布的各向異性對(duì)三維結(jié)構(gòu)解的作用是解算的關(guān)鍵，根據(jù)文獻(xiàn)[15]的原理，利用特征點(diǎn)的協(xié)方差矩陣構(gòu)造仿射變換矩陣，通過(guò)該仿射變換矩陣將圖像上原始二維特征點(diǎn)和計(jì)算的三維點(diǎn)在圖像上的重投影點(diǎn)變換到統(tǒng)一的仿射不變區(qū)域空間中，通過(guò)此變換使得特征點(diǎn)的誤差分布由各向異性分布映射到各向同性的空間中，如圖3所示。

圖3 誤差分布映射過(guò)程

用特征點(diǎn)的二階矩矩陣Q可以計(jì)算誤差橢圓表示的局部各向異性結(jié)構(gòu)的形狀，將Q做奇異值分解：

Q=U∑UT

Q-1=U∑-1UT

利用變換后的點(diǎn)坐標(biāo)數(shù)據(jù)可以構(gòu)造出體現(xiàn)誤差分布各向異性的、更具統(tǒng)計(jì)意義的反投影誤差，定義如下：

可以看出，對(duì)各個(gè)特征點(diǎn)的反投影誤差利用仿射變換矩陣進(jìn)行了加權(quán)處理，將仿射變換矩陣的系數(shù)分配到誤差方程的相應(yīng)系數(shù)上后，新的誤差方程重新定義如下[10]：

當(dāng)所有二維特征點(diǎn)及反投影點(diǎn)經(jīng)過(guò)加權(quán)處理后，誤差的各向異性得以體現(xiàn)，每個(gè)特征點(diǎn)的誤差不確定性對(duì)誤差方程作出不同的貢獻(xiàn)，即特征點(diǎn)的不確定性越大，對(duì)誤差方程的貢獻(xiàn)就要越小，特征點(diǎn)的不確定性越小，對(duì)誤差方程的貢獻(xiàn)就要越大。

利用上述方法構(gòu)造的新誤差方程，采用非線性算法來(lái)最小化加權(quán)反投影誤差的平方和，最終可實(shí)現(xiàn)三維點(diǎn)云結(jié)構(gòu)和相機(jī)參數(shù)的優(yōu)化。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)設(shè)計(jì)

為了驗(yàn)證本文方法的有效性，以從不同視角真實(shí)拍攝的不同大小、可變焦距的南京師范大學(xué)圖像序列以及加利福尼亞大學(xué)公開的瓦勒堡建筑圖像序列進(jìn)行實(shí)驗(yàn)，圖4顯示了圖像序列中的部分圖像。

圖4 圖像序列

對(duì)以上圖像序列，分別利用本文考慮特征點(diǎn)誤差各向異性的三維空間重構(gòu)方法與傳統(tǒng)方法進(jìn)行實(shí)驗(yàn)。為進(jìn)行對(duì)比分析，評(píng)價(jià)精度的度量方式采用所有重構(gòu)空間點(diǎn)在圖像平面上的平均反投影誤差εr表示(單位：像素)[16]，由下式給出：

4.2 實(shí)驗(yàn)結(jié)果

圖5顯示了利用本文方法計(jì)算的三維空間點(diǎn)位置。

圖5 本文方法恢復(fù)的三維空間稀疏點(diǎn)云

傳統(tǒng)光束平差方法與本文方法比較結(jié)果如表1所示。

表1 傳統(tǒng)光束平差與本文方法解算結(jié)構(gòu)對(duì)比

4.3 實(shí)驗(yàn)分析

從實(shí)驗(yàn)結(jié)果看出，本文方法由于增加了特征點(diǎn)誤差各向異性的轉(zhuǎn)換及相關(guān)計(jì)算，計(jì)算時(shí)間比傳統(tǒng)光束法平差方法略長(zhǎng)，但對(duì)整個(gè)過(guò)程影響不大。在同一閾值控制范圍內(nèi)，兩種方法重構(gòu)的點(diǎn)云數(shù)量相當(dāng)；從計(jì)算精度分析，本文方法的計(jì)算精度提高，其原因主要是傳統(tǒng)方法并沒(méi)有考慮特征點(diǎn)誤差的各向異性分布問(wèn)題，本文方法的平均反投影誤差基本控制在一個(gè)像素左右，明顯低于傳統(tǒng)方法。

值得注意的是，本文方法可以有效解算出三維空間點(diǎn)坐標(biāo)，但僅依靠SFM方法中特征點(diǎn)提取及匹配解算出的點(diǎn)云較稀疏，要想重構(gòu)真實(shí)三維模型，還需要進(jìn)一步借助圖像的稠密匹配或其他方法輔助完成。

5 結(jié)語(yǔ)

在運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)的技術(shù)框架下，本文探討了一種考慮近景圖像特征畸變的三維空間重構(gòu)的方法，在分析了特征點(diǎn)誤差不確定性分布特點(diǎn)的基礎(chǔ)上，利用特征點(diǎn)協(xié)方差矩陣構(gòu)造仿射矩陣對(duì)特征點(diǎn)坐標(biāo)進(jìn)行變換，并對(duì)誤差方程進(jìn)行不確定性系數(shù)加權(quán)，構(gòu)造新的光束法平差優(yōu)化模型，使其適應(yīng)于不同程度的近景圖像特征畸變情況，通過(guò)迭代計(jì)算得出三維空間點(diǎn)坐標(biāo)的最優(yōu)解。最后通過(guò)實(shí)驗(yàn)驗(yàn)證，與未考慮特征點(diǎn)誤差各向異性的傳統(tǒng)方法相比，本文方法計(jì)算精度有了明顯提高。

[1] 王波.影像特征線輔助下的三維激光點(diǎn)云建筑物建模[D].南京師范大學(xué)，2013.

[2] 宋宏權(quán)，劉學(xué)軍，閭國(guó)年，等.地理參考下未標(biāo)定圖像序列的三維點(diǎn)云精度分析[J].測(cè)繪通報(bào)，2012,(7)：14-16.

[3] 陳紅權(quán)，郭威.三維激光掃描技術(shù)在橋梁形變監(jiān)測(cè)中的應(yīng)用[J].現(xiàn)代測(cè)繪，2016，39(1)：36-39.

[4] 盛業(yè)華, 張卡, 葉春, 等.基于灰度投影的數(shù)字近景攝影立體影像匹配[J].光學(xué)學(xué)報(bào), 2005, 25(12): 1623-1628.

[5] 王佩軍，徐亞明.攝影測(cè)量學(xué)[M].武漢大學(xué)出版社，2010.

[6] FAUGERAS O D.What can be seen in three dimensions with an uncalibrated stereo image?[C].Springer Berlin Heidelberg on Computer Vision-ECCV’92, 1992,563-578.

[7] SNAVELY N, SEITZ S M, SZELISKIi R.Photo tourism: exploring photo collections in 3D[J].ACM transactions on graphics (TOG), 2006, 25(3): 835-846.

[8] TRIGGS B, MCLAUCHLAN P, HARTLEY R I.Bundle adjustment-a modern synthesis[C].Springer Berlin Heidelberg on Proceedings of the International workshop on Vison Algorithms, 2000: 298-372.

[9] TRIGGS W, MCLAUCHLAN P F, HARTLEY R I, et al.Bundle adjustment for structure from motion[J].Vision Algorthms:Theory and Practice.Springer Verlag, 2000.

[10] 詹總謙,張祖勛,張劍清.基于稀疏矩陣技術(shù)的光束平差快速算法設(shè)計(jì)[J].測(cè)繪通報(bào),2006, 12:5-8.

[11] 梁艷,盛業(yè)華,楊林，等.大交角近景影像的仿射不變特征匹配方法研究[J].測(cè)繪科學(xué)，2013，38(3)，98-100.

[12] 苗錫奎，朱楓，郝穎明，等.基于特征點(diǎn)不確定性加權(quán)誤差的位姿估計(jì)新方法[J].光電子.激光，2012，23(7):1348-1355.

[13] 胡建才，劉先勇.基于因子分解和光束法平差的攝像機(jī)自標(biāo)定[J].光電工程，2011,38(3):63-66.

[14] 王成亮.基于近景圖像序列的建筑物三維模型重建研究[D].中南大學(xué)，2009.

[15] STEELE R M, JAYNES C.Feature uncertainty arising from covariant image noise[C].IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005,1: 1063-1070.

[16] 甄艷.序列視頻稠密點(diǎn)云恢復(fù)關(guān)鍵技術(shù)研究[D].南京師范大學(xué)，2013.