汪暢

(1.中冶集團(tuán)武漢勘察研究院有限公司,湖北武漢 430080;2.中冶智誠(chéng)(武漢)工程技術(shù)有限公司,湖北武漢 430080)

0 引言

傾斜攝影技術(shù)是通過(guò)在同一飛行平臺(tái)上搭載多臺(tái)航攝儀或傳感器,從垂直、傾斜等多個(gè)角度同時(shí)向地面拍攝獲取影像,并利用Street Factory、ContextCapture等建模軟件,快速建立高精度的實(shí)景三維模型。相較于傳統(tǒng)三維建模方法,傾斜攝影技術(shù)大大提高了三維重建的效率,降低了人工和時(shí)間成本,實(shí)景三維模型也更加真實(shí)地還原了地物的真實(shí)面貌。

圖1 實(shí)景三維建模方法流程Fig.1 Real 3D modeling method flow

雖然傾斜攝影技術(shù)有諸多優(yōu)勢(shì),但也存在一些不足之處,如在航空攝影過(guò)程中存在拍攝死角,在影像匹配過(guò)程中缺乏特征點(diǎn)或者匹配點(diǎn)位不足等,這些原因均會(huì)造成建模軟件自動(dòng)生成的實(shí)景三維模型存在空洞或懸浮模型。再則,由于數(shù)學(xué)方法擬合、匹配點(diǎn)位不足、影像分辨率過(guò)低,原本平整的表面用實(shí)景三維模型顯示表達(dá)為彎曲的表面,影響實(shí)景三維模型的幾何精度和可視化效果[1]。沈大勇研究利用懸浮模型邊界自動(dòng)探測(cè)、外包范圍半自動(dòng)獲取、懸浮模型自動(dòng)刪除等相關(guān)技術(shù)和方法,實(shí)現(xiàn)了實(shí)景三維模型中的懸浮模型刪除[2]。沈大勇還探討了以邊界自動(dòng)提取與三角網(wǎng)自動(dòng)構(gòu)建相結(jié)合的方式,對(duì)三維模型的空洞進(jìn)行自動(dòng)修補(bǔ)及紋理映射[3]。馬紅根據(jù)不用區(qū)域的應(yīng)用需求,提出基于多源多尺度遙感數(shù)據(jù)的大范圍實(shí)景三維模型構(gòu)建方法[4]。廖明偉將傾斜攝影測(cè)量大場(chǎng)景三維和車(chē)載移動(dòng)測(cè)量實(shí)景三維數(shù)據(jù)融合,實(shí)現(xiàn)兩種數(shù)據(jù)的優(yōu)勢(shì)互補(bǔ)[5]。李鵬鵬開(kāi)展了實(shí)景三維模型三維、規(guī)劃、基礎(chǔ)地理空間數(shù)據(jù)等的多源數(shù)據(jù)融合技術(shù)研究與具體應(yīng)用[6]。李云、耿中元采用不同的算法,解決了傾斜攝影地形和大場(chǎng)景地形的融合問(wèn)題[7-8]。本文研究并實(shí)現(xiàn)傾斜攝影影像與實(shí)景三維模型精確融合展示技術(shù)。與其他方法相比,該技術(shù)僅利用傾斜攝影工作過(guò)程中的原始數(shù)據(jù),不進(jìn)行人工干預(yù)處理,實(shí)現(xiàn)更好的實(shí)景三維可視化效果和更清晰的紋理展示。

1 實(shí)景三維建模方法

實(shí)景三維建模方法流程如圖1所示。(1)收集基礎(chǔ)資料并分析和預(yù)處理,確保用于實(shí)景三維建模的數(shù)據(jù)完整、格式正確;(2)將傾斜攝影影像進(jìn)行空中三角測(cè)量,獲得所有影像的高精度外方位元素;(3)基于畸變校正后的傾斜攝影影像和高精度的外方位元素,通過(guò)多視影像密集匹配,獲得高密度三維點(diǎn)云,構(gòu)建3D TIN模型;(4)根據(jù)3D TIN每個(gè)三角形面片的法線方程與二維圖像之間的夾角選擇出相對(duì)應(yīng)的最佳紋理信息,并實(shí)現(xiàn)紋理的自動(dòng)關(guān)聯(lián),自動(dòng)計(jì)算輸出實(shí)景三維模型成果[9]。

傾斜攝影測(cè)量技術(shù)獲取的影像具有如下特點(diǎn):(1)影像具備多個(gè)位置、不同角度,基本覆蓋頂面和側(cè)面紋理;(2)搭載在低空飛行平臺(tái)的傳感器拍攝的影像具有高分辨率和較大視場(chǎng)角的特點(diǎn);(3)同一目標(biāo)區(qū)影像可能存在多重分辨率;(4)經(jīng)過(guò)空中三角測(cè)量計(jì)算、匹配的影像經(jīng)過(guò)了畸變矯正,同時(shí)具備拍攝時(shí)刻相應(yīng)相機(jī)的位置和姿態(tài)(即外方位元素)。這些特點(diǎn)都為高清傾斜攝影影像與實(shí)景三維模型精確融合顯示提供了有利的條件。

圖2 影像與實(shí)景三維模型疊加示例效果Fig.2 Example effect of superposition of image and real 3D model

需要注意的是,中間成果數(shù)據(jù)(相機(jī)的內(nèi)方位元素、像幅尺寸、像素大小、畸變參數(shù)、傾斜攝影影像的外方位元素)將作為后續(xù)實(shí)現(xiàn)精確融合的必要數(shù)據(jù)。

2 技術(shù)原理

傾斜攝影拍攝過(guò)程中所獲取的影像均為高分辨率影像,每一張影像都具有當(dāng)時(shí)拍照時(shí)刻相機(jī)的位置和姿態(tài),在攝影測(cè)量學(xué)科中,表示攝影中心和像片在地面坐標(biāo)系中的位置和姿態(tài)的參數(shù)稱為外方位元素,其中,把位置參數(shù)稱為外方位直線元素,姿態(tài)參數(shù)稱為外方位角元素[10]。

在計(jì)算機(jī)窗口中顯示三維場(chǎng)景是通過(guò)透視投影實(shí)現(xiàn)的,具體到三維展示平臺(tái)中,相機(jī)接口模擬了人眼的位置(Position)和角度(Angle),計(jì)算機(jī)窗口中顯示什么樣的三維場(chǎng)景取決于相機(jī)的位置和角度,即在哪里朝哪個(gè)方向拍攝就顯示什么地方的場(chǎng)景。

在三維場(chǎng)景中特定位置和角度的實(shí)景三維模型可以用相應(yīng)的影像疊加融合來(lái)顯示,以達(dá)到高清的顯示效果,彌補(bǔ)實(shí)景三維模型表面空洞、凹凸不平、存在空中懸浮物等顯示效果的不足。示例效果如圖2 所示。

3 技術(shù)設(shè)計(jì)與實(shí)現(xiàn)

3.1 建立傾斜攝影影像與實(shí)景三維模型的幾何對(duì)應(yīng)關(guān)系

根據(jù)攝影測(cè)量學(xué)中的共線方程,由三維空間點(diǎn)坐標(biāo)計(jì)算出相應(yīng)影像點(diǎn)的坐標(biāo)。具體方程如下。

其中,(X,Y,Z)為三維空間坐標(biāo)系下三維空間點(diǎn)的坐標(biāo),(x,y)為影像坐標(biāo)系下對(duì)應(yīng)像素點(diǎn)的坐標(biāo)。

x0、y0、f為相機(jī)的內(nèi)方位元素,XS、YS、ZS為外方位直線元素,a1、a2、a3、b1、b2、b3、c1、c2、c3為由外方位角元素計(jì)算得到的旋轉(zhuǎn)矩陣元素,這些數(shù)值均可由上述中間成果提供,不用另行計(jì)算。

建立傾斜攝影影像與實(shí)景三維模型的幾何對(duì)應(yīng)關(guān)系后,如何把影像疊加到三維窗口中,還需要建立三維空間坐標(biāo)系、計(jì)算機(jī)窗口坐標(biāo)系、影像坐標(biāo)系三者之間的對(duì)應(yīng)關(guān)系。

3.2 計(jì)算影像疊加在三維窗口中的尺寸、位置和方位

圖3 影像逆時(shí)針旋轉(zhuǎn)α角度時(shí)情況Fig.3 When the image is rotated counterclockwise at an angle of α;

圖4 影像順時(shí)針旋轉(zhuǎn)α角度時(shí)情況Fig.4 Image rotation with a clockwise angle

圖5 CityMaker 平臺(tái)角度的定義Fig.5 Definition of CityMaker platform angle

確定了一個(gè)三維空間點(diǎn)在影像中的位置,是無(wú)法確定影像顯示在窗口中位置、尺寸和方位的。本文采取如下解決路線:(1)根據(jù)所有影像的外方位元素和三維展示平臺(tái)中當(dāng)前相機(jī)的位置和角度,進(jìn)行GIS空間查詢、計(jì)算和比對(duì),選取最合適的一張影像。根據(jù)該影像的外方位元素,通過(guò)兩種角度系統(tǒng)的對(duì)應(yīng)關(guān)系(見(jiàn)后續(xù)3.3節(jié)),計(jì)算并重置三維展示平臺(tái)中相機(jī)的位置和角度;(2)在計(jì)算機(jī)窗口坐標(biāo)系下選擇組成矩形的四個(gè)點(diǎn),如此,矩形的長(zhǎng)寬、四個(gè)點(diǎn)在計(jì)算機(jī)窗口坐標(biāo)系下坐標(biāo)就已經(jīng)獲取;(3)通過(guò)三維展示平臺(tái)提供的屏幕坐標(biāo)到三維空間坐標(biāo)轉(zhuǎn)換接口計(jì)算得到四個(gè)點(diǎn)在三維空間坐標(biāo)系下的坐標(biāo);(4)通過(guò)影像與實(shí)景三維模型的幾何對(duì)應(yīng)關(guān)系,由在三維空間坐標(biāo)系下四個(gè)點(diǎn)的坐標(biāo)計(jì)算得到在影像坐標(biāo)系下四個(gè)點(diǎn)的坐標(biāo);(5)根據(jù)在計(jì)算機(jī)窗口坐標(biāo)系和影像坐標(biāo)系下四個(gè)點(diǎn)的坐標(biāo)對(duì)以及影像的實(shí)際尺寸,計(jì)算在計(jì)算機(jī)窗口坐標(biāo)系下影像的尺寸、位置和方位。具體有以下幾種情況。

圖6 荊州傾斜攝影影像與實(shí)景三維模型融合效果Fig.6 Fusion effect of Jingzhou tilt photography image and real 3D model

影像相對(duì)于計(jì)算機(jī)窗口逆時(shí)針旋轉(zhuǎn)α角度,有四種情況,如圖3所示。

影像相對(duì)于計(jì)算機(jī)窗口順時(shí)針旋轉(zhuǎn)α角度,有四種情況,如圖4所示。

圖3 和圖4 中,O-X-Y為計(jì)算機(jī)窗口坐標(biāo)系,ABCD為影像在計(jì)算機(jī)窗口中的實(shí)際位置,PMNQ為選取的四個(gè)點(diǎn)在計(jì)算機(jī)窗口中的實(shí)際位置。

3.3 建立兩種角度系統(tǒng)的對(duì)應(yīng)關(guān)系

拍攝影像時(shí)相機(jī)的外方位角元素和三維展示平臺(tái)中相機(jī)角度的定義不同,因此,需要建立兩種角度系統(tǒng)的對(duì)應(yīng)關(guān)系。以ContextCapture實(shí)景三維生成平臺(tái)和CityMaker三維展示平臺(tái)為例。

CityMaker平臺(tái)采用Heading/Roll/Tilt角度系統(tǒng)描述模型的方位,Heading/Roll/Tilt角度的定義如圖5所示。

Heading表示(左右)搖擺角,單位為度,正北方向?yàn)?,順時(shí)針遞增,取值范圍為(-180,180)。Tilt表示(上下)俯仰角,單位為度,平視為0,低頭為負(fù),抬頭為正,取值范圍為(-90,90)。Roll表示傾斜角,單位為度,水平為0,取值范圍為(-180,180)。

ContextCapture平臺(tái)可以輸出Omega/Phi/Kappa角度系統(tǒng)描述模型的方位,Omega/Phi/Kappa角度的定義見(jiàn)ContextCapture相機(jī)模型說(shuō)明。Kappa取值范圍為(-180,180),Omega取值范圍為(0,180),Phi取值范圍為(-180,180)。

根據(jù)兩種角度的定義和試驗(yàn)證明,兩種角度系統(tǒng)的關(guān)系如下:

Heading = Kappa

Roll = -Phi

Tilt = -Omega + 90

需要說(shuō)明的是,在角度轉(zhuǎn)換及對(duì)比時(shí),需要進(jìn)行上述變換。不同的平臺(tái)有不同的角度定義方式,根據(jù)選擇平臺(tái)的不同,進(jìn)行實(shí)景三維模型生產(chǎn)平臺(tái)和三維展示平臺(tái)之間角度系統(tǒng)轉(zhuǎn)換。

3.4 在三維漫游操作過(guò)程中動(dòng)態(tài)調(diào)度不同的影像展示

三維漫游有平移、縮放、旋轉(zhuǎn)操作,在三維漫游操作過(guò)程中,如何做到在不同相機(jī)位置和角度下影像的調(diào)度與顯示,使得三維漫游操作和影像融合效果協(xié)調(diào)共生。本文采用了以下策略:(1)啟動(dòng)融合模式時(shí),根據(jù)3.2節(jié)的方法,選擇最合適的一張影像顯示,沒(méi)有則不顯示;(2)在影像顯示的情況下,若進(jìn)行平移、縮放操作,出現(xiàn)影像覆蓋窗口的比例小于設(shè)定的閾值,則隱藏已顯示的影像,重新選擇最合適的一張影像進(jìn)行顯示;若進(jìn)行旋轉(zhuǎn)操作,則隱藏已顯示的影像,重新選擇最合適的一張影像進(jìn)行顯示;(3)關(guān)閉融合模式時(shí),則隱藏已顯示的影像。

4 實(shí)際應(yīng)用

本文提出的融合顯示技術(shù)應(yīng)用到荊州市三維規(guī)劃輔助決策系統(tǒng)上,效果如圖6所示。圖6(a)為實(shí)景三維模型水面空洞,圖6(b)為對(duì)應(yīng)的融合顯示效果,很好地把水面紋理展現(xiàn)出來(lái)。圖6(c)為實(shí)景三維模型建筑物局部細(xì)節(jié),圖6(d)為對(duì)應(yīng)的融合顯示效果,很明顯地,影像的清晰度比實(shí)景三維模型的好,且建筑物的平面平整,與現(xiàn)實(shí)一致。在進(jìn)行三維場(chǎng)景縮放、旋轉(zhuǎn)操作的同時(shí),實(shí)景三維模型和傾斜攝影影像同步顯示到相對(duì)應(yīng)的位置。放大后,能夠看到更加精細(xì)的局部紋理。

5 結(jié)語(yǔ)

本文利用實(shí)景三維建模中間成果數(shù)據(jù)建立傾斜攝影影像和實(shí)景三維模型的幾何對(duì)應(yīng)關(guān)系,借助三維展示平臺(tái),建立三維空間坐標(biāo)系、計(jì)算機(jī)窗口坐標(biāo)系、影像坐標(biāo)系三者的關(guān)系,將傾斜攝影影像精確地疊加在三維展示窗口中對(duì)應(yīng)的實(shí)景三維模型位置上,彌補(bǔ)實(shí)景三維模型自身的不足,提高了成果數(shù)據(jù)的利用率,也提高了實(shí)景三維的可視化效果,有助于實(shí)景三維的應(yīng)用。