李智程，王偉璽，李曉明，卞雨凡，錢建國，湯圣君

(1. 深圳市數(shù)字城市工程研究中心，廣東 深圳 518034； 2. 遼寧工程技術(shù)大學(xué)，遼寧 阜新 123000；3. 深圳大學(xué)建筑與城市規(guī)劃學(xué)院，廣東 深圳 518060)

智慧城市[1]的建設(shè)需要對(duì)城市整體實(shí)現(xiàn)空間規(guī)劃和三維模型建設(shè)，其中城市真三維模型的建立需要獲得建筑物的空間位置信息和真實(shí)的影像紋理信息。傳統(tǒng)三維城市模型的建立過程是將航空正射影像映射到相應(yīng)的建筑模型頂面，外業(yè)人員手工拍攝建筑立面影像，結(jié)合測區(qū)平面矢量圖等數(shù)據(jù)，獲取建筑物的結(jié)構(gòu)與紋理。這種傳統(tǒng)的映射方法需要大量的人工處理，建模周期長、建模效率較低[2]。近年來，傾斜攝影測量技術(shù)通過從多視角獲取建筑物的立面信息，使全自動(dòng)、快速建立三維實(shí)景城市模型成為可能[3]。傾斜影像的分辨率通常較高，可達(dá)到厘米級(jí)分辨率，這樣的影像可以很好地顯現(xiàn)地面的紋理信息，滿足一般情況下的建模精度要求。

隨著城市高層建筑的增加，建筑物的高度和密集度增大，傾斜航空攝影獲取建筑物結(jié)構(gòu)數(shù)據(jù)和立面紋理數(shù)據(jù)的難度逐漸加大[4]，而且城市建筑物底層商鋪的頻繁更替和植物樹木的遮擋也影響著城市真三維模型的重建質(zhì)量和更新速度。

針對(duì)傾斜影像技術(shù)在三維重建中出現(xiàn)的紋理遮擋現(xiàn)象，目前較為通用的方法之一是通過Photoshop等專業(yè)圖像處理軟件對(duì)三維模型上的紋理遮擋區(qū)域進(jìn)行裁剪，從遮擋區(qū)域附近復(fù)制相似紋理進(jìn)行重新覆蓋[5]；方法之二是人工對(duì)存在遮擋的建筑物補(bǔ)拍影像，對(duì)紋理遮擋區(qū)域進(jìn)行替換。這些方法雖然可以消除建筑物的紋理遮擋，但是依然存在一些問題，如建筑物模型的紋理失真，無法得到高真實(shí)感的建筑物模型，人工操作復(fù)雜，無法滿足大范圍快速的無遮擋紋理替換。

綜上所述，為了建立高精度、高真實(shí)感的建筑物三維實(shí)體化模型，本文提出一種融合多源影像數(shù)據(jù)進(jìn)行影像優(yōu)選并自動(dòng)實(shí)現(xiàn)無遮擋紋理的生成、映射的方法，同時(shí)加以論證。

1 多源影像的無遮最優(yōu)紋理獲取

1.1 總體算法流程

通過固定翼大飛機(jī)高空傾斜影像和無人機(jī)低空傾斜攝影等方式獲取的多源影像，構(gòu)建基于多視影像的三維重建環(huán)境，通過數(shù)據(jù)融合克服多源影像在分辨率、攝影角度、建筑遮擋等方面的差異[6]，提供用戶全視角瀏覽的三維實(shí)景模型，并實(shí)現(xiàn)在三維實(shí)景環(huán)境下的建筑物實(shí)體化建模。根據(jù)多源影像與三維模型的對(duì)應(yīng)關(guān)系，實(shí)現(xiàn)紋理影像的最優(yōu)選擇及無遮擋紋理判斷，并完成真三維模型最優(yōu)紋理的映射。

模型紋理映射如圖1所示。首先需要恢復(fù)多源影像的空間姿態(tài)，根據(jù)建筑物幾何模型(白模)的空間位置與影像的空間三維信息，利用后方交會(huì)[7]篩選出存在模型像方的所有影像，并根據(jù)影像法向量與建筑面法向量最小夾角的判定原則[8]，進(jìn)行影像初選；再結(jié)合有無遮擋的紋理判斷，綜合提取最優(yōu)紋理部分的影像信息，完成對(duì)應(yīng)建筑物模型的紋理映射工作。

1.2 多源影像獲取與數(shù)據(jù)融合

多源影像融合技術(shù)是通過多種影像采集設(shè)備對(duì)目標(biāo)區(qū)域進(jìn)行同時(shí)段影像數(shù)據(jù)獲取。按照SFM算法[9]對(duì)多源影像進(jìn)行融合處理，得到空間位置精確、紋理信息完整、相機(jī)參數(shù)有效的數(shù)據(jù)信息，用于合成包含新的空間特點(diǎn)、紋理特征的紋理影像，以實(shí)現(xiàn)對(duì)目標(biāo)場景的綜合描述。

利用固定翼飛機(jī)高空傾斜攝影獲取的影像數(shù)據(jù)與無人機(jī)中低空拍攝獲取的傾斜影像，結(jié)合目標(biāo)區(qū)域的衛(wèi)星影像資料等，將目標(biāo)場景的多源測量數(shù)據(jù)進(jìn)行融合，得到更為準(zhǔn)確、完整的地物影像信息，以實(shí)現(xiàn)空地一體化的場景重現(xiàn)。多源數(shù)據(jù)的融合可以準(zhǔn)確地表達(dá)目標(biāo)區(qū)域的地標(biāo)地物結(jié)構(gòu)特征與對(duì)象紋理信息，實(shí)現(xiàn)城市三維建筑模型的紋理獲取工作，有效解決傾斜航拍所存在的高層建筑之間的紋理遮擋及建筑底層的紋理不清晰等問題。

1.3 最優(yōu)影像選擇

多源影像的特點(diǎn)是建筑物面的物方投影存在于多張影像。影像的拍攝視角是決定建筑物紋理獲取的一個(gè)重要因素[10]。最理想的拍攝角度是正射角度，但在實(shí)際的拍攝過程中，由于航線的改變、搭載平臺(tái)的姿態(tài)變化，相機(jī)會(huì)存在不同程度的角度傾斜，難以獲得建筑物正射角度拍攝的影像。本文擬通過比較多源影像的向量角，實(shí)現(xiàn)最優(yōu)影像的獲取。具體算法如下：

(1) 建筑物與影像的索引建立。首先對(duì)目標(biāo)建筑物建立包圍盒，利用包圍盒角點(diǎn)的物方坐標(biāo)Xi,Yi,Zi，通過多源影像與建筑物模型的空間姿態(tài)信息，利用相機(jī)全矩陣P計(jì)算影像與包圍盒的投影關(guān)系，得到角點(diǎn)在影像上的像方坐標(biāo)xi,yi。

式中，K為相機(jī)的內(nèi)參矩陣；Rt為相機(jī)的外參矩陣。內(nèi)參矩陣是將三維相機(jī)坐標(biāo)變換到二維齊次圖像坐標(biāo)。相機(jī)的外參矩陣用來描述世界坐標(biāo)中相機(jī)的位置及其指向方向[11]，包含旋轉(zhuǎn)矩陣R和平移向量t。

如果建筑物模型的包圍盒角點(diǎn)的物方坐標(biāo)都存在于該影像的拍攝范圍之內(nèi)，可以保證該影像與建筑模型存在索引關(guān)系[12](如圖2所示)，則該影像擁有目標(biāo)建筑物的紋理信息，將該影像存放到目標(biāo)建筑物對(duì)應(yīng)的紋理影像集合，并進(jìn)行下一步判定。

(2) 篩選建筑物面對(duì)應(yīng)的影像集合。根據(jù)影像的外方位元素，將影像朝向劃分為下視、前視、左視、右視、后視5個(gè)朝向，對(duì)已獲取影像的朝向進(jìn)行判定，獲得5個(gè)朝向的影像集合。其中下視影像集合采用垂直攝影技術(shù)，獲取的影像大都是建筑物頂面紋理，不存在遮擋現(xiàn)象。因此，建筑物頂面的紋理選擇只需從下視影像集合中進(jìn)行篩選，通過平移、旋轉(zhuǎn)、縮放等變換即可作為建筑物頂面紋理[13]。由于下視影像在建筑物側(cè)面紋理的獲取上存在變形較大、紋理缺失嚴(yán)重的問題，因此在建筑物側(cè)面最優(yōu)紋理的獲取計(jì)算中，去除下視影像的參與，簡化計(jì)算過程，提高建模速度。

(3) 建筑物側(cè)面紋理的獲取。建筑物側(cè)面紋理的獲取需要從其他4個(gè)朝向的影像集中選擇，通常相機(jī)朝向角度垂直于建筑物面獲取的影像變形小，相機(jī)曝光條件合適，更加容易獲取最優(yōu)紋理，因此通過判斷影像集合與建筑物面的相對(duì)關(guān)系來進(jìn)行篩選：將建筑物面的中點(diǎn)與影像攝影中心投影到地平面，并得到其在地平面上的向量，計(jì)算該向量與建筑物面法向量的夾角，根據(jù)夾角越小說明影像的朝向越合適的原則，得到最接近正射角度的影像集合，如圖3所示。

(4) 最優(yōu)影像獲取。獲取建筑物立面的對(duì)應(yīng)影像集合之后，對(duì)所有影像進(jìn)行影像與建筑物面的向量計(jì)算。當(dāng)建筑物面的中心點(diǎn)到影像攝影中心的向量與建筑物面的法線的夾角小于90°時(shí)，說明該建筑物的面可以在影像上找到對(duì)應(yīng)的投影，通常夾角越小的影像，對(duì)應(yīng)的建筑物面的紋理效果越好。如果建筑物面的像方投影存在于多張影像，則按照夾角的角度從小到大進(jìn)行排序，為以后的無遮擋影像的選擇提供參考，如圖4所示。

1.4 無遮擋紋理判斷

紋理遮擋是由于航攝瞬間，目標(biāo)建筑物受到其他建筑物的遮擋，造成目標(biāo)建筑物面沒有獲取完整的紋理影像。通常情況下，影像的紋理遮擋出現(xiàn)在側(cè)方影像，本文擬通過計(jì)算建筑物之間的遮擋關(guān)系，對(duì)遮擋影像進(jìn)行處理，實(shí)現(xiàn)無遮擋紋理的獲取。具體算法(如圖5所示)如下：

(1) 利用本文影像優(yōu)選算法，得到每一個(gè)建筑物面對(duì)應(yīng)的最優(yōu)向量夾角的影像，通過影像投影中心與建筑物面角點(diǎn)在地平面上的陰影，得到一個(gè)遮擋有效區(qū)域，根據(jù)其他建筑物是否位于該遮擋區(qū)域內(nèi)，來確定影像是否存在遮擋。如果該區(qū)域內(nèi)沒有其他建筑，則此影像不存在遮擋，可以作為目標(biāo)建筑物面的最優(yōu)紋理；若其他建筑物存在于該區(qū)域內(nèi)，則可能對(duì)目標(biāo)建筑屋面造成紋理遮擋，需要進(jìn)行下一步判定，如圖6所示。

(2) 根據(jù)遮擋疑似建筑的角點(diǎn)物方坐標(biāo)，計(jì)算其在影像上的像點(diǎn)坐標(biāo)，判斷像點(diǎn)坐標(biāo)與目標(biāo)建筑物的像方投影區(qū)域在影像上的位置關(guān)系。如果像點(diǎn)坐標(biāo)位于投影區(qū)域之外，則不會(huì)對(duì)目標(biāo)建筑物產(chǎn)生遮擋，該影像可以作為最優(yōu)紋理。若該區(qū)域內(nèi)存在其他建筑物的像方點(diǎn)，則可能對(duì)目標(biāo)建筑物造成紋理遮擋，需要進(jìn)行下一步判定。

(3) 在存在遮擋影像的紋理映射區(qū)域，根據(jù)像素坐標(biāo)找到4個(gè)極點(diǎn)，取其平分點(diǎn)，并根據(jù)平分點(diǎn)將紋理映射區(qū)域分為4份，計(jì)算遮擋物與哪一個(gè)區(qū)域相交，若存在相交，該區(qū)域?yàn)檎趽鯀^(qū)，沒有相交的區(qū)域則可以選擇為最優(yōu)紋理區(qū)域。如圖7所示，A、B區(qū)域可以選為最優(yōu)紋理區(qū)域，C、D區(qū)域則存在遮擋。對(duì)于有遮擋的部分，根據(jù)之前的最優(yōu)拍攝角度排序，選擇更換下一張影像重新進(jìn)行整個(gè)算法流程。通過多次計(jì)算，得到最優(yōu)紋理集合。

(4) 根據(jù)多源影像的內(nèi)外方位元素，計(jì)算獲得全相機(jī)矩陣P，通過目標(biāo)建筑物面角點(diǎn)的物方點(diǎn)坐標(biāo)，解算得到對(duì)應(yīng)的影像紋理坐標(biāo)，實(shí)現(xiàn)建筑模型與紋理影像的對(duì)應(yīng)關(guān)系。調(diào)用SketchUp API與OpenGL提供的紋理映射功能接口[14]，完成目標(biāo)建筑物面紋理映射工作，實(shí)現(xiàn)城市真三維模型的創(chuàng)建。

2 試驗(yàn)結(jié)果和分析

為了檢驗(yàn)多源影像融合的影像優(yōu)選算法和無遮擋紋理獲取的效果，以及城市真三維模型實(shí)體化紋理貼圖算法效果，本文選取深圳市龍崗區(qū)某居民小區(qū)三維場景進(jìn)行試驗(yàn)驗(yàn)證。

(1) 利用大飛機(jī)及無人機(jī)等多種采集方式獲取傾斜影像數(shù)據(jù)，通過Context Capture軟件實(shí)現(xiàn)多源數(shù)據(jù)融合并進(jìn)行空三計(jì)算，生成OSGB三維實(shí)景模型[15]，如圖8所示。

(2) 通過SketchUp進(jìn)行插件式開發(fā)，在SketchUp中加載精確的空三信息和三維實(shí)景模型，并根據(jù)三維實(shí)景模型中建筑物的空間結(jié)構(gòu)信息，利用SketchUp強(qiáng)大的模型創(chuàng)建功能進(jìn)行建筑物的精細(xì)化建模，得到細(xì)節(jié)結(jié)構(gòu)完整、準(zhǔn)確的建筑物實(shí)體化模型，如圖9所示。

(3) 利用本文影像優(yōu)選功能對(duì)建筑物進(jìn)行紋理最優(yōu)影像選擇，并且通過自動(dòng)紋理貼圖模塊實(shí)現(xiàn)對(duì)建筑物單體模型紋理映射工作，如圖10所示。

(4) 對(duì)試驗(yàn)獲取的真三維模型進(jìn)行質(zhì)量檢查，發(fā)現(xiàn)部分建筑物存在紋理遮擋(如圖11(a)所示)。對(duì)存在紋理遮擋的建筑物，利用本文無遮擋紋理處理功能進(jìn)行無遮擋紋理重新生成并進(jìn)行紋理映射，得到無遮擋的建筑物模型(如圖11(b)所示)。再通過Photoshop圖像處理軟件對(duì)建筑物模型進(jìn)行整體勻光，得到最終的建筑物模型(如圖11(c)所示)。

通過3次的處理結(jié)果對(duì)比發(fā)現(xiàn)，只通過影像優(yōu)選獲取的建筑物影像可以實(shí)現(xiàn)建筑物模型對(duì)應(yīng)位置的精確映射，但存在大范圍的紋理遮擋。通過無遮擋紋理處理之后的模型紋理貼合精確，有效地分辨紋理遮擋并進(jìn)行無遮擋紋理獲取計(jì)算，但是依然存在模型紋理的色彩融合性較差、紋理顯示分層現(xiàn)象明顯等問題，需要利用Photoshop等影像處理軟件對(duì)建筑物整體的影像紋理進(jìn)行色度、亮度融合處理。

3 結(jié) 語

基于多源影像融合對(duì)建筑物三維模型進(jìn)行無遮擋紋理自動(dòng)映射處理， 通過研究建筑物最優(yōu)影像的獲取及無遮擋紋理的自動(dòng)生成方法，可以有效地對(duì)建筑物模型的紋理進(jìn)行精確映射，提高了三維建模的效率，增強(qiáng)了建筑物實(shí)體模型的真實(shí)感，自動(dòng)化的處理過程提高了城市真三維模型的紋理重建速度，減少了大量的人工操作，而且程序算法簡單、有效，方便以后更深層次的開發(fā)工作。