邱春霞，董乾坤，劉榮華，雷 蕾

(1. 西安科技大學測繪科學與技術學院，陜西 西安 710054； 2. 陜西國土測繪工程院，陜西 西安 710054； 3. 西安華輿信息科技有限公司，陜西 西安 710054)

無人機傾斜影像三維建模中的模型精細化

邱春霞1，董乾坤2，劉榮華3，雷 蕾1

(1. 西安科技大學測繪科學與技術學院，陜西 西安 710054； 2. 陜西國土測繪工程院，陜西 西安 710054； 3. 西安華輿信息科技有限公司，陜西 西安 710054)

無人機傾斜影像制作三維模型，速度快、成本低，成為城市三維建模的首選。而無人機傾斜影像三維建模中，數(shù)據(jù)冗余、模型變形、影像缺失等多種問題常常會影響建模效果。本文針對無人機傾斜影像三維建模中的問題，提出了一系列相應的模型精細化處理技術，使三維模型更加形象、逼真。

無人機傾斜影像；三維建模；模型變形；影像缺失；模型精細化

傾斜影像是同時從多個角度采集的影像數(shù)據(jù)，利用傾斜影像制作三維模型，不僅使高昂的三維建模成本大大降低，而且有效提升了三維建模的速度和效率。目前，無人機傾斜影像構建的三維模型，為智慧城市建設及地形復雜的地質災害監(jiān)測等提供了全面、準確、詳細的三維地理信息，廣泛應用于多個領域[1]。然而，無人機傾斜影像三維建模實踐中，在影像預處理、空中三角測量、模型建立后等各技術環(huán)節(jié)，還存在數(shù)據(jù)冗余、模型變形、影像缺失等多種問題。筆者針對這些問題，提出了一系列相應的技術措施，使無人機傾斜影像三維建模實現(xiàn)了模型精細化。

1 無人機傾斜影像三維建模的關鍵技術

無人機傾斜影像三維建模的關鍵技術包括數(shù)據(jù)預處理、空中三角測量、多視影像密集匹配、紋理映射等[2]。傾斜影像數(shù)據(jù)預處理主要為格式轉換、旋轉影像、畸變差改正和增強處理?？罩腥菧y量是以航空像片上量測的像點坐標為依據(jù)，采用嚴密的數(shù)學模型，按最小二乘法原理，采用少量地面控制點為平差條件，快速求解影像的定向及地面點加密問題[3]。傾斜影像的空三解算是將傾斜影像轉換為正射影像的過程，包括影像預處理、影像聯(lián)合平差、基于特征點的影像匹配和正射影像的生成等步驟。通常所用的影像匹配方法有基于像方灰度的匹配算法，如相關函數(shù)法、協(xié)方差函數(shù)法、相關系數(shù)法、差平方和法、差絕對值法、最小二乘影像匹配法等；還有一種影像匹配方法是基于像方特征的匹配算法，如金字塔多級影像匹配算法、SIFT算法等[4]。SIFT算法在特征點提取的數(shù)量上有明顯的優(yōu)勢，是從一幅圖像中根據(jù)設定的閾值找到一個局部特征向量集，可以很好地進行局部目標的識別與匹配存在較大變形如旋轉、縮放、尺度改變的影像。紋理映射是三維模型制作流程的最后一步，也是增強模型視覺效果的關鍵。通俗地講，紋理映射就是二維到三維的映射關系。將紋理空間中的紋理像素映射到屏幕空間中的像素的過程，其實質是建立從屏幕空間到紋理空間及紋理空間到景物空間的兩個映射關系[5]。復雜的三維模型具有復雜的表面，需要多幅來自不同視點的影像作為紋理圖，才能為整個模型進行紋理映射。

2 三維建模的問題及三維模型的精細化處理

2.1 影像預處理

2.1.1 影像畸變差校正

由于相機中心投影的特性，焦平面上不同區(qū)域對影像的放大率不同而造成像片中心至像片邊緣的變形依次增大。一般情況下，輕微的畸變對像片質量影響不大，但是如果建筑物畸變太嚴重會歪曲拍攝實物的幾何特征，需要對像片進行畸變校正。

影像畸變差校正的方法是：打開MapMatrix軟件—工具—數(shù)碼相機影像校正，然后打開去畸變工具—添加影像—填寫校正參數(shù)—校正。校正界面如圖1所示。

圖1 MapMatrix校正界面

參數(shù)設置包括：坐標及單位定義、分辨率、成像中心、校正參數(shù)、添加影像、網(wǎng)格大小、畸變去除。

設置好上述參數(shù)并檢查無誤后，點擊“校正”按鈕，即可進行畸變差去除，完成后可在輸出文件夾生成校正好的TIF和TFW文件。

(1) 用相機檢校參數(shù)填寫見表1。

(2) 用Pix4D自檢校參數(shù)填寫見表2。

表1 相機檢校參數(shù)

表2 Pix4D自檢校參數(shù)

2.1.2 數(shù)據(jù)冗余與數(shù)據(jù)篩選方案

由于傾斜影像建模需要獲取側面紋理信息，且實際地物情況復雜，因此，航攝重疊度設計偏高，采集的影像數(shù)據(jù)量龐大，存在很大數(shù)據(jù)冗余[6]。為了高效、快速建模就必須對影像進行篩選。

數(shù)據(jù)篩選具體方法為：首先對研究區(qū)域獲取的POS數(shù)據(jù)進行編輯(POS數(shù)據(jù)編輯器)，然后保存并生成KML文件，其次將KML文件導入到Google Earth中編輯屬性，更改圖標、顏色(如圖2所示)，并把航線和影像設置為“貼于地面”(如圖3所示)，以便挑選。

圖2 導入POS數(shù)據(jù)

圖3 航線與影像設置

挑選原則主要是將航線與影像高度設置為“貼于地面”，根據(jù)所需區(qū)域判斷該區(qū)域上方有哪幾張影像，然后選擇離它最近的影像。如圖3橢圓區(qū)域，可以在保證重疊度的前提下選擇DSC50214.jpg、DSC50173.jpg、DSC50215.jpg、DSC50213.jpg和DSC50250.jpg這5張影像。

2.2 空中三角測量

2.2.1 模型變形及模型精細化處理

空中三角測量像片缺失是由于像片及POS參數(shù)質量問題，匹配時出現(xiàn)錯誤，導致建模后期存在空洞或模型變形。像片缺失如圖4所示，圖中用圈圈起來的是缺失的像片，模型變形如圖5所示。

圖4 像片丟失

圖5 模型變形

針對空中三角測量時出現(xiàn)的模型變形，模型精細化的處理方法有兩種。第一種方法為：

(1) 將像控點刺于相應像片中，同一地物至少出現(xiàn)在3張像片上，像片控制點的目標影像應清晰，易于判刺和立體量測。像控點點位如圖6所示。

圖6 像控點點位分布

(2) 區(qū)域網(wǎng)布點方案為：對于兩條和兩條以上的平行航線采用區(qū)域網(wǎng)布點時，要求如下：

a. 航向相鄰平面控制點間隔基線數(shù)可參照式(1)進行估算[7]

(1)

式中，ms為連接點(空三加密點)的平面中誤差，單位為毫米；K為像片放大成圖的倍數(shù)；mq為視差量測的單位權中誤差，單位為毫米；n為航線方向相鄰平面控制點的間隔基線數(shù)。

b. 旁向相鄰平面控制點的航線跨度見表3。

表3 旁向相鄰平面控制點的航線跨度

c. 航向相鄰高程控制點間隔基線數(shù)可參照式(2)進行估算[8]

(2)

式中，mh為連接點(空三加密點)的高程中誤差，單位為米(m)；H為相對航高，單位為米(m)；b為像片基線長度，單位為毫米(mm)；n為航線方向相鄰平面控制點的間隔基線數(shù)。

通過對航片刺入控制點，保證一個控制點至少出現(xiàn)在3張像片上，像片刺控制點如圖7所示。然后進行空中三角測量計算像片的位置姿態(tài)參數(shù)，找回丟失的航片，對于邊緣丟失的航片，選擇繼續(xù)通過刺入控制點找回航片或將航片刪除，完成空中三角測量航片缺失及模型變形問題的處理，處理好的模型如圖8所示。

圖7 刺像控點

圖8 處理好的模型

第二種方法為：對于帶狀測區(qū)，可以采用分區(qū)建模的方法進行空中三角測量，然后進行三維重建，最后利用相鄰區(qū)域公共點對各區(qū)域的模型進行接邊，可防止模型變形。圖9為分區(qū)域建模的結果，圖10為分區(qū)建模合成的結果。

2.2.2 不同建模方法比較

方法1：已經(jīng)過畸變的像片加原始POS數(shù)據(jù)(經(jīng)緯度數(shù)據(jù)+HPR角元素系統(tǒng))。

方法2：未經(jīng)過畸變的像片加原始POS數(shù)據(jù)(經(jīng)緯度數(shù)據(jù)+HPR角元素系統(tǒng))加畸變參數(shù)。

方法3：已經(jīng)過畸變的像片加像片外方位元素(XYZ+DPK角元素系統(tǒng))，然后在Smart三維中進行空三加密，空三Setting步，選擇“adjust”。

方法4：已經(jīng)過畸變的像片加像片外方位元素，然后在Smart三維中進行空三加密，空三Setting步，選擇“compute”。

試驗1：利用同一測區(qū)的數(shù)據(jù)，運用方法1、方法3、方法4在Smart三維軟件中分別進行空中三角測量。方法1用時最長，為5.5 h，且空三加密成果變形，像片丟失4張，如圖11所示。方法3用時1 h，空三加密成果無變形，像片丟失2張，如圖12所示。方法4用時2.5 h，空三加密成果無變形，像片丟失11張。通過對3種方法的比較，方法3效果最好，因此在有外方位元素的前提下，可以直接利用方法3進行三維建模。

圖9 分區(qū)空三成果

圖10 模型合并成果

圖11 方法1空三成果

圖12 方法3空三成果

試驗2：利用同一測區(qū)的數(shù)據(jù)，運用方法1、方法2在Smart三維軟件中分別進行空中三角測量。利用方法1進行空三的過程中用時6.5 h，像片丟失15張，而且丟失的像片全部為航線拐角處，如圖13中用圓圈標出來的地方。因為拐角處的像片畸變比較大，因此應該刪除拐角處的像片，然后再進行空中三角測量。利用方法2進行空三的過程中用時8.5 h，像片丟失19張，而且模型變形嚴重，如圖14所示。通過比較，方法1效果較好，因此在進行三維建模時，可以首先對像片進行畸變校正。

圖13 方法1空三成果

圖14 方法2空三成果

利用Smart三維進行三維建模，各種數(shù)據(jù)來源主要包括相機(單鏡頭、五鏡頭)、像片(經(jīng)過畸變的像片、未經(jīng)過畸變的像片)、POS數(shù)據(jù)(經(jīng)緯度+HPR角元素系統(tǒng)、差分POS、經(jīng)過空三加密獲取的外方位元素)、像控點(Google Earth、RTK)。

通過對試驗1、試驗2的對比，得出五鏡頭相機獲取的數(shù)據(jù)+經(jīng)過畸變校正的像片+經(jīng)過空三加密得出的外方位元素+使用RTK測得的像控點方法，三維建模精度最高且用時最短。

2.3 模型變形與紋理缺失的模型精細化處理

2.3.1 模型變形與紋理缺失

傾斜影像獲取數(shù)據(jù)的死角或數(shù)據(jù)點關聯(lián)不足的地方，在模型匹配時會造成模型扭曲變形，主要是建筑物或地物的底腳部位[9]。房屋結構變形如圖15所示。水面、玻璃等表面無或少紋理，匹配不到特征點而產生漏洞，如圖16所示。旗桿、鐵塔、路燈、小于一定厚度的廣告牌等，由于匹配截面過小，不能產生足夠多的特征點，從而造成模型缺失，路燈變形如圖17所示。

圖15 房屋變形

圖16 水面變形

圖17 路燈變形

2.3.2 模型精細化處理

使用DPModeler軟件采用高分辨率的航空影像通過透視成像原理，快速提取建筑物輪廓，自動紋理映射，完成建模[10-11]。其中通過傾斜影像多角度觀測建模，模型和影像完全套合，模型具有精確的三維坐標信息，實現(xiàn)了模型貼圖自動從影像中采集，一鍵完成模型貼圖[12]。通過創(chuàng)建多級金字塔的影像結構，支持超過一億像素的影像無縫調度，可以自動生成真正射影像，修正建筑物的投影差，消除遮擋陰影的問題，實現(xiàn)了對Smart三維自動建模中模型變形的精細化處理。

(1) Smart三維輸出的數(shù)據(jù)格式為OSGB格式，DPModeler無法直接讀取OSGB格式的數(shù)據(jù)，因此需要通過osgConv軟件將OSGB格式的數(shù)據(jù)轉化為DPModeler可以識別的OSGB格式。

(2) 將數(shù)據(jù)導入DPModeler中進行模型精細化處理。對于模型不精細或變形的地方，通過“平面選擇”工具，選擇需要修飾的模型范圍，然后通過重建工具，進行模型重建，設置內收值，完成地面的縫補。

(3) 在三維視圖中，顯示刪除的Mesh，根據(jù)顯示的Mesh在三維自由視圖中，通過制作模型、自動紋理映射步驟完成模型的重建，如圖18所示。

圖18 模型重建

圖18中，最左邊為相機布局視圖，其中不同灰度的點分別代表垂直影像、該范圍內的傾斜影像、計算機優(yōu)先選擇的影像。

(4) 在紋理自動映射步驟，若紋理不清晰或不完整，可以將該影像直接導入PS中進行處理，處理完后，再導入DPModeler中進行紋理映射。房屋精細化處理結果如圖19所示，水面精細化處理結果如圖20所示。

圖20 水面精細化

(5) 對于鐵塔、路燈、旗桿、小于一定厚度的廣告牌，處理方法為在Smart三維中導出為OBJ格式的數(shù)據(jù)，然后導入3ds Max中進行模型精細化處理，完成制作模型與紋理映射步驟，最后再導入Smart三維中。路燈精細化處理結果如圖21所示。

圖21 路燈模型精細化

2.4 模型側面缺失紋理信息的處理方法

若測區(qū)四面環(huán)山，會造成測區(qū)高差較大，無人機拍攝影像具有一定難度，因此只能用單鏡頭的相機俯視拍攝。由于影像數(shù)據(jù)是從空中俯視拍攝的，模型缺少側面紋理信息，導致地面低處模型不完整。為彌補這一不足，可以利用地面拍攝影像與俯視拍攝結合進行影像的獲取。

針對模型側面缺失紋理信息處理方法有兩種：

(1) 利用地面拍攝的影像進行三維建模，然后替換單鏡頭俯視拍攝的建模成果，進行空地融合。

(2) 在低空對模型欠佳的地區(qū)進行無人機傾斜影像采集，對于植被覆蓋區(qū)，進行正射影像采集，由于高差較大，可對有房子的地區(qū)進行低空傾斜影像的采集，確保地物紋理完整。

3 結 語

利用無人機傾斜影像進行三維模型制作是目前廣泛采用的三維建模方式，本文通過對無人機傾斜影像三維建模實踐中經(jīng)常遇到的問題進行分析，提出了一系列的三維模型精細化處理方法，以期對無人機傾斜影像三維建模實踐有一定的參考和借鑒的價值。

[1] 馮梅.基于LiDAR和航空影像的三維建模方法探討[J].測繪通報,2011(12):12-14.

[2] 姚方芳.基于傾斜影像的三維建模方法研究[D].泰安：山東科技大學,2014.

[3] 孫宏偉.基于傾斜攝影測量技術的三維數(shù)字城市建模[J].現(xiàn)代測繪,2014(1):18-21.

[4] 張祖勛,張劍清,胡翔云.基于物方空間幾何約束最小二乘匹配的建筑物半自動提取方法陰[J].武漢大學學報(信息科學版),2001,26(4):290-294.

[5] 桂德竹,林宗堅,張成成.傾斜航空影像的城市建筑物三維模型構建研究[J]測繪科學,2012,37(4):140-142.

[6] 吳軍.三維城市建模中的建筑物墻面紋理快速重建研究[J].測繪學報,2005,34(4):317-323.

[7] 閆利,葉志云.幾何約束條件下的SIFT傾斜影像匹配[J]. 測繪通報,2016(1):37-40，44.

[8] 陳小航,黃金浪,施一軍.易拼圖(EPT)軟件在正射影像圖制作中的應用[J].現(xiàn)代測繪,2013,36(3):44-45.

[9] 王蒙.基于大規(guī)模點云數(shù)據(jù)的三維重建和紋理映射研究[D].南昌：南昌大學,2014.

[10] 卜松濤,岳凡琦,依蘭.基于傾斜影像的三維建筑物紋理提取方法研究[J].測繪與空間地理信息，2014(10):206-208.

[11] 熊俊華,方源敏,付亞梁.機載LIDAR數(shù)據(jù)的建筑物三維重建技術[J].科學技術與工程,2011,11(1):189-192.

[12] 鄧琴.基于DPModeler的傾斜影像三維建模[D].南昌：東華理工大學,2015.

RefiningModelof3DModelingBasedonObliqueImageofUnmannedAircraft

QIU Chunxia1,DONG Qiankun2,LIU Ronghua3,LEI Lei1

(1. College of Geomatics, Xi’an University of Science and Technology, Xi’an 710054, China； 2. Shaanxi Institute of Surveying and Mapping of Land, Xi’an 710054, China; 3. Xi’an Huayu Information Technology Corporation Ltd., Xi’an 710054, China)

3D modeling based on oblique image of unmanned aircraft is the first choice for 3D modeling of the city because it is fast and low cost. Multiple problems, such as data redundancy, model deformation and image deletion, often affect the modeling effect in the 3D modeling based on oblique image of unmanned aircraft. This paper puts forward a series of model refinement treatment technology for 3D modeling based on oblique image of unmanned aircraft. These techniques make the 3D model more vivid and realistic.

oblique image of unmanned aircraft; three-dimensional modeling; model deformation; image missing; model refinement

邱春霞，董乾坤，劉榮華,等.無人機傾斜影像三維建模中的模型精細化[J].測繪通報，2017(11)：133-138.

10.13474/j.cnki.11-2246.2017.0363.

P237

A

0494-0911(2017)11-0133-06

2017-06-26

國家重點研發(fā)計劃(2016YFC0501707)

邱春霞(1969—)，女，碩士，副教授，主要從事攝影測量的教學與研究工作。E-mail:306044748@qq.com