蔣蕭，邱春霞，張春森，郭丙軒，帥林宏，彭哲，賈欣

摘要：針對基于無人機(jī)傾斜影像實(shí)景三維重建中，移動目標(biāo)對道路實(shí)景三維重建造成幾何變形和紋理失真的問題，提出一種基于深度學(xué)習(xí)的無人機(jī)影像道路實(shí)景三維修復(fù)方法。首先，通過添加注意力機(jī)制的深度學(xué)習(xí)網(wǎng)絡(luò)模型YOLOv8對影像中目標(biāo)進(jìn)行檢測；其次，在得到影像對應(yīng)目標(biāo)標(biāo)記的基礎(chǔ)上，根據(jù)已生成三維Mesh模型中各三角面在可視影像集合中的投影位置，結(jié)合影像所標(biāo)記目標(biāo)的對應(yīng)范圍，統(tǒng)計(jì)各三角面的類別信息以此判定移動目標(biāo)；最后，利用移動目標(biāo)判定結(jié)果對移動目標(biāo)造成的三維模型幾何變形及紋理錯誤進(jìn)行修復(fù)，實(shí)現(xiàn)道路實(shí)景三維重建。結(jié)果表明：改進(jìn)的網(wǎng)絡(luò)模型較YOLOv4、YOLOv5和YOLOv8模型，平均精度（mAP）值平均提升10.82%，移動目標(biāo)判定準(zhǔn)確率達(dá)97.43%。與流行國外商業(yè)軟件相比，所提方法重建修復(fù)效果更佳，自動化程度更高。

關(guān)鍵詞：實(shí)景三維重建；深度學(xué)習(xí)；Mesh模型；遮擋剔除；紋理修復(fù)

中圖分類號：P 231文獻(xiàn)標(biāo)志碼：A

文章編號：1672-9315（2024）01-0175-10

DOI：10.13800/j.cnki.xakjdxxb.2024.0118開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

3D restoration of road real scene based on deep learning for UAV imagesJIANG Xiao1，QIU Chunxia1，ZHANG Chunsen1，GUO Bingxuan2，SHUAI Linhong1，PENG Zhe3，JIA Xin3

（1.College of Geomatics，Xian University of Science and Technology，Xian 710054，China；2.State Key Laboratory of Information Engineering in Surveying Mapping and Remote Sensing，Wuhan University，Wuhan 430079，China；3.Wuhan Xuntu Shikong Software Technology Co.，Ltd.，Wuhan 430223，China）

Abstract：In order to address the problems of geometric deformation and texture distortion caused by moving targets on the road 3D Real Scene model based on UAV oblique photography，a restoration method of the road 3D Real Scene model is proposed using deep learning.Firstly，the YOLOv8 network，involving the attention mechanism，was employed to detect objects in the image.Secondly，based on the detected objects range，the presence of moving targets was determined by analyzing the category information of each triangular face in the mesh，according to its projection position in the visual image set.Finally，the geometric deformation and texture distortion of the 3D model were restored from the results of moving targets determination to achieve the road 3D Real Scene model reconstruction.The results indicate that the improved network? enhances the mAP by an average of 10.82% over YOLOv4，YOLOv5 and YOLOv8.Furthermore，the accuracy of moving targets determination is 97.43%.Additionally，in contrast to commercial software，the? proposed method demonstrates a superior restoration effect and a higher level of automation.

Key words：reality 3D reconstruction of real scene；deep learning；Mesh model；occlusion culling；texture restoration

0引言

“實(shí)景三維”是國家新型基礎(chǔ)設(shè)施的重要組成部分，它為國家經(jīng)濟(jì)社會發(fā)展和各部門信息化提供統(tǒng)一的空間基底。傾斜攝影三維模型是實(shí)景三維地理場景表達(dá)的重要方式之一，精確的幾何結(jié)構(gòu)反映模型的真實(shí)形態(tài)，豐富的紋理特征表現(xiàn)模型的真實(shí)外觀[1]。而道路場景中移動目標(biāo)的存在易導(dǎo)致影像匹配困難，以致造成道路模型幾何扭曲以及紋理失真。以往采取全人工或半人工的方式對重建后的模型進(jìn)行手動修復(fù)，此過程費(fèi)時費(fèi)力。因此如何消除移動目標(biāo)對道路三維模型重建的影響，提高道路實(shí)景三維重建的自動化程度是一個非常重要且具有實(shí)際應(yīng)用價值的問題。

道路三維場景修復(fù)包括幾何和紋理修復(fù)，幾何修復(fù)主要是修復(fù)道路上移動目標(biāo)造成的幾何模型變形，紋理修復(fù)主要處理移動目標(biāo)造成的紋理遮擋。道路實(shí)景三維中的遮擋分為遮擋物已經(jīng)被重建出來（固有遮擋）以及遮擋物未被重建出來（移動遮擋）2類，有效地從多視影像中檢測出2類遮擋是問題研究的第1步，對于第1類遮擋，由于模型已被重建出來，處理這類遮擋相對容易，目前已有比較成熟的算法，比如針對建筑物被遮擋問題，劉亞文等通過邊緣提取的方法剔除了建筑物立面上的遮擋[2]；賈成棟針對智能汽車采集并建立的城市街景模型，用語義分割的方法找到模型上的前景和建筑物背景，并用深度學(xué)習(xí)的方法對建筑物紋理進(jìn)行學(xué)習(xí)訓(xùn)練，以解決建筑物模型被前景遮擋的問題[3]；李妍妍也提出了將三維模型映射到二維紋理影像中以實(shí)現(xiàn)對密集建筑物遮擋的處理[4]。然而這些方法都無法判斷道路場景中由移動車輛、行人等造成的遮擋，為此SINHA等提出依據(jù)影像的色調(diào)信息來識別此類被遮擋區(qū)域，并利用相鄰影像上沒有被遮擋的相同區(qū)域內(nèi)像素的平均顏色值對該區(qū)域進(jìn)行補(bǔ)償[5]。但若樣本中含有大量異常值，求得的平均值會與真實(shí)的平均值相差甚遠(yuǎn)，從而會導(dǎo)致判斷失誤。自HINTON提出采用神經(jīng)網(wǎng)絡(luò)對數(shù)據(jù)中的高層特征進(jìn)行學(xué)習(xí)以來[6]，基于深度學(xué)習(xí)的目標(biāo)檢測成為研究熱點(diǎn)，在移動目標(biāo)檢測領(lǐng)域出現(xiàn)了一大批獲得成功的基于深度學(xué)習(xí)檢測方法，但這些流行算法面對基于無人機(jī)傾斜影像道路中小移動目標(biāo)檢測以及大規(guī)模實(shí)景三維數(shù)據(jù)處理仍存在方法難以勝任，以及運(yùn)行消耗資源多等問題[7]。

首先基于深度學(xué)習(xí)改進(jìn)的YOLOv8[8]（You Only Look Once version 8）算法對影像中目標(biāo)信息進(jìn)行檢測，在得到影像所對應(yīng)的目標(biāo)信息標(biāo)記的基礎(chǔ)上，根據(jù)已生成三維Mesh模型中各三角面在可視影像集合中的投影位置，結(jié)合影像所標(biāo)記目標(biāo)的對應(yīng)范圍，統(tǒng)計(jì)各三角面的類別信息以此判定影像所識別目標(biāo)移動與否，通過剔除移動目標(biāo)所標(biāo)記的三角面及移動目標(biāo)三維模型錯誤紋理實(shí)現(xiàn)道路三維場景的修復(fù)。

1研究方法

1.1基于YOLOv8改進(jìn)算法無人機(jī)影像移動目標(biāo)檢測基于無人機(jī)傾斜影像進(jìn)行道路實(shí)景三維建模，存在無人機(jī)飛行不穩(wěn)定、檢測目標(biāo)小，且影像包含大量的地理元素，致使目標(biāo)和背景不易區(qū)分等問題，因此對此類影像進(jìn)行目標(biāo)檢測極具挑戰(zhàn)性[9-10]。YOLOv8是目前YOLO系列算法中最新推出的目標(biāo)檢測算法，由Darknet-53特征提取網(wǎng)絡(luò)、PAN-FAN特征融合網(wǎng)絡(luò)和Decoupled-Head解耦頭構(gòu)成，分為輸入（Input）、骨架（Backbone）、頸部（Neck）和輸出（Head）4個部分。隨著網(wǎng)絡(luò)的加深，感受野持續(xù)增大，而特征圖的尺寸減小，特征逐漸抽象，語義特征減弱，小目標(biāo)位置信息變得越來越模糊，使得小目標(biāo)的精確檢測變得困難[11]。為有效實(shí)現(xiàn)對無人機(jī)傾斜影像道路中汽車、摩托車和人等小目標(biāo)的檢測，在原YOLOv8算法中增加注意力機(jī)制，通過訓(xùn)練和學(xué)習(xí)使模型聚焦于關(guān)鍵信息，即在YOLOv8網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上增加結(jié)合特征通道和特征空間2個維度的注意力機(jī)制模塊（Convolutional Block Attention Module，CBAM）[12]，其中通道注意力模型可以為不同的特征通道，例如汽車、摩托車和人等特征通道賦予不同權(quán)重，得到一維通道權(quán)重向量；而空間注意力模型則可為每個特征通道中的每個特征空間賦予不同權(quán)重，生成二維空間權(quán)重向量；最后將二維空間權(quán)重向量與特征通道相乘，得到優(yōu)化后的特征圖，CBAM模塊網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示[13]。

在YOLOv8網(wǎng)絡(luò)中，經(jīng)過Darknet-53網(wǎng)絡(luò)粗提取后的特征圖輸入至Neck端進(jìn)行特征融合，由于特征融合效果直接影響后續(xù)的檢測精度，為了提升特征信息的融合效果，文中在Neck端上采樣部分的Upsample結(jié)構(gòu)前以及下采樣部分的C2f模塊后嵌入了CBAM模塊[14]。改進(jìn)后的YOLOv8網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

由于CBAM是輕量級的通用模塊，因此可以忽略該模塊的開銷[15]。增加了CBAM模塊之后的YOLOv8模型分別沿特征空間和特征通道重新校準(zhǔn)特征圖后合并輸出，從而有效增強(qiáng)了模型對空間和通道兩方面有效信息的關(guān)注，提升了模型的表現(xiàn)能力，進(jìn)而增強(qiáng)了對后續(xù)移動目標(biāo)判定結(jié)果的準(zhǔn)確性。

1.2基于多視影像約束的移動目標(biāo)判定

首先利用獲得的無人機(jī)傾斜影像和影像位姿數(shù)據(jù)，采用運(yùn)動結(jié)構(gòu)恢復(fù)（Structure from Motion，SfM）算法[16]，計(jì)算三維幾何結(jié)構(gòu)和相機(jī)姿態(tài)，生成稀疏的高精度三維點(diǎn)云。然后基于PatchMatch的多視圖密集匹配算法[17]計(jì)算每張圖像的深度圖，并基于加權(quán)最小二乘算法選定每個視點(diǎn)的最優(yōu)高程值，構(gòu)成精密的三維點(diǎn)云。最后采用基于狄洛尼三角剖分的曲面重建方法對點(diǎn)云進(jìn)行網(wǎng)格化，生成Mesh模型。

在基于無人機(jī)傾斜影像道路三維重建的過程中，當(dāng)?shù)缆反嬖谝苿榆囕v等動態(tài)目標(biāo)時，構(gòu)建的三維模型會出現(xiàn)幾何結(jié)構(gòu)變形甚至缺失的現(xiàn)象[18]，如圖3（a）道路無人機(jī)傾斜影像中黃色車輛為靜止車輛，其余車輛均為移動車輛，由圖3（b）道路三維重建Mesh模型中可以看出，只有靜止的黃色車輛建立起了對應(yīng)三維模型，白色貨車只構(gòu)建了部分的三維模型，其他移動車輛三維建模均告失敗。

基于多視影像約束的判定移動目標(biāo)算法流程圖如圖4所示。

使用深度學(xué)習(xí)網(wǎng)絡(luò)識別無人機(jī)影像中的汽車、摩托車和人等目標(biāo)，再將識別出的目標(biāo)范圍像素坐標(biāo)（u，v）反投影至Mesh網(wǎng)格中得到對應(yīng)的三維點(diǎn)坐標(biāo)（XW，YW，ZW），此反投影過程依賴于相機(jī)投影矩陣（P矩陣），該矩陣描述了物方坐標(biāo)系到相機(jī)坐標(biāo)系的映射關(guān)系，投影關(guān)系可表示為

u

v

1=1ZcPXW

YW

ZW

1（1）

式中（XW，YW，ZW）為點(diǎn)云的在世界坐標(biāo)系下的三維坐標(biāo)；Zc為物方點(diǎn)在相機(jī)坐標(biāo)系下的z軸坐標(biāo)；P矩陣構(gòu)成可表示為

P=K[R|T]=fx0u0

0fyv0

001[RωRRK|-RC]（2）

式中K為相機(jī)內(nèi)參矩陣；fx與fy分別代表相機(jī)在x軸和y軸方向上的焦距；（u0，v0）為像主點(diǎn)坐標(biāo)；R為旋轉(zhuǎn)矩陣，Rω，R，RK分別是3個坐標(biāo)軸方向上的旋轉(zhuǎn)分量；T為平移量；C為攝影中心坐標(biāo)。

得到三維點(diǎn)坐標(biāo)后，統(tǒng)計(jì)三維點(diǎn)坐標(biāo)所在三角面候選影像中包含該目標(biāo)的比例。如果比例低于80％，可以判斷該目標(biāo)為移動目標(biāo)，生成所有可視影像對應(yīng)的移動目標(biāo)掩膜影像，用于后續(xù)模型修復(fù)過程。

1.3道路實(shí)景三維修復(fù)

1.3.1幾何修復(fù)

實(shí)景三維道路幾何修復(fù)包括移動目標(biāo)覆蓋區(qū)范圍確定、覆蓋區(qū)錯誤網(wǎng)形刪除和移動目標(biāo)覆蓋區(qū)Mesh網(wǎng)格重建3部分，考慮到道路上移動目標(biāo)所占區(qū)域通常不是很大，對整體三維重建的網(wǎng)形不會有明顯影響。文中直接將其覆蓋區(qū)內(nèi)的三角面刪除，再對刪除后形成的空洞進(jìn)行修補(bǔ)，以達(dá)到重建Mesh網(wǎng)格的目的[19]。

首先在篩選出移動目標(biāo)覆蓋區(qū)的基礎(chǔ)上，將覆蓋區(qū)掩膜投影至成塊分布的Mesh網(wǎng)格上，并對其做刪除操作，其次通過Mesh網(wǎng)格塊中三角形各邊之間的鄰接關(guān)系確定洞的邊界（刪除后的塊區(qū)域可能會形成一個洞），在確定洞邊界后進(jìn)行補(bǔ)洞操作，操作步驟如下

1）找到孔洞的邊界，計(jì)算邊界邊的平均長度l；

2）計(jì)算每個邊界點(diǎn)相鄰邊界邊之間的夾角，找到夾角最小邊界點(diǎn)，計(jì)算它的2個相鄰邊界點(diǎn)的距離s，判斷s<2×l是否成立，如果成立，則按圖5（a）所示增加一個三角形；反之，則按圖5（b）所示增加2個三角形；

3）更新孔洞的邊界集合；

4）重復(fù)步驟（2）（3），直到完成孔洞修復(fù)。

另外，由于修補(bǔ)前后該區(qū)域的三角面始終位于道路平面，且始終對邊界邊進(jìn)行操作，因此該方法能夠保證修復(fù)前后該區(qū)域模型粗差較小，且修補(bǔ)后該區(qū)域不會產(chǎn)生非流形點(diǎn)或非流形邊。

1.3.2紋理修復(fù)

紋理映射實(shí)質(zhì)是將二維紋理影像映射到三維模型表面，紋理映射過程包括遮擋判斷、最佳紋理源選擇、勻光勻色和紋理打包等內(nèi)容[20-21]。紋理修復(fù)流程如圖6所示。

在基于傾斜影像實(shí)景三維重建中，Mesh模型的每個三角面都有一個可視影像列表，它記錄了該三角面對應(yīng)的所有可視影像[22]。對遮擋問題的處理通常包括在可視影像列表中直接刪除遮擋影像和依據(jù)遮擋影像得分進(jìn)行懲罰2種方式。采取基于得到的移動物體信息在可視影像列表中將包含遮擋的影像刪除的方式，即采用影像一致性檢驗(yàn)方法來剔除移動物體遮擋[23-26]。判斷三角面是否被掩膜影像遮擋，認(rèn)為只要三角面中的一個像素上有移動物體，則對應(yīng)影像對三角面造成遮擋，即將其從三角面的可視影像列表中剔除。

在遮擋判斷完成后，從可視影像列表中選擇最佳影像就成為一項(xiàng)重要工作。最佳影像需滿足2個基礎(chǔ)條件：一是分辨率較高；二是相鄰三角面間最佳影像相似度較高。除上述2個條件外，還需保證同一平面的三角面盡可能選擇相同的影像。為此采用角度和面積約束的圖割算法構(gòu)建能量函數(shù)計(jì)算影像的得分情況，根據(jù)得分情況選擇最佳影像。能量函數(shù)如下式

E（f）=Edata（f）+Esmooth（f）（3）

式中f為當(dāng)前紋理塊ID；數(shù)據(jù)項(xiàng)Edata（f）為當(dāng)前三角面和備選紋理塊間的符合程度；平滑項(xiàng)Esmooth為不同紋理塊間的一致性程度。數(shù)據(jù)項(xiàng)計(jì)算公式如下

Edata（f）=KdataAreanor×|nnor×s|（4）

式中K為數(shù)據(jù)能的最大值；Areanor為將當(dāng)前三角面投影到備選紋理塊所在平面上的歸一化面積；nnor為當(dāng)前三角面歸一化法向量；s為備選紋理塊投影平面歸一化主光軸的方向向量。由式（4）可知，投影面積越大且夾角越小的三角面數(shù)據(jù)能越小，紋理塊得分越高[27]。

對于平滑項(xiàng)，判斷相鄰三角面所選影像是否相同。若相同，平滑能為0；若不同，平滑能取最大值。

經(jīng)圖割運(yùn)算后，每個三角面對應(yīng)的唯一一張影像，認(rèn)為是其最佳影像。接著通過建立像素坐標(biāo)和紋理坐標(biāo)的轉(zhuǎn)換關(guān)系，可實(shí)現(xiàn)紋理映射過程，轉(zhuǎn)換關(guān)系表示如下

x=u×w

y=（1-v）×h（5）

式中（u，v）為紋理坐標(biāo)；（x，y）為像素坐標(biāo)；w和h分別為紋理圖的寬和高[28]。

2試驗(yàn)與結(jié)果

2.1基于YOLOv8改進(jìn)算法道路目標(biāo)檢測

2.1.1數(shù)據(jù)介紹

模型訓(xùn)練所用數(shù)據(jù)集為包含大量城市道路場景的開源數(shù)據(jù)集VisDrone、VOC以及自拍無人機(jī)傾斜影像制作數(shù)據(jù)集，其中傾斜影像數(shù)據(jù)集的相關(guān)信息見表1。將城市道路上可能涉及的移動遮擋物分為汽車、摩托車、人3類，按8∶2的比例將每組數(shù)據(jù)分為訓(xùn)練集和測試集[29]，并對選擇的影像用LabelMe工具標(biāo)注。

2.1.2試驗(yàn)平臺及評價指標(biāo)

試驗(yàn)基于Windows 10操作系統(tǒng)，采用GPU為NVIDIA GeForce GTX 2060，內(nèi)存為16 GB，使用Adam優(yōu)化器在PyTorch中實(shí)現(xiàn)。采用召回率（Recall）、精度（Precision）、平均精度（Average Precision，AP）和mAP[30]作為目標(biāo)檢測的評價指標(biāo)。Recall和Precision計(jì)算公式如下式

Precision=tptp+fp（6）

Recall=tptp+fn（7）

式中tp為目標(biāo)被正確預(yù)測為車輛的個數(shù)；fp為目標(biāo)被錯誤預(yù)測為車輛的個數(shù)。

對Precision-Recall曲線進(jìn)行平滑處理，即采用每個點(diǎn)右側(cè)最大的Precision值作為該點(diǎn)Precision值。得到psmooth（r），然后通過數(shù)值積分計(jì)算出psmooth（r）曲線下的面積即為AP值。計(jì)算公式如下式

AP=∫10psmooth（t）dr（8）

對所有類別的AP值求平均即可得mAP值，計(jì)算公式如下式

mAP=∑Ki=1APiK（9）

式中K為檢測目標(biāo)類別總數(shù)。

2.1.3結(jié)果對比

為驗(yàn)證文中改進(jìn)的YOLOv8模型及CBAM模塊的有效性，現(xiàn)移除算法網(wǎng)絡(luò)中該模塊結(jié)構(gòu)，將其與YOLOv4、YOLOv5模型進(jìn)行目標(biāo)檢測消融試驗(yàn)，試驗(yàn)結(jié)果見表2，由表2可知：改進(jìn)的YOLOv8模型相較于YOLOv4、YOLOv5以及YOLOv8模型，mAP值分別提升1220%、7.85%、12.40%，特別是在行人和摩托車的檢測性能上表現(xiàn)出色，圖7為YOLOv4、YOLOv5和YOLOv8模型與改進(jìn)的YOLOv8模型道路目標(biāo)檢測結(jié)果，其中影像1，4內(nèi)部右側(cè)為對人的檢測結(jié)果；影像2內(nèi)部上方為對摩托車的檢測結(jié)果；影像3，4內(nèi)部的右側(cè)為對汽車的檢測結(jié)果，左側(cè)則顯示對被樹木遮擋的汽車檢測結(jié)果。從圖7可以看出，改進(jìn)的YOLOv8模型更好地檢測出了汽車等大型移動目標(biāo)，尤其對被樹木遮擋的汽車的檢測效果更優(yōu)。同時，對小型移動目標(biāo)，如人、摩托車等目標(biāo)的檢測表現(xiàn)也更為出色。

2.2道路移動車輛判定

基于多視影像約束的移動車輛判定算法對影像中道路上運(yùn)動車輛及人進(jìn)行檢測，結(jié)果如圖8所示（從上至下車輛編號為1～8），其中圖8（a）為在影像上采用外框標(biāo)記的目標(biāo)檢測結(jié)果，人采用綠色矩形框標(biāo)記，車輛采用紅色矩形框標(biāo)記；采用第1.2節(jié)算法進(jìn)行移動車輛判定，同時認(rèn)為所有行人和摩托車均對影像紋理造成遮擋，生成移動目標(biāo)對應(yīng)掩膜圖像，如圖8（b）所示。表3為影像中各車輛被投影覆蓋的三角面的候選影像中存在該車輛的比例統(tǒng)計(jì)，以超過80%比例為閾值對移動車輛進(jìn)行判定，根據(jù)表3數(shù)據(jù)得出，車輛8為靜止車輛。

為驗(yàn)證文中移動目標(biāo)檢測和判定效果，在數(shù)據(jù)集1和數(shù)據(jù)集2中隨機(jī)選取3張包含道路的無人機(jī)影像對其進(jìn)行目標(biāo)檢測和移動目標(biāo)判斷（圖9（a）），圖9（b）為影像目標(biāo)檢測結(jié)果，圖9（c）為其移動目標(biāo)對應(yīng)掩膜影像，表4為3張無人機(jī)影像目標(biāo)檢測結(jié)果統(tǒng)計(jì)。

從表4可以看出，影像1上的所有車輛均被檢測到，影像2上有2輛車未被檢測到，影像1和影像2所有移動車輛均被正確判斷；影像3上有2輛車未被檢測到，且有2輛移動車輛未被正確判定。以上結(jié)果表明，在目標(biāo)檢測到的所有車輛中，移動目標(biāo)判定算法的平均正確率為97.43%。

2.3幾何修復(fù)

幾何修復(fù)包括移動目標(biāo)覆蓋區(qū)范圍確定、移動目標(biāo)覆蓋區(qū)三角面刪除、移動目標(biāo)覆蓋區(qū)網(wǎng)格補(bǔ)洞3個主要過程。根據(jù)移動目標(biāo)掩膜結(jié)果確定移動目標(biāo)覆蓋區(qū)，刪除覆蓋區(qū)內(nèi)所有三角面，最后用文中1.3.1節(jié)所示算法進(jìn)行補(bǔ)洞操作。圖10為數(shù)據(jù)集2中某局部場景修復(fù)前紋理模型和白模。

圖11（a）為圖10移動目標(biāo)覆蓋區(qū)刪除結(jié)果，圖11（b）為其補(bǔ)洞結(jié)果，圖11（c）為幾何修復(fù)后的白模，圖11（d）為幾何修復(fù)和紋理修復(fù)后的實(shí)景三維模型。

從圖11（c）可以看出，通過補(bǔ)洞算法得到的移動車輛覆蓋區(qū)三維Mesh模型更加貼近真實(shí)情況，同時也為后續(xù)紋理修復(fù)奠定了基礎(chǔ)；以及從圖11（d）可以看出，對于修復(fù)后的移動車輛覆蓋區(qū)，其紋理在經(jīng)過遮擋剔除后也得到相應(yīng)的改善。

2.4紋理修復(fù)

圖12、圖13分別為2組數(shù)據(jù)（局部）剔除移動車輛前后結(jié)果對比。從圖12可以看出，文中算法對移動車輛的去除基本達(dá)到80%以上，從模型多個角度可以看出，修復(fù)后模型道路區(qū)域更加平整真實(shí)；從圖13可以看出，文中算法對行人密集的區(qū)域能夠較好地剔除遮擋，遮擋去除后模型的視覺效果明顯變好，在一定程度上消除了移動物體遮擋導(dǎo)致模型質(zhì)量不佳的情況。

圖14、圖15為文中算法與商業(yè)軟件ContextCapture實(shí)景三維建模效果對比。從圖14和圖15可以看出，文中算法在2組數(shù)據(jù)上的表現(xiàn)均較ContextCapture建模好，經(jīng)過文中算法剔除紋理遮擋后的模型減少了由于移動物體遮擋導(dǎo)致的紋理拉花現(xiàn)象的發(fā)生。

3結(jié)論

1）改進(jìn)的YOLOv8模型較YOLOv4、YOLOv5和YOLOv8模型，mAP值分別提升了12.20%、785%、12.40%，且基于目標(biāo)檢測結(jié)果進(jìn)行移動目標(biāo)判定準(zhǔn)確率為97.43%。

2）采用的幾何修復(fù)和紋理修復(fù)方法使得修復(fù)后的模型與國外三維重建商業(yè)軟件的重建效果相當(dāng)，個別處甚至效果更佳，有效地解決了無人機(jī)傾斜影像實(shí)景三維重建過程中的移動目標(biāo)干擾問題。

參考文獻(xiàn)（References）：

[1]王維，王晨陽.實(shí)景三維中國建設(shè)布局與實(shí)現(xiàn)路徑思考[J].測繪與空間地理信息，2021，44（7）：6-14.

WANG Wei，WANG Chenyang.Thoughts on real scene three-dimensional China construction layout and realization path[J].Geomatics & Spatial Information Technology，2021，44（7）：6-14.

[2]劉亞文，關(guān)振.街景建筑物立面紋理遮擋恢復(fù)方法研究[J].武漢大學(xué)學(xué)報(bào)信息科學(xué)版，2010，35（12）：1457-1460.

LIU Yawen，GUAN Zhen.Occlusion removal for building facade texturing[J].Geomatics and Information Science of Wuhan University，2010，35（12）：1457-1460.

[3]賈程棟.面向城市智能汽車的場景多模真實(shí)感重建技術(shù)研究[D].成都：電子科技大學(xué)，2020.

JIA Chengdong.Research on multi-mode photorealistic reconstruction technology for urban smart car[D].Chengdu：University of Electronic Science and Technology of China，2020.

[4]李妍妍.基于傾斜攝影三維模型紋理遮擋研究[J].測繪與空間地理信息，2019，42（9）：178-180，185.

LI Yanyan.Research of 3D model texture occlusion based on oblique photography[J].Geomatics & Spatial Information Technology，2019，42（9）：178-180，185.

[5]SINHA S N，STEEDLY D，SZELISKI R，et al.Interactive 3D architectural modeling from unordered photo collections[J].ACM Transactions on Graphics（TOG），2008，27（5）：1-10.

[6]KRIZHEVSKY A，SUTSKEVER I，HINTON G E.Imagenet classification with deep convolutional neural networks[C]//Advances in Neural Information Processing Systems，2012：1097-1105.

[7]GE B Y，ZUO X Z，HU Y J.Review of research on visual target tracking methods[J].Journal of Image and Graphics of China，2018，23（8）：1091-1107.

[8]韓強(qiáng).面向小目標(biāo)檢測的改進(jìn)YOLOv8算法研究[D].吉林：吉林大學(xué)，2023.

HAN Qiang.Research on improved YOLOv8 algorithm for small target detection[D].Jilin：Jilin University，2023.

[9]TANG T，DENG Z，ZHOU S，et al.Fast vehicle detection in UAV images[C]//2017 International Workshop on Remote Sensing with Intelligent Processing（RSIP）.IEEE，2017：1-5.

[10]TAN M X，PANG R M，LE Q V.EfficientDet：Scalable and efficient object detection[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）.IEEE，2020：10778-10787.

[11]王坤，項(xiàng)琦鑫.改進(jìn)YOLOv4的車輛弱目標(biāo)檢測算法[J].中國慣性技術(shù)學(xué)報(bào)，2023，31（8）：797-805.

WANG Kun，XIANG Qixin.Improved YOLOv4 algorithm for vehicle weak object detection[J].Journal of Chinese Inertial Technology，2023，31（8）：797-805.

[12]WOO S，PARK J，LEE J Y，KWEON I S.CBAM：Convolutional block attention module[C]//Computer Vision and Pattern Recognition.IEEE，2018：3-19.

[13]李奇武，楊小軍.基于改進(jìn)YOLOv4的輕量級車輛檢測方法[J].計(jì)算機(jī)技術(shù)與發(fā)展，2023，33（1）：42-48.

LI Qiwu，YANG Xiaojun.Lightweight vehicle detection method based on improved YOLOv4[J].Computer Technology and Development，2023，33（1）：42-48.

[14]劉瑞峰，孟利清.改進(jìn)YOLOv4的車輛圖像檢測算法研究[J].智能計(jì)算機(jī)與應(yīng)用，2022，12（12）：192-195，201.

LIU Ruifeng，MENG Liqing.Research on vehicles image detection algorithm for improved YOLOv4[J].Intelligent Computer and Applications，2022，12（12）：192-195，201.

[15]CHEN Z X，TIAN S W，YU L，et al.An object detection network based on YOLOv4 and improved spatial attention mechanism[J].Journal of Intelligent & Fuzzy Systems：Applications in Engineering and Technology，2022，42（3）：2359-2368.

[16]FURUKAWA Y，PONCE J.Accurate，dense and robust multi-view stereopsis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2009，32（8）：1362-1376.

[17]JOHANNES L，ZHENG E，POLLEFEYS M.Pixelwise view selection for unstructured multi-view stereo[C]//Computer Vision-ECCV，2016：501-518.

[18]李明，張衛(wèi)龍，范丁元.城市三維重建中的自動紋理優(yōu)化方法[J].測繪學(xué)報(bào)，2017，466（3）：228-345.

LI Ming，ZHANG Weilong，F(xiàn)AN Dingyuan.Automatic texture optimization for 3D urban reconstruction[J].Acta Geodaetica et Cartographica Sinica，2017，466（3）：228-345.

[19]張春森，張衛(wèi)龍，郭丙軒，等.傾斜影像的三維紋理快速重建[J].測繪學(xué)報(bào)，2015，44（7）：782-790.

ZHANG Chunsen，ZHANG Weilong，GUO Bingxuan，et al.Rapidly 3D texture reconstruction based on oblique photography[J].Acta Geodaetica et Cartographica Sinica，2015，44（7）：782-790.

[20]單杰，李志鑫，張文元.大規(guī)模三維城市建模進(jìn)展[J].測繪學(xué)報(bào)，2019，48（12）：1523-1541.

SHAN Jie，LI Zhixin，ZHANG Wenyuan.Recent progress in large-scale 3D city modeling[J].Acta Geodae-tica et Cartographica Sinica，2019，48（12）：1523-1541.

[21]楊必勝，陳馳，董震.面向智能化測繪的城市地物三維提取[J].測繪學(xué)報(bào)，2022，51（7）：1476-1484.

YANG Bisheng，CHEN Chi，DONG Zhen.3D geospatial information extraction of urban objects for smart surveying and mapping[J].Acta Geodaetica et Cartographica Sinica，2022，51（7）：1476-1484.

[22]WANG S H，WANG Y，HU Q W，et al.Unmanned aerial vehicle and structure-from-motion photogrammetry for three-dimensional documentation and digital rubbing of the Zuo River Valley rock paintings[J].Archaeological Prospection，2019，26（3）：265-279.

[23]黃翔翔，朱全生，江萬壽.多視紋理映射中無需設(shè)定偏差的快速可見性檢測[J].測繪學(xué)報(bào)，2020，49（1）：92-107.

HUANG Xiangxiang，ZHU Quansheng，JIANG Wanshou.Fast visibility detection without specifying the user-defined biases in multi-view texture mapping[J].Acta Geodaetica et Cartographica Sinica，2020，49（1）：92-107.

[24]杜瑞建，葛寶臻，陳雷.多視高分辨率紋理圖像與雙目三維點(diǎn)云的映射方法[J].中國光學(xué)，2020，13（5）：1055-1064.

DU Ruijian，GE Baozhen，CHEN Lei.Texture mapping of multi-view high-resolution images and binocular 3D point clouds[J].Chinese Optics，2020，13（5）：1055-1064.

[25]HU S，LI Z，WANG S，et al.A texture selection approach for cultural artifact 3D reconstruction considering both geometry and radiation quality[J].Remote Sensing，2020，12（16）：2521.

[26]朱慶，張琳琳，胡翰，等.精細(xì)建筑物碎片化紋理優(yōu)化的二維裝箱方法[J].西南交通大學(xué)學(xué)報(bào)，2021，56（2）：306-313.

ZHU Qing，ZHANG Linlin，HU Han，et al.2D bin packing method for fragmented textures optimization of detailed building model[J].Journal of Southwest Jiaotong University，2021，56（2）：306-313.

[27]GARCIA D I，DEMIR I，ALIAGA G.Automatic urban modeling using volumetric reconstruction with surface graph cuts[J].Computers & Graphics，2013，37（7）：896-910.

[28]TAN Y，KWOH L，ONG S.Large scale texture mapping of building facades[J].The International Archives of the Photogrammetry，Remote Sensing and Spatial Information Sciences，2008，37：687-691.

[29]WANG L，ZHANG H H.Application of faster RCNN model in vehicle detection[J].Computer Applications，2018，38（3）：666-670.

[30]李經(jīng)宇，楊靜，孔斌，等.基于注意力機(jī)制的多尺度車輛行人檢測算法[J].光學(xué)精密工程，2021，29（6）：1448-1458.

LI Jingyu，YANG Jing，KONG Bin，et al.Multi-scale vehicle and pedestrian detection algorithm based on attention mechanism[J].Optics and Precision Engineering，2021，29（6）：1448-1458.

（責(zé)任編輯：高佳）