李清泉,黃 惠,姜 三,胡慶武,于文率
1.深圳大學廣東省城市空間信息工程重點實驗室,廣東 深圳 518060;2.深圳大學計算機與軟件學院,廣東 深圳 518060;3.深圳大學土木與交通工程學院,廣東 深圳 518060;4.中國地質大學(武漢)計算機學院,湖北 武漢 430074;5.武漢大學遙感信息工程學院,湖北 武漢 430072
實景三維已逐步成為構建新型智慧城市的重要組成部分[1-2]。當前,實景三維中國建設主要集中在地形三維和城市三維兩個層級。傳統(tǒng)衛(wèi)星和航空遙感系統(tǒng)可為大范圍地形和城市三維建設提供基礎觀測數(shù)據(jù)[3]。但是,這類遙感平臺的飛行高度和觀測方式?jīng)Q定了所獲取數(shù)據(jù)的分辨率和完整度有限,難以滿足復雜城市場景精細三維模型建設和更新所亟須的高空間分辨率、高時間分辨率和多視角觀測的數(shù)據(jù)需求[4]。近年來,無人機遙感平臺和傾斜攝影設備組成的無人機傾斜攝影系統(tǒng)具備多視角的數(shù)據(jù)采集方式和靈活的數(shù)據(jù)采集能力,業(yè)已成為城市實景三維相關應用重要的數(shù)據(jù)采集平臺[5-7]。
基于影像數(shù)據(jù)的大規(guī)模城市場景三維Mesh建模技術同樣非常成熟,基本實現(xiàn)了全自動化生產(chǎn)。針對復雜城市場景中地物高度變化大、遮擋嚴重等問題,傳統(tǒng)傾斜攝影提供的觀測仍然有限,很難進一步提升三維重建模型的精度和完整性。城市復雜場景三維重建的關鍵難點在于如何實現(xiàn)無人機最優(yōu)路徑規(guī)劃和精準數(shù)據(jù)采集,達到最小數(shù)據(jù)采集代價下的精確三維模型重建目標。因此,基于無人機傾斜攝影的城市實景三維建設首先需要解決影像數(shù)據(jù)的采集問題,具體歸結為無人機平臺選型和路徑規(guī)劃兩個方面。
按照常用的氣動布局分類,無人機平臺可分為固定翼無人機和多旋翼無人機[8]。其中,固定翼無人機通常采用油動動力裝置,具有飛行速度快、續(xù)航時間長(可達幾個小時)的優(yōu)點,可在固定飛行高度下獲取城市大范圍場景的影像數(shù)據(jù)。相反,多旋翼無人機一般利用鋰電池供電,導致飛行速度和續(xù)航時間(約半小時)較差。但是,多旋翼無人機具備非常靈活的操作方式,能夠更好地滿足復雜城市場景條件下的數(shù)據(jù)采集任務[9]。
飛行路徑規(guī)劃是無人機傾斜攝影數(shù)據(jù)采集需要解決的另外一個重要問題[10-11]?,F(xiàn)有路徑規(guī)劃方法可分為傳統(tǒng)路徑規(guī)劃方法和場景感知路徑規(guī)劃方法。在攝影測量與遙感領域,傳統(tǒng)路徑規(guī)劃方法會預設無人機在被攝場景對象上方飛行,通常采用固定航高或仿地飛行模式垂直或傾斜向下攝影采集照片[12-13]。由于飛行高度較高和建筑物遮擋等因素,這類方式生成的無人機路徑存在明顯的視線遮擋區(qū)域,導致重建模型存在誤差大或局部模型變形、影像紋理分辨率不一致等問題,很難滿足城市場景精細三維建模的需求,如圖1所示。
圖1 傳統(tǒng)路徑規(guī)劃模型下模型質量問題
近年來,場景感知路徑規(guī)劃方法得到了深入研究[10,14]。這類方法從待重建場景的三維幾何信息出發(fā),計算精確三維重建所需的拍照視點,進而生成無人機的飛行路徑。根據(jù)是否依賴概略模型輔助,可分為兩步法[11,15-16]和一步法[17-18]。其中,兩步法先通過傳統(tǒng)模式采集影像數(shù)據(jù),制作生成被測場景對象的概略模型,用于生成優(yōu)化路徑并采集影像制作精細模型,如文獻[16]利用概略模型,提出一種最大化候選視點信息量并限制航線總長度的路徑生成方法。相反,一步法不依賴概略模型,直接利用場景的先驗信息,高效生成路徑規(guī)劃所需要的必要信息。文獻[18]提出面向城市場景三維重建的無人機航攝規(guī)劃方法,即優(yōu)視攝影測量。優(yōu)視攝影測量本質上屬于張祖勛院士提出的貼近攝影測量范疇,其路徑規(guī)劃方法利用已有的二維地圖和遙感影像,生成地物場景的盒式概略模型,避免了兩步法的兩次數(shù)據(jù)采集。結合密集采樣的初始視點生成和采樣點可重建性約束的視點優(yōu)化技術,實現(xiàn)了無人機路徑規(guī)劃和精準數(shù)據(jù)采集。文獻[19]提出了基于最優(yōu)質量傳輸理論的多機器人協(xié)同探索和主動重建技術,與優(yōu)視攝影測量的目標相同。但是,兩者依賴的數(shù)據(jù)采集平臺與應用領域不同。前者主要利用概略模型實現(xiàn)多機器人的動態(tài)任務規(guī)劃;優(yōu)視攝影測量則關注三維模型重建質量,自動優(yōu)化生成無人機的最佳飛行路徑和相機拍照方向。
結合多旋翼無人機高度靈活的機動性能和多視角數(shù)據(jù)采集能力,優(yōu)視攝影測量技術在城市場景精細模型三維重建和更新中體現(xiàn)出良好的應用潛力。因此,本文對優(yōu)視攝影測量三維重建精度和Mesh模型質量進行深入驗證。首先研究優(yōu)視攝影測量的基本原理,然后利用真實場景采集的無人機影像數(shù)據(jù)進行空三精度分析和Mesh模型質量評價,并與傳統(tǒng)傾斜攝影方式進行對比,以驗證優(yōu)視攝影測量的技術優(yōu)勢和推廣價值。
文獻[18]提出了優(yōu)視攝影測量技術,其核心思想是利用概略模型的幾何信息,約束候選影像視點的選擇,達到最少視點的影像采集,并最大化模型重建質量??傮w流程如圖2所示,包括基于概略模型采樣的視點生成和可重建性約束的視點優(yōu)化。相比兩步法路徑規(guī)劃方法,優(yōu)視攝影測量利用先驗輔助信息生成概略模型,如已有盒式建筑物模型,避免了兩次數(shù)據(jù)采集導致的重復返場和長時間消耗問題。對于變化頻繁的建設區(qū)域,若無足夠先驗信息,也需要通過傾斜攝影生成概略模型。在獲取概略模型后,優(yōu)視攝影測量采用密集采樣、冗余消除的策略進行候選視點生成和優(yōu)化,并在整個計算過程中充分考慮后續(xù)無人機影像空三和密集匹配的影響因素,最大化采集影像的可重建性。算法的具體步驟如下所述。
圖2 優(yōu)視攝影測量算法流程
概略模型生成是優(yōu)視攝影測量視點選擇和優(yōu)化的基礎。為了盡可能縮短數(shù)據(jù)采集周期,優(yōu)視攝影測量選擇利用先驗信息生成概略模型。對于現(xiàn)有絕大部分城市區(qū)域,可直接利用已有的二維底圖和高度屬性,拉伸得到建筑物的盒式概略模型。對于不存在上述信息的區(qū)域,優(yōu)視攝影測量利用矢量和衛(wèi)星電子地圖、太陽高度角等信息,計算建筑物的概略模型。其核心思想是利用建筑物陰影與高度的數(shù)學關系,恢復建筑物的高度屬性?;诟怕阅P偷拿芗蓸樱瑑?yōu)視攝影測量生成無人機飛行路徑的初始視點,原理如圖3(a)所示。首先基于概略模型的膨脹運算,生成在三維空間中圍繞包裹建筑物的安全罩。然后利用泊松圓盤采樣算法[20],從概略模型表面獲取密集、均勻的采樣點集S={si,ni}。其中,ni為采樣點si的法向量。該算法沿著采樣點法向量ni,在距離為dGSD的位置定義初始視點,并定義視點的拍攝指向——主光軸方向沿ni的反方向,即指向被攝對象。基于上述定義,得到候選視點集V={vi,oi}。其中,vi=si+dGSDni,oi=-ni。泊松圓盤采樣點間隔Ddisk定義了候選視點的密度,與影像重疊度roverlap的關系見式(1)。其中,dprj=2dGSDtan(θ/2),表示視場角為θ的相機在概略模型上的成像長度。
圖3 初始視點生成與模型重建性測度
Ddisk=dprj·(1.0-roverlap)
(1)
可重建性測度q(s,vi,vj)定義了采樣點s在視點對(vi,vj)立體觀測下的模型重建質量[15],如圖3(b)所示。q(s,vi,vj)包含3個權重和1個余弦系數(shù),即
q(s,vi,vj)=w1(α)w2(dm)w3(α)cosθm
(2)
根據(jù)可重建性測度定義,采樣點s在視點集合U下的可重建性為
(3)
式中,δ(s,vi)和δ(s,vj)為可視性函數(shù),表示采樣點s在視點vi和vj中的可見性,即取值為1時,可見,否則,不可見。同樣的,根據(jù)采樣點的可重建性,定義了視點v的冗余度r(v),表示為關于采樣點可重建性的最小值,滿足公式如下
r(v)=min{h(s,U)|s∈S,δ(s,v)=1}
(4)
(5)
具體實現(xiàn)步驟如下。
(1)視點冗余度最小化。采用迭代剔除策略,從初始視點中選擇冗余度r(v)最大的視點v,隨即更新關聯(lián)采樣點的可重建性。若某個采樣點的可重建性小于閾值th,則回滾刪除操作,并處理下一個視點。迭代刪除冗余視點,得到視點子集。
選擇深圳大學粵海校區(qū)匯文樓區(qū)域進行試驗,如圖4(a)所示。匯文樓主體結構復雜,呈連廊狀結構分布。部分區(qū)域建筑間隔較近,導致不同連廊結構之間存在遮擋。匯文樓建筑整體高度約為35 m。匯文樓的右上方存在一棟高度約為55 m的高層建筑,其他區(qū)域則由密集植被覆蓋。為了驗證優(yōu)視攝影測量三維重建精度,在匯文樓的頂面和立面布置了28個控制點靶標,如圖4(b)所示。頂面的控制點分布如圖4(a)所示??刂泣c坐標測量采用合縱思壯UFO-U5 RTK設備,標稱水平和高程精度分別為0.8、1.5 cm。
圖4 試驗區(qū)域部分控制點和檢查點分布
基于優(yōu)視攝影測量的視點優(yōu)化與無人機飛行路徑生成結果如圖5所示。其中,視點和路徑按照飛行航線順序進行切割,可以實現(xiàn)多機并行數(shù)據(jù)采集。本文利用試驗區(qū)域的二維矢量和衛(wèi)星電子地圖生成概略模型,并充分考慮其幾何結構,生成包圍整個試驗區(qū)域的無人機拍照視點和最優(yōu)飛行路徑。相機視點距離目標大約80 m。為了與傳統(tǒng)傾斜攝影測量對比,同時按照常規(guī)5鏡頭傾斜攝影作業(yè)模式進行了數(shù)據(jù)采集,其飛行高度固定為100 m。影像數(shù)據(jù)采集實施均使用了大疆M300 RTK無人機。其中,優(yōu)視攝影搭載大疆禪思P1相機,整個航跡劃分為7個架次,所有架次數(shù)據(jù)采集耗時150 min;傾斜攝影搭載賽爾102S五鏡頭相機,采用1個架次采集完成,數(shù)據(jù)采集耗時大約20 min。最終采集的優(yōu)視和傾斜攝影影像數(shù)量分別為4030、3620,地面分辨率分別為1.0、1.6 cm。
圖5 優(yōu)視攝影測量視點優(yōu)化與無人機路徑生成
圖6(a)和(b)分別為采用優(yōu)視和傾斜攝影采集的試驗區(qū)域高層建筑無人機影像。可以看出,傳統(tǒng)傾斜攝影作業(yè)模式采用固定高度飛行,容易導致建筑物下半部分觀測不足或缺失。相反,優(yōu)視攝影測量利用先驗信息約束無人機視點生成,可以采集建筑物底部影像,實現(xiàn)對目標的充分觀測。
圖6 優(yōu)視攝影和傾斜攝影無人機影像
為了驗證重建Mesh模型的整體精度,本文采集了整個試驗區(qū)域的地面激光掃描點云數(shù)據(jù),如圖7所示??紤]單個設站無法覆蓋整個試驗區(qū)域,在地面和建筑物頂面選擇了多個合適的控制點位作為設站點,通過點云采集和拼接,得到最終的點云數(shù)據(jù)。數(shù)據(jù)采集設備為Trimble X7激光掃描儀,最大測程為80 m,在20 m范圍內點云精度優(yōu)于2.4 mm。
圖7 地面激光掃描點云數(shù)據(jù)
優(yōu)視攝影測量的主要原理依據(jù)是可重建性判據(jù)分析?;诟怕阅P捅砻嫔傻挠^測采樣點,可對不同采集方式或配置條件的處理結果質量進行預先評估。此外,無人機影像空三和密集匹配結果用于實際驗證優(yōu)視攝影測量的三維重建精度和Mesh模型質量,并與傾斜攝影測量進行對比分析。為說明通用性,本文后處理試驗采用Bentley ContextCapture軟件(版本號為V4.4.10)的默認參數(shù)設置進行空三和Mesh模型處理。試驗在配置有2.6 GHz Intel Core i5-11400F處理器、2 GB GeoForce GT 730圖形卡的Windows系統(tǒng)上完成。
圖8(a)和(b)分別對傾斜和優(yōu)視攝影測量給定配置條件后生成的航攝進行了可視化顯示。可以看到,針對特定的場景對象,相近的空間分辨率和影像數(shù)據(jù)量,傾斜攝影測量的航高設置更高,同時還有一定的覆蓋外擴;相比之下,優(yōu)視攝影測量形成了包圍場景對象的航攝路徑,而且更為貼近,冗余數(shù)據(jù)更少,空間分辨率更高。
圖8 航攝規(guī)劃路徑對比
針對式(3)提出的采樣點相對于視角集的可重建性進行量化分析,即基于h(s,U)的輸出數(shù)值,同時關聯(lián)采樣點的可觀測視角數(shù)量,劃分為6個等級。圖9(a)和(b)以俯視和斜下視兩個角度顯示了可重建分析結果,分別對應于圖8中傾斜和優(yōu)視兩種航攝規(guī)劃方案。可重建性質量由高到低分別渲染表示為Ⅰ(深藍)、Ⅱ(淺藍)、Ⅲ(綠)、Ⅳ(黃)、Ⅴ(紅),第Ⅵ等級為無視角可觀測,圖中未作顯示。其中,Ⅲ級以上為可重建性較好的采樣點。直觀對比傾斜和優(yōu)視兩種航攝模式條件下的可重建性分析,優(yōu)視攝影測量的采樣更為密集,且質量更高。即使是對于相同或相近場景局部位置的采樣點,優(yōu)視攝影測量也能夠保證其具有更高等級的可觀測性。表1為圖9中的可重建性分析結果的數(shù)值對比。可以看出,無論是絕對數(shù)值還是整體占比,均表明優(yōu)視攝影測量針對概略模型具體部位的立體觀測質量優(yōu)于傾斜攝影測量。
圖9 可重建性對比
表1 可重建性量化對比結果
為了分析優(yōu)視攝影測量的三維重建精度,利用圖4(a)中編號為K02、K04和K10的3個均勻分布的地面控制點進行空三平差計算,實現(xiàn)三維模型的絕對定向,其余點作為檢查點進行重建模型的精度驗證。表2統(tǒng)計了空三處理的關鍵指標。其中,效率表示影像匹配和平差計算的時間消耗;連接點數(shù)量包含單張影像連接點數(shù)中值和所有影像連接點總數(shù);完整性表示成功定向的影像數(shù)量;精度則為連接點重投影誤差。可以看出:①由于傾斜攝影影像數(shù)量相對較少,其總體時間消耗為50.8 min,小于優(yōu)視攝影的60.1 min;②盡管優(yōu)視攝影的影像數(shù)量多,但是連接點總數(shù)小于傾斜攝影,主要原因在于優(yōu)視攝影根據(jù)概略模型調整拍照視角,導致拍攝建筑物立面的影像包含很多背景信息,如圖6(a)右上影像中的天空和很遠處建筑物;③優(yōu)視攝影測量實現(xiàn)所有影像定向,且精度為0.62像素,均優(yōu)于傾斜攝影。
表2 空三處理關鍵指標對比結果
圖10和圖11分別顯示了傾斜和優(yōu)視攝影的影像地面覆蓋度和空三連接點長度。其中,影像地面覆蓋度是地面點所覆蓋的影像數(shù)量;空三連接點長度是連接點所關聯(lián)的影像數(shù)量。由圖中影像地面覆蓋度可以看出,傾斜攝影測量是對試驗區(qū)域進行均勻拍攝,即無人機按照航線均勻分布、相機統(tǒng)一傾斜角進行數(shù)據(jù)采集;相反,優(yōu)視攝影測量利用場景的先驗信息調整航線和相機拍照方向,盡可能獲取足夠的建筑物影像,如圖10(b)中間的藍色區(qū)域。正是由于上述影像采集方式,優(yōu)視攝影測量空三連接點在地面和建筑物立面均具有較高的長度,如圖11(a)和(b)中紅色橢圓區(qū)域所示。
圖10 地面覆蓋度對比結果
圖11 連接點長度對比結果
利用地面控制點進行模型絕對定向后,表3對25個檢查點空三平差的水平和高程方向殘差進行了統(tǒng)計,且圖12顯示了單點殘差分布??梢钥闯觯孩賰?yōu)視攝影測量在水平和高程方向的最大殘差分別為0.063、0.035 m;②盡管傾斜攝影在水平方向的最大殘差為0.057 m,小于優(yōu)視攝影,但其高程方向的最大殘差大于優(yōu)視攝影,達到0.045 m;③從整體精度RMSE而言,考慮地面控制點在水平和高程方向的理論測量精度分別為0.8、1.5 cm,優(yōu)視攝影與傾斜攝影具備相當?shù)慕^對定位精度。因此,盡管與傾斜攝影測量優(yōu)先考慮影像連接網(wǎng)絡穩(wěn)定性的出發(fā)點不同,優(yōu)視攝影測量更關注被攝對象的精確采樣,但是,優(yōu)視攝影測量的工作模式依然能夠建立穩(wěn)健影像連接網(wǎng)絡,保證空三的絕對定位精度。
表3 空三檢查點殘差統(tǒng)計結果
圖12 空三檢查點殘差分布
為了驗證三維重建Mesh模型的質量,圖13顯示了匯文樓主樓的重建模型,并對模型頂面、立面和底部的4個局部區(qū)域進行了對比。由圖13(a)和(b)可以看出,優(yōu)視攝影和傾斜攝影模型均能夠重建出主樓的完整結構,總體上重建質量相當。但是,由圖13(c)的局部區(qū)域對比可以看出:①對于建筑物底部區(qū)域,傾斜攝影很難拍攝到,重建質量較差,如圖13(c)中編號1的對比圖所示;②對于建筑物頂面的附屬設施,如空調外機、配電箱等,傾斜攝影盡管能夠拍攝到照片,但是由于這些設施尺寸小、互相遮擋等因素的影響,傾斜攝影的重建模型完整性較差,如圖13(c)中編號2的對比圖所示;③建筑物立面是傳統(tǒng)傾斜攝影所需要解決的關鍵部件,但是由于走廊、陽臺的內凹特性影響,傾斜攝影重建模型存在很大的偏差,主要表現(xiàn)為墻面傾斜,如圖(c)中編號3、4的對比圖所示。對于上述區(qū)域,優(yōu)視攝影測量能夠有效地采集足夠多的影像,重建模型的質量也更高。
圖13 Mesh模型質量對比
為了定量對比和分析優(yōu)視攝影和傾斜攝影Mesh模型的質量,本文利用試驗區(qū)域采集的激光點云數(shù)據(jù)進行精度分析。表4統(tǒng)計了優(yōu)視和傾斜攝影重建模型的精度和完整性。其中,精度用于表示重建模型到真實模型的距離,計算方法為:對重建模型點到真實模型的距離進行升序排序,分別取3個截斷距離,使距離小于截斷距離的模型點數(shù)的比例為50%、70%和90%;完整性用于表示重建模型中距離小于給定截斷距離的點數(shù)比例。試驗結果表明,優(yōu)視攝影模型的精度均高于傾斜攝影模型,其精度分別為0.041、0.077、0.159 m。當截斷距離為0.01 m時,優(yōu)視和傾斜的完整性均較小,主要是由于重建模型的精度很難達到該水平。當截斷距離為0.1、0.5、1.0 m時,優(yōu)視攝影的模型完整性平均高出14.7%。
表4 Mesh模型的精度和完整性統(tǒng)計
上述模型質量的整體評價易受地面、植被等區(qū)域的影響。本文進一步分析建筑物立面區(qū)優(yōu)視攝影和傾斜攝影的模型質量。圖14顯示了選擇的3個建筑物立面分布及其點云數(shù)據(jù)。其中,區(qū)域1包含大量玻璃窗戶,激光點云主要分布在建筑物外墻上;區(qū)域2包含內凹的陽臺走廊,激光點云在該區(qū)域分布均勻;區(qū)域3包含大量玻璃窗戶和內凹陽臺,結構較復雜。通過立面點云與重建模型對比,統(tǒng)計模型的誤差,結果見表5。同時,圖15為建筑物立面模型誤差分布,其中左上角為誤差直方圖統(tǒng)計結果。由試驗結果可以看出,除區(qū)域3的最大值外,優(yōu)視攝影重建模型在3個指標上均優(yōu)于傾斜攝影。特別地,對于區(qū)域1和區(qū)域3中遮擋嚴重的建筑物區(qū)域,優(yōu)視攝影能夠顯著減少模型重建誤差,比傾斜攝影精度提升約3~5倍。主要原因在于區(qū)域1和區(qū)域3包含很多內凹的窗戶,導致傾斜攝影存在很多遮擋區(qū)域,如圖15(a)和(e)所示。與傾斜攝影相比,優(yōu)視攝影能夠顯著提高模型重建精度,減少建筑物立面遮擋區(qū)域影像采集不足的問題,如圖15(b)、(d)和(f)所示的誤差分布。
圖14 建筑物立面分布及其點云數(shù)據(jù)
圖15 建筑物立面誤差分布
表5 建筑物立面模型誤差統(tǒng)計
復雜城市場景給實景三維建設與更新帶來了巨大挑戰(zhàn)。如何實現(xiàn)無人機最優(yōu)路徑規(guī)劃和精細化數(shù)據(jù)采集是當前及未來實景三維中國建設亟須解決的關鍵問題。不同于傳統(tǒng)固定航高的傾斜攝影,優(yōu)視攝影測量利用被攝對象的概略模型,結合密集采樣的初始視點生成和采樣點可重建性約束的視點優(yōu)化技術,生成無人機最優(yōu)飛行路徑和相機精準拍照方位,實現(xiàn)最小數(shù)據(jù)采集代價下的高精細度三維模型重建目標。本文在深入研究優(yōu)視攝影原理的基礎上,利用真實場景采集的無人機影像進行空三精度分析和Mesh模型質量評價。結果表明,與面向影像連接網(wǎng)絡穩(wěn)定性優(yōu)化的傳統(tǒng)傾斜攝影相比,優(yōu)視攝影測量依然能建立穩(wěn)健影像連接,實現(xiàn)相當?shù)慕^對定位精度。同時,面向目標對象精細采樣的優(yōu)視攝影測量顯著提高了Mesh模型重建質量。對于遮擋嚴重的建筑物立面區(qū)域,優(yōu)視攝影測量能夠實現(xiàn)3~5倍的精度提升。
結合多旋翼無人機的高靈活機動性能和多視角數(shù)據(jù)采集能力,優(yōu)視攝影測量在城市場景精細三維重建和模型更新中展現(xiàn)出十分重要的應用潛力和推廣價值。但與傾斜攝影測量相比,優(yōu)視攝影測量要求無人機調整飛行姿態(tài)和相機拍攝角度,這必然會導致更多的采集時間消耗。因此,后續(xù)研究將進一步優(yōu)化改進優(yōu)視攝影測量工作模式下的無人機飛行路徑,以及時效、能耗等相關問題。