孟先進,林壽明,秦 琳,黃寧輝,丁 勝,薛亞東,羅 勇,楊廷棟

(1.廣東省林業(yè)調(diào)查規(guī)劃院，廣州 510520；2.中國林業(yè)科學(xué)研究院資源信息研究所，北京 100091)

隨著物聯(lián)網(wǎng)、北斗RTK高精度定位技術(shù)、無人機遙感、視頻監(jiān)控、智能終端等技術(shù)的發(fā)展,以大數(shù)據(jù)應(yīng)用為核心,集成各類感知數(shù)據(jù)、數(shù)據(jù)處理、數(shù)據(jù)整合等,建設(shè)智能化的林業(yè)立體協(xié)同感知系統(tǒng)(1)廣東省林業(yè)局.廣東省林業(yè)政務(wù)信息化建設(shè)規(guī)劃(2022—2025年).2022.已得到大力推廣。虛擬森林環(huán)境的構(gòu)建是數(shù)字孿生示范區(qū)建設(shè)的基礎(chǔ)[1-2],場景顯示速度和畫面真實感一直是森林場景仿真領(lǐng)域研究的重點[3-4]。目前,隨著各種方法和模型的優(yōu)化,使森林場景的加載更加穩(wěn)定和流暢。數(shù)字孿生在人工智能和大數(shù)據(jù)快速發(fā)展的背景下應(yīng)運而生,為解決林業(yè)信息實時反饋和智能決策等問題提供新的技術(shù)手段[3]。如何用林業(yè)立體協(xié)同感知結(jié)合三維虛擬森林場景、林木生長模型[5-10]等精細模型構(gòu)建林業(yè)數(shù)字孿生系統(tǒng),是本研究的難點和關(guān)鍵。

“綠美廣東生態(tài)建設(shè)數(shù)字孿生示范區(qū)”建設(shè)將采集并處理點云數(shù)據(jù),獲取區(qū)域內(nèi)林木、地形、主要建筑等全要素真實信息,基于虛幻引擎5(Unreal Engine,UE5)構(gòu)建其高精度三維模型,搭建高逼真的三維森林場景,并研發(fā)示范區(qū)物聯(lián)網(wǎng)數(shù)據(jù)實時傳輸、可視化表達、統(tǒng)計分析功能模塊。在此基礎(chǔ)上,實現(xiàn)林木生長動態(tài)模擬、碳匯可視化、場景四季變化、天氣變化等數(shù)字孿生功能,從而實現(xiàn)示范區(qū)數(shù)字孿生能力建設(shè)。利用數(shù)字孿生系統(tǒng)提供的數(shù)據(jù)和分析結(jié)果,通過可視化界面、報表和預(yù)測模型等方式為決策者提供支持和參考。

1 研究區(qū)域

研究區(qū)域位于廣州市增城區(qū)增江邊圣皇洲,占地總面積為4.4 hm2,交通便利,水電條件方便,5G信號全域覆蓋,完全具備安裝物聯(lián)網(wǎng)設(shè)備和高精度傳感器的條件,適合開展數(shù)字孿生系統(tǒng)建設(shè)工作。

研究區(qū)域是綠美廣東生態(tài)建設(shè)示范點,實施了森林質(zhì)量精準提升工程。該區(qū)域原來松樹(Pinusspecies)占比約為60%,主要樹種為濕地松(Pinuselliottii)和馬尾松(PinusmassonianaLamb.),松材線蟲(Bursaphelenchusxylophilus)病疫情嚴重,是一處松材線蟲病的改造點。松材線蟲病是重大植物疫情,嚴重威脅生態(tài)安全、生物安全,必須對該區(qū)域進行森林質(zhì)量提升。經(jīng)過改造,清除約70%松樹以及雜樹,保留500棵常綠鄉(xiāng)土闊葉樹種,另種植2 100棵地徑為3 cm幼苗,還種有少量胸徑為5 cm以上的苗木,均以鄉(xiāng)土闊葉樹種為主。示范區(qū)內(nèi)樹種種類達40余種,種類較多?？紤]樹種豐富度、地勢差異、林分結(jié)構(gòu)等因素,需合理設(shè)計傳感器的布設(shè)方案,優(yōu)化虛擬場景模擬及虛實交互策略。

2 建設(shè)內(nèi)容

2.1 森林景觀基礎(chǔ)數(shù)據(jù)調(diào)查

森林景觀基礎(chǔ)數(shù)據(jù)調(diào)查包括高分辨率無人機正射影像采集、無人機傾斜攝影數(shù)據(jù)采集、重點區(qū)域點云數(shù)據(jù)采集、單木屬性數(shù)據(jù)采集。傾斜攝影數(shù)據(jù)采集是利用示范區(qū)范圍內(nèi)高精度傾斜數(shù)據(jù),用于輸出實景三維模型;重點區(qū)域點云數(shù)據(jù)主要是運用地基和機載激光雷達設(shè)備獲取林地、林木和建筑的點云數(shù)據(jù),用于1∶1樹木模型、建筑模形和地形模形等的制作;單木屬性數(shù)據(jù)采集主要是對每木進行空間定位和檢尺。

2.2 森林景觀三維模型構(gòu)建

植物三維模型構(gòu)建主要是利用地面點云數(shù)據(jù),構(gòu)建主要道路兩側(cè)的每株樹木的1∶1仿真模型、其余區(qū)位的主要林木模型;人工建筑三維模型構(gòu)建主要是利用地面點云數(shù)據(jù),構(gòu)建三維模型;地形模型構(gòu)建主要是利用無人機激光雷達數(shù)據(jù),獲取高精度DEM數(shù)據(jù),結(jié)合虛擬現(xiàn)實技術(shù),構(gòu)建可表征真實地形起伏的地形模型。

2.3 三維森林場景搭建

三維森林場景搭建是以傾斜模型為底圖,結(jié)合三維樹木、建筑和地形等模型構(gòu)建高精度與標準地理位置的3D森林場景,同時對模型面數(shù)、多細節(jié)層次(Levels of Detail,LOD)效果、渲染策略、代碼組織等方面進行優(yōu)化,提高運行效率和虛擬場景視覺效果。

2.4 物聯(lián)網(wǎng)感知數(shù)據(jù)模擬

把示范區(qū)內(nèi)建設(shè)的物聯(lián)網(wǎng)感知系統(tǒng)(包括林木生長及碳匯監(jiān)測系統(tǒng)、林分生態(tài)環(huán)境監(jiān)測系統(tǒng)、動物多樣性監(jiān)測系統(tǒng)和水質(zhì)動態(tài)監(jiān)測系統(tǒng))的感知數(shù)據(jù)接入三維森林場景,實現(xiàn)虛擬場景與現(xiàn)實森林場景的深度融合,并對多類型物聯(lián)網(wǎng)感知數(shù)據(jù)進行三維展示。

2.5 數(shù)字孿生系統(tǒng)建設(shè)

數(shù)字孿生系統(tǒng)建設(shè)主要包括虛擬天氣系統(tǒng)、林木生長模擬、四季變化模擬、聲音模擬和碳匯三維可視化等內(nèi)容。天氣系統(tǒng)在虛擬的三維森林場景里搭建天氣系統(tǒng),按照24 h氣侯傳感器傳回的真實現(xiàn)實數(shù)據(jù)對場景天氣進行模擬;林木生長模擬是依據(jù)不同的林木生長模型,計算未來5～10年林木生長情況并進行動態(tài)三維模擬;四季變化模擬是通過樹葉紋理及環(huán)境渲染變化,模擬春夏秋冬四季場景;聲音模擬是對系統(tǒng)中風(fēng)聲、水聲、鳥叫蟲鳴等環(huán)境音進行三維模擬;碳匯可視化是依據(jù)不同樹種不同碳匯模型,計算不同生長階段的碳儲量并進行三維場景呈現(xiàn)。

3 總體架構(gòu)

本研究通過數(shù)據(jù)采集、數(shù)據(jù)處理、功能研發(fā),構(gòu)建綠美廣東生態(tài)建設(shè)示范區(qū)數(shù)字孿生系統(tǒng)。系統(tǒng)包括支撐層、系統(tǒng)層、持久層、業(yè)務(wù)層、表現(xiàn)層等5項內(nèi)容。在業(yè)務(wù)層進行三維場景搭建、物聯(lián)網(wǎng)數(shù)據(jù)展示、數(shù)字孿生模擬、未來場景模擬等4項功能,在表現(xiàn)層進行三維界面(User Interface,UI)展示、業(yè)務(wù)功能三維模擬等內(nèi)容。綠美廣東生態(tài)建設(shè)示范區(qū)數(shù)字孿生系統(tǒng)總體架構(gòu)設(shè)計如圖1所示。

圖1 綠美廣東生態(tài)建設(shè)示范區(qū)數(shù)字孿生系統(tǒng)總體架構(gòu)

4 數(shù)據(jù)獲取

4.1 高分辨率無人機正射影像獲取

無人機遙感技術(shù)的優(yōu)勢在于可以實現(xiàn)高分辨率、高精度、高效率的數(shù)據(jù)采集和監(jiān)測,能夠及時獲取林地變化信息,為全過程、全流程的森林監(jiān)測提供技術(shù)手段。把森林經(jīng)營的每一環(huán)節(jié)進行精細化監(jiān)管,可從林地清理、整地、植穴和栽植等經(jīng)營方式下,獲取基于實時動態(tài)RTK的高精度、高分辨率無人機影像,使每一階段的工作都可以量化管理。本研究一共獲取了11期無人機高精度高清影像,最高分辨率為0.018 m。部分影像如圖2、圖3、圖4所示,其采集時間分別為2023年1月19日(圖2)、2023年1月28日(圖3)、2023年5月19日(圖4)。

圖2 林地改造前影像

4.2 無人機傾斜數(shù)據(jù)獲取

無人機傾斜數(shù)據(jù)采集是利用大疆M300無人機搭載高精度傾斜攝影相機獲取高分辨率傾斜數(shù)據(jù)(地面分辨率為0.01 m),并基于高密計算三維重建技術(shù)完成示范區(qū)現(xiàn)狀實景的三維模型生產(chǎn)。數(shù)據(jù)采集分為3個步驟:1)傾斜航攝準備?？沼蛏暾堃约帮w行平臺、傾斜數(shù)碼航攝儀和飛行管理系統(tǒng)準備。2)傾斜航攝設(shè)計。航高確定、像片重疊度設(shè)置、航線規(guī)劃、地面分辨率確定、時間選擇。3)傾斜航攝實施。原始影像數(shù)據(jù)檢查、數(shù)據(jù)預(yù)處理、傾斜攝影三維模型生產(chǎn)。整個示范區(qū)范圍的無人機傾斜數(shù)據(jù)采集結(jié)果如圖5所示。

圖5 無人機傾斜數(shù)據(jù)采集結(jié)果

4.3 重點區(qū)域點云數(shù)據(jù)獲取

對重點區(qū)域全類型要素進行背包式和機載式激光雷達掃描,獲取激光掃描點位的絕對精度坐標和各種地物的信息數(shù)據(jù),通過分析共性與特性,進行坐標轉(zhuǎn)換,實現(xiàn)點云融合產(chǎn)出。數(shù)據(jù)采集過程為三維掃描儀器設(shè)備選用、三維掃描區(qū)域劃分,以及路線規(guī)劃、點云數(shù)據(jù)外業(yè)采集、數(shù)據(jù)處理、點云拼接和點云建模。背包式激光雷達掃描核心區(qū)位225株樹木的點云數(shù)據(jù),用于后期1∶1三維樹種模型的構(gòu)建。核心區(qū)位激光點云數(shù)據(jù)如圖6所示。

圖6 核心區(qū)位激光點云數(shù)據(jù)

4.4 每木調(diào)查數(shù)據(jù)

采集示范區(qū)所有樹種單木屬性數(shù)據(jù),用于后期大場景真實數(shù)據(jù)建模。每木檢尺的內(nèi)容包括RTK空間定位坐標、樹種名稱、東西冠幅、南北冠幅、胸徑(地徑)、樹高、枝下高。示范區(qū)里總共采集2 864棵(包括喬灌木),有鐵冬青(IlexrotundaThunb.)、醉香含笑(MicheliamacclureiDandy)、閩楠[Phoebebournei(Hemsl.)Yang]、三椏苦[Evodialepta(Spreng.)Merr.]、黃牛木[Cratoxylumcochinchinense(Lour.)Bl.]、破布葉(Microcospaniculata)、山烏桕[Sapiumdiscolor(Champ.exBenth.)Muell.-Arg.]、刨花潤楠(MachiluspauhoiKanehira)、臺灣相思(AcaciaconfusaMerr.)、潺槁木姜子[Litseaglutinosa(Lour)C.B.Rob.]、深山含笑(Micheliamaudiae)、陰香[Cinnamomumburmanni(Nees et T.Nees)Blume]、木荷(SchimasuperbaGardn.et Champ.)等總共54種鄉(xiāng)土闊葉樹種,其中還有國家一級保護植物豬血木(EuryodendronexcelsumH.T.Chang)和南方紅豆杉[Taxuswallichianavar.mairei(Leme &H.Lv.)L.K.Fu &Nan Li]。編號1—15的每木調(diào)查數(shù)據(jù)如表1所示。

表1 編號1—15每木調(diào)查數(shù)據(jù)

5 技術(shù)實現(xiàn)

5.1 三維模型構(gòu)建

1)樹木三維模型構(gòu)建。首先,通過校正配準處理,拼接融合背包、機載采集的樹木三維激光點云,形成覆蓋全要素的稠密點云數(shù)據(jù);其次,通過自動化解算抽稀,單獨稀疏出樹木的枝葉干點云,將樹木枝干點云通過人工智能(Artifical Intelligence,AI)技術(shù),將樹木不同部位采用不同的方式提取骨架點,進而轉(zhuǎn)換為實地樹木所對應(yīng)的白模;最后,將生成的樹木白模根據(jù)點云映射與實地現(xiàn)場照片結(jié)合,賦予與實地對應(yīng)的樹皮材質(zhì)生成樹干,貼上對應(yīng)的樹葉后,制作出1∶1還原的三維樹種模型。樹木的三維建模流程如圖7所示。

2)建筑及地形模型的構(gòu)建。需要構(gòu)建的模型主要包括道路、亭子、路燈、物聯(lián)網(wǎng)設(shè)備。建筑模型的構(gòu)建是通過雷達掃描、照片采集,獲取精細化建模數(shù)據(jù),在專業(yè)化軟件里進行構(gòu)建;地形模型的構(gòu)建是使用傾斜模型,去除掉地面部分信息,保留地面傾斜模型數(shù)據(jù),再利用專業(yè)軟件導(dǎo)出為3D模型文件格式(obj格式)。

5.2 森林場景仿真

1)三維模型加載。點云掃描區(qū)域主要是利用點云掃描數(shù)據(jù)實現(xiàn)掃描區(qū)域的真實坐標以完成林木幾何狀態(tài)的加載,再根據(jù)坐標位置加載預(yù)先做好的建筑和地形;其它非掃描區(qū)域的林木個體通過RTK坐標匹配校準,與場景內(nèi)地物相融合,放置到與現(xiàn)實空間相對應(yīng)的地理位置中。

2)三維場景渲染效率優(yōu)化。主要是通過兩種方法進行優(yōu)化:一是模型優(yōu)化,即使用LOD、紋理壓縮等技術(shù)處理提高模型的渲染效率;二是場景優(yōu)化,即采用最新的UE5編輯器,使用Nanite優(yōu)化技術(shù),實現(xiàn)場景內(nèi)三角網(wǎng)格數(shù)量的實時調(diào)度,從而達到優(yōu)化目的。

5.3 物聯(lián)網(wǎng)系統(tǒng)對接

林業(yè)物聯(lián)網(wǎng)系統(tǒng)是將物聯(lián)網(wǎng)技術(shù)應(yīng)用于林業(yè)管理和監(jiān)測的領(lǐng)域。通過將傳感器、無線通信、云計算等技術(shù)應(yīng)用于林業(yè)領(lǐng)域,基于物聯(lián)網(wǎng)概念的清晰感知、可靠傳輸和智能處理,可以實現(xiàn)對森林資源的實時監(jiān)測、數(shù)據(jù)采集和遠程管理,提高林業(yè)管理的效率和精確度[11-13]。本研究布設(shè)的傳感器包括樹木直徑監(jiān)測傳感器、物候監(jiān)測傳感器、重點區(qū)域監(jiān)控傳感器、水質(zhì)監(jiān)測傳感器、鳥類識別傳感器。利用RTK記錄的物聯(lián)網(wǎng)設(shè)備放置坐標,在三維場景中進行標識。通過物聯(lián)網(wǎng)把感知數(shù)據(jù)以文本、圖片、音頻、視頻傳回到三維場景中,并在三維森林場景中以三維UI顯示方法、視頻三維顯示方法表達出來,實現(xiàn)虛擬3D森林場景與現(xiàn)實森林場景的深度融合。三維可視化展示實現(xiàn)過程如圖8所示。

5.4 數(shù)字孿生功能建設(shè)

在林業(yè)領(lǐng)域,數(shù)字孿生技術(shù)可以通過使用傳感器和無人機收集數(shù)據(jù)來創(chuàng)建森林的數(shù)字模型,將森林的物理實體與其數(shù)字模型相結(jié)合,提供更準確的森林狀況評估、可視化和預(yù)測[2]。本研究中,數(shù)字孿生功能主要包括林木生長模擬、碳匯可視化、天氣系統(tǒng)仿真、四季變化模擬和聲音模擬。林木生長模擬主要依據(jù)提供的不同樹種的生長模型,計算未來5～10 a林木生長情況,按照計算結(jié)果對樹高、胸徑變化,在三維模型X,Y,Z方向進行動態(tài)模擬;碳匯可視化是根據(jù)不同樹種的不同碳匯模型,計算不同生長階段的碳儲量,并設(shè)計三維場景呈現(xiàn)形式;天氣系統(tǒng)仿真可以按照真實24 h結(jié)合物聯(lián)網(wǎng)氣象數(shù)據(jù)的方式,進行如臺風(fēng)、暴雨、大霧、白晝黑夜等場景天氣模擬;四季變化模擬是通過樹葉紋理及環(huán)境渲染變化,模擬春夏秋冬四季森林場景;聲音模擬是對系統(tǒng)中風(fēng)聲、水聲、鳥叫蟲鳴等環(huán)境音進行三維模擬。

6 研究結(jié)果

6.1 三維樹種庫的構(gòu)建

三維樹種庫是搭建三維森林場景的基礎(chǔ),本研究一共制作了225棵1∶1仿真的三維樹種模型,構(gòu)建起示范區(qū)的三維樹種庫。樹種主要包括潺槁木姜子、高山榕(FicusaltissimaBlume)、臺灣相思(AcaciaconfusaMerr.)等總共35種樹種。三維樹種庫部分樹種如圖9所示。

圖9 三維樹種庫部分三維樹種模型

6.2 三維森林場景的實現(xiàn)

虛擬三維森林環(huán)境的構(gòu)建是林業(yè)數(shù)字孿生的基礎(chǔ),將不同樹種的樹木三維模型和其它模型根據(jù)森林空間數(shù)據(jù)拓撲關(guān)系映射到三維場景中,以還原出真實的森林環(huán)境。系統(tǒng)將地形DEM圖、地形紋理以及天空盒技術(shù)搭建真實的林分三維場景。本研究的三維森林場景是基于高精度的調(diào)查數(shù)據(jù)和高稠密的點云數(shù)據(jù)生成的精細化三維森林場景,核心區(qū)位做到了1∶1仿真,其它區(qū)位是以調(diào)查數(shù)據(jù)中每株木的樹種、坐標、直徑和樹高等進行三維樹種匹配。構(gòu)建出的三維森林精細化場景如圖10、圖11、圖12所示。

圖10 基于點云1∶1仿真的三維森林場景

圖11 結(jié)合建筑、地形的三維森林場景

圖12 基于調(diào)查數(shù)據(jù)的三維森林場景

6.3 數(shù)字孿生功能的實現(xiàn)

本研究立足于虛擬三維場景加數(shù)字、信息的可視化,建立了逼真的虛擬建筑,以及和真實樹木保持一致的虛擬樹木,并對周邊環(huán)境進行虛擬1∶1還原。在此基礎(chǔ)上,實現(xiàn)了林木生長模擬、碳匯可視化、天氣系統(tǒng)仿真、四季變化模擬和聲音模擬等數(shù)字孿生功能。搭建天氣系統(tǒng),按照真實24 h結(jié)合物聯(lián)網(wǎng)氣象數(shù)據(jù)的方式,進行如臺風(fēng)、暴雨、大霧、白晝黑夜等場景天氣模擬;林木生長模擬依據(jù)不同林木生長模型,計算未來5～10年林木生長情況,按照計算結(jié)果進行模型動態(tài)模擬;通過物侯感知設(shè)備傳回的數(shù)據(jù),即通過樹葉紋理及環(huán)境渲染變化,模擬春夏秋冬四季場景;碳匯可視化,是依據(jù)林木生長儀傳回的數(shù)據(jù)結(jié)合不同樹種不同碳匯模型,計算不同生長階段的碳儲量,并設(shè)計三維場景呈現(xiàn)形式;根據(jù)聲紋提取數(shù)據(jù)模擬動物音。部分功能實現(xiàn)如圖13、圖14所示。

圖13 數(shù)字孿生部分功能

圖14 感知數(shù)據(jù)接入數(shù)字孿生系統(tǒng)

7 結(jié)語

本研究利用點云數(shù)據(jù)生成樹木三維模型,通過傾斜數(shù)據(jù)生成建筑模型、地形模型,最后搭建示范區(qū)森林三維場景并研發(fā)物聯(lián)網(wǎng)數(shù)據(jù)實時傳輸、可視化表達,并在此基礎(chǔ)上,實現(xiàn)林木生長動態(tài)模擬、碳匯可視化、場景四季變化、天氣變化等數(shù)字孿生功能,從而探索了示范區(qū)沉浸交互式數(shù)字孿生能力建設(shè)。今后,還可以從以下角度進行深入研究:1)建設(shè)基于云端渲染的林草資源三維數(shù)據(jù)、場景一站式服務(wù),滿足多終端、多用戶訪問;2)在本研究場景的基礎(chǔ)上,通過數(shù)字孿生技術(shù),可以實時監(jiān)測森林的健康狀況、植被生長情況、土壤質(zhì)量等,可為林業(yè)生產(chǎn)管理提供及時的決策支持。