郭鵬宇,胡慶雷,,歐陽真超
(1. 北京航空航天大學(xué)自動(dòng)化科學(xué)與電氣工程學(xué)院,北京 100190;2. 北京航空航天大學(xué)杭州創(chuàng)新研究院(余杭),杭州 310023)
隨著航天工程的持續(xù)推進(jìn),太空合作共贏與競(jìng)爭(zhēng)對(duì)抗并存的趨勢(shì)日益明顯。為維護(hù)空間在軌安全,非合作航天器的在軌監(jiān)測(cè)日益重要,具體任務(wù)包括快速逼近、繞飛監(jiān)視以及運(yùn)動(dòng)捕獲甚至打擊對(duì)抗等[1-2]。由于目標(biāo)的強(qiáng)非合作特性,服務(wù)航天器無法提前獲知目標(biāo)特征及在軌運(yùn)動(dòng)信息,這給目標(biāo)的精準(zhǔn)、快速感知帶來了巨大的挑戰(zhàn)[3-4]。針對(duì)上述任務(wù)需求,空間非合作航天器的三維模型快速構(gòu)建技術(shù)備受關(guān)注,目標(biāo)的模型結(jié)構(gòu)可以為空間博弈對(duì)抗提供豐富的感知信息。因此,目標(biāo)三維模型精確快速重構(gòu)是未來目標(biāo)監(jiān)視、對(duì)抗制勝率的重要技術(shù)保障之一[5]。
現(xiàn)有的目標(biāo)三維模型表征方式總體可以劃分為顯式模型表征和隱式模型表征。其中,顯式模型表征包括點(diǎn)云(Point Cloud)、體素(Voxelization)和網(wǎng)格(Meshgrid)[6]。三維點(diǎn)云表征可以更好地保留精確的模型位置、幾何特征和拓?fù)浣Y(jié)構(gòu)[7]。然而,真實(shí)采樣的點(diǎn)云相對(duì)稀疏、無序和噪聲,其索引計(jì)算會(huì)帶來巨大的計(jì)算開銷,同時(shí)空間結(jié)構(gòu)上的多樣性也會(huì)導(dǎo)致計(jì)算上的歧義。而模型的體素表征可以看作是對(duì)三維無序點(diǎn)云的正則化處理,基于均勻體素的模型表征更適合航天器的特征提取與恢復(fù),規(guī)則化的結(jié)構(gòu)表示大大減少了數(shù)據(jù)規(guī)模和處理的計(jì)算量[8]。網(wǎng)格表示下目標(biāo)的三維表面結(jié)構(gòu)最光滑,但生成的曲面網(wǎng)格都具有較強(qiáng)的隨機(jī)性,這通常需要額外的對(duì)齊框架設(shè)計(jì)[9]。由于點(diǎn)云和網(wǎng)格表征均具有較強(qiáng)的隨機(jī)性,針對(duì)非合作航天器的模型體素表征唯一性最佳。隱式的三維模型恢復(fù)是由目前最為顛覆性的神經(jīng)輻射場(chǎng)(Neural Rad-iance Fields, NeRF)模型[10]首次引出,以相機(jī)視角和位置作為神經(jīng)網(wǎng)絡(luò)輸入,利用隱式的三維模型高質(zhì)量地恢復(fù)不同視角下的目標(biāo)視圖。雖然基于目標(biāo)隱式模型可以高質(zhì)量地恢復(fù)目標(biāo)不同視角下的圖片,但在航天器三維感知的任務(wù)中,顯式模型表征能夠?yàn)楹罄m(xù)導(dǎo)航任務(wù)提供更有利的支撐。
針對(duì)空間非合作航天器的三維重構(gòu)任務(wù),目前現(xiàn)有方法包括基于幾何的算法和基于神經(jīng)網(wǎng)絡(luò)建模的方法。其中,傳統(tǒng)基于幾何計(jì)算的三維模型構(gòu)建是目前的主流方案,通常需要對(duì)目標(biāo)進(jìn)行多角度的連續(xù)采樣和復(fù)雜的迭代計(jì)算,計(jì)算時(shí)間過長極大地限制了傳統(tǒng)方法在航天器實(shí)時(shí)感知任務(wù)中的應(yīng)用。調(diào)研發(fā)現(xiàn),基于人工智能的三維場(chǎng)景重構(gòu)和目標(biāo)三維結(jié)構(gòu)恢復(fù)已取得大量的研究進(jìn)展。但神經(jīng)網(wǎng)絡(luò)依賴大規(guī)模標(biāo)注數(shù)據(jù)進(jìn)行有監(jiān)督訓(xùn)練,數(shù)據(jù)饑餓問題(Data Hungry Problem)是所有基于端到端(End-to-End)學(xué)習(xí)的研究中普遍存在的問題。雖然有少數(shù)利用人工智能算法進(jìn)行航天器數(shù)據(jù)特征的提取及處理研究,如基于圖像的目標(biāo)檢測(cè)和分割[11],但缺少對(duì)應(yīng)目標(biāo)的三維結(jié)構(gòu)基準(zhǔn)。數(shù)據(jù)集的缺乏使得面向非合作航天器的三維模型智能重構(gòu)研究暫時(shí)處于空白狀態(tài)。
在航天器顯式模型表征中,體素化的模型結(jié)構(gòu)更加規(guī)則且具有唯一性,基于這種規(guī)則化的表示方式進(jìn)行網(wǎng)絡(luò)建模,能夠降低非線性擬合的復(fù)雜度,且重建結(jié)果更加易于進(jìn)行姿態(tài)配準(zhǔn)、朝向檢測(cè)等后續(xù)任務(wù)處理。對(duì)于三維體素模型重建結(jié)果的量化指標(biāo),地面物體通常使用體素交叉聯(lián)合(intersection-over-union)[12]評(píng)估算法性能。基于地面目標(biāo)三維模型智能恢復(fù)算法研究,本文提出了“編碼-解碼-細(xì)化”網(wǎng)絡(luò)架構(gòu),以解決空間非合作航天器三維體素模型重構(gòu)問題,建立航天器三維模型數(shù)據(jù)樣本,并利用人工智能方法深入學(xué)習(xí)航天器模型與輸入圖片之間的映射關(guān)系。具體來說,本文的貢獻(xiàn)可以總結(jié)如下:
1)基于公開航天器三維模型和開源渲染軟件,針對(duì)單視圖三維體素重建任務(wù),構(gòu)建了面向航天器三維模型重建任務(wù)的數(shù)據(jù)集,包括多個(gè)航天器的三維模型文件、對(duì)應(yīng)多尺度體素正則化文件以及多視角相機(jī)采樣模擬的渲染圖像,為后續(xù)深度學(xué)習(xí)建模任務(wù)提供數(shù)據(jù)基礎(chǔ)和量化評(píng)估方案。
2)設(shè)計(jì)了基于單一視圖輸入的航天器三維體素模型神經(jīng)網(wǎng)絡(luò)框架,整個(gè)模型主干網(wǎng)絡(luò)主要包含3個(gè)子模塊,圖像2D卷積編碼模塊、基于3D卷積的解碼模塊和基于U-Net架構(gòu)的3D卷積調(diào)優(yōu)模塊,能夠針對(duì)單幀目標(biāo)圖像數(shù)據(jù)進(jìn)行卷積編解碼,然后恢復(fù)航天器的三維空間正則化的體素表征,并利用MIoU指標(biāo)對(duì)網(wǎng)絡(luò)性能進(jìn)行評(píng)估。
本文各部分組織如下:第1章介紹了航天器三維模型智能重構(gòu)算法的總體框架;第2章介紹了航天器三維模型數(shù)據(jù)樣本集的構(gòu)建方案;第3章介紹了所設(shè)計(jì)的重建模型的神經(jīng)網(wǎng)絡(luò)架構(gòu)細(xì)節(jié),以及與所構(gòu)建數(shù)據(jù)集的訓(xùn)練方案;第4章介紹了航天器三維模型恢復(fù)的評(píng)估指標(biāo),并基于本地?cái)?shù)據(jù)對(duì)訓(xùn)練好的模型進(jìn)行評(píng)估和分析,證明了所提方法的有效性;最后一章討論了所提方法的優(yōu)缺點(diǎn),并給出結(jié)論及未來研究方向。
針對(duì)基于人工智能的航天器三維體素重建問題,網(wǎng)絡(luò)的輸入為包含目標(biāo)的多種采樣視角下的圖像,輸出為目標(biāo)的三維體素結(jié)構(gòu)。與常規(guī)三維重建問題不同,航天器結(jié)構(gòu)復(fù)雜、體積龐大,僅存在于太空環(huán)境和近地軌道附近,相關(guān)數(shù)據(jù)難以獲取。因此,針對(duì)不同的航天器采用渲染的方式分別生成正則化的三維體素結(jié)構(gòu),并利用相機(jī)模型渲染生成固定尺寸的航天器圖像數(shù)據(jù)。其中,三維體素表征采用以目標(biāo)為中心的方法,圖像則通過固定小孔成像模型,保證采樣圖像尺寸的情況下,在不同視角下對(duì)航天器進(jìn)行渲染成像,增加樣本的豐富度。通過對(duì)大量航天器模型進(jìn)行批處理的數(shù)據(jù)生成,構(gòu)建了一對(duì)多的“體素-圖像”數(shù)據(jù)集,并在此基礎(chǔ)上,設(shè)計(jì)了對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)模型架構(gòu),用于接收單視圖圖像數(shù)據(jù),通過數(shù)據(jù)集訓(xùn)練模型構(gòu)建“圖像-體素”之間非線性關(guān)系,實(shí)現(xiàn)目標(biāo)的三維體素重建。最后,通過量化評(píng)估和測(cè)試,驗(yàn)證了航天器三維重構(gòu)網(wǎng)絡(luò)的有效性。總體流程如圖1所示,包括以下三個(gè)部分:
1)航天器三維模型數(shù)據(jù)樣本集合生成。一方面,基于已知航天器三維模型文件生成對(duì)應(yīng)的三維體素?cái)?shù)據(jù),并構(gòu)造航天器結(jié)構(gòu)三維模型的規(guī)范方向,實(shí)現(xiàn)航天器模型數(shù)據(jù)各部分的剛性對(duì)齊;另一方面,為恢復(fù)目標(biāo)完整的模型結(jié)構(gòu),對(duì)目標(biāo)進(jìn)行全覆蓋的球采樣,實(shí)現(xiàn)全方位、全視角下的航天器圖片渲染,為后續(xù)的網(wǎng)絡(luò)模型訓(xùn)練和評(píng)估提供數(shù)據(jù)支持。
圖1 航天器三維模型智能重構(gòu)算法架構(gòu)Fig.1 Architecture of intelligent 3D model reconstruction algorithm for spacecraft
2)航天器三維模型重構(gòu)網(wǎng)絡(luò)框架設(shè)計(jì)。該部分基于所生成的航天器三維模型及對(duì)應(yīng)的渲染圖片數(shù)據(jù)對(duì),設(shè)計(jì)適配的航天器三維模型數(shù)據(jù)恢復(fù)網(wǎng)絡(luò)框架。利用生成的航天器三維體素表征作為真實(shí)值 (Ground Truth),渲染的航天器圖片作為探測(cè)數(shù)據(jù),設(shè)計(jì)網(wǎng)絡(luò)訓(xùn)練框架,確保神經(jīng)網(wǎng)絡(luò)模型能夠處理對(duì)應(yīng)的數(shù)據(jù)結(jié)構(gòu)并生成目標(biāo)尺寸的三維體素。
3)航天器模型恢復(fù)性能評(píng)估與分析。利用訓(xùn)練好的網(wǎng)絡(luò)參數(shù)和所設(shè)計(jì)的網(wǎng)絡(luò)架構(gòu)測(cè)試航天器的體素結(jié)構(gòu)恢復(fù)效果,定量對(duì)比分析模型的重建效果,構(gòu)建模型恢復(fù)對(duì)應(yīng)的評(píng)估體系。從不同的角度評(píng)估網(wǎng)絡(luò)架構(gòu)的性能,對(duì)比不同網(wǎng)絡(luò)框架下航天器三維模型的恢復(fù)結(jié)果,確保航天器三維模型重構(gòu)網(wǎng)絡(luò)框架能夠滿足目標(biāo)感知需求。
航天器三維模型數(shù)據(jù)樣本集是航天器三維模型智能重構(gòu)的數(shù)據(jù)基礎(chǔ),也是航天領(lǐng)域神經(jīng)網(wǎng)絡(luò)建模研究發(fā)展的制約因素。目前,被公開使用的USRO、SPARK及SPEED等航天器數(shù)據(jù)集是為了目標(biāo)識(shí)別、位姿估計(jì)和語義分析任務(wù)開發(fā)的,均不涉及航天器三維模型的組織和注釋,難以為航天器三維重構(gòu)提供有效的數(shù)據(jù)支撐。因此,本文通過分析日常目標(biāo)三維重構(gòu)數(shù)據(jù)集ShapeNet[13]的處理方案,對(duì)航天器結(jié)構(gòu)、類型等因素進(jìn)行歸約,并構(gòu)建航天器三維模型數(shù)據(jù)樣本集合。首先,利用Blender軟件對(duì)不同視角下的航天器成像結(jié)果進(jìn)行渲染,然后,生成對(duì)應(yīng)的航天器三維體素模型作為網(wǎng)絡(luò)訓(xùn)練的模型真值。數(shù)據(jù)樣本集合生成的過程是一個(gè)雙向映射的過程,圖片與體素模型的樣本數(shù)據(jù)鏈接是后續(xù)網(wǎng)絡(luò)框架訓(xùn)練的基礎(chǔ)。
航天器三維模型數(shù)據(jù)集的構(gòu)建將包含豐富的注釋,為航天模型恢復(fù)任務(wù)提供基礎(chǔ)數(shù)據(jù)激勵(lì)。通過收集公開航天器模型用于構(gòu)建航天器三維重建數(shù)據(jù)集,可以實(shí)現(xiàn)以下任務(wù):
1)幫助開展航天器三維結(jié)構(gòu)分析工作;
2)支持需要航天器模型數(shù)據(jù)的航天任務(wù);
3)對(duì)涉及航天器結(jié)構(gòu)幾何的基本任務(wù)(分割、對(duì)齊等)進(jìn)行算法評(píng)估;
4)為航天器語義分析提供模型數(shù)據(jù)庫。
為滿足以上航天任務(wù)需求,首先需要將所構(gòu)建的航天器三維模型數(shù)據(jù)集覆蓋現(xiàn)實(shí)世界中的多種航天對(duì)象,包括不同的空間非合作航天器類別,如衛(wèi)星、運(yùn)載火箭及空間站等結(jié)構(gòu);其次,航天器三維模型需要與其對(duì)應(yīng)的2D視角圖像、結(jié)構(gòu)語義信息等特征相互關(guān)聯(lián);最后,為航天器的三維體素模型建立一致的規(guī)范方向(目標(biāo)中心表征),實(shí)現(xiàn)體素表征的唯一性,保證后續(xù)航天器識(shí)別、結(jié)構(gòu)分類和語義分割等不同感知任務(wù)的展開。
如圖2所示,基于航天器三維模型,將其柵格化為二進(jìn)制3D體素網(wǎng)絡(luò),可以生成不同分辨率下的binary-voxel (binvox) 體素格式文件;考慮網(wǎng)絡(luò)模型的計(jì)算效率、模型的復(fù)雜性和下游感知任務(wù)所需模型的精度,目前以分辨率大小為643進(jìn)行航天器三維體素模型生成。
圖2 航天器三維體素模型生成樣例Fig.2 A sample of spacecraft 3D voxel model
雖然目前生成的模型文件表征粗略,但所生成的目標(biāo)三維體素能夠盡可能地保持原模型的關(guān)鍵形狀結(jié)構(gòu)。后續(xù)為確保航天器三維模型結(jié)構(gòu)的精細(xì)化表示、語義分割及三維姿態(tài)檢測(cè)任務(wù),可針對(duì)性地調(diào)整航天器體素生成分辨率。
考慮太空環(huán)境下非合作航天器的運(yùn)動(dòng)自由度較高,傳感器可能從不同的方位進(jìn)行觀測(cè),為了提升生成模型的魯棒性和泛化能力,采用球形采樣策略進(jìn)行目標(biāo)航天器的圖像渲染。具體地,以目標(biāo)航天器為中心,在固定半徑構(gòu)成的球面擺放相機(jī)模型,并進(jìn)行渲染采樣生成航天器圖像數(shù)據(jù)。例如,航天器的圓形對(duì)接環(huán)、噴嘴及太陽能帆板支架等結(jié)構(gòu)至少需要保證觀察到一個(gè)視圖才能覆蓋到細(xì)節(jié)形狀架構(gòu)。本文構(gòu)建球形采樣方式,從各個(gè)視點(diǎn)捕捉航天器圖片,如圖3所示。對(duì)于單個(gè)航天器模型,從40個(gè)不同視角進(jìn)行渲染采樣。
圖3 航天器RGB圖片渲染樣例Fig.3 Spacecraft RGB image rendering example
為了模擬中遠(yuǎn)距離下傳感器采樣視場(chǎng)能夠包含完整的航天器結(jié)構(gòu),本文采用的相機(jī)模型將輸出512×512分辨率的圖像數(shù)據(jù),并保證目標(biāo)的關(guān)鍵細(xì)節(jié)清晰,作為后續(xù)網(wǎng)絡(luò)的輸入。
本文的航天器三維模型智能重構(gòu)算法使用“編碼-解碼-細(xì)化 (Encoder-Decoder-Refiner)”網(wǎng)絡(luò)來訓(xùn)練恢復(fù)航天器三維體素模型。其中,編碼器用于拆分2D圖像中的有效紋理卷積特征;解碼器用于從高維卷積特征中重建目標(biāo)三維體素;最后,一個(gè)基于U-Net架構(gòu)的三維卷積模塊對(duì)重建的粗糙結(jié)果進(jìn)行精細(xì)化調(diào)優(yōu)。圖4所示為所提出的模型架構(gòu),該架構(gòu)以二維航天器圖片作為輸入,三維模型作為網(wǎng)絡(luò)輸出,重建航天器三維體素結(jié)構(gòu)。
圖4 航天器三維重構(gòu)網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Spacecraft 3D model reconstruction network
編碼器的目的是對(duì)輸入的RGB圖片進(jìn)行深度特征提取,作為后續(xù)解碼任務(wù)的輸入,以恢復(fù)航天器的3D形狀。將RGB圖片輸入連續(xù)的6組2D卷積 (2D Convolution) 層、批歸一化層和ReLU層,將語義信息嵌入到特征圖中。6個(gè)卷積層均采用大小為32的卷積核,步長為2,填充為1,每個(gè)模塊將特征圖縮小1/2(單個(gè)維度),對(duì)應(yīng)的輸出通道分別為64、128、192、256、384和512。最終,編碼階段輸出大小為512×82的高維局部特征圖組,為之后的解碼恢復(fù)提供深層次特征。
為了生成分辨率大小為643的航天器體素模型,解碼階段以編碼得到的高維特征作為輸入,先將特征圖數(shù)據(jù)重組為4096×23維,為3維體素生成提供基礎(chǔ)。整個(gè)解碼階段包含6組3D逆卷積 (3D Deconvolution) 層,與編碼階段類似,每個(gè)逆卷積層后都有批歸一化層和ReLU層,最后使用sigmoid激活函數(shù)。6個(gè)逆卷積層的內(nèi)核大小為43,步長為2,填充為1,每次將生成體素(單個(gè)維度)的分辨率提升1倍,對(duì)應(yīng)的輸出通道分別為512、128、32、16、8和1。最終,解碼階段輸出大小為643的數(shù)據(jù)架構(gòu);但由于網(wǎng)絡(luò)較淺,此時(shí)所恢復(fù)的三維體素細(xì)節(jié)較差,一些結(jié)構(gòu)恢復(fù)不全,為重建更加精確的航天器模型結(jié)構(gòu),需要對(duì)生成的粗略模型進(jìn)行進(jìn)一步處理。
參考3D U-Net架構(gòu),構(gòu)建航天器三維模型細(xì)化模塊,在不改變生成模型分辨率的情況下,采用3D卷積和逆卷積進(jìn)行特征重組,將編碼階段生成的特征引入到解碼階段,進(jìn)一步將粗略的航天器模型精細(xì)化。為了生成分辨率大小為643的三維精確模型,細(xì)化階段的編碼器具有4組3D卷積層、批歸一化層、ReLU層和內(nèi)核大小為23的最大池化層,每個(gè)卷積層的內(nèi)核大小為43,填充為2。對(duì)應(yīng)卷積層的輸出通道分別編號(hào)為16、32、64和128。編碼器后面是2個(gè)全連接層,大小分別為2048和8192。解碼器由4組3D逆卷積層組成,每個(gè)逆卷積層后都有批歸一化層和ReLU層,最后一個(gè)逆卷積層之后接sigmoid函數(shù)。4個(gè)逆卷積層的內(nèi)核大小為43,步長為2,填充為1,對(duì)應(yīng)的輸出通道分別為128、64、32和2,最終生成細(xì)化后的航天器三維模型。
訓(xùn)練過程中,網(wǎng)絡(luò)的損失函數(shù)定義為重建的航天器三維模型與真實(shí)值之間的體素交叉熵,具體公式為
(1)
其中,N表示總體體素?cái)?shù)目;Gi表示真實(shí)模型在對(duì)應(yīng)位置的體素占用情況;Pi表示所重構(gòu)的航天器模型在對(duì)應(yīng)位置的體素占用情況,該指標(biāo)獨(dú)立地衡量每個(gè)體素柵格位置的存在情況。損失函數(shù)越小,表示航天器三維模型重構(gòu)效果越好。
在本章中,首先對(duì)航天器三維模型重構(gòu)的性能評(píng)估進(jìn)行了介紹,然后展示了所提網(wǎng)絡(luò)框架的實(shí)現(xiàn)細(xì)節(jié),最后與目前基于人工智能算法的目標(biāo)重構(gòu)結(jié)果進(jìn)行對(duì)比,說明所提網(wǎng)絡(luò)框架在航天器三維模型重構(gòu)方面的優(yōu)勢(shì)。
為了評(píng)估所提方法對(duì)航天器三維體素模型的重構(gòu)質(zhì)量,本文在閾值t=0.2時(shí)對(duì)恢復(fù)的航天器模型數(shù)據(jù)進(jìn)行二值化處理,使用聯(lián)合交集(Intersec-tion over Union, IoU)作為預(yù)測(cè)的模型和真實(shí)的模型之間的相似性度量指標(biāo),具體來說,其數(shù)學(xué)模型可以表示為
(2)
其中,P(i,j,k)與G(i,j,k)分別表征航天器三維體素模型重構(gòu)結(jié)果及訓(xùn)練過程中使用的真實(shí)體素模型;t表示訓(xùn)練過程中所設(shè)置的閾值。IoU值越高,表示所生成的航天器三維體素模型精確度及質(zhì)量越高。
針對(duì)整個(gè)網(wǎng)絡(luò)模型的體素結(jié)構(gòu)預(yù)測(cè)性能,本文使用平均聯(lián)合交集(Mean Intersection over Union, MIoU)作為評(píng)估指標(biāo),其數(shù)學(xué)模型可以表示為
(3)
其中,Nmodels表示測(cè)試的航天器三維模型數(shù)量;IoUi表示第i個(gè)生成的航天器模型與真實(shí)模型之間的相似性度量指標(biāo)。
本文使用分辨率為512×512的RGB圖像作為網(wǎng)絡(luò)模型的訓(xùn)練輸入,輸出體素化航天器三維模型重建的大小為643。使用Adam優(yōu)化器訓(xùn)練航天器三維重構(gòu)網(wǎng)絡(luò)模型,對(duì)應(yīng)的參數(shù)β1=0.9,β2=0.999。初始學(xué)習(xí)率設(shè)置為0.001,共訓(xùn)練250個(gè)epoch的網(wǎng)絡(luò)。
針對(duì)不同結(jié)構(gòu)的航天器模型,本文提出的網(wǎng)絡(luò)架構(gòu)最終可以良好地恢復(fù)其三維結(jié)構(gòu),如圖5所示,列出了9種不同結(jié)構(gòu)航天器的恢復(fù)結(jié)果。其中,每列圖片的左側(cè)為目標(biāo)航天器真實(shí)體素(GT),右側(cè)為訓(xùn)練后模型基于單視圖輸入生成的航天器三維體素模型(Predicted)可視化結(jié)果。通過分析對(duì)比不同結(jié)構(gòu)的航天器恢復(fù)結(jié)果,發(fā)現(xiàn)本文所提網(wǎng)絡(luò)可以良好地恢復(fù)大部分的航天器三維模型結(jié)構(gòu),但對(duì)于少數(shù)航天器,可能由于其輸入的圖片信息缺乏足夠的RGB特征,生成的模型存在一定的噪聲,但主要結(jié)構(gòu)基本與原模型體素一致。
為了評(píng)估所提方法在航天器三維模型恢復(fù)方面的性能,本文將所提方法與目前最先進(jìn)的體素模型生成方法進(jìn)行比較。對(duì)比Pix2Vox[14]和Pix2Vox++[15]網(wǎng)絡(luò)模型,其三維模型重建結(jié)果定量對(duì)比如表1所示,各網(wǎng)絡(luò)架構(gòu)的模型重構(gòu)性能指標(biāo)均是在裝有NVIDIA GTX 3080Ti GPU的同一臺(tái)電腦上訓(xùn)練獲取。目前所構(gòu)建的網(wǎng)絡(luò)在航天器結(jié)構(gòu)恢復(fù)方面取得了0.895的MIoU值,相同條件下目前最優(yōu)越的Pix2Vox++三維模型恢復(fù)網(wǎng)絡(luò)框架通過相同的數(shù)據(jù)訓(xùn)練在航天器三維模型恢復(fù)任務(wù)中取得了0.7504的MIoU值。本文所提的網(wǎng)絡(luò)框架訓(xùn)練恢復(fù)結(jié)果在航天器三維模型恢復(fù)效能方面要優(yōu)于現(xiàn)有網(wǎng)絡(luò),并且具備更低的網(wǎng)絡(luò)超參數(shù)量,但由于整個(gè)測(cè)試過程中將輸入數(shù)據(jù)的分辨率提升,導(dǎo)致最終重建時(shí)間高于其余網(wǎng)絡(luò)。同時(shí),與傳統(tǒng)算法相比,基于人工智能的航天器三維模型重構(gòu)方法表現(xiàn)出更強(qiáng)的時(shí)效性。
表1 航天器三維模型恢復(fù)性能對(duì)比
針對(duì)傳統(tǒng)空間非合作航天器三維模型重構(gòu)算法復(fù)雜、繞飛觀測(cè)實(shí)時(shí)性差及計(jì)算過程數(shù)據(jù)量龐大等問題,本文突破傳統(tǒng)算法的限制,提出了一種基于單視圖的航天器三維體素模型重構(gòu)方法。首先,通過類比地面大規(guī)模目標(biāo)三維模型數(shù)據(jù)集,分析航天器結(jié)構(gòu)、背景、形狀等特性,建立航天器三維模型數(shù)據(jù)樣本集合,并將其鏈接到對(duì)應(yīng)的RGB圖片,構(gòu)建完備的“模型-圖片”信息交互;其次,設(shè)計(jì)適用于航天器三維模型重構(gòu)的網(wǎng)絡(luò)框架,以圖片為輸入,三維體素模型為輸出,對(duì)網(wǎng)絡(luò)模型參數(shù)進(jìn)行訓(xùn)練,最終得到最優(yōu)的網(wǎng)絡(luò)模型;最后,通過仿真實(shí)驗(yàn)對(duì)比說明了所提方法的有效性。總體來說,該方法仍存在一些不足,數(shù)據(jù)集規(guī)模不夠龐大且完備性不足,僅引入光照元素對(duì)航天器進(jìn)行數(shù)據(jù)生成,缺乏噪聲、背景等其他干擾因素下的數(shù)據(jù)補(bǔ)充;同時(shí),目前生成的航天器模型比較粗糙,因此需要對(duì)航天器模型進(jìn)一步提高分辨率,使其能夠更好地表征真實(shí)航天器三維模型,這也是本文后續(xù)的研究方向。