牟金震，郝曉龍，朱文山，李爽

1. 南京航空航天大學(xué) 航天學(xué)院，南京 211106 2. 上海市空間智能控制技術(shù)重點實驗室，上海 201109 3. 北京跟蹤與通信技術(shù)研究所，北京 100094

1 引言

盡管航天器采取了多種保護措施，但在真空、失重、高低溫和強輻射環(huán)境下長時間工作，仍然會發(fā)生故障。這些故障給航天器帶來了巨大的經(jīng)濟損失。在軌服務(wù)技術(shù)可以為故障失效、燃料耗盡或者模塊更換的衛(wèi)星、空間站和空間運載器等空間目標(biāo)提供在軌維修服務(wù)，其通過服務(wù)航天器平臺攜帶的機械臂系統(tǒng)、視覺系統(tǒng)與捕獲系統(tǒng)完成在軌裝配、捕獲、維修、燃料加注等操控任務(wù)，可有效延長服務(wù)對象的使用壽命。傳統(tǒng)在軌服務(wù)技術(shù)由地面人員遙操作協(xié)助完成交會對接，存在智能化水平低、適應(yīng)差等問題。中國科技創(chuàng)新2030重大專項對在軌服務(wù)技術(shù)提出了更高的要求，以滿足空間無人操控任務(wù)的需求。因此，開展智能在軌服務(wù)技術(shù)的研究，有助于提高空間操控平臺的智能化水平[1]。

在軌服務(wù)任務(wù)中，服務(wù)航天器與服務(wù)對象到達交會對接距離后，利用服務(wù)航天器攜帶的感知系統(tǒng)完成對目標(biāo)的位姿信息測量、關(guān)鍵部組件三維重構(gòu)、關(guān)鍵部位識別等精細(xì)化感知。然而在軌服務(wù)對象中，由于對象先驗信息無法獲取，此時成為非合作目標(biāo)。因此，非合作目標(biāo)的智能感知成為近年來航天在軌操控領(lǐng)域的研究熱點，受到各國的廣泛關(guān)注和重視[2-3]。目前，面向在軌演示驗證，非合作目標(biāo)智能感知仍存在諸多難點，如小樣本、多模態(tài)、模型適應(yīng)與高維數(shù)據(jù)。

非合作目標(biāo)感知不僅應(yīng)用于在軌服務(wù)，還可以應(yīng)用于小行星著陸等領(lǐng)域。針對目標(biāo)結(jié)構(gòu)已知或部分已知的非合作目標(biāo)感知，國外研究機構(gòu)預(yù)計2021年底前完成部分關(guān)鍵技術(shù)的在軌測試，如日本宇宙尺度公司(Astroscale)于2021年8月完成非合作衛(wèi)星在軌捕獲技術(shù)驗證，考核了核心相機、可視化技術(shù)和感知算法軟件等。試驗中，非合作衛(wèi)星偏離一小段距離后(約10 cm)，服務(wù)衛(wèi)星點燃了推力器并捕獲非合作衛(wèi)星。不過，這已足以驗證后續(xù)非合作在軌感知試驗所需的關(guān)鍵技術(shù)?？紤]到非合作目標(biāo)智能感知的重要意義，有必要分析梳理非合作目標(biāo)智能感知涉及到的關(guān)鍵技術(shù)，總結(jié)目前存在的主要問題并給出后續(xù)發(fā)展的建議。

2 非合作目標(biāo)感知系統(tǒng)

2.1 典型的非合作目標(biāo)感知系統(tǒng)

前端機器人技術(shù)驗證項目(front-end robotics enabling near-tear demonstration，F(xiàn)REND)利用服務(wù)航天器末端的機械臂抓捕目標(biāo)的星箭對接環(huán)等部位。機械臂感知系統(tǒng)由3個自帶照明系統(tǒng)且互為備份的相機組成[5]。美國DARPA的鳳凰計劃(Phoenix)的機械臂末端感知系統(tǒng)由3條機械臂組成，其中有1條為柔性機械臂，2條FREND機械臂。相機系統(tǒng)依然采用自帶照明且互為備份的3目相機系統(tǒng)。單目相機為MDA(MacDonald，Dettwiler and Associates)相機。2019年公開的數(shù)據(jù)顯示，當(dāng)空間光照環(huán)境導(dǎo)致其中1個相機成像不理想時則利用剩余的2個相機組成雙目立體視覺系統(tǒng)繼續(xù)完成對非合作目標(biāo)的位姿測量，當(dāng)3個相機均能正常工作時則通過信息疊加融合提高位姿測量精度。

德國于2017年開始規(guī)劃在軌服務(wù)項目(Deutsche orbitale servicing，DEOS)。該項目主要對LEO上翻滾、失控非合作目標(biāo)衛(wèi)星進行抓捕演示驗證，抓捕位置包括失效衛(wèi)星的對接環(huán)、發(fā)動機噴管等，抓捕流程包括遠(yuǎn)距離跟蹤、交會段位姿測量、操作距離閉合抓捕以及組合體離軌。機械臂末端執(zhí)行器上安裝立體視覺系統(tǒng)，即雙目相機與光源的組合。由于DEOS項目綜合驗證在軌服務(wù)任務(wù)，其機械臂視覺系統(tǒng)必須滿足狹小空間成像能力，因此相機視場設(shè)計為60°。

美國DARPA發(fā)起的地球同步軌道衛(wèi)星機器人服務(wù)(robotics serving of geosynchronous satellites，RSGS)計劃使用了FREND計劃研發(fā)的兩條機械臂，一條臂用來捕獲和握緊非合作目標(biāo)，另一條臂用于配合在軌修理操作。RSGS 計劃的機械臂操作采用自主操作與遙操作兩種方式，臂末端的感知系統(tǒng)包括照明系統(tǒng)、視覺相機系統(tǒng)和位姿計算系統(tǒng)。相機系統(tǒng)由3個單目相機組成，功能上實現(xiàn)狹小空間與復(fù)雜光照環(huán)境成像的互補。

歐洲航天局OLEV(orbital life extension vehicle)計劃的目標(biāo)是拖拽地球靜止軌道上的故障非合作通信衛(wèi)星到墳?zāi)管壍馈７?wù)航天器的作用相當(dāng)于一個空間拖船，其機械臂末端的抓捕對象為發(fā)動機噴管，視覺系統(tǒng)包括近距離立體視覺相機和照明系統(tǒng)。當(dāng)服務(wù)航天器處于交會距離后，立體視覺相機捕獲抓捕機構(gòu)的圖像后，在地面操作人員的引導(dǎo)下，OLEV逼近至離目標(biāo)0.3m處。E.Deorbit計劃屬于歐洲航天局(ESA)清潔太空倡議，目的是清除體積較大的非合作目標(biāo)，其機械臂末端的感知由兩組互為配合的視覺系統(tǒng)組成。第一個視覺系統(tǒng)任務(wù)為監(jiān)視，第二個視覺系統(tǒng)任務(wù)為人工遙操作[4-5]。

德國ESS(experimental servicing satellite)計劃的目的是在軌維修故障非合作衛(wèi)星，其機械臂抓捕對象為發(fā)動機噴管，通過機械臂的近距離操作將抓捕工具插入到指定位置，視覺感知系統(tǒng)由激光測距儀、雙目相機以及位姿計算系統(tǒng)組成。Astroscale公司于2021年8月已完成了在軌目標(biāo)捕獲與清除技術(shù)的首項重要測試，釋放并重新捉回了一顆小衛(wèi)星。試驗中，作為主星的“服務(wù)星”先是釋放了個頭很小的“客戶星”，然后又利用一個磁性機構(gòu)將其重新捉住，其末端感知系統(tǒng)包括視覺相機、可視化軟件與捕獲系統(tǒng)。整個試驗充分驗證了軌道保持與姿態(tài)穩(wěn)定技術(shù)。

2.2 光學(xué)敏感器技術(shù)

考慮到復(fù)雜多變的操控任務(wù)環(huán)境，光學(xué)敏感器不僅實現(xiàn)目標(biāo)狀態(tài)感知，還需要克服由目標(biāo)運動、觀測條件和資源限制影響。非合作交會對接主要采用微波或者激光雷達測距，視覺相機輔助測角，近距離采用成像激光雷達和視覺相機解算相對姿態(tài)。成像雷達包括激光雷達和TOF(time of fight)相機兩種方案。此外，針對遠(yuǎn)近兼顧的位姿測量問題，美國采用激光雷達和三角激光測量結(jié)合的方案設(shè)計Tridar(triangutation-lidar)敏感器。國際上，各個航天強國逐漸開始了非合作目標(biāo)測量的敏感器技術(shù)方案的驗證，依據(jù)測量理論設(shè)計了不同方案的測量敏感器與測量方案，雖然各有特點，但基本原理和測量流程基本一致，其中典型的方案為激光雷達為主視覺相機為輔。

如前所述，非合作目標(biāo)感知任務(wù)以激光成像雷達和可見光相機為主。應(yīng)用于非合作目標(biāo)感知任務(wù)的可見光相機如表1所示[6-7]。目前，在研的激光雷達可用作非合作目標(biāo)的感知任務(wù)如表2所示。由于單一敏感器的局限性，無法應(yīng)對復(fù)雜多變的太空環(huán)境。將多種類傳感器進行融合來彌補不足，從而擴展測量能力、提高測量精度，以滿足智能化的非合作目標(biāo)感知需求，其中多敏感器融合系統(tǒng)如表3所示。

表1 可見光相機

表2 激光雷達

表3 多敏感器融合感知系統(tǒng)

3 非合作目標(biāo)位姿測量研究進展

3.1 基于目標(biāo)先驗信息的測量方法

根據(jù)先驗信息的不同，非合作目標(biāo)位姿測量技術(shù)大致分為以下3類：

第1類，已知目標(biāo)航天器的結(jié)構(gòu)信息，但目標(biāo)航天器上沒有標(biāo)識信息。非合作目標(biāo)位姿估計問題變?yōu)閳D像特征點的二維信息與三維結(jié)構(gòu)信息匹配的PnP (perspective-n-point) 問題[8]。部分學(xué)者使用目標(biāo)的邊緣信息完成姿態(tài)測量[9]屬于另外一個思路。此外，針對模型已知的非合作目標(biāo)，還有另外一類求解方法，即建立目標(biāo)各個姿態(tài)角度的圖像數(shù)據(jù)庫，通過圖像計算的投影與數(shù)據(jù)庫匹配來確定大致姿態(tài)，這類算法主要用于姿態(tài)的粗略估計[10]。

第2類，目標(biāo)航天器上的部分特殊部組件信息已知。文獻[11]根據(jù)航天器上普遍安裝對接環(huán)這一特性，通過提取圓特征計算位姿的算法。文獻[12-13]提出基于航天器最大外輪廓識別的目標(biāo)位姿測量方法。文獻[14]設(shè)計了單目結(jié)構(gòu)光測量系統(tǒng)，選擇非合作故障衛(wèi)星上常見的局部矩形作為識別對象進行非合作位姿測量。文獻[15]提出兩個單目相機協(xié)作的位姿確定方法，選擇非合作衛(wèi)星矩形特征為識別標(biāo)識，每個相機提供矩形的部分圖像，融合后獲取完整的特征。文獻[16]將多個單目相機組成非共視場來應(yīng)對超近距離位姿測量中的成像空間小、相機視場角受限問題。

第3類，完全未知的非合作航天器?，F(xiàn)有的方法是先對目標(biāo)進行重建，獲得目標(biāo)的模型信息，然后將位姿估計問題轉(zhuǎn)換為特征點與模型匹配的問題，利用本質(zhì)矩陣完成位姿初始化[17-18]。不使用配對的點信息，文獻[19]提出一種基于水平和垂直特征線推導(dǎo)基本矩陣的算法。文獻[20]對雙目圖像的邊緣點進行亞像素定位并重建出邊緣的三維點云，用ICP(iterative closest point)算法與ProE軟件建立的衛(wèi)星模型匹配，進而得到目標(biāo)的位姿信息。文獻[21]利用序列圖像重建非合作目標(biāo)模型，將非合作問題轉(zhuǎn)為合作問題，進而解算出非合作目標(biāo)的位姿參數(shù)。

3.2 基于傳感器配置的位姿測量方法

根據(jù)使用的測量傳感器的不同，非合作目標(biāo)位姿測量方法分為以下5類：

第1類，基于單目視覺的位姿測量方法。文獻[22]利用前景提取技術(shù)與基于水平集區(qū)域的姿態(tài)估計相結(jié)合，對單目圖像進行位姿解算。使用SLAM (simultaneous location and mapping)方法[23, 33-34]對單目序列圖像進行位姿求解，是目前的研究熱點。

第2類，基于雙目視覺的位姿測量方法。文獻[24]基于立體視覺的完成非合作目標(biāo)識別、位姿測量、服務(wù)機器人規(guī)劃3個問題。位姿測量算法包括圖像濾波、邊緣檢測、線提取、立體匹配和位姿計算等。最后，開發(fā)了三維仿真系統(tǒng)對該方法進行了評價。文獻[25]基于立體視系統(tǒng)重建非合作微納衛(wèi)星的三維模型，之后基于特征匹配的方法對目標(biāo)的相對姿態(tài)進行估計，最后開展地面試驗測試該算法系統(tǒng)的精度。文獻[26]基于雙目視覺測量原理，利用擴展卡爾曼濾波方法對目標(biāo)特征點進行跟蹤觀測，實現(xiàn)了對非合作航天器的位姿測量，最后搭建非合作目標(biāo)位姿估計試驗系統(tǒng)。

第3類，基于掃描式激光雷達的位姿測量方法?；贗CP匹配連續(xù)幀的2片三維點云是激光雷達測量非合作目標(biāo)位姿的主流方法。文獻[27]提出了一種粒子濾波方法，利用連續(xù)的深度數(shù)據(jù)流估計非合作目標(biāo)的相對位姿和旋轉(zhuǎn)速率。該方法避免了以往算法所遇到深度空洞和模糊問題，特別是在數(shù)據(jù)采集過程中使用掃描式激光雷達會導(dǎo)致運動失真問題。此外，與以往的試驗相比，該方法利用更簡單的傳感器模式，仍然可以正確估計目標(biāo)狀態(tài)。通過仿真驗證了該方法的有效性，并給出了結(jié)果。

第4類，基于無掃描三維激光成像的位姿測量方法。無掃描激光成像不需要對場景進行逐行掃描，這與掃描式激光成像有很大的不同。無掃描三維成像雷達利用飛行時間法，計算光束從傳感器到目標(biāo)點的飛行時間獲得深度信息。通過一次性平行獲取多點的深度值，可以實時獲取目標(biāo)的三維圖像。文獻[28]提出基于二維相機和三維相機融合的非合作目標(biāo)位姿測量方法，將高分辨率二維圖像信息與三維相機深度信息進行數(shù)據(jù)融合，獲得高分辨率三維圖像，高效準(zhǔn)確地提取特征點信息，實現(xiàn)了對非合作目標(biāo)的位姿測量。目前，無掃描三維激光成像技術(shù)應(yīng)用于火星著陸項目、月球車避障、交會對接項目等非合作目標(biāo)操控領(lǐng)域。

第5類，基于多傳感器融合的位姿測量方法。目前，多傳感器融合的主流方式有雙目視覺與激光測距儀的融合、TOF相機與單目相機的融合以及TOF相機和立體視覺系統(tǒng)的融合[29-30, 41-42]。

3.3 依據(jù)目標(biāo)旋轉(zhuǎn)狀態(tài)的測量方法

根據(jù)目標(biāo)的翻滾運動，非合作目標(biāo)位姿測量方法分為以下3類：

第1類，非合作單軸穩(wěn)定慢旋目標(biāo)。非合作目標(biāo)繞其慣性主軸做慢旋運動(一般指旋轉(zhuǎn)角速率小于5(°)/s)，處于一種穩(wěn)定狀態(tài)。SLAM方法可用于解決非合作慢旋目標(biāo)位姿測量問題。SLAM中環(huán)境一般為是靜止?fàn)顟B(tài)，相機在運動中恢復(fù)環(huán)境結(jié)果和實現(xiàn)自身定位，而非合作單軸慢旋目標(biāo)位姿測量問題中，相機是靜止的，目標(biāo)是相對運動的，因此二者可以等效[31-32]。ORB(oriented FAST and rotated Brief)特征算法在多個尺度空間下對圖像特征點進行提取，并且賦予旋轉(zhuǎn)不變特性的描述子，基于ORB-SLAM方法的非合作慢旋目標(biāo)位姿測量是目前的主流方案[33-34]。GCN-SLAM在ORB-SLAM基礎(chǔ)上，使用深度學(xué)習(xí)提特征點和描述子，已成功應(yīng)用于地面試驗[35]。但是，基于ORB-SLAM的測量方案存在累積誤差增大問題，部分學(xué)者引入位姿圖優(yōu)化[36]與閉環(huán)檢測優(yōu)化[37]對測量進過進行校正。

第2類，非合作單軸快旋目標(biāo)。相比于慢旋目標(biāo)，非合作單軸快旋目標(biāo)(一般指旋轉(zhuǎn)角速率大于5(°)/s)測量的困難之處在于特征提取困難與位姿遞推過程中的粗大誤差。針對特征提取困難，常見的有3種解決方法：一種解決思路是圖像增強，如基于低照度圖像增強[38]和基于圖像超分辨[39]等方法實現(xiàn)了以20(°)/s旋轉(zhuǎn)的非合作目標(biāo)位姿測量；另一種解決思路是多特征提取方法[40]；最后一種是多傳感器融合，如采用相機與慣導(dǎo)融合[41]或采用主被動相機融合[42]。針對粗大誤差問題，常采用誤差優(yōu)化技術(shù)[43]。誤差優(yōu)化技術(shù)的核心問題可以歸納為兩個方面：閉環(huán)檢測與位姿優(yōu)化。

第3類，非合作翻滾目標(biāo)。非合作翻滾目標(biāo)在空中一般處于自由翻滾狀態(tài)，既繞自旋軸旋轉(zhuǎn)也沿著進動軸旋轉(zhuǎn)[44]。文獻[45]直接使用深度傳感器在一段時間內(nèi)采集到包含有目標(biāo)信息的連續(xù)深度圖數(shù)據(jù)流，將深度圖轉(zhuǎn)化為三維點云，對于相鄰兩幅三維點云，直接采用ICP算法對其進行配準(zhǔn)，估計所有相鄰兩幅點云之間的位姿。文獻[46]提出一種基于激光雷達點模板匹配的位姿估計算法。離線階段，對所有6自由度姿態(tài)進行采樣，以生成足夠的模板。 利用三維點云數(shù)據(jù)，將樣本限制3-DoF姿態(tài)域內(nèi)，利用點云數(shù)據(jù)的質(zhì)心估計出航天器的位置。在線階段，將激光雷達目標(biāo)點構(gòu)造成輪廓圖像，與模板進行匹配。文獻[47]通過試驗驗證非線性最小二乘方法對非合作目標(biāo)的5種典型翻滾狀態(tài)具有最優(yōu)的魯棒性。文獻[48]研究基于雷達散射截面序列的非合作目標(biāo)翻滾周期估計。文獻[49]提出深度圖像和已知的模板匹配的姿態(tài)估計方法，該方法利用閉環(huán)方式實現(xiàn)的ICP算法。

3.4 基于深度學(xué)習(xí)的位姿測量方法

基于深度學(xué)習(xí)的非合作目標(biāo)位姿估計主要分為2類。

第1類，混合人工神經(jīng)網(wǎng)絡(luò)估計算法。文獻[50]提出一種融合卷積神經(jīng)網(wǎng)絡(luò)的特征提取CEPPnP (efficient procrustes perspect-n-points)方法與擴展卡爾曼濾波的非合作目標(biāo)位姿估計網(wǎng)絡(luò)。文獻[51]提出一種基于對偶向量四元數(shù)的混合人工神經(jīng)網(wǎng)絡(luò)估計算法。文獻[52]提出一種神經(jīng)網(wǎng)絡(luò)增強卡爾曼濾波器(NNEKF)。NNEKF的主要創(chuàng)新之處是利用慣性特性的虛擬觀測改進濾波器的性能。

第2類，改進深度模型的位姿估計算法。文獻[53]在Google Inception Net模型的基礎(chǔ)上設(shè)計非合作目標(biāo)位姿估計網(wǎng)絡(luò)。針對空間目標(biāo)數(shù)據(jù)的小樣本問題，使用3DMax軟件構(gòu)建目標(biāo)的數(shù)據(jù)集。為了充分模擬空間光照環(huán)境，隨機設(shè)置仿真環(huán)境的太陽光亮度，隨機增加星空背景噪聲以及對數(shù)據(jù)進行標(biāo)準(zhǔn)化等操作進行數(shù)據(jù)增強。文獻[54]參考VGG和DenseNet網(wǎng)絡(luò)設(shè)計一種雙通道的神經(jīng)網(wǎng)絡(luò)，用于定位特征點在圖像中對應(yīng)的像素，并給出其對應(yīng)的像素坐標(biāo)，提出神經(jīng)網(wǎng)絡(luò)的剪枝方法，實現(xiàn)網(wǎng)絡(luò)的輕量化。文獻[55]針對空間非合作航天器姿態(tài)測量時受光照和地球背景影響大的問題，提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的端到端姿態(tài)估計方法，主干網(wǎng)絡(luò)采用AlexNet與ResNet。相較于僅采用回歸方法進行姿態(tài)估計，此方法能夠有效減小姿態(tài)估計平均絕對誤差，標(biāo)準(zhǔn)差與最大誤差。文獻[56]針對空間光照的干擾和小樣本問題，提出一種基于單目圖像的位姿估計網(wǎng)絡(luò)。用于訓(xùn)練網(wǎng)絡(luò)的合成圖像充分考慮了航天器在軌的噪聲、光照等因素。此外，文獻[57]提出SPN(spacecraft pose network)模型，該模型僅利用灰度圖像訓(xùn)練網(wǎng)絡(luò)。SPN模型包括3個分支，第1個分支利用檢測器來檢測輸入圖中目標(biāo)的邊界框，其他2個分支使用二維邊界框內(nèi)的區(qū)域來確定相對姿態(tài)。文獻[58]首次使用半物理仿真平臺制作非合作目標(biāo)數(shù)據(jù)集。文獻[59-60]基于預(yù)訓(xùn)練的深度模型實現(xiàn)了非合作航天器的6-DOF位姿估計。文獻[61]利用現(xiàn)有的目標(biāo)檢測網(wǎng)絡(luò)和關(guān)鍵點回歸網(wǎng)絡(luò)預(yù)測二維關(guān)鍵點坐標(biāo)，并結(jié)合多視點三角剖分重建三維模型，采用非線性最小二乘法最小化二維—三維坐標(biāo)，預(yù)測位置和姿態(tài)。

應(yīng)用深度學(xué)習(xí)實現(xiàn)非合作目標(biāo)的位姿估計，訓(xùn)練數(shù)據(jù)不足是必然會出現(xiàn)的問題。使用合成數(shù)據(jù)集難以完全模擬空間實際情況。此時位姿估計的準(zhǔn)確率完全依賴于數(shù)據(jù)集本身提供的信息，當(dāng)新的任務(wù)樣本與數(shù)據(jù)集本身樣本差異度過大時，準(zhǔn)確率可能急劇下降。

4 非合作目標(biāo)三維重建研究進展

4.1 基于稠密程度的重建方法

根據(jù)非合作目標(biāo)重建模型的稠密程度，可以分為稀疏重建和稠密重建。

(1)稀疏重建

稀疏重建是通過相機的移動來構(gòu)建目標(biāo)的稀疏模型。首先輸入非合作目標(biāo)的多視角圖像，檢測每張圖像中的特征點，并對特征點進行匹配，然后運用 SFM (Structure from Motion) 重構(gòu)算法，恢復(fù)出相機的參數(shù)以及相機之間的相對位置關(guān)系及場景的稀疏點云。稀疏點云重建的一般流程為：首先檢測特征點，匹配特征點，然后求解相機位姿初始值，接著利用光束平差法等優(yōu)化相機位姿，最后通過相機參數(shù)、位姿參數(shù)及特征點重構(gòu)場景結(jié)構(gòu)[62]。特征點檢測主要分為斑點和角點。斑點檢測[63]主要包括LOG(Laplacian of Gaussian)，SIFT(scale invariant feature transform)和SURF(speeded up robust features)等。角點檢測包括Harris角點、FAST(features from accelerated segment test)和ORB等。

(2)稠密重建

由于SFM用來做重建的點是由特征匹配提供的，導(dǎo)致匹配點稀疏，重建效果不好，所以需要MVS(multi view system)進行完善或者直接使用稠密點云重建。稠密點云重建目的是通過立體匹配等算法，計算圖像的大部分或者全部像素的三維信息，并對其進行三維重建。與稀疏重建法相比，稠密重建獲取的非合作目標(biāo)的三維信息更加全面[64]。文獻[65]提出一種基于序列圖像的空間目標(biāo)三維重建。文獻[66]提出基于序列圖像的三維重建方法，并可以提供翼板天線等部位的結(jié)構(gòu)信息。文獻[67]提出基于序列圖像的空間非合作目標(biāo)三維重建方法，但重建結(jié)果缺少目標(biāo)表面紋理和局部結(jié)構(gòu)特征關(guān)鍵。文獻[68]分析線陣激光成像雷達的成像機制并模擬失效翻滾衛(wèi)星的數(shù)據(jù)采集，提出一種翻滾目標(biāo)建模方法。隨著移動端傳感器的不斷集成，尤其是集成了3D深度相機，可直接采用幾何關(guān)系得到點云數(shù)據(jù)，加快了稠密重建速度，可實現(xiàn)實時稠密重建[75-78]。

4.2 基于傳感器配置的重建方法

根據(jù)傳感器的配置，非合作目標(biāo)三維重建可以分為基于主動、被動與主被動融合的非合作目標(biāo)重建。

非合作目標(biāo)主動視覺重建技術(shù)：主動視覺重建利用激光掃描法[69]、結(jié)構(gòu)光法[70]與TOF技術(shù)[71]等光學(xué)敏感器掃描非合作目標(biāo)的表面，利用獲取的深度數(shù)據(jù)或點云數(shù)據(jù)重建非合作目標(biāo)表面的三維結(jié)構(gòu)。

非合作目標(biāo)被動視覺的維重建技術(shù)：利用視覺傳感器獲取目標(biāo)序列圖像，進而基于多視圖重建方法完成非合作目標(biāo)三維重建。這種技術(shù)首先通過視覺傳感器獲取圖像序列，然后提取特征信息，最后將特征點三角化為點云，從而重建出物體的三維結(jié)構(gòu)模型。一般地，應(yīng)用于非合作目標(biāo)重建的被動視覺三維重建技術(shù)可以分為單目視覺[72]、雙目視覺[73]和多目視覺[74]。

非合作目標(biāo)主被動融合的重建技術(shù)：深度傳感器與彩色傳感器結(jié)合，可以實現(xiàn)空間髙分辨率的多維度數(shù)據(jù)采集。其中基于RGB-D相機的三維重建其實可以分為兩種：一種是對于靜態(tài)場景的三維重建，以KFusion[75]，Kintinuous[76]與ElasticFusion[77]為典型代表，一種是對于動態(tài)場景的三維重建，以DynamicFusion[78]為典型代表。

綜上所述，隨著在軌航天器采用多傳感器組合的方式觀測被測空間目標(biāo)，獲取目標(biāo)數(shù)據(jù)的維度及數(shù)據(jù)量不斷增加。由于數(shù)據(jù)量與數(shù)據(jù)維度的不斷增加，難以從高維數(shù)據(jù)中提煉出能夠表征空間目標(biāo)特性的關(guān)鍵數(shù)據(jù)，不同維度的特征數(shù)據(jù)難以進行合理有效的融合[79]。

4.3 基于深度學(xué)習(xí)的目標(biāo)重建

(1)深度學(xué)習(xí)與語義法

考慮到傳統(tǒng)三維重建方法在空間應(yīng)用的局限性，基于深度學(xué)習(xí)的三維重建技術(shù)逐漸被引入到非合作目標(biāo)重建中來[80]。文獻[81]提出非結(jié)構(gòu)化多視點三維重建網(wǎng)絡(luò)(MVSNet)。同時，文獻[82]對原來的MVSNet進行優(yōu)化，提出了R-MVSNet。文獻[83]提出PointMVSNet神經(jīng)網(wǎng)絡(luò)框架，主要分為兩大部分：第一部分首先將不同視角的圖像輸入到網(wǎng)絡(luò)中，生成粗糙深度預(yù)測圖，然后轉(zhuǎn)換成粗糙點云；第二部分利用圖像金字塔網(wǎng)絡(luò)提取三維點云中每個點在各視角圖像中的紋理特征，構(gòu)建特征增強點云，然后利用點流模型迭代出精確而稠密的點云。文獻[84]提出一種像素感知可見性的多視圖網(wǎng)絡(luò) PVSNet，用于密集3D重建。文獻[85]提出一種用于單視圖和多視圖3D重建的Pix2Vox++框架，使用編碼器/解碼器可以從單輸入圖像生成一個粗糙的3D體，然后引入多尺度上下文感知融合模塊從粗糙3D體自適應(yīng)重建目標(biāo)模型。文獻[86]提出SurfaceNet+網(wǎng)絡(luò)，用于處理有系數(shù)MVS引起的“不完整”和“不準(zhǔn)確”問題。該框架的核心優(yōu)勢在于，利用端到端神經(jīng)網(wǎng)絡(luò)解決多視立體視覺問題能夠直接學(xué)習(xí)到圖像一致性與其幾何相關(guān)性。

(2)深度學(xué)習(xí)輔助幾何的重建方法

文獻[87]提出了一種從單目圖像估計場景深度的雙通道算法，先利用暗通道先驗作為局部測度估計原始深度圖，然后用亮通道修正原始深度圖中誤差，最后利用語義分割信息和補丁匹配標(biāo)簽傳播來加強語義一致的幾何先驗。該方法不需要真實深度數(shù)據(jù)進行訓(xùn)練，使得該方法能夠適應(yīng)空間非合作目標(biāo)場景。文獻[88]提出GAN2shape模型，利用生成式對抗網(wǎng)絡(luò)從圖像中恢復(fù)目標(biāo)的三維模型，其核心是利用一種迭代策略探索和利用GAN圖像流中的各個視點和光照的變化，不需要2D關(guān)鍵點和3D注釋，也不需要對對象形狀的嚴(yán)格假設(shè)。

(3)單目深度估計法

單目相機是最簡單的光學(xué)傳感器，是大部分航天器上的標(biāo)準(zhǔn)裝備。從單幅RGB圖像中估計深度的方法也稱單目深度估計方法，對非合作目標(biāo)三維重建具有重要意義。監(jiān)督/無監(jiān)/半監(jiān)督學(xué)習(xí)、基于隨機條件場的方法、聯(lián)合語義信息、基于輔助信息的深度估計[89]是基于深度學(xué)習(xí)的單目深度估計方法的熱點。

監(jiān)督學(xué)習(xí)：文獻[90]提出一種在網(wǎng)絡(luò)內(nèi)高效學(xué)習(xí)特征映射上采樣的新方法，引入殘差學(xué)習(xí)的全卷積架構(gòu)來建模單目圖像和深度圖之間的模糊映射，使用Huber損失函數(shù)優(yōu)化整個網(wǎng)絡(luò)，該方法經(jīng)作者改進后融合到單目SLAM技術(shù)當(dāng)中，可應(yīng)用于非合作目標(biāo)的單目位姿測量。文獻[91]提出StructDepth采用兩個額外的監(jiān)督信息進行自監(jiān)督訓(xùn)練[91]：曼哈頓法線約束和共面約束。

無監(jiān)督學(xué)習(xí)：文獻[92]提出一種神經(jīng)架構(gòu)搜索框架LiDNAS，用于生存輕量級單目深度估計模型。與以往的神經(jīng)架構(gòu)搜索不同，尋找優(yōu)化網(wǎng)絡(luò)的計算要求很高，引入新穎的Assisted Tabu Search 實現(xiàn)高效架構(gòu)搜索。文獻[93]提出通用場景單目深度估計無監(jiān)督模型RealMonoDepth學(xué)習(xí)估計各種場景的真實深度，其包含相對深度和絕對深度損失函數(shù)。文獻[94]提出DeFeatNet是一種同時學(xué)習(xí)跨域密集表征表示方法以及扭曲特征一致性的深度估計模型。

半監(jiān)督學(xué)習(xí)：文獻[95]將圖像一致性的無監(jiān)督框架和密集深度補全的有監(jiān)督框架結(jié)合提出一種半監(jiān)督框架FisNets。此外，文獻[96]通過兩階段從單目圖像中預(yù)測深度，以半監(jiān)督的方式訓(xùn)練網(wǎng)絡(luò)。

基于隨機條件場的方法：文獻[97]考慮到深度值的連續(xù)特性，將深度估計轉(zhuǎn)化為連續(xù)條件隨空場(CRF)學(xué)習(xí)問題，提出了一種融合深度CNN和連續(xù)CRF的網(wǎng)絡(luò)。文獻[98]提出一種融合了來自多個卷積神經(jīng)網(wǎng)絡(luò)輸出的互補信息的深度模型。

聯(lián)合語義信息：文獻[99-100]提出了一種聯(lián)合語義信息的深度估計網(wǎng)絡(luò)結(jié)構(gòu)，預(yù)先訓(xùn)練語義分割網(wǎng)絡(luò)，通過像素自適應(yīng)卷積來指導(dǎo)深度估計。此外，為克服語義信息的偏見性，使用兩階段的訓(xùn)練對動態(tài)對象通過重采樣。

引入其他信息輔助深度估計：從單目場景恢復(fù)深度信息需要其他輔助信息，文獻[101]針對單目深度估計的不精確對象及深度推斷和尺度模糊問題，使用額外的Lidar并建立DNet，提出密集鏈接預(yù)測層和密集幾何約束以應(yīng)對這兩個問題。文獻[102]整合深度和曲面法線之間的幾何關(guān)系，提出GeoNet網(wǎng)絡(luò)預(yù)測單個圖像的深度和曲面法向量，并利用殘差模塊提高了其質(zhì)量，其中作者利用了平面區(qū)域表面法線變化不大的幾何規(guī)律來輔助和優(yōu)化單目深度估計。文獻[103]使用Lidar單目相機估計密集深度圖，網(wǎng)絡(luò)模型由多級編碼器/解碼器組成。文獻[104]將幾何與PackNet結(jié)合，利用對稱的packing 和unpacking模塊共同學(xué)習(xí)使用3D卷積壓縮和解壓縮保留細(xì)節(jié)的表征形式。

5 非合作目標(biāo)及部組件識別研究進展

5.1 基于深度學(xué)習(xí)的非合作識別方法

由于航天任務(wù)的特殊性，目前應(yīng)用深度學(xué)習(xí)的方法識別非合作目標(biāo)仍處于起始階段，相關(guān)研究工作較少。文獻[106]提出用于空間目標(biāo)檢測、分割和部組件識別的數(shù)據(jù)集。由于空間目標(biāo)真實圖像獲取困難，公開的真實圖像不多。為了豐富數(shù)據(jù)集，研究人員從真實圖像和視頻中收集了3 117張衛(wèi)星和空間站的圖像。在數(shù)據(jù)集注釋過程中使用一種引導(dǎo)策略，以最大限度地減少標(biāo)注工作。首先，在小尺度上進行手工標(biāo)記樣本標(biāo)簽。然后，利用標(biāo)記數(shù)據(jù)訓(xùn)練一個分割模型以自動生成更多圖像的粗標(biāo)簽。接著，通過交互式工具進行手工細(xì)化。最終，生成完整的數(shù)據(jù)集。數(shù)據(jù)集中，空間目標(biāo)包括空間站和衛(wèi)星。此外，還提供用基準(zhǔn)數(shù)據(jù)集用于評估目標(biāo)檢測和實例分割算法的先進性。文獻[107]提出用于空間目標(biāo)識別的訓(xùn)練和測試圖像的單一和混合數(shù)據(jù)增強方法，并提出基于數(shù)據(jù)增強的空間目標(biāo)識別方法。其數(shù)據(jù)集的制作由STK(systems tool kit)通過一系列運動模糊和離焦模糊來模擬空間真實成像條件。文獻[108]利用YOLO(you only look once)模型對衛(wèi)星及其部件進行識別，采用兩種衛(wèi)星模型的三維模型圖片集進行訓(xùn)練，測試了模型對不同視角、不同距離以及不同遮擋條件下的衛(wèi)星及衛(wèi)星部件的精度，結(jié)果顯示模型準(zhǔn)確率在90%以上，但沒有考慮不同運動、不同光照、不同方位情況下衛(wèi)星模型的識別。文獻[109]提出將Mask R-CNN(mask region-based convolutional neural network)應(yīng)用于空間衛(wèi)星特征檢測與識別問題，并借鑒R-FCN(region-based fully convolutional network)和Light-head R-CNN對其進行優(yōu)化改進，以滿足空間衛(wèi)星識別任務(wù)實時性要求。但搭建虛擬環(huán)境與真實太空環(huán)境仍然存在較大的差異，也未考慮更加復(fù)雜的太空光照環(huán)境、復(fù)雜的章動和進動等運動。

文獻[110]提出一種改進CenterMask網(wǎng)絡(luò)用于識別衛(wèi)星及部組件，但此模型訓(xùn)練時間長、模型內(nèi)存大等原因不適合于資源受限的空間載荷部署，對于實際在軌應(yīng)用仍然存在較大的差異。在衛(wèi)星姿態(tài)和光照條件變化較大的情況下，文獻[111]提出基于R-CNN(region-based convolutional neural network)的衛(wèi)星部件檢測算法。首先，在Mask R-CNN的基礎(chǔ)上，結(jié)合DenseNet、ResNet和FPN構(gòu)建新的特征提取結(jié)構(gòu)，并通過提供密集的連接增強各層之間的特征傳播。針對訓(xùn)練樣本缺乏問題，模擬軟件生成不同角度、不同軌道高度以及不同類型的衛(wèi)星圖像數(shù)據(jù)集。最后，在構(gòu)建的數(shù)據(jù)集上測試識別模型精度。

綜上所述，目前已有的工作大部分借助傳統(tǒng)目標(biāo)檢測領(lǐng)域經(jīng)典成熟的方法，大多不能滿足實際在軌要求。用于模型訓(xùn)練的數(shù)據(jù)大多基于模擬數(shù)據(jù)集，難以完全模擬真實空間環(huán)境。訓(xùn)練完成的模型只能識別某一固定模態(tài)的衛(wèi)星數(shù)據(jù)，無法滿足大量容易獲取的其他數(shù)據(jù)模態(tài)，也無法使用一個樣本豐富的模態(tài)信息來輔助另一個小樣本的模態(tài)進行學(xué)習(xí)。

5.2 基于多模態(tài)深度學(xué)習(xí)的目標(biāo)識別

文獻[112]依據(jù)真實的空間仿真環(huán)境，提出空間目標(biāo)識別和分割的多模態(tài)圖像數(shù)據(jù)集SPARK，數(shù)據(jù)集由深度圖和彩色圖組成，數(shù)量約1.5×105、目標(biāo)類別11類。文獻[113]提出基于本體多源信息融合的空間目標(biāo)識別方法，并首次提出使用零樣本分類技術(shù)實現(xiàn)新目標(biāo)的自動識別。文獻[114]將多傳感器信息融合看成一種多元信息的融合處理技術(shù)，針對衛(wèi)星識別問題的特征級融合階段，提出神經(jīng)網(wǎng)絡(luò)組的方法，并應(yīng)用到特征級融合對目標(biāo)進行識別。文獻[115]研究模糊信息的融合方法，包括基于模糊積分和模糊邏輯的特征層融合算法，針對空間目標(biāo)小樣本分類問題，在常用的模糊方法的基礎(chǔ)上實現(xiàn)了基于模糊積分的特征層融合算法。文獻[116]將紅外和可見光圖進行融合，并基于判斷模型定義紅外和可見光圖進不可融合的條件，將融合后的圖像應(yīng)用于空間目標(biāo)識別，提高復(fù)雜地球背景下識別的魯棒性。多模態(tài)數(shù)據(jù)融合中，不同模態(tài)數(shù)據(jù)具有不同的數(shù)據(jù)分布，使用傳統(tǒng)的“單源域→單目標(biāo)域”融合方法將難以獲得數(shù)據(jù)疊加效果。多模態(tài)交叉遷移下，樣本標(biāo)簽并不能有效遷移，導(dǎo)致融合后的目標(biāo)域存在較多的噪聲干擾，降低了模型的跨域識別性能。

5.3 基于遷移深度學(xué)習(xí)的目標(biāo)識別

已有的空間非合作目標(biāo)識別模型基于特定任務(wù)和數(shù)據(jù)集訓(xùn)練各自孤立的模型，學(xué)習(xí)中并未保留任何可從一種模型遷移到另一種模型上的知識，而遷移學(xué)習(xí)利用先前訓(xùn)練模型中的特征，權(quán)重等知識訓(xùn)練新模型，解決識別任務(wù)中具有較少高質(zhì)量數(shù)據(jù)的問題。在空間目標(biāo)識別任務(wù)中，由于光照環(huán)境的改變、目標(biāo)遠(yuǎn)近距離的變化、星空背景和地球背景的交替干擾等影響，導(dǎo)致地面試驗條件下訓(xùn)練的模型無法遷移到空間環(huán)境，極易出現(xiàn)模型失效。遷移學(xué)習(xí)可以將地面條件下的模型知識，快速遷移到新的就環(huán)境中，它使模型在新的小樣本環(huán)境中快速學(xué)習(xí)新的知識。因此，利用遷移學(xué)習(xí)和深度學(xué)習(xí)結(jié)合，將地面任務(wù)與空間任務(wù)之間遷移特征學(xué)習(xí)方法，解決空間任務(wù)的多域遷移問題[117]。

5.4 基于小樣本學(xué)習(xí)的目標(biāo)識別

參數(shù)微調(diào)、模型結(jié)構(gòu)變遷、度量學(xué)習(xí)是小樣本目標(biāo)識別方的主流方法。目前直接應(yīng)用小樣本學(xué)習(xí)處理空間目標(biāo)識別主要存在以下幾方面的問題。首先，大部分模型部署后推理速度緩慢，大多不能滿足空間處理實時要求。其次，模型結(jié)構(gòu)的復(fù)雜度高，不滿足星載資源受限的應(yīng)用需求。半監(jiān)督學(xué)習(xí)利用小樣本標(biāo)簽指導(dǎo)大量為無標(biāo)簽數(shù)據(jù)學(xué)習(xí)，因此小樣本學(xué)習(xí)可與半監(jiān)督學(xué)習(xí)結(jié)合。此外，也可以先利用無監(jiān)督學(xué)習(xí)在無標(biāo)簽數(shù)據(jù)訓(xùn)練模型，然后遷移到小樣本數(shù)據(jù)中強化模型[118]。在非合作目標(biāo)及部組件識別任務(wù)中，由于空間任務(wù)以及目標(biāo)的改變，標(biāo)注樣本難以獲得，即使獲得樣本也非常容易過時，但無標(biāo)簽的樣本則相對容易獲得。半監(jiān)督學(xué)習(xí)為解決小樣本學(xué)習(xí)問題打開一種新的局面。但是，面向在軌服務(wù)任務(wù)，當(dāng)新的任務(wù)樣本與數(shù)據(jù)集本身樣本差異度過大時，識別準(zhǔn)確率可能急劇下降。

6 非合作目標(biāo)智能感知技術(shù)發(fā)展趨勢

目前，非合作目標(biāo)感知的部分關(guān)鍵技術(shù)已經(jīng)得到了在軌驗證。在深度學(xué)習(xí)的影響下，研究人員開始了智能感知技術(shù)的研究。然而，面向在軌應(yīng)用，仍然存在較多的方向值得研究。下面提煉出非合作目標(biāo)智能感知的一些亟待解決的問題， 并給出研究建議。

1)小樣本圖像生成：非合作目標(biāo)在真實環(huán)境中的數(shù)據(jù)難以獲取，而地面試驗條件下產(chǎn)生的訓(xùn)練數(shù)據(jù)樣本難以完全模擬空間實際情況。少樣本生成旨在基于同一種類的少量圖像， 生成該種類更多的圖像，可以用來增廣已有的訓(xùn)練數(shù)據(jù)，從而輔助圖像分類等下游任務(wù)。

2)多星協(xié)同測量方式：傳統(tǒng)的單星測量方式，對目標(biāo)遮擋問題處理困難，不能對指定區(qū)域進行持續(xù)觀測。隨著空間操控任務(wù)的多樣性、復(fù)雜性和精細(xì)化需求，傳統(tǒng)的單星工作模式將無法滿足要求。多星協(xié)同觀測，特別是微納星群協(xié)同感知技術(shù)，利用多星的協(xié)同配合完成對目標(biāo)的多角度、全方位觀測。

3)多傳感器信息融合：多傳感器協(xié)同或者多傳感器數(shù)據(jù)融合的方法可以有效應(yīng)對復(fù)雜多變的空間環(huán)境，實現(xiàn)功能的互補。如何剔除多傳感器的冗余信息，提取有效特征為多傳感器融合的關(guān)鍵。

4)多視角數(shù)據(jù)聯(lián)合表征：多視角數(shù)據(jù)能讓服務(wù)航天器更加全面地了解待觀測的對象，因此對多視角數(shù)據(jù)進行表征學(xué)習(xí)具有重要研究意義。如何將每個視覺的特征進行融合，然后映射到低維空間表征多視角是未來一個值得研究的方向。

5)多特征融合表達：在獲取的多視圖信息中，尋找具有準(zhǔn)確、全面描述目標(biāo)特征信息和具有良好分類性能的圖像目標(biāo)特征以及如何提取這些特征就成為解決圖像目標(biāo)識別問題的關(guān)鍵。

6)空間目標(biāo)的精細(xì)化感知：隨著對非合作目標(biāo)操控任務(wù)和需求越來越復(fù)雜，非合作目標(biāo)感知也越來越精細(xì)?？臻g目標(biāo)的精細(xì)化感知包括目標(biāo)測量、目標(biāo)識別、場景理解與目標(biāo)重建。

7)變化場景下識別模型遷移與重用問題：深度神經(jīng)網(wǎng)絡(luò)模型的設(shè)計大多依賴其初始任務(wù)需求，對新任務(wù)的自適應(yīng)性較差。因此需要開展面向多任務(wù)應(yīng)用的航天器感知模型自適應(yīng)機制研究，設(shè)計模型遷移機制對原有權(quán)值信息進行壓縮，自動生成適應(yīng)新任務(wù)的模型結(jié)構(gòu)。

8)面向非合作目標(biāo)感知的高維數(shù)據(jù)機器學(xué)習(xí)：智能感知算法存在 “維數(shù)災(zāi)難”和“過擬合”問題。此外，還面臨高維小樣本問題。因此，克服因高維數(shù)據(jù)帶來的分類器的過擬合問題也是未來的研究方向；如何進一步改善高維空間的小樣本學(xué)習(xí)的有效性和穩(wěn)定性也是未來需要解決的關(guān)鍵問題。

7 結(jié)論

目前，各個航天強國陸續(xù)開展了非合作目標(biāo)智能感知技術(shù)的在軌驗證。傳統(tǒng)的非合作目標(biāo)感知技術(shù)在特定任務(wù)、特定操控對象以及特定的環(huán)境等具有局限性，盡管感知方法由單一測量方法發(fā)展為多手段協(xié)同的測量方法，仍不能滿足智能化的需求，亟需將感知技術(shù)推向人工智能感知測量的新階段。將人工智能技術(shù)引入到非合作目標(biāo)感知領(lǐng)域，將使航天器具備感知、學(xué)習(xí)與決策能力，提高航天器對空間復(fù)雜任務(wù)自主適應(yīng)的能力?？紤]到非合作航天器智能感知的重要意義，有必要對非合作航天器智能感知技術(shù)進行深入系統(tǒng)地研究，針對其中的難點問題進行突破，從而提高中國空間操控平臺的智能化水平。