王藝詩，徐田來，張澤旭，蘇 宇

(哈爾濱工業(yè)大學(xué)航天學(xué)院深空探測基礎(chǔ)研究中心，哈爾濱 150080)

0 引 言

空間目標(biāo)相對位姿測量是在軌服務(wù)中的關(guān)鍵技術(shù),精確的相對位姿測量能使航天器準(zhǔn)確執(zhí)行近距離機(jī)動并實現(xiàn)與空間目標(biāo)的交會[1]。根據(jù)傳感器的不同,空間目標(biāo)相對位姿測量技術(shù)目前主要可分為基于相機(jī)和基于激光雷達(dá)兩大類。在空間復(fù)雜環(huán)境下，基于圖像的位姿測量方法受光照條件影響較大，過曝或過暗的圖像都會影響相對位姿的準(zhǔn)確求解，且僅利用圖像觀測目標(biāo)三維運動狀態(tài)會導(dǎo)致深度信息的丟失[2]。相比之下，激光雷達(dá)由于其在外空環(huán)境中被證明的魯棒性而受到青睞[3]。激光雷達(dá)的觀測不受空間光照條件影響，且激光雷達(dá)掃描的點云數(shù)據(jù)可以提供空間目標(biāo)的三維結(jié)構(gòu)信息。因此，基于激光點云的空間目標(biāo)位姿測量技術(shù)具有顯著的應(yīng)用前景。

基于激光點云的相對位姿求解，傳統(tǒng)方法是采用ICP(最近點迭代)算法，通過迭代點云最近點的方法解算目標(biāo)相對位姿。然而ICP算法對初值要求較高[4]，且當(dāng)點云密集時計算量較大，不利于保證位姿測量的時效性。另外，一些研究者設(shè)計了人工編碼特征用于描述點云的局部幾何結(jié)構(gòu),這種基于點云特征的配準(zhǔn)方法可以作為粗配準(zhǔn),為ICP迭代計算提供良好初值，但這種方法容易受到噪聲、異常點的影響,特征匹配效率不高[5]。同時考慮到空間目標(biāo)可能具有的高度對稱結(jié)構(gòu)，如典型的通信衛(wèi)星都具有兩個對稱的太陽帆板等，僅使用ICP算法進(jìn)行點云配準(zhǔn)極有可能將其誤匹配到模型的另一對稱部分，進(jìn)而導(dǎo)致位姿求解誤差。并且這種具有對稱結(jié)構(gòu)的目標(biāo)在進(jìn)行點云配準(zhǔn)時，對稱部位計算的人工編碼特征也高度相似，兩組點云3D和3D的位置關(guān)系不再具有一一對應(yīng)的特征，這為姿態(tài)的求解帶來了挑戰(zhàn)。

深度學(xué)習(xí)方法的興起給目標(biāo)位姿測量問題提供了新的解決思路。深度學(xué)習(xí)已成功應(yīng)用于解決各種二維圖像問題，一些學(xué)者以視覺圖像作為數(shù)據(jù)輸入，針對對稱結(jié)構(gòu)目標(biāo)引起的位姿估計模糊問題，提出了許多基于深度學(xué)習(xí)網(wǎng)絡(luò)的目標(biāo)位姿測量方法。其中Rad等[6]假設(shè)全局物體對稱性已知，提出了一種適用于對稱軸投影近似垂直的物體的位姿歸一化方法。Yu等[7]提出了PoseCNN位姿估計網(wǎng)絡(luò),優(yōu)化了一種全局對象對稱性不變的損失函數(shù)。Kehl等[8]設(shè)計了SSD-6D網(wǎng)絡(luò)，提出一種針對目標(biāo)對稱性定義的視點子集訓(xùn)練分類器。相較于深度學(xué)習(xí)在圖像處理中的成功應(yīng)用，基于點云的深度學(xué)習(xí)仍處于起步階段。點云是無序點的集合，無法直接應(yīng)用卷積操作；同時，點云采樣密度不均勻很難保證特征學(xué)習(xí)的魯棒性，增加了將深度學(xué)習(xí)應(yīng)用于點云數(shù)據(jù)的難度[9]，并且無結(jié)構(gòu)的點云數(shù)據(jù)直接輸入到卷積神經(jīng)網(wǎng)絡(luò)中往往比較困難。因此將深度學(xué)習(xí)應(yīng)用于點云數(shù)據(jù)中，需要解決點云無序性、稀疏性等難題。

Qi等[10]提出的PointNet網(wǎng)絡(luò)作為點云深度學(xué)習(xí)研究的先驅(qū)者為點云深度學(xué)習(xí)提供了新的方法。它將原始點云直接輸入網(wǎng)絡(luò)，通過多層感知機(jī)(MLP)分別學(xué)習(xí)點云中每個點的特征，然后用對稱函數(shù)(最大池化層)來解決點云無序性問題[5]。作為點云深度學(xué)習(xí)的開創(chuàng)性工作，PointNet網(wǎng)絡(luò)在點云分類和語義分割任務(wù)中取得了良好成績。目前，將基于點云數(shù)據(jù)的深度學(xué)習(xí)與相對位姿求解結(jié)合在一起的研究相對較少。針對這一問題，陳海永等[11]提出一種針對復(fù)雜場景點云數(shù)據(jù)的多層特征姿態(tài)估計網(wǎng)絡(luò)(MFPE-Net)有效解決了機(jī)器人抓取過程中的位姿估計問題。Gao等[12]提出了一種基于激光點云數(shù)據(jù)的6D位姿估計網(wǎng)絡(luò)CloudPose，該網(wǎng)絡(luò)可用無序點云分別估計目標(biāo)的平移和旋轉(zhuǎn)向量。肖仕華等[9]設(shè)計了一種基于深度學(xué)習(xí)的三維點云頭部姿態(tài)估計網(wǎng)絡(luò)HPENet。該網(wǎng)絡(luò)采用多層感知器和最大池化層實現(xiàn)點云的特征提取，并通過全連接層輸出預(yù)測的頭部姿態(tài)，網(wǎng)絡(luò)估計的姿態(tài)準(zhǔn)確度和計算的復(fù)雜度有較好的性能。Gao等[13]提出了一種基于點云深度的目標(biāo)6D位姿估計網(wǎng)絡(luò)CloudAAE，該網(wǎng)絡(luò)在點云的特征提取部分引入了EdgeConv邊卷積算法，相較于CloudPose，CloudAAE網(wǎng)絡(luò)提高了對點云局部特征的學(xué)習(xí)能力。

本文提出一種基于點云深度學(xué)習(xí)的對稱結(jié)構(gòu)空間目標(biāo)相對位姿測量方法。首先采用Pointwise-CNN中的逐點卷積算法來提取點云特征，然后采用最大池化層來解決點云無序性問題，同時最大池化層輸出點云全局特征?？紤]空間目標(biāo)激光點云為具有時域關(guān)系的序列化點云，引入長短時記憶網(wǎng)絡(luò)LSTM來學(xué)習(xí)序列點云之間的長期依賴關(guān)系。提取到點云特征以后，進(jìn)一步構(gòu)建兩個并行的回歸網(wǎng)絡(luò)分別輸出空間目標(biāo)平移向量和具有固定標(biāo)簽的目標(biāo)點云三維邊界框角點。根據(jù)相同的標(biāo)簽編號確定兩組點云三維邊界框角點的匹配關(guān)系并求解點云相對姿態(tài)，避免了通過迭代最近點的方式尋找點云匹配關(guān)系，可有效解決對稱結(jié)構(gòu)空間目標(biāo)點云誤配準(zhǔn)導(dǎo)致的姿態(tài)求解誤差問題。

1 點云深度學(xué)習(xí)網(wǎng)絡(luò)

1.1 網(wǎng)絡(luò)架構(gòu)設(shè)計

圖1為深度學(xué)習(xí)網(wǎng)絡(luò)Lasernet整體架構(gòu)設(shè)計。網(wǎng)絡(luò)主要分為兩部分，包括點云特征提取網(wǎng)絡(luò)與關(guān)鍵點回歸網(wǎng)絡(luò)。輸入網(wǎng)絡(luò)的空間目標(biāo)點云經(jīng)特征提取網(wǎng)絡(luò)進(jìn)行深層次高維表征后，將提取的特征輸入由三層全連接層構(gòu)成的回歸網(wǎng)絡(luò)。回歸網(wǎng)絡(luò)使用兩個并行的網(wǎng)絡(luò)來分別估計平移向量和具有固定標(biāo)簽的目標(biāo)點云三維邊界框角點。其中一個回歸網(wǎng)絡(luò)直接輸出空間目標(biāo)的平移向量。另一個回歸網(wǎng)絡(luò)考慮到旋轉(zhuǎn)空間的非線性，直接用網(wǎng)絡(luò)回歸四元數(shù)姿態(tài)的方法泛化能力較差，所以采用間接法來估計目標(biāo)姿態(tài)。網(wǎng)絡(luò)輸出空間目標(biāo)點云的關(guān)鍵點，三維點云數(shù)據(jù)中關(guān)鍵點通常選擇三維邊界框的8個角點，網(wǎng)絡(luò)輸出的每一個角點具有固定的標(biāo)簽(如圖5所示)。進(jìn)一步基于最小二乘法，由網(wǎng)絡(luò)輸出的帶有固定標(biāo)簽的三維邊界框角點來間接計算空間目標(biāo)點云的姿態(tài)。

圖1 深度學(xué)習(xí)網(wǎng)絡(luò)Lasernet整體架構(gòu)Fig.1 Model design for the Lasernet deep learning network

1.2 點云特征提取網(wǎng)絡(luò)

網(wǎng)絡(luò)直接以僅有三維坐標(biāo)的空間目標(biāo)點云數(shù)據(jù)作為輸入，輸入網(wǎng)絡(luò)的張量維度為H×B×N×C，其中B是輸入批處理的大小，N為輸入點云的點數(shù)，C為點云的通道數(shù)。本文輸入僅有三維坐標(biāo)的點云，即C的值為3。由于本文采用了長短時記憶網(wǎng)絡(luò)(LSTM)，所以輸入維度中H為序列長度。為了能夠更好的回歸點云關(guān)鍵點，需要充分學(xué)習(xí)點云局部特征和全局特征信息。相較于PointNet網(wǎng)絡(luò)僅采用三層一維卷積單純地為點云中的點做幾何特征維度上的擴(kuò)展，從而丟失每個點與其周邊領(lǐng)域內(nèi)的局部特征。本文采用Pointwise-CNN網(wǎng)絡(luò)[14]中提出的一種新的逐點卷積核提取點云特征，來提升網(wǎng)絡(luò)對點云局部特征的學(xué)習(xí)能力[15]。

Pointwise-CNN逐點卷積核以輸入點云中的某一點為中心，將鄰近點劃分為核單元，卷積核中的相鄰點都參與運算，并在整個點云中滑動進(jìn)行卷積，由此可對點云局部特征進(jìn)行學(xué)習(xí)。每個卷積核都有一個半徑值，可以根據(jù)每個卷積層中不同數(shù)量的相鄰點進(jìn)行調(diào)整，如圖2所示。

圖2 Pointwise-CNN逐點卷積Fig.2 Pointwise-CNN：convolution operator that can be applied at each point of a point cloud

逐點卷積使用3×3×3的卷積核，每個卷積核區(qū)域內(nèi)的所有點有相同的權(quán)重。逐點卷積核表示如下[14]：

(1)

式中：Ωi(k)表示以點i為中心的卷積核第k個子域；pi是第i點的坐標(biāo)；ωk表示卷積核中第k個子域的權(quán)重；xi和xj是點i和點j的值，-1和表示輸入層和輸出層的索引。

使用四層Pointwise逐點卷積層提取點云特征，每一層后面都有一個SELU激活函數(shù)。將每一層輸出的點云特征連接起來，然后輸入進(jìn)最大池化層。進(jìn)一步為了有效地使用序列點云的時序信息，將序列為H的點云特征輸入進(jìn)長短時記憶網(wǎng)絡(luò)LSTM。作為循環(huán)網(wǎng)絡(luò)RNN的改進(jìn)模型，LSTM引入了門控機(jī)制，遺忘門決定內(nèi)部狀態(tài)是否將前一時刻的不相關(guān)信息丟棄，輸入門決定當(dāng)前時刻保存多少新輸入的信息。LSTM的記憶單元提供了連續(xù)幀數(shù)據(jù)的相關(guān)性，并且避免了當(dāng)輸入序列較長時，網(wǎng)絡(luò)模型存在的梯度消失問題。提取到點云高層抽象特征后，使用關(guān)鍵點回歸網(wǎng)絡(luò)來分別回歸點云平移向量和具有固定標(biāo)簽的點云三維邊界框角點。

1.3 關(guān)鍵點回歸網(wǎng)絡(luò)

將空間目標(biāo)位姿測量問題轉(zhuǎn)換為點云關(guān)鍵點回歸問題來處理，設(shè)計了基于回歸模型的關(guān)鍵點映射網(wǎng)絡(luò)。特征提取網(wǎng)絡(luò)對空間目標(biāo)點云進(jìn)行深層次高維表征后，利用三層全連接層構(gòu)成的MLP感知器分別回歸點云平移向量和具有固定標(biāo)簽的點云三維邊界框的8個角點?；貧w網(wǎng)絡(luò)如圖3所示，網(wǎng)絡(luò)在構(gòu)建時前兩層全連接層都連接Softsign激活函數(shù)，最后一層全連接層不加激活函數(shù)。Softsign激活函數(shù)返回-1和1之間的值，其更平坦的曲線與更慢的下降導(dǎo)數(shù)表明它可以更高效地學(xué)習(xí)，且能夠更好地解決梯度消失問題;同時為了防止過擬合，加入了Dropout操作(σ=0.5)。

圖3 關(guān)鍵點回歸網(wǎng)絡(luò)Fig.3 Regression network of key points

(2)

(3)

(4)

2 基于固定標(biāo)簽角點的目標(biāo)相對姿態(tài)估計

本節(jié)利用網(wǎng)絡(luò)輸出的帶有連續(xù)穩(wěn)定標(biāo)簽的點云三維邊界框角點求解目標(biāo)姿態(tài)。網(wǎng)絡(luò)在訓(xùn)練點云三維邊界框的角點時，將真實的三維邊界框的角點按照從1至8的固定順序編號(如圖4所示)，則網(wǎng)絡(luò)估計的8個角點也將按照相同的固定順序輸出，如此得到的三維邊界框的每一個角點帶有一個如圖4所示的固定標(biāo)簽。

圖4 帶有固定標(biāo)簽的三維邊界框角點Fig.4 3D bounding box corners with fixed labels

針對對稱結(jié)構(gòu)空間目標(biāo)相對位姿求解問題，傳統(tǒng)算法(如ICP算法)，僅利用迭代點云最近點的方法尋找兩點云的匹配關(guān)系時，當(dāng)前幀點云配準(zhǔn)極易匹配到模型的另一對稱部分或?qū)ΨQ角造成點云誤匹配從而導(dǎo)致姿態(tài)求解錯誤。如圖5(a)所示，結(jié)構(gòu)對稱的點云配準(zhǔn)到了目標(biāo)點云的對稱面，這將導(dǎo)致姿態(tài)求解時與真實姿態(tài)相差180°。

圖5 空間目標(biāo)對稱結(jié)構(gòu)點云配準(zhǔn)誤匹配Fig.5 The symmetric structure of space objects leads to mismatching of point cloud registration

相較于傳統(tǒng)算法僅根據(jù)兩組點云中點對的最近距離進(jìn)行點云配準(zhǔn)，網(wǎng)絡(luò)輸出的帶有固定標(biāo)簽的三維邊界框的8個角點，根據(jù)相同的標(biāo)簽編號確定兩組點云中匹配的關(guān)鍵點對，避免了通過迭代最近點的方式尋找點云匹配關(guān)系。兩組點云利用標(biāo)簽相對應(yīng)的角點求解姿態(tài)可有效解決對稱結(jié)構(gòu)空間目標(biāo)點云誤配準(zhǔn)導(dǎo)致的姿態(tài)求解錯誤問題。

定義慣性坐標(biāo)系O-xyz，目標(biāo)本體坐標(biāo)系Ot-xtytzt，服務(wù)航天器坐標(biāo)系Os-xsyszs，如圖6所示。

圖6 坐標(biāo)系定義Fig.6 Coordinate system definition

繞三軸的滾轉(zhuǎn)、偏航、俯仰旋轉(zhuǎn)矩陣分別為Rx,Ry,Rz。

(5)

(6)

(7)

式中：φ,φ,θ分別為滾轉(zhuǎn)、偏航、俯仰角度。三維旋轉(zhuǎn)矩陣R(φ,φ,θ)可表示為：

R(φ,φ,θ)=RxRyRz

(8)

(9)

(10)

基于固定標(biāo)簽的三維邊界框角點由公式(10)可求得空間目標(biāo)的相對運動姿態(tài)φ,φ,θ。

3 仿真實驗與分析

3.1 目標(biāo)仿真數(shù)據(jù)集

針對某型號空間目標(biāo)模型建立激光點云數(shù)據(jù)集。利用Unity模擬三維激光雷達(dá)，設(shè)置64線激光雷達(dá)，激光掃描儀視場為20°，目標(biāo)最大直徑為14 m記為d，目標(biāo)主體長4 m、寬4 m、高4.5 m。設(shè)置目標(biāo)相對激光雷達(dá)的深度運動范圍為5d～20d，即目標(biāo)的深度運動范圍為70 m至280 m。如圖7所示，圖中紅色區(qū)域為空間目標(biāo)相對激光雷達(dá)的運動范圍。仿真得到400組序列點云，每組序列點云在目標(biāo)運動范圍內(nèi)的初始位置隨機(jī)選取，每組序列中有100幀具有連續(xù)運動位姿的激光點云，共獲得40000幀空間目標(biāo)激光點云。將其中350組點云作為訓(xùn)練集，50組點云作為測試集?？紤]點云仿真過程中隨著目標(biāo)深度的變化，目標(biāo)大小會導(dǎo)致點云密度的不同，因此在將點云輸入進(jìn)網(wǎng)絡(luò)前，會對點云進(jìn)行均勻采樣，保證所有點云包含的點數(shù)相同，且為了網(wǎng)絡(luò)更好的進(jìn)行訓(xùn)練，將點云數(shù)據(jù)歸一化到[-1,1]區(qū)間內(nèi)。

圖7 激光點云仿真工況Fig.7 Laser point cloud simulation conditions

3.2 網(wǎng)絡(luò)訓(xùn)練環(huán)境及參數(shù)設(shè)置

深度學(xué)習(xí)模型訓(xùn)練基于Ubuntu 18.04操作系統(tǒng)，CPU為Intel Core-i7(3.40 GHz)，內(nèi)存為16 GB，顯卡為NVIDIA GTX3060 12 GB。設(shè)置網(wǎng)絡(luò)超參數(shù)，批處理batch的大小為16，LSTM網(wǎng)絡(luò)序列H為10，輸入點云的點數(shù)均為800，初始學(xué)習(xí)率為0.0001，衰減率為0.1，每訓(xùn)練數(shù)據(jù)集的50%, 80%, 90%調(diào)節(jié)學(xué)習(xí)率下降0.1倍。迭代訓(xùn)練次數(shù)為10000次。訓(xùn)練選用ADAM優(yōu)化器，相比于其他經(jīng)典的優(yōu)化器，ADAM優(yōu)化器在更新參數(shù)時學(xué)習(xí)率能夠具有自適應(yīng)性，使得網(wǎng)絡(luò)在訓(xùn)練時具有更好的魯棒性與學(xué)習(xí)率的動態(tài)調(diào)整性能。

3.3 評價標(biāo)準(zhǔn)

點云三維邊界框的8個角點的誤差計算，依據(jù)預(yù)測的8個角點與對應(yīng)的真實8個角點的的距離可得：

(11)

對于位姿估計常用的評價指標(biāo)是平均點對距離ADD，即將3D模型點云分別做真實位姿和預(yù)測位姿的剛體變換后求點對的平均歐氏距離。

(12)

3.4 結(jié)果與誤差分析

網(wǎng)絡(luò)輸出得到的空間目標(biāo)平移向量三軸誤差如圖8所示。以一個序列中的100幀點云為例，對于目標(biāo)深度運動范圍為70 m至170 m的工況，平移向量三軸誤差均小于0.8 m。對于全部測試集5000幀目標(biāo)點云，空間目標(biāo)平移向量三軸誤差小于1 m的占比為86%。

圖8 空間目標(biāo)平移向量三軸誤差Fig.8 Three-axis errors in the translation vector of the space target

網(wǎng)絡(luò)輸出得到的帶有穩(wěn)定標(biāo)簽的點云三維邊界框角點如圖9所示，對網(wǎng)絡(luò)輸出的8個角點的距離誤差進(jìn)行評估，以一個序列中的100幀點云為例，精度評估結(jié)果如圖10所示，對于最大直徑14 m的空間目標(biāo)，網(wǎng)絡(luò)預(yù)測的8個角點的誤差均小于0.3 m。對于全部測試集5000幀目標(biāo)點云，點云三維邊界框角點預(yù)測的誤差小于0.5 m的占比為85%。

圖9 不同姿態(tài)下點云三維邊界框角點Fig.9 3D bounding box corners of point clouds with different rotations

圖10 空間目標(biāo)點云三維邊界框角點誤差Fig.10 Error of 3D bounding box corners ofthe of the space target point clouds

利用帶有連續(xù)穩(wěn)定標(biāo)簽的點云三維邊界框角點求解空間目標(biāo)姿態(tài)。以一個序列中的點云為例，空間目標(biāo)姿態(tài)的三軸誤差均小于2.76°，如圖11所示。對于全部測試集5000幀目標(biāo)點云，空間目標(biāo)姿態(tài)的三軸誤差小于5°的占比為89%。

圖11 空間目標(biāo)姿態(tài)測量三軸誤差Fig.11 Three-axis errors in the attitude measurement of the space target

利用本文所提方法測量的空間目標(biāo)位姿，計算空間目標(biāo)點云平均點對距離誤差如圖12所示。以一個序列中的點云為例，對于最大直徑為14 m的空間目標(biāo)，點云的平均點對距離誤差均小于0.8 m。

圖12 空間目標(biāo)位姿測量ADD評估精度Fig.12 ADD evaluation accuracy of the space target pose

圖13顯示了將空間目標(biāo)點云分別基于計算得到的位姿和基于真實的位姿變換回場景中的點云配準(zhǔn)效果。藍(lán)色點云由計算所得位姿轉(zhuǎn)換得到，紅色點云由真實位姿轉(zhuǎn)換得到，可以看出兩組點云基本重合。

本文將所提出的方法與傳統(tǒng)點云ICP配準(zhǔn)方法和其他基于點云深度學(xué)習(xí)的方法進(jìn)行對比：分別采用FPFH+ICP, CloudPose和CloudAAE三種方法作為對比實驗。其中第一種是在傳統(tǒng)的基于人工描述子的ICP配準(zhǔn)方法中常用的位姿測量方法。第二種方法CloudPose是基于點云深度學(xué)習(xí)直接輸出位姿的網(wǎng)絡(luò)訓(xùn)練方法。第三種方法CloudAAE在網(wǎng)絡(luò)的特征提取部分引入一種邊卷積算法EdgeConv，使網(wǎng)絡(luò)能夠更好地學(xué)習(xí)到點云的局部特征。如表1所示是上述幾種方法的空間目標(biāo)位姿測量ADD評估準(zhǔn)確率和姿態(tài)角誤差小于5°，平移向量誤差小于1 m所占比率。位姿測量的預(yù)測評估，通常表示為點云平均點對距離誤差A(yù)DD小于目標(biāo)最大直徑10%的度量準(zhǔn)確率?？梢钥吹较啾绕渌椒ǎ疚乃岢龅姆椒?zhǔn)確率明顯更高。

表1 位姿測量準(zhǔn)確率對比實驗Table 1 Comparative experiments on the accuracy of pose measurement

4 結(jié) 論

本文針對現(xiàn)有方法在解決幾何結(jié)構(gòu)高度對稱的空間目標(biāo)點云位姿測量問題中存在的誤匹配問題，提出一種基于點云深度學(xué)習(xí)的相對位姿測量方法。網(wǎng)絡(luò)以點云坐標(biāo)作為輸入，經(jīng)過特征提取網(wǎng)絡(luò)及關(guān)鍵點回歸網(wǎng)絡(luò)分別輸出空間目標(biāo)平移向量和具有固定標(biāo)簽的目標(biāo)點云三維邊界框角點。利用帶有連續(xù)穩(wěn)定標(biāo)簽的角點求解目標(biāo)姿態(tài)，可有效避免目標(biāo)對稱結(jié)構(gòu)帶來的點云誤匹配問題。經(jīng)仿真實驗驗證，本文提出的方法得到的空間目標(biāo)位姿誤差較小，相較于對比實驗中的其他三種方法在整體精度上具有明顯優(yōu)勢。