劉飛 單佳瑤 熊彬宇 方正 楊正權

摘要：當無人機遇到電量低、丟失遙控信號、失去GPS信號、天氣突變等需要迅速降落的緊急情況時，依靠機載的傳感器實現(xiàn)無人機自主降落到安全區(qū)域顯得非常重要。為保證無人機在遇到緊急情況或者收到降落指令后，能夠自動識別安全的降落區(qū)域，實現(xiàn)安全自主降落，本文提出一種基于多傳感器融合和深度學習網(wǎng)絡框架的無人機可降落區(qū)域識別方法。首先，使用基于無人機機載圖像信息搜索安全降落區(qū)域；然后利用孿生網(wǎng)絡對安全降落區(qū)域進行跟蹤。當無人機降落到一定高度時，利用機載激光雷達進行近地面環(huán)境實時建模與語義分割，確定安全的可降落區(qū)域；最后，通過實時建立的可降落區(qū)域點云模型，計算出精確的可降落區(qū)域位姿信息，供飛控系統(tǒng)實時著陸控制使用。在仿真環(huán)境和實際環(huán)境中的試驗研究表明，基于多傳感器融合的方法對可降落區(qū)域的識別準確率達到90%，位置識別的誤差為5cm，著陸過程地形高程估計誤差為2cm，能夠滿足無人機自主安全著陸的要求。通過對可降落區(qū)域識別方法的研究，實現(xiàn)無人機對下方可降落區(qū)域的識別，進而引導無人機實現(xiàn)安全自主著陸。

關鍵詞：自主泊降；深度學習；多傳感器融合；三維激光雷達；語義分割

中圖分類號：TP391.4文獻標識碼：ADOI：10.19452/j.issn1007-5453.2022.04.004

基金項目：航空科學基金（20184123011，201941050001）

無人機的自主降落問題是其安全飛行最重要的問題之一，而無人機對可降落區(qū)域的精確識別是解決這一問題的關鍵。在過去的十幾年里，有大量研究者[1-2]開展了該領域的研究。按照使用傳感器的區(qū)別，這些研究可以分為三類：基于單目相機的著陸區(qū)域識別、基于雙目相機的著陸區(qū)域識別和基于三維激光雷達的著陸區(qū)域識別。

基于單目相機的著陸區(qū)域識別方法總體上可以分為兩種思路。一種是C. S. Sharp[3]、S. Bosch[4]和Y. Cheng[5]等通過無人機搭載的相機傳感器拍攝得到無人機所在位置下方地面環(huán)境的單幀圖像信息，然后利用自身搭載的處理器根據(jù)單幀圖像序列確定該地位置是否可用于著陸，實現(xiàn)可降落區(qū)域的識別；另一種是A. Johnson[6]、V. R. Desaraju[7]和C. Forster[8]等利用運動的單目相機得到的圖像數(shù)據(jù)通過動態(tài)立體視覺算法建立密集的三維環(huán)境地形點云地圖，然后計算著陸區(qū)域，實現(xiàn)可降落區(qū)域的識別。 C. Theodore[9]、M. Meingast[10]、M. Garg[11]和M. Mittal[12]等利用基于雙目相機的著陸區(qū)域識別往往可以直接通過雙目相機的外參數(shù)據(jù)和雙目圖像的差別估計地面圖像的深度信息，然后根據(jù)深度信息判斷著陸區(qū)域，最終實現(xiàn)無人機可降落區(qū)域的識別。S. Scherer[13]和D. Maturana[14]等利用基于激光雷達的著陸區(qū)域識別方法往往首先利用激光雷達建立較稠密的三維點云地圖，然后再從三維點云地圖中識別著陸區(qū)域，最終實現(xiàn)無人機可降落區(qū)域的識別。

近年來，隨著無人機技術與產(chǎn)業(yè)在國內的發(fā)展，國內對于無人機著陸區(qū)域識別的研究也越來越多。南京航空航天大學韓家明等[15]提出了一種基于視覺的無人機著陸標識的檢測方法；復旦大學李?？档萚16]提出了一種針對旋翼無人機在無準備的崎嶇地表上的自主安全著陸系統(tǒng)。西北工業(yè)大學李靖等[17]提出了一種基于視覺的無人機著陸地標實時檢測跟蹤方法。

由上文可知，針對無人機可降落區(qū)域識別的研究往往只通過單一的傳感器來完成，這些方法雖然在某些特定的場景下有不錯的表現(xiàn)，但在一些更復雜的場景或光照較差的情況下很難準確且穩(wěn)定地完成可降落區(qū)域的識別。因此，本文提出一種基于多傳感器融合的無人機可降落區(qū)域識別方法，充分利用相機所拍攝圖像的色彩信息和激光雷達的深度信息，通過無人機搭載的處理器實現(xiàn)對其下方可降落區(qū)域的識別與跟蹤，引導無人機實現(xiàn)安全自主著陸。

1系統(tǒng)架構

無人機想要實現(xiàn)自主降落，必須具有自主的環(huán)境感知能力，從而能夠實現(xiàn)在復雜環(huán)境中的地形識別與建模，自主選擇適合著陸面，在降落過程中自主避開障礙物并實現(xiàn)特定著落面的精準降落。針對這一問題，本文提出一種基于三維激光和視覺融合的無人機自主著陸地形識別及著陸點識別的方法，使得無人機能夠在遇到緊急情況下或者收到降落指令后，利用基于多傳感器實現(xiàn)低空多維信息建模和基于深度學習實現(xiàn)語義層次地形信息分類，自主識別安全的停機區(qū)域，實現(xiàn)安全自主降落。整體系統(tǒng)架構如圖1所示，圖中軟件系統(tǒng)中的藍色部分代表可降落區(qū)域識別與跟蹤模塊，黃色部分代表低空三維環(huán)境的建模模塊，橘黃色部分代表著陸決策模塊。

1.1系統(tǒng)硬件

該系統(tǒng)主要由DJI Matrix600 Pro無人機平臺、Manifold2-C和Manifold2-G機載處理器、RoboSense Bpearl三維激光雷達、RealSense D435i和RealSense T265相機等傳感器組成。

DJI Matrix600 Pro無人機平臺具備很高的擴展性，可以部署各類外加機載處理器和傳感器，其標配有高精度GPS、LightBridge2視頻傳輸模塊。該系統(tǒng)在這些硬件的基礎上面添加了Robosense Bpearl三維激光雷達作為地形數(shù)據(jù)庫的獲取模塊，RealSense D435i相機作為可降落區(qū)域的識別模塊，RealSense T265相機作為無人機姿態(tài)估計的輔助模塊，Manifold2-C作為無人機上面的運算系統(tǒng)和飛控系統(tǒng)的中間處理單元模塊，主要處理三維激光雷達點云數(shù)據(jù)和無人機飛行控制數(shù)據(jù)，Manifold2-G作為無人機上面可降落區(qū)域的識別和跟蹤的處理單元。

1.2系統(tǒng)軟件

系統(tǒng)軟件方法主要由基于圖像的可降落區(qū)域搜索與跟蹤、基于點云的三維環(huán)境建模、基于點云的三維環(huán)境語義分割、實時落點搜索。各個模塊實現(xiàn)的細節(jié)詳見第2節(jié)。

2系統(tǒng)實現(xiàn)

2.1基于圖像的可降落區(qū)域搜索

圖像語義分割能夠將相機傳感器拍攝圖片或者視頻流的每一個像素點都打上對應的類別標簽，這樣就可以知道圖片或者視頻流中可降落區(qū)域的位置，為下一步對可降落目標區(qū)域的跟蹤提供一個初步的識別。由于本文提出的方法需要在移動計算平臺上對輸入的圖像進行實時處理，因此首先需要考慮語義分割網(wǎng)絡的實時性。在本文中，我們基于快速圖像語義分割方法fast_scnn[18]搭建了適合本系統(tǒng)快速語義分割方法，并設計了其網(wǎng)絡框架，該網(wǎng)絡由4個模塊組成，其結構模型如圖2所示。

第一個模塊為學習降采樣模塊，其目的是提取圖像低層次的特征。第二個模塊為全局特征提取模塊，其目的在于捕獲圖像分割所需的全局環(huán)境信息。第三個模塊是特征融合模塊，其目的是將學習降采樣模塊得到的特征和全局提取到的特征直接相加。第四個模塊是分類器模塊，其目的是將得到的特征張量輸出具有標簽的圖片。通過這4個模塊就可以將輸入的圖片標注上對應的類別標簽，最終得到無人機的可降落區(qū)域，為后續(xù)引導無人機自主降落創(chuàng)造基礎條件。

為了實現(xiàn)對無人機下方可降落區(qū)域的識別，基于圖像的語義分割方法在航空語義數(shù)據(jù)集Aeroscapes進行模型的訓練，訓練之后的模型識別精度可以達到80.6%，速度在dji Manifold2-G上面可以達到10FPS，滿足無人機對下方可降落區(qū)域識別的要求。

2.2基于圖像的可降落區(qū)域跟蹤

基于圖像的可降落區(qū)域跟蹤，主要任務是將上一步通過可降落區(qū)域搜尋算法得到的可降落區(qū)域，作為初始的跟蹤目標，進而在后續(xù)的連續(xù)的圖像幀中，通過找到圖像中與初始區(qū)域的相似度最大的區(qū)域，作為后續(xù)幀中的可降落區(qū)域。

在本文中，可降落區(qū)域搜尋算法的輸出作為可降落區(qū)域跟蹤算法的輸入，用4個坐標（x，y，w，h）來表示一個矩形框。其中，x， y表示矩形框的中心點像素坐標；w，h表示的是矩形框的寬和長。該矩形框中包含的即是要跟蹤降落的區(qū)域。此部分算法輸出是無人機飛行控制量，表現(xiàn)形式是通過坐標差（目標像素坐標-實際像素坐標）進行映射得到的無人機飛行的目標控制量。

考慮到機載端搭載的處理器性能以及整個識別算法對深度學習算力的需求，跟蹤部分的算法應該盡可能地輕量化，所以為了能夠在保證實時性的同時擁有較高的準確性，本文基于siammask[19]網(wǎng)絡結構搭建了適合本系統(tǒng)的孿生網(wǎng)絡結構進行圖像目標跟蹤，基于圖像的可降落區(qū)域跟蹤算法使用孿生網(wǎng)絡（Siamese Network）作為整體網(wǎng)絡的基本架構。孿生網(wǎng)絡也可以叫作“連體的神經(jīng)網(wǎng)絡”，其網(wǎng)絡結構由兩個相同的分支組成，如圖3所示。兩分支分別接受不同的輸入，而后經(jīng)過相同的特征提取網(wǎng)絡，從而提取高維的圖像特征。在提取特征時，兩分支的網(wǎng)絡是共享權值的。然后，兩分支得到的高維特征可以通過與真值數(shù)據(jù)構建損失（loss），可以損失最小化的方式來訓練網(wǎng)絡，使得網(wǎng)絡可以學習兩個分支最相似的特征。整體的算法結構如圖4所示。

該算法在1660Ti的GPU上運行可以達到50ft/s（≈15.24nm/s）左右，實時性足以滿足需求。除此之外，該算法還對跟蹤的目標區(qū)域進行了前景和背景的分割，最終的輸出結果通過掩膜（mask）的形式呈現(xiàn)，矩形框通過掩膜進行旋轉矩形擬合得到，對于項目中存在的可降落區(qū)域幾何形狀可能不規(guī)則的情況有較好的表現(xiàn)。圖5是該算法在俯視地形數(shù)據(jù)集上的部分輸出結果，其中紅色區(qū)域是要跟蹤的平面區(qū)域，可以看到該算法可以很好地得到不規(guī)則區(qū)域的外包矩形框，精準程度大大提高。

由于目標跟蹤算法更傾向于對兩幀之間的目標進行相似度的匹配，所以其模型訓練好后具有很強的泛化能力，所以通用的目標跟蹤數(shù)據(jù)集就可以滿足無人機對可降落區(qū)域跟蹤的需求。本文提出的目標跟蹤算法在VOT2016數(shù)據(jù)集和VOT2018數(shù)據(jù)集上的結果見表1。其中，平均重疊期望（EAO）指對每個跟蹤器在一個短時圖像序列上的非重置重疊的期望值，是VOT評估跟蹤算法精度的最重要指標。準確率（Accuracy）指跟蹤器在單個測試序列下的平均重疊率（兩矩形框相交部分面積除以兩矩形相并部分面積）。魯棒性（robustness）指單個測試序列下的跟蹤器失敗次數(shù)，當重復率為0時即可判定為失敗。算法的運行速率為56FPS。

2.3基于點云的三維環(huán)境建模

對于無人機系統(tǒng)來說，對所處周圍環(huán)境進行感知和建模至關重要，沒有周圍環(huán)境的信息，就無法進行后續(xù)的智能決策。在本文中，需要實現(xiàn)無人機的自主著陸，這首先就需要無人機系統(tǒng)對飛行中的周圍環(huán)境進行感知，給予無人機相關環(huán)境物理信息，使得無人機對環(huán)境進行判斷，找到可降落區(qū)域，完成自主降落。由于無人機需要準確的空間信息，需要建立精確的三維地圖，因此我們采用激光雷達作為主要傳感器，建立環(huán)境的三維激光點云地圖，使得無人機獲得準確的周圍環(huán)境信息，從而執(zhí)行后續(xù)任務。

在本文的激光建圖算法中，基于LOAM[20]使用激光雷達獲取環(huán)境信息，并且結合慣性測量組件（IMU）進行測量，以提高自身運動估計的精度，從而建立精確的環(huán)境地圖。首先，對激光點云數(shù)據(jù)進行處理，結合IMU數(shù)據(jù)消除點云存在的運動畸變，并且提取點云中的特征點集，得到環(huán)境的主要特征描述。而后，基于特征點云估計無人機的運動姿態(tài)，得到運動里程計?？紤]到無人機著陸環(huán)境為室外空曠區(qū)域，周圍環(huán)境中可能缺乏足夠的環(huán)境特征，使得僅使用激光雷達進行運動估計會存在失敗的情況。為此，算法中考慮結合GPS數(shù)據(jù)提供無人機運動的空間位置信息，給無人機運動姿態(tài)的估計增加位置約束，從而增強無人機運動估計的魯棒性，提高運動估計的精度。最后，對無人機位姿進行點云拼接，同時將激光點云和地圖點云進行匹配，優(yōu)化無人機的狀態(tài)估計，建立一致的點云地圖。三維環(huán)境建模算法框架如圖6所示。

2.4基于點云的三維環(huán)境分割

基于二維圖像的語義分割的方法往往難以準確地估計出被識別對象的三維空間位置。對于無人機來說，若想更穩(wěn)定、更安全地完成降落任務，就需要獲取周圍環(huán)境的三維信息，實時準確地理解周圍場景的三維語義信息。因此，需要實現(xiàn)三維點云的語義分割，本文通過傳感器標定得到的相機與激光雷達之間的變換矩陣將激光雷達的點云數(shù)據(jù)投影到相機坐標系中，再通過相機的內參坐標系投影到相機的圖像坐標系中。由于我們已經(jīng)獲得了帶逐像素語義類別標簽相機圖像，此時通過最近鄰搜索法搜索投影到相機圖像坐標系的點云中每個點最近的圖像像素，圖像像素對應的語義類別標簽就是該點的語義標簽。最后，將點云轉化回激光雷達坐標系就得到了帶語義標簽的點云數(shù)據(jù)。

2.5實時落點搜索

通過對點云的語義標簽進行篩選，可以得到候選的降落區(qū)域，但考慮到語義特征提取的魯棒性等因素，該候選降落區(qū)域中并非所有區(qū)域都可以作為無人機的可降落區(qū)域。為了確保算法選擇著陸區(qū)域的正確性與穩(wěn)定性，本文提出的方法在語義特征的基礎上加入點云的幾何特征作為約束項，以實現(xiàn)對可降落區(qū)域的精確檢測與識別。

實時落點搜索算法結構如圖7所示，首先搜索帶語義標簽的點云地圖中地面的地形，選擇最適合著陸的地形所在區(qū)域作為可能著陸區(qū)域，并提取該區(qū)域對應的點云。根據(jù)無人機在不同地形環(huán)境中著陸的難易程度，地形的優(yōu)先順序通常為鋪裝地面、硬質土地、草地與沙地?？紤]到實際可著陸環(huán)境中可能存在斜坡、凸起、凹陷等地形，這些地形往往不利于無人機進行自主著陸，而上述基于深度學習的方法難以準確、穩(wěn)定地識別這些地形信息。因此，我們在利用點云的幾何特征作為約束項選擇最合適的著陸點。

利用0.05m的體素網(wǎng)格對點云進行下采樣，得到稀疏的可能著陸區(qū)域點云地圖。假設無人機最終的著陸區(qū)域為矩形，并將點云中的每個點設為可能的無人機候選著陸區(qū)域的中心點。對于每一個可能中心點，提取該點在原始點云中對應的近鄰點云。該點云可以反映候選著陸區(qū)域的地形。采用幾何方法來計算這部分點云的屬性來估計候選著陸區(qū)域的地形。首先，統(tǒng)計點云中點的數(shù)目，若點云數(shù)目不夠則說明這部分區(qū)域沒有被充分檢測到或存在水面等不適合著陸的地形，不適合作為著陸區(qū)域；然后，計算點云中每點的z坐標值的標準差，若標準差過大則說明候選著陸區(qū)域可能為傾斜面或存在凹凸不平的情況，同樣不適合作為著陸區(qū)域。最后，為了進一步確定候選著陸區(qū)域是否為水平面，嘗試使用RANSAC算法從點云中擬合平面，若無法擬合出平面或擬合出的平面坡度過大，則說明候選著陸區(qū)域不適合作為著陸區(qū)域。采用平面法線與z坐標軸的夾角來計算平面的坡度，即

3仿真、試驗及分析

3.1 Gazebo仿真試驗

利用Gazebo仿真工具搭建虛擬三維場景及具備虛擬傳感器的虛擬無人機，結合無人機飛行模擬器構建仿真環(huán)境，以驗證系統(tǒng)各環(huán)節(jié)的有效性，進而使用真實的無人機對整個系統(tǒng)的方法進行驗證。

在模擬傳感器數(shù)據(jù)方面，Gazebo中可以實現(xiàn)常見的傳感器導入，其中包括模型的導入以及傳感器數(shù)據(jù)的仿真。在本文中我們使用了相機以及激光雷達，所以在Gazebo中也對這兩種傳感器進行了搭建。仿真環(huán)境中的傳感器如圖8所示，對應的傳感器數(shù)據(jù)可以在rviz中實時查看，如圖9所示。并搭建相應的仿真環(huán)境，如圖10所示。

仿真環(huán)境搭建完成之后，便可以對本文提出的算法進行仿真環(huán)境下的定性測試。圖11展示無人機從高空中到低空降落過程中對可降落區(qū)域進行基于圖像的語義分割和跟蹤的測試試驗結果。圖12（a）展示了無人機在下降的過程中，對下方區(qū)域進行基于點云的三維環(huán)境建模的結果，圖12（b）展示了在建立的三維點云地圖上融合圖像的語義分割信息得到的基于三維點云語義分割的結果。在進行仿真測試的過程中，無人機可以實時得到可降落區(qū)域的識別和跟蹤結果，能夠引導無人機實現(xiàn)自主泊降。

3.2真實場景測試

整體算法在仿真環(huán)境中驗證后，在實際的無人機從高空到低空的環(huán)境中進行測試，實際搭載識別系統(tǒng)的無人機如圖13所示。本文分別做了基于圖像的可降落區(qū)域搜尋、基于圖像的可降落區(qū)域跟蹤、基于點云的三維環(huán)境建模、基于點云三維環(huán)境的分割試驗。

3.2.1基于可降落區(qū)域搜尋與跟蹤

針對圖像的可降落區(qū)域搜尋，我們在M600 Pro無人機上做了實際環(huán)境的測試，無人機對可降落區(qū)域進行實時語義分割，識別出可降落區(qū)域，并把可降落區(qū)域對應的像素坐標發(fā)給基于點云的三維環(huán)境語義分割模塊，方便后續(xù)將圖像的語義分割后的結果通過圖像和激光雷達的外參矩陣得到每個三維激光點的類別信息。

依據(jù)無人機高空對圖像語義分割的結果，對可降落區(qū)域實現(xiàn)基于圖像的目標跟蹤，使無人機由高空緩慢降落到低空。基于圖像的可降落區(qū)域識別與跟蹤的結果如圖14所示。由圖可以看出，該系統(tǒng)能夠很好地跟蹤可降落區(qū)域。

3.2.2基于點云的三維環(huán)境建模

針對點云的三維環(huán)境建模，在M600 Pro無人機上通過實際環(huán)境數(shù)據(jù)的采集，對采集的激光雷達點云數(shù)據(jù)做出處理后建立實際環(huán)境的三維模型，實際環(huán)境三維模型如圖15所示。

3.2.3基于點云的三維環(huán)境分割

基于著陸區(qū)域三維語義環(huán)境模型的著陸地點精確識別結果如圖16所示。從圖中信息可知，著陸區(qū)域檢測與識別算法給出了著陸區(qū)域的位置（紅色部分），該著陸區(qū)域位于預設的適合著陸區(qū)域，坡度為3.4°，粗糙度為0.29，符合無人機對著陸地點的要求。

由此可知，本文提出的算法在真實環(huán)境中同樣可以根據(jù)著陸區(qū)域的三維語義環(huán)境模型實現(xiàn)著陸地點的精確識別。

4結束語

本文針對傳統(tǒng)的無人機著陸點識別方法中存在的只利用相機或激光雷達等單一傳感器的數(shù)據(jù)進行識別導致的準確率較低、適用范圍較窄且魯棒性較差的問題，提出一種融合多傳感器的無人機著陸區(qū)域檢測與識別方法，在很大程度上擺脫了單一傳感器數(shù)據(jù)為自主著陸系統(tǒng)提供的信息不足、數(shù)據(jù)不準的問題。首先，通過對相機拍攝的圖像數(shù)據(jù)語義分割，以確定可能的降落區(qū)域大致位置；然后，通過圖像跟蹤算法持續(xù)跟蹤該區(qū)域并引導無人機飛向該可能的降落區(qū)域，然后對激光雷達、IMU和相機等傳感器的數(shù)據(jù)進行融合得到降落區(qū)域的精確三維位置信息。我們還將點云語義特征與利用傳統(tǒng)幾何方法提取的點云特征相結合，以進一步提高算法的準確性與魯棒性，實現(xiàn)對無人機著陸區(qū)域的精確魯棒識別。

參考文獻

[1]姜延歡，楊永軍，李新良，等.智能無人系統(tǒng)環(huán)境感知計量評價研究[J].航空科學技術， 2020， 31（12）：80-85. Jiang Yanhuan，Yang Yongjun，Li Xinliang，et al. Research on environmental perception metrology and evaluation technology of intelligent unmanned system[J]. Aeronautical Science & Technology，2020，31（12）：80-85.（in Chinese）

[2]夏路，王琳，梁穎茜.基于PNP的多尺度目標視覺智能輔助降落系統(tǒng)[J].航空科學技術，2020，31（10）：21-29. Xia Lu，Wang Lin，Liang Yingxi. PNP-based multi-scale target visionintelligent-assistedlandingsystem[J]. Aeronautical Science & Technology，2020，31（10）：21-29.（in Chinese）

[3]Sharp C S， Shakernia O， Sastry S S. A vision system for landing an unmanned aerial vehicle[C]// IEEE International Conference on Robotics andAutomation. IEEE， 2001.

[4]Bosch S， Lacroix S， Caballero F. Autonomous detection of safe landing areas for an UAV from monocular images[C]// 2006 IEEE/RSJ International Conference on Intelligent Robots and Systems. IEEE， 2006： 5522-5527.

[5]Cheng Y. Real-time surface slope estimation by homography alignmentforspacecraftsafelanding[C]//2010IEEE International Conference on Robotics and Automation. IEEE， 2010： 2280-2286.

[6]Johnson A， Montgomery J， Matthies L. Vision guided landing ofanautonomoushelicopterinhazardousterrain[C]// Proceedings of the 2005 IEEE International Conference on Robotics andAutomation. IEEE， 2005： 3966-3971.

[7]Desaraju V R， Michael N， Humenberger M， et al. Vision-based landing site evaluation and informed optimal trajectory generation toward autonomous rooftop landing[J]. Autonomous Robots， 2015， 39（3）： 445-463.

[8]Forster C， Faessler M， Fontana F， et al. Continuous on-board monocular-vision-basedelevationmappingappliedto autonomous landing of micro aerial vehicles[C]// 2015 IEEE International Conference on Robotics and Automation （ICRA）. IEEE， 2015： 111-118.

[9]Theodore C， Rowley D， Ansar A， et al. Flight trials of a rotorcraft unmanned aerial vehicle landing autonomously at unprepared sites[C]// Annual Forum Proceedings-American Helicopter Society， 2006.

[10]Meingast M， Geyer C， Sastry S. Vision based terrain recovery for landing unmanned aerial vehicles[C]// 2004 43rd IEEE Conference on Decision and Control （CDC） （IEEE Cat. No. 04CH37601）. IEEE， 2004.

[11]Garg M， Kumar A， Sujit P B. Terrain-based landing site selection and path planning for fixed-wing UAVs[C]// 2015 International Conference on Unmanned Aircraft Systems（ICUAS）. IEEE， 2015： 246-251.

[12]Mittal M， Valada A， Burgard W. Vision-based autonomous landing in catastrophe-struck environments[J]. Robotics， 2018.

[13]Scherer S， Chamberlain L， Singh S. Autonomous landing at unprepared sites by a full-scale helicopter[J]. Robotics and Autonomous Systems， 2012， 60（12）： 1545-1562.

[14]Maturana D， Scherer S. 3D convolutional neural networks for landing zone detection from lidar[C]//2015 IEEE international conference on robotics and automation （ICRA）. IEEE， 2015： 3471-3478.

[15]韓家明，楊忠，陳聰，等.無人機視覺導航著陸標識檢測與分割方法[J].應用科技，2020，47（4）：1-7. Han Jiaming， Yang Zhong， Chen Cong， et al. Detection and segmentation method of UAV visual navigation landing mark[J]. Applied Science and Technology， 2020， 47（4）：1-7.（in Chinese）

[16]李?？?，黃奇?zhèn)ィT輝，等.崎嶇地表上的旋翼無人機自主安全降落系統(tǒng)[J].機器人，2020，42（4）：416-426. Li Ruikang， Huang Qiwei， Feng Hui， et al. Autonomous safe landing system of rotary-wing UAV on rugged surface[J]. Robot， 2020， 42（4）： 416-426.（in Chinese）

[17]李靖，馬曉東，陳懷民，等.無人機視覺導航著陸地標實時檢測跟蹤方法[J].西北工業(yè)大學學報，2018，36（2）：294-301. Li Jing， Ma Xiaodong， Chen Huaimin， et al. Real-time detection and tracking method of UAV visual navigation landmark[J]. Journal of Northwestern Polytechnical University， 2018， 36（2）： 294-301.（in Chinese）

[18]Poudel R P， Liwicki S， Cipolla R. Fast-scnn： fast semantic segmentationnetwork[C]//ProceedingsoftheIEEE/CVF Conference on Computer Vision and Pattern Recognition， 2019.

[19]Wang Q， Zhang L， Bertinetto L， et al. Fast online object trackingandsegmentation：aunifyingapproach[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2019.

[20]Zhang J， Sanjh S. LOAM： Lidar odometry and mapping in realtime[C]//Robotics： Science and Systems Conference， 2014.

Research on the Identification Method of UAV Landing Area Based on Multi-sensor Fusion

Liu Fei1，Shan Jiayao1，Xiong Binyu1，F(xiàn)ang Zheng1，Yang Zhengquan2

1. Northeastern University，Shenyang 110819，China

2. China Aircraft Strength Institute，Xian 710065，China

Abstract： When the UAV encounters the emergency situation of low power， loss of remote control signal， loss of GPS signal， sudden weather change and so on， it is very important to rely on the airborne sensor to achieve the autonomous landing of the UAV to the safe area. In order to ensure that the UAV can automatically identify the safe landing area and realize the safe and autonomous landing in an emergency situation or after receiving landing instructions， we propose a method for the UAV landing area identification based on multi-sensor fusion and deep learning network framework. Firstly， the safe landing area is searched based on the airborne image information of the UAV. Then the safe landing area is tracked using twin networks. When the UAV lands to a certain altitude， airborne liDAR is used to conduct real-time modeling and semantic segmentation of the near-surface environment to determine the safe landing area. Finally， the accurate position and pose information of the landing area is calculated by the realtime landing area point cloud model， which can be used for real-time landing control of the flight control system. Experimental studies in simulation environment and actual environment show that the identification accuracy of landing area based on multi-sensor fusion method reaches 90%， the error of position identification is 5cm， and the estimation error of terrain elevation during landing is 2cm， which can meet the requirements of autonomous safe landing of the UAV. Through the research on the identification method of landing area， the UAV can recognize the landing area below， and then guide the UAV to achieve safe autonomous landing.

Key Words： autonomous landing； deep learning； multi-sensor fusion； 3D lidar； semantic segmentation