王從寶，張安思，2，楊 磊，梁國強(qiáng)，張 保

(1.貴州大學(xué) 機(jī)械工程學(xué)院，貴州 貴陽 550025；2.貴州大學(xué) 公共大數(shù)據(jù)國家重點實驗室，貴州 貴陽 550025)

0 引言

四旋翼因其結(jié)構(gòu)簡單、機(jī)動性高、成本低、故障低以及多功能性等特點,在公共安全、民航拍攝、消防急救、農(nóng)業(yè)植保以及軍事等[1-5]領(lǐng)域顯示出其廣泛的應(yīng)用前景。同時,隨著計算機(jī)科學(xué)、人工智能、圖像處理以及大數(shù)據(jù)等相關(guān)技術(shù)的迅速發(fā)展,推動著無人機(jī)技術(shù)朝著完全自主傳統(tǒng)無人機(jī)自主飛行控制和更加安全高效的方向發(fā)展。在無人機(jī)自主飛行研究中,感知和避障是難點所在,常因感知不準(zhǔn)確或者避障不及時導(dǎo)致無人機(jī)墜毀,因而受到眾多研究者的關(guān)注。

方法通常基于同步定位映射(SLAM)或狀態(tài)估計和控制指令計算兩步交叉過程,從而實現(xiàn)無人機(jī)自主能力[6-7]。盡管目前常用的SLAM算法可在大多數(shù)情況下進(jìn)行有效定位,但在視覺重疊、動態(tài)場景以及外觀顯著變化等復(fù)雜環(huán)境中會導(dǎo)致感知系統(tǒng)出現(xiàn)無法修復(fù)的錯誤。此外,感知與控制的模塊化還會引起模塊間誤差累積和漂移等問題。

為克服上述問題,近年來,隨著深度學(xué)習(xí)(Deep Learning,DL)在無人機(jī)自主飛行感知和避障領(lǐng)域的優(yōu)勢逐漸凸顯,特別是基于數(shù)據(jù)驅(qū)動的DL無人機(jī)自主飛行控制在許多任務(wù)中取得了顯著成效[8]。其能夠?qū)o人機(jī)的感知與控制有效結(jié)合起來,消除傳統(tǒng)控制中漂移等問題[9]或者能夠進(jìn)行端到端直接數(shù)據(jù)驅(qū)動控制[10]等優(yōu)勢。因此,為全面了解目前基于DL方法且以視覺輸入的四旋翼自主飛行感知和避障的研究進(jìn)展。

本文首先簡要闡述了無人機(jī)自治水平等級和相關(guān)DL技術(shù)方法;其次,對四旋翼仿真平臺及數(shù)據(jù)集對相關(guān)基礎(chǔ)性研究進(jìn)行介紹;再次,圍繞基于DL且以視覺輸入的四旋翼自主飛行感知和避障兩方面進(jìn)行了較為全面的分析和總結(jié);最后,針對基于DL且以視覺輸入的四旋翼自主飛行感知和避障的研究現(xiàn)狀,對其面臨的挑戰(zhàn)和未來的發(fā)展趨勢進(jìn)行總結(jié)和展望,旨在為后續(xù)研究人員提供參考。

1 無人機(jī)自治等級與DL簡述

本節(jié)將對相關(guān)工作進(jìn)行簡要闡述,從無人機(jī)的自治等級和相關(guān)DL技術(shù)進(jìn)行介紹,為后續(xù)的綜述開展奠定思路基礎(chǔ)。

1.1 無人機(jī)自治等級

無人機(jī)自主性可定義為自身集成傳感、感知、分析、通信、規(guī)劃、決策以及行動的能力,通過人機(jī)界面(HRI)或無人機(jī)系統(tǒng)與其通信,以實現(xiàn)人類操作員指定的目標(biāo)[11]。澳大利亞航空航天自動化研究中心的Kendoul[11]根據(jù)無人機(jī)執(zhí)行任務(wù)的復(fù)雜程度、環(huán)境的復(fù)雜度以及外部系統(tǒng)獨立性,將無人機(jī)的自主水平可劃分為11個等級,如圖1所示。從0級到10級,劃分的自主水平等級是一個漸進(jìn)遞增的過程。其中,最基本的自主水平級別為0級,其要求無人機(jī)由遙控器進(jìn)行控制,由遠(yuǎn)程外部系統(tǒng)發(fā)出控制命令,引導(dǎo)無人機(jī)執(zhí)行特定的功能,而傳感由無人機(jī)執(zhí)行,所有數(shù)據(jù)也是由外部系統(tǒng)進(jìn)行處理和分析。最高級自主水平級別為10級,要求無人機(jī)在沒有外部干預(yù)的情形下執(zhí)行人類設(shè)定的復(fù)雜任務(wù),即無人機(jī)能夠完全自治[11]。對于較高的無人機(jī)自治水平等級,目前的研究尚未涉足,大多數(shù)研究主要集中在中間自治級別,即4級無人機(jī)水平自治等級。而4級自治要求無人機(jī)能夠感知障礙物存在(即檢測無人機(jī)與障礙物的距離),并自主決策避開障礙物。

圖1 無人機(jī)自主等級劃分Fig.1 UAV autonomy level classification

無人機(jī)自治等級劃分為本文對基于DL視覺的四旋翼自主飛行感知和避障綜述提供了有效的分析路線,本文將圍繞無人機(jī)4級自治級別展開基于深度視覺的四旋翼自主飛行感知和避障研究進(jìn)展進(jìn)行全方面的綜述。

1.2 DL簡述

DL在過去的十幾年里已經(jīng)被證明是人工智能領(lǐng)域一項優(yōu)越的技術(shù),可以解決很多種類的問題,在某些案例中甚至超越了人類[12],并且在數(shù)據(jù)挖掘[13]、計算機(jī)視覺[14]、自然語言助理[15]、生物特征識別[16]以及醫(yī)學(xué)診斷[17]等多個領(lǐng)域取得了良好的效果。其作為機(jī)器學(xué)習(xí)的一個分支,一種從數(shù)據(jù)中學(xué)習(xí)表示的新方法,具有神經(jīng)網(wǎng)絡(luò)的特征,通過增加神經(jīng)網(wǎng)絡(luò)深度對輸入進(jìn)行特征提取,因深層網(wǎng)絡(luò)結(jié)構(gòu)具有很強(qiáng)的表示能力,所以可以學(xué)習(xí)到輸入數(shù)據(jù)的高維特征。深層網(wǎng)絡(luò)結(jié)構(gòu)的各個網(wǎng)絡(luò)層含有可更新的權(quán)值參數(shù),可通過對參數(shù)的更新來逼近表達(dá)復(fù)雜的非線性函數(shù)。常見DL結(jié)構(gòu)有卷積神經(jīng)網(wǎng)絡(luò)(CNN)[18]、循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)[19]等。

基于DL視覺的四旋翼自主飛行感知和避障的多數(shù)研究中,更加傾向于CNN,該網(wǎng)絡(luò)是一種能夠自動檢測輸入數(shù)據(jù)(視覺圖像或時間序列)并能夠從圖像中提取圖像特征的DL模型,這也正是基于DL的無人機(jī)自主飛行感知和避障研究常以視覺圖像作為輸入數(shù)據(jù)的原因。常見CNN通常由多層網(wǎng)絡(luò)結(jié)構(gòu)組成,一般包含輸入層、卷積層(Convolutional Layer)、最大池化層(Max Pooling Layer)、全連接層(Fully-connected Layer)以及輸出層。網(wǎng)絡(luò)結(jié)構(gòu)中的卷積層常對輸入二維圖像與二維內(nèi)核進(jìn)行卷積運算的典型卷積操作,通過非線性激活函數(shù)(ReLU或Sigmoid)對卷積操作輸出,并通過池化函數(shù)對輸入數(shù)據(jù)進(jìn)行采樣,以最大池化函數(shù)最為常見?？芍貜?fù)上述過程,從而學(xué)習(xí)到高級的抽象表示,最后由輸出層進(jìn)行輸出。典型的CNN結(jié)構(gòu)如圖2所示[20],在其基礎(chǔ)上還衍生出多種變體網(wǎng)絡(luò)結(jié)構(gòu)。其中,衍生出的DL網(wǎng)絡(luò)變體在四旋翼的自主飛行感知和避障上應(yīng)用研究如表1所示。

圖2 典型CNN結(jié)構(gòu)Fig.2 Typical CNN structure

表1 常用于四旋翼無人機(jī)自主飛行感知和避障的DL網(wǎng)絡(luò)結(jié)構(gòu)Tab.1 DL network structures commonly used for quadrotor UAV autonomous flight perception and obstacle avoidance

2 無人機(jī)仿真平臺與數(shù)據(jù)集

近年來,得益于諸多無人機(jī)仿真平臺和用于無人機(jī)自主飛行感知和避障研究的相關(guān)公開數(shù)據(jù)集,進(jìn)一步推動了無人機(jī)自主飛行感知和避障的研究進(jìn)展。為此,本節(jié)將從無人機(jī)仿真平臺與數(shù)據(jù)集兩方面,進(jìn)行較為全面的介紹和總結(jié)。

2.1 無人機(jī)仿真平臺

無人機(jī)仿真平臺通常由仿真內(nèi)核與控制軟件兩部分構(gòu)成,仿真內(nèi)核主要涵蓋無人機(jī)的飛行控制模塊、接口模塊以及無人機(jī)數(shù)學(xué)模型等,控制軟件包含主控模塊、飛行記錄與回放模塊以及可視化模塊等。仿真的目的是將仿真環(huán)境中無人機(jī)的運動策略遷移到真實環(huán)境中,實現(xiàn)2個環(huán)境之間的無差別轉(zhuǎn)化,是基于學(xué)習(xí)的無人機(jī)自主飛行的最終目標(biāo)。仿真環(huán)境中的訓(xùn)練是真實環(huán)境中應(yīng)用部署的根基,同時也是無人機(jī)自主學(xué)習(xí)和運行試驗的首要步驟。相比于實體無人機(jī)在真實工況環(huán)境中進(jìn)行飛行試驗學(xué)習(xí)的危險性和不確定性,仿真訓(xùn)練為基于DL的無人機(jī)自主飛行感知和避障研究提供了一種成本低廉、效率高且能可視化的學(xué)習(xí)路線。

為此,本小節(jié)將分別對Gazebo[27]、Flightmare[28]以及AirSim[29]三種常用于四旋翼無人機(jī)DL方法研究的仿真平臺進(jìn)行簡要的介紹,其對應(yīng)的特點如表2所示。

表2 常用的四旋翼無人機(jī)仿真平臺對比Tab.2 Comparison of commonly used quadrotor UAV simulation platforms

① Gazebo。Gazebo是由南加州大學(xué)機(jī)器人研究實驗室Howard等開發(fā)的一個免費且開源的高性能仿真平臺,其集成了機(jī)器人操作系統(tǒng)(ROS)和PR2機(jī)器人平臺,可應(yīng)用于無人機(jī)的開發(fā)、仿真和測試。與其他2個仿真平臺相比,Gazebo與ROS有很好的兼容性,經(jīng)常與ROS配套使用,但其視覺渲染效果不是很好。

Gazebo具有清晰的圖型界面和便捷的編碼窗口,支持ODE、Bullet、Simbody等多種物理引擎,并應(yīng)用ORGE渲染引擎為研究者提供各種情形下高仿真的室內(nèi)外環(huán)境。能夠?qū)o人機(jī)在不同工況環(huán)境中飛行高仿真度模擬,很適用于感知、避障以及路徑規(guī)劃等無人機(jī)導(dǎo)航的研究。Gazebo內(nèi)含各種機(jī)器人仿真模型,并提供多類傳感器來模擬環(huán)境的反饋,讓使用者能夠搭建不同類型的無人機(jī)飛行模擬環(huán)境。除此之外,Gazebo還為使用者提供云端服務(wù),使得控制算法在仿真無人機(jī)上進(jìn)行快速測試和驗證成為了可能。

② Flightmare。Flightmare是由Song等[28]提出的一個模塊化且靈活的四旋翼模擬器,通過使用Unity編輯器構(gòu)建逼真的渲染引擎和四旋翼動力學(xué)模擬。Flightmare將四旋翼無人機(jī)動態(tài)建模和渲染引擎進(jìn)行解耦,便于通過使用并行編程實現(xiàn)快速準(zhǔn)確的動態(tài)仿真,還為使用者提供方便靈活的可視化界面,可以在各種復(fù)雜且接近現(xiàn)實的3D環(huán)境中模擬不同的傳感器。渲染引擎和四旋翼動力學(xué)之間的接口使用高性能的異步消息傳遞庫,實現(xiàn)多種協(xié)議消息傳輸以及異步消息處理等任務(wù)。

Flightmare具有幾個鮮明的功能:首先,支持3D點云場景提取界面的多模式傳感器套件;其次,可用于強(qiáng)化學(xué)習(xí)API,并集成用于模擬環(huán)境交互的VR眼鏡;此外,還可應(yīng)用于視覺里程、DL以及人機(jī)交互等各種應(yīng)用。

③ AirSim[29]。AirSim是微軟公司于2017年為機(jī)器學(xué)習(xí)研發(fā)而開發(fā)的一款開源無人車/無人機(jī)仿真平臺,其仿真環(huán)境是基于虛幻引擎(Ureal Engine)而開發(fā)的,支持跨平臺的軟硬件在線仿真,具有極高的物理與視覺渲染度,適合自動駕駛相關(guān)的計算機(jī)視覺、DL以及強(qiáng)化學(xué)習(xí)等算法研究。

AirSim具有便捷而強(qiáng)大場景搭建模塊,包含城市、小鎮(zhèn)、森林、胡泊等豐富場景,用戶可在城市中心、郊野、工業(yè)區(qū)等多種環(huán)境中對飛行器進(jìn)行算法測試和驗證。AirSim提供Mavlink接口并支持使用Pixhawk固件(如Ardupilot與PX4)運行SITL和HITL,可對仿真環(huán)境中的飛行器進(jìn)行直接控制。同時,AirSim還提供多種語言的API接口,具有完備的底層控制架構(gòu),可以對中上層控制進(jìn)行設(shè)計。此外,AirSim還具有單目相機(jī)、深度相機(jī)、IMU、激光雷達(dá)、GPS等多種傳感器,具備很好的擴(kuò)展性。

2.2 無人機(jī)圖像數(shù)據(jù)集

DL技術(shù)為無人機(jī)自主飛行感知和避障研究提供了可行的解決方案,其核心思想是通過訓(xùn)練階段從大量數(shù)據(jù)中提取高層抽象表示,進(jìn)而做出分析決策。但目前大多研究的數(shù)據(jù)來源是公開數(shù)據(jù)集,包含從真實或虛擬環(huán)境中獲取的無人機(jī)標(biāo)注數(shù)據(jù)集,下面介紹幾種常用于無人機(jī)研究的公開數(shù)據(jù)集。

① KITTI數(shù)據(jù)集[30]。KITTI數(shù)據(jù)集是在德國卡爾斯魯厄(Karlsruhe)的周圍環(huán)境中通過移動平臺(大眾Passat旅行車配備的4個攝像機(jī)、1個旋轉(zhuǎn)3D激光掃描儀和1個組合GPS/IMU慣性導(dǎo)航系統(tǒng))收集的數(shù)據(jù)集。該數(shù)據(jù)包含攝像頭圖像、3D激光雷達(dá)、慣性與GPS導(dǎo)航數(shù)據(jù)等,是為了推進(jìn)以自動駕駛為目標(biāo)的計算機(jī)視覺和機(jī)器人算法的發(fā)展。該數(shù)據(jù)集涵蓋多種多樣的交通場景,捕捉了從農(nóng)村地區(qū)的高速公路到市中心的許多靜態(tài)和動態(tài)對象的場景。在合適場合無人機(jī)研究中可應(yīng)用該數(shù)據(jù)集。

② IDSIA森林足跡數(shù)據(jù)集[31]。該數(shù)據(jù)集通過 1名徒步旅行者配備3個GoPro Hero3頭戴式攝像頭(1個向左30°,1個指向正前方,1個指向右側(cè)30°)覆蓋大約7 km徒步旅行路線所采集而來,最后圖像數(shù)據(jù)由3個相機(jī)圖像組成。該數(shù)據(jù)集通過避免相同軌跡重合被拆分為不相交的訓(xùn)練集(含17 119幀)和測試集(含7 355幀)。該數(shù)據(jù)可用于預(yù)測各種路徑的視圖方向(左、中、右3個方向)。

③ 無人機(jī)碰撞數(shù)據(jù)集。該數(shù)據(jù)集出自于Gandhi等[32]提出的一篇無人機(jī)研究文獻(xiàn)中,通過2個步驟對數(shù)據(jù)進(jìn)行收集;首先,對導(dǎo)致不同類型碰撞原始軌跡進(jìn)行采樣,在此基礎(chǔ)上學(xué)習(xí)導(dǎo)航策略;其次,在第一步導(dǎo)航策略下收集更多更好的軌跡。該數(shù)據(jù)包含了20多種不同室內(nèi)環(huán)境中的11 500條碰撞軌跡,通過使用加速度計數(shù)據(jù)將所收集的軌跡數(shù)據(jù)自動分割,進(jìn)而將軌跡劃分為遠(yuǎn)離碰撞物體和靠近碰撞物體的正負(fù)數(shù)據(jù)。

④ Udacity數(shù)據(jù)集[33]。Udacity數(shù)據(jù)集起初是為一個線上挑戰(zhàn)所提供的,該數(shù)據(jù)集包含7 000張汽車駕駛圖像,分布于6個視頻剪輯中,5個用于訓(xùn)練,1個用于測試。這些圖像數(shù)據(jù)包括了來自3個攝像頭(左、中、右)的時間戳圖像以及不同傳感器(如IMU、GPS、轉(zhuǎn)向角、速度)的數(shù)據(jù)。

⑤ SYNTHIA合成數(shù)據(jù)集[34]。SYNTHIA數(shù)據(jù)集是一個自動駕駛場景下合成的數(shù)據(jù)集,該數(shù)據(jù)集由基于Unity開發(fā)平臺創(chuàng)建的虛擬城市渲染的一組圖像幀構(gòu)成,包含了各種靜態(tài)場景(建筑、道路、人行道和交通標(biāo)志等)和動態(tài)對象(如汽車、自行車和行人)以及不同照明條件和天氣。數(shù)據(jù)集包含了213 400張?zhí)摂M城市中隨機(jī)快照和視頻序列2組互補(bǔ)的合成圖像,涉及8個RGB攝像頭傳感器(2個多目攝像頭和4個單目攝像頭)。

3 DL四旋翼的自主飛行感知和避障

在四旋翼自主飛行研究中,DL無人機(jī)的感知和避障是目前研究的重心所在,感知任務(wù)允許無人機(jī)了解自身狀態(tài)和環(huán)境情況,而避障則是對感知到的障礙物進(jìn)行避讓,避免發(fā)生碰撞,感知與避障相互區(qū)別,又呈現(xiàn)出交集且遞進(jìn)的關(guān)系。感知任務(wù)一方面是對無人機(jī)自身狀態(tài)和所處環(huán)境進(jìn)行估計;另一方面為避障輸入相應(yīng)指令,以完成相應(yīng)避障任務(wù)(其關(guān)系如圖3所示)。下面將從無人機(jī)自主飛行感知和避障兩方面分別進(jìn)行論述。

圖3 無人機(jī)自主飛行的感知和避障關(guān)系Fig.3 Relationship between perception and obstacle avoidance for autonomous UAV flight

3.1 感知

在無人機(jī)自主飛行研究中,無人機(jī)感知是指無人機(jī)在飛行過程中能夠?qū)ψ陨頎顟B(tài)和周圍環(huán)境的理解,如可以考慮周圍環(huán)境的空間限制以及對障礙物邊界進(jìn)行有效檢測。在DL的背景下,無人機(jī)的感知大多數(shù)情況下依賴于視覺技術(shù)。正因DL在圖像上表現(xiàn)出的強(qiáng)大性能,因此被廣泛應(yīng)用于無人機(jī)自主飛行的感知中。近期的大多數(shù)研究基于視覺上對環(huán)境進(jìn)行感知,一方面是檢測無人機(jī)需執(zhí)行的任務(wù)目標(biāo)或自身所處環(huán)境情況;另一方面則是根據(jù)對環(huán)境的感知輸出有關(guān)特征表示,為后續(xù)無人機(jī)生成高級控制飛行指令。

Wang等[10]提出基于深度循環(huán)神經(jīng)網(wǎng)絡(luò)來實現(xiàn)單目視覺里程的端到端的新框架,并用該架構(gòu)以端到端方式進(jìn)行訓(xùn)練和部署,從原始RGB圖像中推斷出無人機(jī)的姿態(tài)。通過深度網(wǎng)絡(luò)架構(gòu)與經(jīng)典的幾何方法結(jié)合,進(jìn)一步提高視覺里程(VIO)的準(zhǔn)確性。而Smolyanskiy等[35]提出一個自動跟蹤微型飛行器系統(tǒng),并引入深度神經(jīng)網(wǎng)絡(luò)(DNN)用于估計無人機(jī)相對軌跡中心的視圖方向和橫向偏移,以實現(xiàn)無振蕩的穩(wěn)定飛行。

而一些研究者通過基于學(xué)習(xí)的深度估計來感知周圍3D環(huán)境,這種3D環(huán)境感知可以用于反應(yīng)式[36]或者計劃式[37]控制策略,從而使得無人機(jī)安全地導(dǎo)航。Mancini等[38]提出一種用于場景深度估計的神經(jīng)網(wǎng)絡(luò),并在網(wǎng)絡(luò)中添加長-短記憶層,以低開銷計算方式緩解單目視覺的一些固有限制,在KITTI數(shù)據(jù)上進(jìn)行驗證,與當(dāng)前最新技術(shù)有著相當(dāng)?shù)男阅?且該網(wǎng)絡(luò)能夠在不進(jìn)行任何微調(diào)的情況下推廣到不同實際環(huán)境中。此外,文獻(xiàn)[39]提出聯(lián)合障礙物檢測和深度估計的網(wǎng)絡(luò)架構(gòu),應(yīng)用VGG-19網(wǎng)絡(luò)對輸入的RGB圖像進(jìn)行特征提取,然后將特征反饋給深度預(yù)測分支網(wǎng)絡(luò)和障礙物檢測分支網(wǎng)絡(luò)。深度預(yù)測網(wǎng)絡(luò)模型被告知檢測對象結(jié)構(gòu),從而產(chǎn)生更加穩(wěn)健的估計,而障礙物檢測利用深度信息更加精確地預(yù)測障礙物距離和包圍框。該方法在未知的場景中表現(xiàn)出顯著的映射質(zhì)量,降低無人機(jī)導(dǎo)航的失敗率。為了促進(jìn)無人機(jī)在植物保護(hù)領(lǐng)域的應(yīng)用,Wang等[40]將DL與深度相機(jī)結(jié)合,提出一種RGB-D信息融合方法。該方法使無人機(jī)能夠感知到障礙物存在,而且還能夠感知障礙物的位置和內(nèi)容。根據(jù)感知到障礙物的具體特征,生成最優(yōu)避障策略和規(guī)劃最小飛行路徑。類似地,She等[41]通過使用YOLOv3網(wǎng)絡(luò)檢測可疑障礙區(qū)域,并引入SURF算法對輸入圖像進(jìn)行匹配和提取特征點。然后在輸入圖像之間匹配可疑障礙區(qū)域。最后進(jìn)行特征點提取和視覺擴(kuò)展處理從而確定障礙物。

此外,在國際比賽方面,自2016年首屆無人機(jī)競技大賽以來[42],其他無人機(jī)國際競賽紛紛舉行,極大促進(jìn)了無人機(jī)領(lǐng)域的發(fā)展,同時也推動了DL技術(shù)在無人機(jī)系統(tǒng)上的應(yīng)用。總體來看,DL技術(shù)在無人機(jī)競賽中主要作為感知系統(tǒng)并結(jié)合相關(guān)技術(shù)實現(xiàn)無人機(jī)在特定環(huán)境中自主飛行,以實現(xiàn)相應(yīng)飛行任務(wù)。通過神經(jīng)網(wǎng)絡(luò)對特定環(huán)境(如閘門、顏色等)進(jìn)行感知,并反饋相關(guān)信息使無人機(jī)調(diào)整其姿態(tài),便于執(zhí)行相應(yīng)任務(wù)(如飛越閘門)。關(guān)于DL網(wǎng)絡(luò)在四旋翼競賽中的應(yīng)用如表3所示。

表3 DL網(wǎng)絡(luò)在四旋翼無人機(jī)競賽中的應(yīng)用Tab.3 Application of DL network in quadrotor UAV competition

3.2 避障

避障是四旋翼無人機(jī)自主飛行中不可或缺的任務(wù)。傳統(tǒng)避障技術(shù)利用同步定位和映射(SLAM)和運動結(jié)構(gòu)(SfM)等技術(shù)來生成表示環(huán)境視覺的幾何地圖,從而預(yù)測障礙物和能穿越的空間。這些技術(shù)由立體相機(jī)、光探測距離傳感器或超聲波傳感器等多種傳感數(shù)據(jù)進(jìn)行融合,但這些傳感器價格高昂、體積、質(zhì)量大或是工作范圍和環(huán)境有限,不適用于小型的旋翼無人機(jī)系統(tǒng)。

目前,四旋翼無人機(jī)避障研究主要集中在自主避障上。對于無人機(jī)自主避障的研究應(yīng)用場景,一種是側(cè)重于非結(jié)構(gòu)化的戶外場景,例如森林,這使無人機(jī)在荒野檢測、野外搜尋救援、目標(biāo)跟蹤以及環(huán)境檢測等應(yīng)用成為可能;另一種則側(cè)重于室內(nèi)場景,涵蓋監(jiān)視、貨物交付、任務(wù)或者制造環(huán)境檢查等各種任務(wù)。根據(jù)室內(nèi)外場景列舉了相關(guān)DL在四旋翼避障技術(shù)上的應(yīng)用,在這些DL避障方案中,一些人使用端到端的方法將無人機(jī)系統(tǒng)捕捉到的原始傳感器數(shù)據(jù)直接映射到一組可能的飛行動作中[32,52-53],這些方法不需要明確的映射和運動規(guī)劃[23,54-55]。一些方法通過模仿人類[23,54],從模擬環(huán)境訓(xùn)練[55]中收集經(jīng)驗,或者是直接部署與現(xiàn)實世界[32]中進(jìn)行訓(xùn)練。這些避障任務(wù)中,DL方法能夠通過標(biāo)記輸入數(shù)據(jù)集進(jìn)行恰當(dāng)?shù)母爬?從原始輸入數(shù)據(jù)(視覺圖像)中推斷出一種模式,即在未知情況下引導(dǎo)適當(dāng)?shù)男袨閯幼?相關(guān)應(yīng)用如表4所示)。

表4 相關(guān)DL四旋翼無人機(jī)避障技術(shù)Tab.4 Related DL quadrotor UAV obstacle avoidance techniques

與上述不同的是,一些研究者基于DL提出不一樣的方法。通過估計輸入圖像的深度判斷無人機(jī)與障礙物的距離或者檢測無障礙區(qū)域,然后使無人機(jī)遠(yuǎn)離障礙物或向無障礙區(qū)域飛行,從而避免發(fā)生碰撞。例如,Chakravarty等[57]通過使用CNN來預(yù)測RGB圖像的深度,用數(shù)千個訓(xùn)練圖像對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,并設(shè)計一種基于行為仲裁的控制算法,接收來自神經(jīng)網(wǎng)絡(luò)估計深度圖作為輸入,并輸出偏航和俯仰軸上的角速度,以引導(dǎo)四旋翼無人機(jī)遠(yuǎn)離障礙物并朝向目標(biāo)位置飛行。該方法可在以前看不到的室內(nèi)環(huán)境中推廣,并有較好的泛化能力。同樣,Carrio等[58]通過使用AirSim生成3種不同無人機(jī)模型來合成豐富的深度圖數(shù)據(jù)集,并基于深度圖檢測方法成功用于無人機(jī)避障。Zhang等[59]也應(yīng)用CNN從RGB圖像中估計深度,然后將深度圖像輸入避障系統(tǒng)中,避障算法將擴(kuò)展深度、目標(biāo)位置、當(dāng)前位置以及當(dāng)前方向作為輸入,然后輸出用于避障的旋轉(zhuǎn)角,使無人機(jī)遠(yuǎn)離障礙物,向目標(biāo)方向飛行。并以四旋翼鸚鵡Bebop2在現(xiàn)實世界驗證該方法的有效性。

而一些DL技術(shù)需要執(zhí)行幾個階段,這些階段涉及中間表示,用于預(yù)測無人機(jī)與障礙物的距離、無人機(jī)的姿態(tài)或者里程計,以便重新計算到達(dá)目標(biāo)位置的路徑。這種DL方法通常會有2個模塊;一個是感知模塊,該模塊會生成一組與無人機(jī)系統(tǒng)及周圍環(huán)境狀態(tài)相關(guān)的特征圖;另一個則是決策模塊,根據(jù)感知模塊狀態(tài)估計進(jìn)行決策預(yù)測。這些模塊組合構(gòu)成一種復(fù)雜的網(wǎng)絡(luò)。如Dai等[60]基于CNN方法設(shè)計一種兩級端到端避障框架使得四旋翼無人機(jī)能夠在未知和非結(jié)構(gòu)化環(huán)境中自主避障。該方法可以減少決策延遲并提高無人機(jī)的魯棒性,其第一階段基于CNN模型作為預(yù)測機(jī)制來預(yù)測轉(zhuǎn)向角和碰撞概率;在第二階段,控制機(jī)制將轉(zhuǎn)向角映射到改變無人機(jī)偏航角的指令,使得無人機(jī)遇到障礙物時,可以通過自動轉(zhuǎn)向避免碰撞。類似地,在Yang等[61]的研究工作中,提出具有中間感知的兩階段CNN方法,從圖像中進(jìn)行軌跡預(yù)測。該方法第一階段從圖像中預(yù)測深度和表面法線估計[62],第二階段則是從深度和法線圖中預(yù)測路徑,從而使得無人機(jī)能夠感知3D障礙物的位置以及場景分布,從而更加精確地預(yù)測路徑。

4 挑戰(zhàn)與展望

綜上所述,DL技術(shù)依賴自身在原始傳感數(shù)據(jù)(圖像)中的卓越學(xué)習(xí)表征性能而受到研究者的廣泛關(guān)注。從目前研究情況來看,四旋翼獲取圖像數(shù)據(jù)是當(dāng)下基于DL利用關(guān)鍵信息類型,這是因為獲取圖像的傳感器價格便宜、質(zhì)量小且能量功耗低等特性。鑒于DL技術(shù)在圖像信息提取中表現(xiàn)出強(qiáng)大的性能,因其在無人機(jī)自主飛行研究應(yīng)用中的算法優(yōu)勢引起研究人員極力投入,從結(jié)果來看已是初顯成效,但其作為機(jī)器學(xué)習(xí)一個蓬勃發(fā)展的新領(lǐng)域,正處于一個發(fā)展階段中,在解決實際問題時,多復(fù)雜工況下的四旋翼自主飛行感知和避障研究中仍然面臨著諸多挑戰(zhàn)。

① 訓(xùn)練數(shù)據(jù)成本高

在DL技術(shù)中以大多采用監(jiān)督學(xué)習(xí)方法,實際復(fù)雜工況環(huán)境中生成泛化能力魯棒的模型需要大量數(shù)據(jù),對于四旋翼而言,針對性的數(shù)據(jù)采集成本比較高,且容易出現(xiàn)無人機(jī)碰撞、偏離路徑以及墜落等情況。對于大量數(shù)據(jù)還需進(jìn)行數(shù)據(jù)標(biāo)記工作,這一任務(wù)極為耗時。

② 推理認(rèn)知能力不強(qiáng)和泛化能力弱

目前,基于DL方法的自主四旋翼研究還依賴大量的數(shù)據(jù)進(jìn)行訓(xùn)練,雖然無人機(jī)在既定環(huán)境中表現(xiàn)出較好的性能,也解決了無人機(jī)在傳統(tǒng)控制中漂移、偏差、不可預(yù)測噪聲序列等問題,但其智能水平還停留在計算智能上,且網(wǎng)絡(luò)模型的泛化性能和有效性還受到所用數(shù)據(jù)的數(shù)量及質(zhì)量的制約,代表性場景和條件的多樣性數(shù)據(jù)集、傳感器多種類別之間的平衡成為了DL應(yīng)用過程相互制約的因素。

③ 缺乏統(tǒng)一評判標(biāo)準(zhǔn)

大多數(shù)研究闡述了所用的網(wǎng)絡(luò)模型結(jié)構(gòu)、訓(xùn)練數(shù)據(jù)以及相應(yīng)的測試方法,解釋所選地面真值、標(biāo)簽并描述導(dǎo)航系統(tǒng)如何與CNN模型交互。但缺乏統(tǒng)一性的評判指標(biāo),一些文獻(xiàn)應(yīng)用特定環(huán)境指標(biāo)進(jìn)行評估,例如成功飛行的圈數(shù)[58]或者飛行的距離[31]以及不同速度[9]下的性能。

④ 硬件及通信系統(tǒng)限制

四旋翼平臺自身存在續(xù)航能耗、有效載荷尺寸局限等問題,而這些限制主要源自電池技術(shù)和傳感器技術(shù)的發(fā)展,同時這也限制了無人機(jī)自主飛行所需的能力。此外,多數(shù)無人機(jī)自主操作都是機(jī)載處理,通信設(shè)備和處理器的性能會影響無人機(jī)的操作,特別是在傳輸大量數(shù)據(jù)或是帶寬限制時體現(xiàn)尤為明顯?，F(xiàn)在,設(shè)計功能強(qiáng)大且能耗低的小型化設(shè)備是嵌入式開發(fā)人員要攻克的難題,特別是處理器GPU這一板塊。

針對上述問題,結(jié)合DL的發(fā)展趨勢,對基于DL的四旋翼自主飛行在感知和避障的未來發(fā)展及研究方向做出幾點總結(jié)。

① 多源的數(shù)據(jù)集

針對無人機(jī)自主飛行研究數(shù)據(jù)相對缺乏、采集成本高等問題,可通過在模擬環(huán)境中無人機(jī)采集模擬圖像樣本對網(wǎng)絡(luò)進(jìn)行訓(xùn)練,或者根據(jù)真實圖像與模擬圖像生成合成圖像,從而減少數(shù)收集過程成本昂貴的問題。這要求模擬器在功能上可生成真實照片的真實感環(huán)境,這樣有利于網(wǎng)絡(luò)感知算法與模擬到真實傳輸技術(shù)的發(fā)展。

② DL與強(qiáng)化學(xué)習(xí)(RL)結(jié)合

現(xiàn)階段神經(jīng)網(wǎng)絡(luò)是DL方法中依靠數(shù)據(jù)驅(qū)動實現(xiàn)無人機(jī)控制的主體核心,這是基于深度網(wǎng)絡(luò)在學(xué)習(xí)表征能力上的體現(xiàn),而網(wǎng)絡(luò)的決策能力表現(xiàn)并不突出。RL在策略搜索決策能力上表現(xiàn)出良好的性能,通過融合DL魯棒表征能力和強(qiáng)化學(xué)習(xí)的決策能力的深度RL將會是無人機(jī)自主飛行研究的一個熱點和發(fā)展前景。

③ 高效的網(wǎng)絡(luò)學(xué)習(xí)模型

當(dāng)前,出現(xiàn)了較多表征精確度較高的DL模型,但這些模型并不都適用四旋翼無人機(jī)自主飛行上的應(yīng)用研究,僅少數(shù)模型可直接應(yīng)用,大多數(shù)模型需要對其結(jié)構(gòu)和參數(shù)進(jìn)行適當(dāng)?shù)恼{(diào)整,才能夠在無人機(jī)自主飛行研究中應(yīng)用。設(shè)計適用于無人機(jī)自主飛行研究的高效網(wǎng)絡(luò)學(xué)習(xí)模型極為重要,高效的學(xué)習(xí)模型可減少訓(xùn)練學(xué)習(xí)時間以及應(yīng)用時對數(shù)據(jù)的處理時間,從而提高網(wǎng)絡(luò)模型在應(yīng)用中的快速決策能力。

④ 硬件設(shè)施的突破

對于處理器、傳感器、通信系統(tǒng)等硬件上的限制,因DL技術(shù)都有著較高的計算資源要求。目前,需要減少網(wǎng)絡(luò)模型深度、降低數(shù)據(jù)的輸入幀率等措施來匹配硬件上的限制,并在硬件與其功耗之間做出良好的權(quán)衡。從長遠(yuǎn)來看,需等待相關(guān)領(lǐng)域有質(zhì)的突破。例如,出現(xiàn)更高性能且體積小的CPU,可提高無人機(jī)的機(jī)載計算處理能力,也可解決網(wǎng)絡(luò)通信系統(tǒng)在成本、覆蓋范圍、延遲以及可擴(kuò)展方面的需求。而在DL-UAV的供電方式上受限于使用重型的鋰聚合物或鋰離子電池,若未來開發(fā)人員突破現(xiàn)行的能量收集機(jī)制,將會更好地擴(kuò)展自主無人機(jī)的應(yīng)用研究。

5 結(jié)束語

文中首先從無人機(jī)自治等級與相關(guān)DL技術(shù)方法進(jìn)行簡要闡述,明確當(dāng)前四旋翼自主飛行研究所處的自主水平,并對基于DL方法進(jìn)行簡要介紹;其次,從無人機(jī)仿真平臺及數(shù)據(jù)集的相關(guān)基礎(chǔ)性研究進(jìn)行介紹和;然后,對基于DL且以視覺輸入的四旋翼自主飛行感知和自主避障兩方面研究進(jìn)展進(jìn)行全面綜述;最后,結(jié)合DL和以視覺輸入的四旋翼自主飛行感知和避障在一些關(guān)鍵的開放性問題上的不足,對其未來挑戰(zhàn)和發(fā)展趨勢進(jìn)行了總結(jié)和展望。希望可為基于DL方法且以視覺輸入的四旋翼無人機(jī)自主飛行感知和避障的研究者提供進(jìn)一步的啟發(fā)。