時潮 劉喬 孫飛 賈宇航 代力 白璇
1.上海機電工程研究所;2.北方自動控制技術(shù)研究所
針對無人機在無人車上的自主降落問題,本文分解為兩個階段:基于機、車GPS 信息的導航飛行階段和基于降落平臺標志的精確視覺引導階段。針對視覺引導無人機起降問題,本文設(shè)計了視覺伺服控制和模糊PID 控制兩種方法,最后采用搭建的地空協(xié)同系統(tǒng)進行了機、車GPS 導航飛行實驗和基于視覺引導的無人機自主起降實驗,均達到了理想的效果。實驗證實了本文提出的自主起降方案可行性和有效性。
無人車是智能交通系統(tǒng)的核心,研究無人駕駛技術(shù)的研究對于減少交通安全事故、緩解交通擁堵有著重要意義?,F(xiàn)階段,無人車研究仍然面臨著環(huán)境感知范圍小、非結(jié)構(gòu)化道路適應能力差等技術(shù)難題。在機動靈活的無人機上搭載傳感器,協(xié)同智能系統(tǒng)對于無人駕駛技術(shù)的研究有著重要意義。除此之外,地空協(xié)同系統(tǒng)在災區(qū)救援、戰(zhàn)場作戰(zhàn)、環(huán)境偵查等領(lǐng)域也有著廣闊的應用前景。而面向無人車平臺的無人機自主起降控制將是地空協(xié)同中首個有待突破的技術(shù)難題。
無人機視覺著陸系統(tǒng)可以大致分為兩類:第一類是將無人機降落在預定義的目標上,這種方法需要對無人機與降落平臺的相對位置和姿態(tài)進行精確估計;第二類是將無人機降落在任意合適的區(qū)域上,其使用視覺算法檢測足夠平穩(wěn)的著陸地點。文獻[1-4]主要描述了旋翼式無人機在地面無人小車平臺上的降落方法,而文獻[5-8]主要對固定翼式無人機在艦船上的著陸方案進行研究。其中,文獻[1]介紹了一套由小型旋翼式無人機和地面移動小車組成的混合系統(tǒng),無人機能夠從移動的小車上自主起飛,以恒定的速度跟蹤它并且在運動的小車平臺上降落。文獻[4]展示了一套由小型無人機和地面無人車組成的混合系統(tǒng),可共同協(xié)作執(zhí)行室內(nèi)搜救等任務,并且還設(shè)計了安裝于無人車上的降落平臺,從而起到承載、固定無人機的作用。除此之外,還有將無人機降落在地面指定地點的視覺著陸系統(tǒng)。文獻[10]提出了一套地面紅外立體視覺系統(tǒng)用于輔助降落,該系統(tǒng)的視覺傳感器為兩個紅外攝像機,安裝在兩自由度的云臺上,便于攝像機捕捉動態(tài)無人機目標,估計兩者的相對位置。而文獻[11]設(shè)計的降落系統(tǒng)采用機載的攝像機和處理器,通過識別地面上特定的標志物獲得無人機與降落平臺的相對位置,進而引導無人機降落。
與上述文獻不同,本文以無人駕駛汽車作為地面平臺,構(gòu)建地空協(xié)同系統(tǒng)。對于無人機在無人車平臺上的自主起降問題,本文提出一套完整的技術(shù)方案,并進行了地空協(xié)同系統(tǒng)的設(shè)計、搭建、試驗調(diào)試等工作,實現(xiàn)無人機在靜止的無人車平臺上自主起飛、降落的功能。
本文采用的無人車如圖1(a)所示,從空間布局來看,無人車分為駕駛艙和后車廂兩部分。駕駛艙頂部安裝了激光雷達和全景攝像機等傳感器,后車廂放置了電源、計算機組等功能模塊,并且無人車上還安裝了GPS 接收機實現(xiàn)定位功能。與固定翼無人機相比,旋翼式無人機具有機動靈活,可垂直起飛降落,定點懸停的優(yōu)點,因此本文采用大疆公司研發(fā)生產(chǎn)的DJI Matrice 100(簡稱“M100”)四旋翼無人機,如圖1(b)所示。
圖1 無人車平臺和無人機Fig.1 Unmanned ground vehicle and UAV
與固定翼無人機相比,旋翼式無人機具有機動靈活,可垂直起飛降落,定點懸停的優(yōu)點,因此本文采用四旋翼式無人機。無人車和無人機都配備了GPS 接收機,雖然能夠以此來計算兩者的相對位置,但是得到的精度有限。無人車上裝配了無人機降落平臺,該平臺安裝了正交分布的視覺引導標志,并且無人車與無人機之間能夠進行通信,無人車、無人機的任務指令、工作狀態(tài)、GPS 位置等信息會通過通信模塊進行交互。且本文采用視覺傳感器來輔助降落,在降落平臺上設(shè)置特征固定的引導標志,通過圖像處理技術(shù)來實現(xiàn)視覺反饋。無人機自主起降控制系統(tǒng)的整體流程如圖2 所示。
圖2 無人機自主起降控制流程Fig.2 Autonomous takeoff and landing control flow chart
當無人機接收到無人車發(fā)布的起飛指令時,無人機起轉(zhuǎn)電機并通過視覺反饋得到無人機與無人車的相對位置,當飛離無人車并距離其一定距離時,認為無人機完成了起飛任務。當無人機請求降落得到允許或者收到無人車發(fā)布的降落指令時,無人機通過當前機、車的GPS坐標計算得到與無人車的相對位置,以其為依據(jù)進行導航飛行,當?shù)竭_無人車附近時,通過攝像機搜索降落標志從而獲得更精確的相對位置,以此為反饋進行視覺引導直至降落到平臺上。
根據(jù)圖2 所示的控制流程,控制策略包括GPS 導航控制和視覺引導控制兩部分,其中,視覺引導控制部分設(shè)計了視覺伺服控制和模糊PID 控制兩種控制方法。
無人車和無人機平臺上均搭載了GPS 接收機,輸出數(shù)據(jù)為WGS-84 大地坐標系下的經(jīng)緯度信息,兩者之間的GPS 數(shù)據(jù)通過UDP 通信進行傳輸。
其GPS 信息經(jīng)過通用橫軸墨卡托投影后轉(zhuǎn)換到北東平面坐標系,分別用(x
,y
)和(x
,y)表示無人車和無人機的坐標。通過無人機上的氣壓高度計可以得到無人機相對于無人車上降落平臺的高度值,用z
表示。圖3 表示無人機與無人車的相對位置關(guān)系,其中h
軸代表無人車車頭朝向,ξ
表示無人車的航向角,即h
軸與e
軸(北向)的夾角。圖3 無人機與無人車相對位置關(guān)系圖Fig.3 The relative position relationship of UAV and UGV
如圖3 所示,以無人車上GPS 天線為原點建立北東地直角坐標系E,由氣壓高度計得到的無人機相對于降落平臺的高度為z
,無人機和無人車的相對位置在E 坐標系下的表示如式(1)所示:降落平臺安置于無人車駕駛艙后側(cè),用于視覺引導的標志固定在平臺上,為了在GPS 導航結(jié)束后便于對標志物進行視覺搜索,GPS 導航的目標點并不是E 坐標系的原點,而是位于無人車正后方的T
點。T
在E 坐標系下的坐標為d
=[d d d
],且T
到無人機的空間向量為p
。假設(shè)導航目標點T
在無人車正后方m
米處,高度為k
米處,則有如式(2)-式(3)所示:為了便于無人機控制,以無人機為起點,導航目標點為T
終點,構(gòu)建無人機與目標點的相對位置向量r
,且有r
=-p
,其在機體坐標系下的表示記為r
=-p
,其表達式如式(4)所示:在GPS 導航控制中,控制目標為使四旋翼無人機到達目標點T
,即r
=0,因此r
可被視為控制系統(tǒng)的誤差輸入。GPS 導航控制采用PID 控制器,機體坐標系下的線速度v
為控制器輸出,并且出于飛行安全和避免超調(diào)量過大的考慮,對控制量進行輸出限幅,則其控制框圖如圖4 所示。圖4 GPS 導航控制框圖Fig.4 The control block diagram of GPS navigation
s
(t
)是變化的,但是對于一個特定的引導階段,s
(t
)是固定不變的。下文針對一個特定的引導階段進行視覺伺服控制方法的討論,這樣可得如式(6)所示:設(shè)E 坐標系下一點(x
,y
,z
),在B 坐標系下的坐標表示為(X
,Y
,Z
),投影到圖像平面的像素坐標為(u
,v
),可得如式(7)所示:由于攝像機與四旋翼無人機固連,則兩者速度相同,因此點(X
,Y
,Z
)的坐標對時間t
的一階微分為如式(8)所示:可得如式(9)所示:
其中L
是(u
,v
)相關(guān)的圖像雅克比矩陣,且有如式(10)所示:進一步可得如式(11)所示:
這樣就將問題轉(zhuǎn)換成求解帶有6 個未知參數(shù)(三軸線速度和三軸角速度)的方程組,其最小二乘估計解為如式(13)所示:
在視覺伺服控制方法正式被應用到四旋翼降落控制系統(tǒng)之前,還有以下三個問題需要進行討論:(1)保證LL
滿秩;(2)計算欠驅(qū)動的四旋翼無人機系統(tǒng)伺服控制三軸的線速度和三軸的角速度;(3)估計L
矩陣中的Z
值。要確保LL
滿秩,則需滿足L
滿秩,而L
為2k
×6的矩陣,因此有k
≥3。而當k
=3 時,即選取三個特征點來構(gòu)造向量,存在L
為非奇異矩陣的可能。為保證LL
滿秩,共選取4 個共面的特征點,并且任意3 個特征點不共線。對于不同圖像特征點對應的三維空間點在B 坐標系下的Z 值估計問題,可首先通過PnP 方法可以估計出攝像機位置,即B 坐標系原點到E 坐標系原點的位置向量t
,對于E 坐標系下的一點(x
,y
,z
),可通過式(3)估計相應的Z 值。t
,且有t
=-n
,將其在B 坐標系的坐標記為t
=[t t t
],無人機機頭朝向與車頭朝向的夾角記為φ
,則在無人機降落過程中,主要需對t
、t
、t
以及φ
四個量進行控制,使其都趨近于零。將偏航角控制與線性位置控制分離,即在GPS 引導結(jié)束且搜索到降落標志后,首先對無人機偏航角進行調(diào)整,當φ
接近于零后再進行線性位置控制,這樣就可以減小無人機在降落過程中的控制難度。偏航角控制采用PI 控制器,線性位置控制采用模糊PID 控制器,如圖5 所示以t
的控制為例,表示了模糊PID 控制系統(tǒng)結(jié)構(gòu)。圖5 模糊PID 控制框圖Fig.5 The control block diagram of fuzzy PID
根據(jù)降落技術(shù)方案的設(shè)定,無人機在車的后方進行降落,則t
為負時表明在降落過程中無人機發(fā)生了超調(diào),并且很有可能會撞上駕駛艙,導致飛行事故,因此t
的負值可取范圍很小,這也是t
的量化域不對稱的原因。在建立PID 參數(shù)與輸入項的模糊規(guī)則時,需綜合考慮系統(tǒng)特性以及相關(guān)調(diào)試經(jīng)驗:在誤差較大時,應選用適中的k
,使無人機快速響應,同時選用較小的k
,取k
為零,避免此時誤差積分項過大造成超調(diào);當誤差大小中等時,選用較小的k
,使無人機減速避免超調(diào)撞車,同時取用適中的k
,較小的k
;當誤差較小時,選用較大的k
,適中的k
,以消除穩(wěn)態(tài)誤差,達到較好的穩(wěn)態(tài)效果,同時為避免較大超調(diào),選用合適的k
,避免無人機在零平衡點附近震蕩。出于安全的考慮,當誤差為負小時選用較大的k
,負大時選用極大的k
,使無人機快速向后方飛行,避免發(fā)生飛行事故。以五個模糊子集表示k
的語言變量量化域,{ZO PS PM PB PL}分別表示“零 正小 正中 正大 極大”。根據(jù)上述分析,可得參數(shù)的模糊規(guī)則表,如表1 所示。表1 模糊規(guī)則表Tab.1 The fuzzy rule of table
采用開發(fā)的地空協(xié)同系統(tǒng)進行了無人機GPS 導航實驗和視覺引導無人機自主起飛、降落實驗。視覺伺服控制方法在實際系統(tǒng)應用中,抗干擾性能較差,很容易受到外部因素的影響,如地空擾流、外界氣流等。相比于視覺伺服控制方法,模糊PID 控制器抗干擾能力較強,并且其采用降落標志的三維空間位置誤差作為反饋輸入,更加直觀,便于系統(tǒng)的調(diào)試,因此視覺引導實驗部分采用模糊PID 控制方法。
將GPS 導航從起飛、降落一體化的流程中抽離出來,在空曠的環(huán)境中,重新設(shè)計了GPS 導航實驗,對GPS 導航飛行的精度和性能進行了驗證。初始情況下,無人車靜止不動,無人機放置于地面,兩者間的直線距離約為40m。無人機在接收到GPS 導航指令后,根據(jù)接收到的無人車的GPS 位置和航向角進行解算,得到無人車在無人機機體坐標系下的坐標為(37,-16.0),根據(jù)無人車航向角及相關(guān)距離補償(GPS 接收機與降落平臺中心間的距離),計算得到導航目標點(無人車后方5m,高度4m的位置)在機體坐標系下的坐標為(32,-12.5,-4)。之后無人機自主完成平地起飛動作,并不斷更新位置誤差,根據(jù)2.1 節(jié)設(shè)計的GPS 導航控制律進行自主導航飛行。在飛行到目標點附近并對誤差進行調(diào)整使其小于一定閾值后,完成在空曠地面上的自主降落動作。
如圖6 所示對GPS 導航目標點在機體坐標系下的坐標變化進行了展示。X 軸和Y 軸方向上控制效果良好,基本沒有超調(diào),存在2m 以內(nèi)的穩(wěn)態(tài)誤差;Z 軸方向存在較大超調(diào),但這種幅度的超調(diào)量和穩(wěn)態(tài)誤差對于后續(xù)降落環(huán)節(jié)影響不大。在數(shù)據(jù)處理上,本文將Z 軸方向的數(shù)據(jù)取反,這樣表示更加直觀,易于理解。整體來看GPS導航飛行控制軌跡平滑,控制效果良好,達到了預想的控制精度要求。
圖6 GPS 導航目標點在機體坐標系下的坐標Fig.6 The coordinate of the GPS navigation target point in body coordinate system
視覺引導降落是視覺引導起飛的逆過程。視覺引導降落過程依次分為Tag1 引導和Tag16 引導兩個階段。
如圖7 所示展示了視覺引導無人機降落過程的實際效果圖。圖7(a)中,無人機在接收到降落指令后,通過Tag1標志獲得機、車相對位置,逐漸接近無人車;圖7(b)中,Tag1 和Tag16 同時出現(xiàn)在云臺相機視野中,此時切換為Tag16 引導;圖7(c)中,無人機在Tag16 引導下對水平和豎直方向上的誤差進行調(diào)整;圖7(d)中,無人機降落到處于展開狀態(tài)的平臺上,雖然降落位置與平臺中心位置有一定偏差,但在安全范圍內(nèi);圖7(e)中,降落平臺處于調(diào)整狀態(tài),并在鎖緊桿移動過程中調(diào)整無人機的位置;圖7(f)中,無人機被調(diào)整到降落平臺中心偏后位置,降落平臺處于鎖緊狀態(tài),起到保護固定無人機的作用。
圖7 無人機自主降落過程Fig.7 Autonomous landing process of the UAV
如圖8 所示展示了Tag1 引導無人機降落過程中,Tag1標志在機體坐標系下的坐標變化。無人機在1 ~6s 內(nèi)處于懸停狀態(tài),即依照起飛任務結(jié)束時的目標位置不斷調(diào)整;在第6 秒收到降落指令后,無人機在Tag1 的引導下逐漸向降落平臺靠近,當Tag1 在機體坐標系下的坐標為(2.5,0.2,2.75)時,切換為Tag16 引導。在整個Tag1引導過程中,三個方向的坐標變化平穩(wěn),沒有超調(diào)和震蕩,體現(xiàn)了良好的控制效果。
圖8 降落過程Tag1 的坐標變化Fig.8 The coordinate of Tag 1 in landing process
如圖9 所示表示了在Tag16 引導無人機降落階段,Tag16 標志在機體坐標系下的坐標變化。在零時刻,即引導階段剛發(fā)生切換時,Tag16 在機體坐標系下的坐標為(3.22,0.23,2.27),Tag1 在機體坐標系下的坐標(2.5,0.2,2.75),滿足2 個Tag 標志的相對位置關(guān)系。在整個Tag16引導降落階段,三個方向的坐標變化都比較平穩(wěn),并且Z 軸坐標表現(xiàn)出階段性下降的特點。在第10s 時,無人機完成降落,之后Tag16 的坐標不再發(fā)生變化。
圖9 降落過程Tag16 的坐標變化Fig.9 The coordinate of Tag 16 in landing process
如圖10 所示展示了無人機在XZ 平面內(nèi)的運動軌跡。通過平面軌跡可以發(fā)現(xiàn),與Tag16 引導起飛的過程類似,其引導降落過程也分為兩個階段。首先,控制無人機在水平方向上逐漸接近降落平臺,并快速降低高度,使其距離平臺高度為0.7m(則Tag16 的Z 軸方向坐標為0.35m)。接著在這個高度范圍內(nèi),對無人機的水平誤差進行調(diào)整,直至達到安全降落范圍進而垂直降落。
圖10 Tag16 引導降落過程中無人機運動軌跡Fig.10 The movement trajectory of UAV in landing process by Tag16 guidance
本文針對無人機在無人車上的自主降落問題進行研究,提出了一套完整的主要基于GPS 和視覺傳感器的解決方案,是實現(xiàn)無人系統(tǒng)地空協(xié)同的前提和重要保障,具有重要的實際應用價值與理論意義。針對視覺引導無人機起降問題,提出了視覺伺服控制和模糊PID 控制兩種導航方法,進行了無人機自主起飛降落試驗,取得了良好的控制效果,完成了四旋翼無人機在靜止的無人車上自主起飛、降落的功能。結(jié)合現(xiàn)階段研究成果,還有以下工作可以深入開展,無人機在移動地面無人平臺上起飛降落的研究、無人機在地空協(xié)同中的作業(yè)任務研究等。
引用
[1] 王程,倪旖,李亮,等.針對小型商業(yè)無人機的預警技術(shù)發(fā)展現(xiàn)狀與思考[J].空天防御,2021,4(1):83-90.
[2] BI Y C,DUAN H B.Implementation of Autonomous Visual Tracking and Landing for a Low-cost Quadrotor[J].Optik-International Journal for Light and Electron Optics,2013,124(18):3296-3300.
[3] LIPPIELLO V,MEBARKI R,RUGGIERO F.Visual Coordinated Landing of a UAV on a Mobile Robot Manipulator[C]//2013 IEEE International Symposium on Safety,Security,and Rescue Robotics(SSRR). IEEE,2013:1-7.
[4] SASKA M,KRAJNIK T,PFEUCIL L.Cooperative μUAV-UGV Autonomous Indoor Surveillance[C]//Systems,Signals and Devices (SSD),2012 9th International Multi-Conference on.IEEE,2012:1-6.
[5] XU G L,ZHANG Y,JI S Y,et al.Research on Computer Visionbased for UAV Autonomous Landing on a Ship[J].Pattern Recognition Letters,2009,30(6):600-605.
[6] YAKIMENKO O A,KAMINERI I,LENTZ W J,et al. Unmanned AircraftNavigation for Shipboard Landing Using Infrared Vision[J].Aerospace&Electronic Systems IEEE Transactions on, 2002,38(4):1181-1200.
[7] COUTARD L,CHAUMETTE F.Visual Detection and 3D Model-based Tracking for Landing on an Aircraft Carrier[C]//Robotics and Automation(ICRA),2011 IEEE International Conference on.IEEE,2011:1746-1751.
[8] COUTARD L,CHAUMETTE F,PFLIMLINJ M.Automatic Landing on Aircraft Carrier by Visual Servoing[C]//2011 IEEE/RSJ International Conference on Intelligent Robots and Systems.IEEE, 2011:2843-2848.
[9] HERISSE B,HAMEL T,MAHONY R,et al.Landing a VTOL Unmanned Aerial Vehicle on a Moving Platform Using Optical Flow[J].IEEE Transactions on Robotics,2012,28(1):77-89.
[10] KONG W W,ZHANG D B,WANG X,et al.Autonomous Landing of an UAV with a Ground-based Actuated Infrared Stereo Vision System[C]//2013 IEEE/RSJ International Conference on Intelligent Robots and Systems.IEEE,2013:2963-2970.
[11] YANG S W,SCHERER S A,ZELL A.An Onboard Monocular Vision System for Autonomous Takeoff,Hovering and Landing of a Micro Aerial Vehicle[J].Journal of Intelligent and Robotic Systems, 2013,69(1-4):499-515.
[12] YU Y S,DING X L.Safe Landing Analysis of a Quadrotor Qircraft with two Legs[J].Journal of Intelligent and Robotic Systems, 2014,76(3-4):527-537.
[13] Pedro J Garcia-Pardo,Gaurav S Sukhatme,James F Montgomery.Towards vision-based Safe Landing for an Autonomous Helicopter[J]. Robotics and Autonomous Systems,2002,38(1):19-29.
[14] CESETTI A,FRONTONI E,MANCINI A,et al.A Vision-Based Guidance System for UAV Navigation and Safe Landing using Natural Landmarks[J].Journal of Intelligent&Robotic Systems, 2010,57(1-4):233-257.
[15] THURROWGOOD S,MOORE R J D,SOCCOL D,et al.A Biologically Inspired, Vision-based Guidance System for Automatic Landing of a Fixed-wing Aircraft[J].Journal of Field Robotics,2014, 31(4):699-727.
[16] TEMPLETON T,SHIM D H,GEYER C,et al.Autonomous Vision-based Landing and Terrain Mapping using an MPC-controlled Unmanned Rotorcraft[C]//Proceedings of 2007 IEEE International Conference on Robotics and Automation.IEEE,2007:1349-1356.
[17] 吳鵬飛,石然,易志坤,等.基于改進型神經(jīng)網(wǎng)絡PID算法的太陽翼α驅(qū)動控制技術(shù)[J].空天防御,2018,1(4):8-17.