張紅良,郭鵬宇

(國(guó)防科學(xué)技術(shù)大學(xué)航天科學(xué)與工程學(xué)院,長(zhǎng)沙 410073)

基于跑道的視覺(jué)導(dǎo)航信息分析*

張紅良,郭鵬宇

(國(guó)防科學(xué)技術(shù)大學(xué)航天科學(xué)與工程學(xué)院,長(zhǎng)沙 410073)

基于跑道的視覺(jué)導(dǎo)航廣泛用于無(wú)人機(jī)自主著陸等場(chǎng)合。文中從信息的角度,分析了視覺(jué)導(dǎo)航中跑道邊緣線、地平線和跑道橫向控制線提供的姿態(tài)和位置導(dǎo)航信息,推導(dǎo)并證明了兩個(gè)基本結(jié)論:已知寬度的跑道邊緣線可以提供兩個(gè)姿態(tài)和兩個(gè)位置信息;地平線和跑道橫向控制線可以完善姿態(tài)和位置信息。文中的研究對(duì)于進(jìn)行基于跑道的視覺(jué)導(dǎo)航算法設(shè)計(jì)、精度分析和組合導(dǎo)航可觀性分析等具有理論價(jià)值。

視覺(jué)導(dǎo)航;跑道;地平線;無(wú)人機(jī)著陸

0 引言

無(wú)人機(jī)近年來(lái)成為研究和應(yīng)用的熱點(diǎn),自主著陸是無(wú)人機(jī)自動(dòng)化智能化的關(guān)鍵環(huán)節(jié),基于視覺(jué)的無(wú)人機(jī)自主著陸技術(shù)受到持續(xù)的關(guān)注和研究[1-9]?；谝曈X(jué)的著陸技術(shù)利用機(jī)載視覺(jué)傳感器對(duì)跑道或著陸區(qū)域成像,通過(guò)圖像分析,利用視覺(jué)導(dǎo)航或組合導(dǎo)航計(jì)算無(wú)人機(jī)的位置、姿態(tài)等參數(shù)。從用于著陸導(dǎo)航的視覺(jué)信息看,基于視覺(jué)的著陸技術(shù)主要分為兩類:一類視覺(jué)導(dǎo)航信息來(lái)源于在著陸場(chǎng)或跑道布設(shè)合作特征點(diǎn)或特征結(jié)構(gòu)[1,3,5-8];另一類視覺(jué)導(dǎo)航信息直接來(lái)源于跑道邊緣或地平線[2,4,10-11]?；谂艿肋吘壔虻仄骄€等信息的視覺(jué)著陸方法無(wú)需人工特定設(shè)置合作特征物,具有更廣泛的適用性,可用于一般跑道,并可擴(kuò)展至在高速公路上的著陸場(chǎng)合或基于跑道燈光的著陸場(chǎng)合[12]。

不同于已有文獻(xiàn)基于跑道的無(wú)人機(jī)著陸視覺(jué)導(dǎo)航具體算法[2,4,10-11]的設(shè)計(jì),文中立足于分析無(wú)人機(jī)著陸中跑道(地平線)能夠提供的視覺(jué)信息,從理論上推導(dǎo)跑道方向、跑道寬度、地平線和跑道橫向控制線對(duì)視覺(jué)系統(tǒng)姿態(tài)和位置的約束關(guān)系。文中的研究對(duì)于進(jìn)行基于跑道的視覺(jué)導(dǎo)航算法設(shè)計(jì)、精度分析和導(dǎo)航可觀性分析等具有理論價(jià)值。

1 坐標(biāo)系描述

為便于后面的描述,不失一般性,首先對(duì)相關(guān)坐標(biāo)系進(jìn)行定義和描述。

定義跑道坐標(biāo)系(W系)為:原點(diǎn)OW在跑道中心線上,XW軸沿跑道方向,YW軸沿高度方向(向上為正),ZW軸指向跑道側(cè)向(以右手直角坐標(biāo)系確定正向)。

(1)

其中:Fx、Fy為視覺(jué)傳感器的等效焦距;Cx、Cy為視覺(jué)傳感器的像面主點(diǎn),對(duì)于已標(biāo)定視覺(jué)傳感器,Fx、Fy、Cx和Cy都為已知量。

(2)

2 跑道邊緣線視覺(jué)導(dǎo)航信息分析

對(duì)視覺(jué)導(dǎo)航來(lái)說(shuō),跑道的信息主要體現(xiàn)在跑道方向和跑道寬度上,下面從這兩個(gè)方面分別分析,最后總結(jié)相關(guān)結(jié)論。

2.1 跑道方向提供的姿態(tài)導(dǎo)航信息

如圖1所示,兩條平行的跑道邊緣線L1和L2成像為l1和l2,根據(jù)小孔成像原理,視覺(jué)系統(tǒng)斜視跑道時(shí)l1和l2不平行,延長(zhǎng)線相交于點(diǎn)Vp,點(diǎn)Vp稱為邊緣線圖像的消隱點(diǎn)(vanishing point)。由于物理空間的跑道邊緣線平行,消隱點(diǎn)對(duì)應(yīng)跑道坐標(biāo)系XW軸方向無(wú)窮遠(yuǎn)處點(diǎn)的像,光心到消隱點(diǎn)的連線矢量與跑道坐標(biāo)系XW軸方向平行:OCVp∥XW,其單位矢量在跑道坐標(biāo)系內(nèi)可表示為:

(3)

圖1 視覺(jué)系統(tǒng)對(duì)跑道成像示意圖

(4)

(5)

原理上,根據(jù)式(3)～式(5)可以確定俯仰角和偏航角姿態(tài)導(dǎo)航信息(繞跑道坐標(biāo)系XW軸旋轉(zhuǎn)角即滾轉(zhuǎn)角無(wú)法確定)。

不失一般性,下面利用一種姿態(tài)角定義方法給出證明。在無(wú)人機(jī)著陸導(dǎo)航過(guò)程中,滾轉(zhuǎn)角、俯仰角和偏航角一般定義為無(wú)人機(jī)體相對(duì)于跑道坐標(biāo)系的姿態(tài)。為方便推導(dǎo),假設(shè)視覺(jué)系統(tǒng)的光軸(ZC軸)與無(wú)人機(jī)機(jī)頭方向一致,YC軸垂直機(jī)身向上,XC在機(jī)身平面內(nèi)指向左側(cè),則跑道坐標(biāo)系按Y-Z-X-Y(2-3-1-2)順序依次旋轉(zhuǎn)偏航角φ、俯仰角θ、滾轉(zhuǎn)角γ和90°后與視覺(jué)測(cè)量坐標(biāo)系重合,視覺(jué)測(cè)量系統(tǒng)姿態(tài)矩陣為:

(6)

將式(3)、式(4)和式(6)代入式(5),整理可得:

(7)

若滾轉(zhuǎn)角γ已知,則可以求解出俯仰角θ和偏航角φ。即根據(jù)跑道方向(跑道邊緣圖像消隱點(diǎn))可以確定俯仰角和偏航角信息。

因此,跑道方向可以提供俯仰角和偏航角姿態(tài)導(dǎo)航信息。

2.2 跑道寬度提供的位置導(dǎo)航信息

如圖2所示,設(shè)跑道寬度為2Z0,則兩條跑道邊緣線方程在跑道坐標(biāo)系(W系)內(nèi)的表示為

(8)

圖2 跑道邊緣線對(duì)位置的約束

則視覺(jué)系統(tǒng)光心和跑道邊緣線L1和L2組成的平面方程在跑道坐標(biāo)系內(nèi)滿足方程:

(9)

式中m1、n1、m2、n2為待定參數(shù)。式(9)也可寫成:

(10)

式中i=1,2,且s1=n1Z0,s2=-n2Z0。

根據(jù)跑道邊緣線在圖像上的直線(圖2中l(wèi)1和l2)可擬合出其直線方程分別為:

li:v=kiu+di,i=1,2

(11)

式中ki、di(i=1,2)為擬合參數(shù)。

設(shè)視覺(jué)系統(tǒng)光心與圖像直線l1和l2組成平面(等同于光心和跑道邊緣線L1和L2組成的平面)在視覺(jué)測(cè)量坐標(biāo)系(C系)中滿足方程(像機(jī)光心為視覺(jué)測(cè)量坐標(biāo)系原點(diǎn),因此方程無(wú)常數(shù)項(xiàng)):

i=1,2

(12)

式中ai、bi、ci(i=1,2)為待定參數(shù)。

13)

這些單位矢量都在光心與圖像直線l1和l2組成平面上,即滿足式(12)。將式(13)代入式(12),化簡(jiǎn)可得:

(14)

式(14)對(duì)任意u都成立,因此:

(15)

式中ai、bi、ci為未知數(shù)。

由于式(12)等號(hào)右邊為0,因此可以令bi=-Fy,代入式(15),求得ai、ci:

(16)

即根據(jù)跑道邊緣線的圖像可以確定光心和跑道邊緣線組成平面方程在視覺(jué)測(cè)量坐標(biāo)系內(nèi)的表示。

借助式(2),將式(12)表示的平面轉(zhuǎn)換到跑道坐標(biāo)系(W系)內(nèi)表示為:

i=1,2

(17)

i=1,2

(18)

(19)

因此可以求得視覺(jué)測(cè)量系統(tǒng)位置的Y和Z分量,即利用跑道寬度可以提供高度(YW向)和偏離跑道中心線方向(ZW向)位置導(dǎo)航信息。

需要注意的是,在根據(jù)以上原理設(shè)計(jì)算法時(shí)需要考慮跑道邊緣線圖像l1和l2與YC軸近似平行情況,此時(shí)的l1和l2直線方程應(yīng)該擬合成u=kiv+di(i=1,2)形式,相應(yīng)的求解具體形式可以類似推導(dǎo)。

因此,已知姿態(tài)前提下,跑道寬度可以提供高度(YW向)和偏離跑道中心線方向(ZW向)位置導(dǎo)航信息。

從物理內(nèi)涵上講,上述結(jié)論不難理解。如圖2所示,已知姿態(tài)前提下,可以確定視覺(jué)系統(tǒng)光心與跑道邊緣線組成的兩個(gè)平面,該兩個(gè)平面的交線與跑道方向平行,確定了光心在高度方向(YW向)和跑道側(cè)向(ZW向)的兩個(gè)位置約束。

由2.1、2.2部分的分析,可以得到如下結(jié)論:

結(jié)論1:已知寬度的跑道邊緣線可以提供如下姿態(tài)和位置視覺(jué)導(dǎo)航信息:俯仰角、偏航角、高度(YW向)和偏離跑道中心線方向(ZW向)位置。

3 地平線和跑道橫向控制線視覺(jué)導(dǎo)航信息分析

由第2部分的分析可知,跑道邊緣線提供的姿態(tài)和位置視覺(jué)導(dǎo)航信息都不完備,在實(shí)際應(yīng)用中可進(jìn)一步利用地平線和跑道橫向控制線完善導(dǎo)航信息。

圖3 地平線和跑道橫向控制線成像示意圖

3.1 地平線提供的姿態(tài)導(dǎo)航信息

若能夠提取出視覺(jué)圖像中的地平線,則可以以此確定視覺(jué)系統(tǒng)的滾轉(zhuǎn)角和俯仰角。

假設(shè)地平線圖像方程為:

v=k3u+d3

(20)

類似2.2部分的分析,可以得到光心與地平線確定的平面在跑道坐標(biāo)系內(nèi)的表示:

(21)

其中a3=k3Fx,b3=-Fy,c3=k3Cx-Cy+d3。

由于地平線在無(wú)窮遠(yuǎn)處,因此光心與地平線確定的平面方程(21)等價(jià)于如下方程:

m3yW+n3=0

(22)

因此有:

(23)

將姿態(tài)矩陣變換到等號(hào)右邊,并寫成單位向量的形式:

(24)

姿態(tài)矩陣仍按照2.1部分式(6)定義,則有:

(25)

由此可以求解出滾轉(zhuǎn)角γ和俯仰角θ。

3.2 跑道橫向控制線提供的姿態(tài)和位置導(dǎo)航信息

跑道橫向控制線指跑道平面內(nèi)垂直于跑道方向的特征線(如跑道底邊、跑道進(jìn)近橫排燈線),其對(duì)應(yīng)的XW坐標(biāo)已知,控制線方程表示為:

(26)

假設(shè)跑道橫向控制線對(duì)應(yīng)圖像直線的方程為:

v=k4u+d4

(27)

類似2.2部分的分析,可以得到視覺(jué)系統(tǒng)光心與跑道橫向控制線確定的平面在跑道坐標(biāo)系內(nèi)的表示為:

(28)

其中a4=k4Fx,b4=-Fy,c4=k4Cx-Cy+d4。

根據(jù)跑道橫向控制線方程(26),包含視覺(jué)系統(tǒng)光心和跑道橫向控制線的平面在跑道坐標(biāo)系的表示滿足:

m4(xW-X0)+n4yW=0

(29)

其中m4和n4為待定系數(shù)。式(29)與方程(28)等價(jià),因此:

(30)

1)跑道橫向控制線提供的姿態(tài)信息

將式(6)代入式(30)的第三個(gè)等式可得:

(31)

由于跑道邊緣線消隱點(diǎn)可以提供俯仰角θ和偏航角φ信息,再結(jié)合式(31),可以求解出滾轉(zhuǎn)角γ。

2)跑道橫向控制線提供的位置信息

由3.1、3.2部分的分析,可以得到如下結(jié)論:

結(jié)論2:地平線可以提供視覺(jué)滾轉(zhuǎn)角和俯仰角導(dǎo)航信息;跑道橫向控制線可以提供滾轉(zhuǎn)角和跑道方向位置信息。

4 結(jié)論

文中針對(duì)基于跑道信息的無(wú)人機(jī)視覺(jué)著陸問(wèn)題開展研究。不同于已有文獻(xiàn)具體算法的設(shè)計(jì),文中立足于從理論上分析無(wú)人機(jī)著陸中跑道能夠提供的視覺(jué)信息,得到兩個(gè)基本結(jié)論:

1)已知寬度的跑道邊緣線可以提供如下姿態(tài)和位置視覺(jué)導(dǎo)航信息:俯仰角、偏航角、高度(YW向)和偏離跑道中心線方向(ZW向)位置。

2)地平線可以提供視覺(jué)滾轉(zhuǎn)角和俯仰角導(dǎo)航信息;跑道橫向控制線可以提供滾轉(zhuǎn)角和跑道方向位置信息。

文中的研究對(duì)于進(jìn)行基于跑道的視覺(jué)導(dǎo)航算法設(shè)計(jì)、精度分析和導(dǎo)航可觀性分析等具有理論價(jià)值。

[1] SHARP C S, SHAKERNIA O, SASTRY S S. A vision system for landing an unmanned aerial vehicle [C]∥Proceedings of the 2001 IEEE International Conference on Robotics and Automation, 2001: 1720-1727.

[2] SASA S, GOMI H, NINOMIYA T,et al. Position and attitude estimation using image processing of runway: AIAA 2000-0301 [R]. 2000.

[3] 白亮, 陳袱, 膝科嘉. 計(jì)算機(jī)視覺(jué)輔助無(wú)人機(jī)自主著陸系統(tǒng) [J]. 彈箭與制導(dǎo)學(xué)報(bào), 2006, 26(2): 320-321.

[4] 張小苗. 機(jī)載視覺(jué)著陸導(dǎo)航測(cè)量方法及關(guān)鍵技術(shù)研究 [D]. 長(zhǎng)沙: 國(guó)防科學(xué)技術(shù)大學(xué), 2008: 129-150.

[5] 張廣軍, 周富強(qiáng). 基于雙圓特征的無(wú)人機(jī)著陸位置姿態(tài)視覺(jué)測(cè)量方法 [J]. 航空學(xué)報(bào), 2005, 26(3): 344-348.

[6] 蔡鳴, 孫秀霞, 徐嵩. 視覺(jué)技術(shù)輔助的無(wú)人機(jī)自主著陸組合導(dǎo)航研究 [J]. 應(yīng)用光學(xué), 2015, 36(3): 343-350.

[7] 徐貴力, 倪立學(xué), 程月華. 基于合作目標(biāo)和視覺(jué)的無(wú)人飛行器全天候自動(dòng)著陸導(dǎo)引關(guān)鍵技術(shù) [J]. 航空學(xué)報(bào), 2008, 29(2): 437-482.

[8] GUI Y, GUO P Y, ZHANG H L, et al. Airborne vision-based navigation method for UAV accuracy landing using infrared lamps [J]. Journal of Intelligent & Robotic Systems, 2013, 72(2): 197-218.

[9] ZHOU X, LEI Z H, YU Q F, et al. Videometric terminal guidance method and system for UAV accurate landing [C]∥Proc. SPIE 8387, Unmanned Systems Technobgy XIV，2012.

[10] 朱楓, 劉昶, 吳清瀟. 視覺(jué)約束下無(wú)人機(jī)位姿參數(shù)的后驗(yàn)估計(jì) [J]. 機(jī)器人, 2012, 34(4): 424-431.

[11] 莊麗葵, 丁萌, 曹云峰. 利用地平線與跑道邊緣線估計(jì)無(wú)人機(jī)著陸參數(shù) [J]. 傳感器與微系統(tǒng), 2010, 29(3): 104-108.

[12] 李飛, 譚樂(lè)祖, 唐亮. 基于跑道燈光的計(jì)算機(jī)視覺(jué)輔助無(wú)人機(jī)著陸 [J]. 兵工自動(dòng)化, 2012, 31(1): 11-13.

Information Analysis of Vision Navigation Based on Runway

ZHANG Hongliang,GUO Pengyu

(College of Aerospace Science and Engineering, National University of Defense Technology, Changsha 410073, China)

Vision navigation based on runway is a common application in landing an unmanned aerial vehicle (UAV). From the information point in vision navigation, observability of UAV attitude and position knowing edges of runway, horizon and transverse runway line were analyzed. Two conclusions about visual navigation information were deduced. It is proved that yaw, pitch, altitude and sideways position can be calculated by viewing edges of the runway known width, and with additionally viewing the horizon and the transverse runway line, complete attitude and position can be known. The research can be theoretically referred by method design, precision analysis and observability analysis of visual navigation based on runway.

vision navigation; runway; horizon; UAV landing

2015-10-12基金項(xiàng)目:國(guó)家自然科學(xué)基金(11272347)資助

張紅良(1981-),男,江蘇沛縣人,講師,博士,研究方向:攝像測(cè)量、視覺(jué)導(dǎo)航、慣性導(dǎo)航。

V249

A