李 強(qiáng)，莊麗葵，曹云峰，丁 萌

(南京航空航天大學(xué)自動(dòng)化學(xué)院，南京210016)

基于視覺(jué)的自主著陸技術(shù)是近年來(lái)無(wú)人機(jī)導(dǎo)航、制導(dǎo)與控制(guidance navigation＆ control，GNC)領(lǐng)域的研究熱點(diǎn)［1－3］，但在實(shí)際的研究過(guò)程中都將視覺(jué)導(dǎo)航、制導(dǎo)、控制三大系統(tǒng)分離出來(lái)單獨(dú)研究，主要原因是現(xiàn)有的視覺(jué)導(dǎo)航技術(shù)的魯棒性和實(shí)時(shí)性有待提高，其與制導(dǎo)、控制模塊的匹配能力有待加強(qiáng)，還無(wú)法實(shí)現(xiàn)在線閉環(huán)實(shí)驗(yàn).現(xiàn)有的GNC系統(tǒng)的仿真手段對(duì)于視覺(jué)導(dǎo)航研究存在嚴(yán)重的不足，如無(wú)法獲得實(shí)時(shí)更新的著陸場(chǎng)景圖像［4－5］.因此開(kāi)發(fā)能夠?qū)崿F(xiàn)三大系統(tǒng)閉環(huán)仿真的實(shí)驗(yàn)手段非常重要，且意義重大.

本課題來(lái)源于實(shí)際項(xiàng)目，要求演示一架大型固定翼無(wú)人機(jī)從距已知跑道較遠(yuǎn)處開(kāi)啟視覺(jué)導(dǎo)引器導(dǎo)引著陸.由于種種原因，很難使用實(shí)際的大型無(wú)人機(jī)進(jìn)行實(shí)驗(yàn)驗(yàn)證，因此有必要構(gòu)建一個(gè)能夠?qū)σ曈X(jué)著陸算法進(jìn)行驗(yàn)證的仿真系統(tǒng)，利用這一仿真系統(tǒng)進(jìn)行無(wú)人機(jī)著陸過(guò)程中航跡規(guī)劃、飛行控制、著陸控制、視覺(jué)導(dǎo)引等的研究開(kāi)發(fā)與驗(yàn)證演示.

基于上述目的，本文研究了一種基于 Flightgear［6］和Matlab的面向固定翼無(wú)人機(jī)的視覺(jué)導(dǎo)引仿真系統(tǒng)，該仿真平臺(tái)的基本配置是由3臺(tái)計(jì)算機(jī)組成的局域網(wǎng)，3臺(tái)計(jì)算機(jī)分別負(fù)責(zé)無(wú)人機(jī)的動(dòng)力學(xué)模型與控制算法解算，基于FlightGear的著陸視景生成，視覺(jué)導(dǎo)引算法運(yùn)行.3臺(tái)計(jì)算機(jī)協(xié)作完成包含視覺(jué)算法的無(wú)人機(jī)GNC閉環(huán)仿真系統(tǒng).其中著陸實(shí)時(shí)畫面由Flightgear內(nèi)的OpenGL模塊渲染生成，并通過(guò)HDMI視頻采集卡實(shí)時(shí)采集抓取，解決了著陸場(chǎng)景圖像生成及與視覺(jué)算法交互的問(wèn)題.本系統(tǒng)的功能主要包括:

1)引入視覺(jué)信息的無(wú)人機(jī)飛行控制導(dǎo)引算法開(kāi)發(fā)與驗(yàn)證，如控制架構(gòu)設(shè)計(jì)、控制律設(shè)計(jì)等;

2)引入視覺(jué)信息的無(wú)人機(jī)自主著陸導(dǎo)引算法開(kāi)發(fā)與驗(yàn)證，如航跡規(guī)劃技術(shù)、航跡最優(yōu)技術(shù)、航跡跟蹤技術(shù)等;

3)引入視覺(jué)信息的無(wú)人機(jī)自主著陸任務(wù)管理策略開(kāi)發(fā)與驗(yàn)證，如多層次著陸任務(wù)規(guī)劃方法研究;

4)視覺(jué)導(dǎo)航算法開(kāi)發(fā)與驗(yàn)證.

1 仿真系統(tǒng)方案設(shè)計(jì)

1.1 仿真系統(tǒng)原理框圖

本仿真系統(tǒng)實(shí)現(xiàn)了Matlab和FlightGear聯(lián)動(dòng)的平臺(tái)交互式仿真，并且能有效融合視覺(jué)導(dǎo)引系統(tǒng)的信息，最終完成基于視覺(jué)的自主著陸閉環(huán)仿真系統(tǒng).為實(shí)現(xiàn)模塊化開(kāi)發(fā)，系統(tǒng)分為3個(gè)子系統(tǒng):自主著陸控制系統(tǒng)(簡(jiǎn)稱控制機(jī));可視化視景仿真演示系統(tǒng)(簡(jiǎn)稱視景機(jī));視覺(jué)導(dǎo)引系統(tǒng)(簡(jiǎn)稱視覺(jué)機(jī)).

3個(gè)子系統(tǒng)分別獨(dú)立運(yùn)行在3臺(tái)高性能計(jì)算機(jī)上，并通過(guò)網(wǎng)絡(luò)通訊實(shí)現(xiàn)控制閉環(huán).為了仿真出真實(shí)攝像頭視角的圖像，視景機(jī)使用了Flightgear，F(xiàn)lightgear利用OpenGL渲染出逼真的影像數(shù)據(jù)，數(shù)據(jù)傳輸?shù)紿DMI接口后能被視覺(jué)機(jī)上安裝的HDMI視頻卡采集到.仿真系統(tǒng)的數(shù)據(jù)流為:①控制機(jī)負(fù)責(zé)實(shí)時(shí)著陸軌跡生成、航跡控制、飛行姿態(tài)控制和飛機(jī)動(dòng)態(tài)模型的更新，輸出飛機(jī)實(shí)時(shí)位姿數(shù)據(jù)到視景機(jī);②視景機(jī)的Flightgear依據(jù)位姿數(shù)據(jù)更新飛機(jī)的狀態(tài)，即刷新了虛擬攝像頭的畫面;③視覺(jué)機(jī)采集視覺(jué)信號(hào)進(jìn)行分析解算，輸出當(dāng)前飛機(jī)導(dǎo)航參數(shù)到控制機(jī);④轉(zhuǎn)入①，形成閉環(huán).

仿真系統(tǒng)各子系統(tǒng)通過(guò)局域網(wǎng)連接，邏輯上是環(huán)形連接形式，物理上使用星形網(wǎng)絡(luò)連接形式.3個(gè)子系統(tǒng)間所有信息可實(shí)現(xiàn)共享，比如視景機(jī)會(huì)把飛機(jī)位置的真值共享給視覺(jué)機(jī)，視覺(jué)機(jī)依據(jù)此真值驗(yàn)證其視覺(jué)識(shí)別，解算出飛機(jī)位置的準(zhǔn)確性和魯棒性等.

1.2 自主著陸控制系統(tǒng)

控制機(jī)通過(guò)傳感器模型獲取控制所需要的反饋信息，從視覺(jué)導(dǎo)引系統(tǒng)中獲得飛機(jī)的位置信息來(lái)控制飛機(jī)(數(shù)學(xué)模型)按照在線實(shí)時(shí)生成的著陸軌跡完成基于視覺(jué)的自主著陸，并將無(wú)人機(jī)的位姿信息發(fā)給視景機(jī).此子系統(tǒng)單獨(dú)運(yùn)行在一臺(tái)計(jì)算機(jī)上的Simulink平臺(tái)上，主要包括:航跡規(guī)劃模塊;飛行控制器模塊;飛機(jī)模型模塊;傳感器模型模塊.

1.3 可視化視景仿真演示系統(tǒng)

視景機(jī)專門運(yùn)行Flightgear，它接受控制機(jī)的位姿指令實(shí)時(shí)刷新視景，其內(nèi)置的OpenGL模塊能渲染出逼真的視景畫，視景數(shù)據(jù)實(shí)時(shí)傳輸?shù)紿DMI接口，通過(guò)HDMI線纜傳輸?shù)揭曈X(jué)機(jī).為模擬出真實(shí)的攝像頭視角的畫面，F(xiàn)lightGear被重新定制，定制的內(nèi)容有:

1)設(shè)置使用外部數(shù)學(xué)模型，即由外部程序控制其視景顯示的內(nèi)容;

2)制定通信協(xié)議，通過(guò)UDP方式將飛機(jī)狀態(tài)數(shù)據(jù)共享到網(wǎng)絡(luò)中;

3)設(shè)定目標(biāo)跑道(機(jī)場(chǎng))，并在目標(biāo)跑道周邊放置合作目標(biāo);

4)配置攝像頭視角，包括攝像頭在飛機(jī)上的位置，光軸方向，云臺(tái)控制，像面尺寸，焦距以及單目雙目等;

5)配置環(huán)境信息，如光照、氣象等.

1.4 視覺(jué)導(dǎo)引系統(tǒng)

視覺(jué)機(jī)主要由著陸跑道檢測(cè)識(shí)別與跟蹤、基于視覺(jué)的運(yùn)動(dòng)參數(shù)估計(jì)兩大模塊組成.視覺(jué)處理機(jī)對(duì)HDMI采集卡采集到的實(shí)時(shí)圖像進(jìn)行處理分析，解算出飛機(jī)相對(duì)于目標(biāo)跑道的位置信息，將結(jié)果發(fā)給控制機(jī).

2 仿真系統(tǒng)的建立

仿真系統(tǒng)的建立包括硬件和軟件，軟件包括應(yīng)用軟件的安裝、配置和仿真控制程序、視覺(jué)算法程序等，其中Flightgear的配置(定制)是系統(tǒng)建立的關(guān)鍵.硬件方面需要準(zhǔn)備3臺(tái)計(jì)算機(jī)，1臺(tái)路由器，UB189 HDMI采集卡和必要的連接線纜.應(yīng)盡量使用性能高的計(jì)算機(jī)來(lái)組建仿真系統(tǒng)，視景機(jī)的顯卡應(yīng)支持HDMI接口，視覺(jué)機(jī)應(yīng)支持PCI－E接口(用于安裝采集卡).

應(yīng)用軟件方面需要在控制機(jī)和視覺(jué)機(jī)上安裝Matlab，在視景機(jī)上安裝Flightgear.Flightgear用于渲染攝像頭視角的畫面，需要配置其使用外部數(shù)據(jù)驅(qū)動(dòng)飛機(jī)模型，并配置畫面的尺寸和視場(chǎng)角的大小.視覺(jué)機(jī)需要安裝采集卡驅(qū)動(dòng)包，并在Matlab中要啟動(dòng)對(duì)應(yīng)的支持包，否則圖像不能正確讀取.

2.1 控制機(jī)

控制機(jī)負(fù)責(zé)控制算法和模型迭代運(yùn)算，其程序結(jié)構(gòu)如圖3所示，其中的飛機(jī)模型和傳感器模型改自F－16高仿真模型［7］，課題組自行開(kāi)發(fā)了飛行控制器模塊和航跡規(guī)劃與控制模塊.飛機(jī)觸地后視覺(jué)機(jī)只提供相對(duì)于跑道中心線的側(cè)偏距信息，且整個(gè)過(guò)程中飛機(jī)的姿態(tài)和航向由IMU傳感器(在控制機(jī)的傳感器模型中)提供.

2.2 視景機(jī)

項(xiàng)目前期主要驗(yàn)證航跡規(guī)劃和航跡跟蹤控制算法，因而降低了跑道識(shí)別和跟蹤的難度，通過(guò)編輯視景機(jī)Flightgear的地景數(shù)據(jù)庫(kù)可精確“放置”如圖4中的合作目標(biāo)以便于識(shí)別跑道，視覺(jué)機(jī)通過(guò)檢測(cè)4個(gè)色塊來(lái)解算飛機(jī)相對(duì)于跑道的位置.

2.3 視覺(jué)機(jī)

可以簡(jiǎn)化視覺(jué)機(jī)的任務(wù)為合作目標(biāo)搜索及飛機(jī)位置解算［8］.分別編寫 VisionSearch 和 uv2xyz［9］2 個(gè)函數(shù)(圖5)，VisionSearch函數(shù)負(fù)責(zé)從圖像中找到4個(gè)色塊的中心位置的像素坐標(biāo)，uv2xyz函數(shù)利用這4個(gè)坐標(biāo)值，用正交迭代的方法計(jì)算出旋轉(zhuǎn)矩陣R和平移向量T，進(jìn)而得到相機(jī)在跑道坐標(biāo)系中的坐標(biāo)(即飛機(jī)的坐標(biāo)).

2.4 虛擬攝像頭標(biāo)定

為了從視覺(jué)信息中解算出飛機(jī)的運(yùn)動(dòng)參數(shù)，需要對(duì)Flightgear的攝像頭內(nèi)參數(shù)進(jìn)行標(biāo)定，虛擬攝像頭的標(biāo)定原理與實(shí)物攝像頭的完全相同，可以采用張正友［10］的標(biāo)定方法，利用 Matlab的 CameraCalibrator［11］工具箱進(jìn)行標(biāo)定，先在 Flightgear地景中放置棋盤格標(biāo)定板，手動(dòng)操縱飛機(jī)到不同的位置，對(duì)標(biāo)定板進(jìn)行拍照，用標(biāo)定工具箱對(duì)得到的圖像樣本進(jìn)行標(biāo)定(如圖6)，得到內(nèi)參數(shù)矩陣 M=［1109，0，640.5;0，1109，360.5;0，0，1］.

2.5 聯(lián)網(wǎng)配置

3臺(tái)計(jì)算機(jī)分別運(yùn)行3個(gè)子系統(tǒng)，通過(guò)組網(wǎng)實(shí)現(xiàn)高速實(shí)時(shí)的數(shù)據(jù)交互，完成分布式聯(lián)合仿真.為了避免數(shù)據(jù)延遲，采用局域網(wǎng)UDP協(xié)議進(jìn)行通訊，并保持局域網(wǎng)內(nèi)只有這3臺(tái)計(jì)算機(jī).組網(wǎng)的地址分配和端口分配如圖7所示，3個(gè)子系統(tǒng)的程序嚴(yán)格按照此設(shè)定進(jìn)行通訊.

3 仿真實(shí)驗(yàn)

實(shí)驗(yàn)前檢查所有的設(shè)置無(wú)誤，按順序啟動(dòng)視景機(jī)的 Flightgear，視覺(jué)機(jī)的 Simulink程序，控制機(jī)的Simulink程序.飛機(jī)從指定進(jìn)近點(diǎn)開(kāi)始，依靠視覺(jué)機(jī)的位置信息順利完成了下滑操作，拉平操作，觸地操作和滑行;從視景機(jī)和視覺(jué)機(jī)的監(jiān)視器界面可以看到攝像頭視角的著陸全過(guò)程，在控制機(jī)上可以實(shí)時(shí)查看飛機(jī)運(yùn)行的參數(shù)曲線.距離跑道1 km以內(nèi)時(shí)，視覺(jué)得到的位置信息誤差保持在1.0 m以內(nèi)(對(duì)比視景機(jī)共享的真值)，如圖8.

4 結(jié)語(yǔ)

針對(duì)現(xiàn)有方案的不足和實(shí)際無(wú)人機(jī)視覺(jué)著陸研究工作的需要，本文提出了利用Flightgear渲染實(shí)時(shí)攝像頭畫面，并利用HDMI高速數(shù)字端口進(jìn)行采集和傳輸圖像信號(hào)，以模塊化運(yùn)行的方式聯(lián)網(wǎng)組成閉環(huán)仿真系統(tǒng)，利用實(shí)驗(yàn)驗(yàn)證了該系統(tǒng)能夠完成:

1)視覺(jué)導(dǎo)引的圖像算法驗(yàn)證功能;

2)著陸控制算法驗(yàn)證功能;

3)視覺(jué)導(dǎo)引下自主著陸全過(guò)程演示功能.

總之，通過(guò)該仿真系統(tǒng)的研制，構(gòu)建了面向固定翼無(wú)人機(jī)自主著陸的視覺(jué)導(dǎo)引仿真系統(tǒng)，可以解決現(xiàn)有GNC系統(tǒng)的仿真手段不能支持在線實(shí)時(shí)視覺(jué)導(dǎo)引與控制的研究與驗(yàn)證.

［1］王亮，康鳳舉，鄧紅德，等.基于視覺(jué)的無(wú)人機(jī)著陸半物理仿真系統(tǒng)的應(yīng)用［J］.系統(tǒng)工程與電子技術(shù)，2012，34(7):1511－1517.

［2］阮利鋒.小型無(wú)人直升機(jī)自主著陸視覺(jué)導(dǎo)航系統(tǒng)設(shè)計(jì)及仿真［D］.上海:上海交通大學(xué)，2009.

［3］ALLERTON D.Principles of flight simulation［M］.John Wiley＆ Sons，2009.

［4］張珍.無(wú)人機(jī)自主著陸的視覺(jué)識(shí)別與定位算法設(shè)計(jì)及仿真研究［D］.南京:南京航空航天大學(xué)，2008.

［5］徐李云.無(wú)人直升機(jī)視覺(jué)導(dǎo)引著陸驗(yàn)證實(shí)驗(yàn)平臺(tái)系統(tǒng)設(shè)計(jì)［D］.南京:南京航空航天大學(xué)，2009.

［6］翟彬，薛明旭.FlightGear在無(wú)人機(jī)實(shí)時(shí)飛行仿真中的應(yīng)用［J］.現(xiàn)代電子技術(shù)，2010，33(13):24－26.

［7］SHELARE M.Fuzzy logic controller for steady level flight of F-16 aircraft using Matlab and Simulink［D］.Texas A＆ M University－Kingsville，2004.

［8］張琴.基于序列圖像的無(wú)人機(jī)進(jìn)近著陸跑道識(shí)別與跟蹤研究［J］云南民族大學(xué)學(xué)報(bào):自然科學(xué)版，2014，23(2):146－150.

［9］WONG T Y，KOVESI P，DATTA A.Projective transformations for image transition animations［C］//Image Analysis and Processing，2007，14th International Conference on.IEEE，2007:493－500.

［10］ZHANG Z.Flexible camera calibration by viewing a plane from unknown orientations［C］//Computer Vision，The Proceedings of the Seventh IEEE International Conference on.IEEE，1999，1:666－673.

［11］作者不詳.Camera calibration toolbox for Matlab［EB/OL］.［2015 － 03 － 22］.http://www.vision.caltech.edu/bouguetj.