彭衛(wèi)東,蘇子欽，魏 麟

（中國民用航空飛行學(xué)院，廣漢 618307）

0 引言

目前熟練飛行員缺口較大的問題在全世界都存在，而這一問題對(duì)世界民航業(yè)的發(fā)展有很大的影響［1］。人工智能技術(shù)的發(fā)展使得能夠?qū)崿F(xiàn)完全自動(dòng)駕駛的無人機(jī)、無人車以及無人船等正在日常生活中逐漸普及，在軍事上也有將退役戰(zhàn)斗機(jī)改裝為無人機(jī)的案例，但是目前尚無運(yùn)用了完全自動(dòng)駕駛技術(shù)的載人航空器出現(xiàn)。如果將人工智能自動(dòng)駕駛技術(shù)運(yùn)用在現(xiàn)有飛機(jī)上，那么熟練飛行員缺口較大的問題就能得到很好的緩解，但是多數(shù)現(xiàn)有的載人飛機(jī)在設(shè)計(jì)的時(shí)候并沒有作出智能駕駛方面的考慮，如果直接對(duì)現(xiàn)有的載人飛機(jī)進(jìn)行改裝則會(huì)面臨高昂的改裝成本［2］。因此，產(chǎn)生了另一種在現(xiàn)有載人飛機(jī)上實(shí)現(xiàn)智能駕駛的方案，即在副駕駛座椅的位置安裝一臺(tái)有視覺系統(tǒng)等多種傳感器以及多組機(jī)械臂的飛機(jī)自動(dòng)駕駛機(jī)器人，這種機(jī)器人駕駛飛機(jī)的方式與人類飛行員相近，使用視覺系統(tǒng)觀察各儀表、指示燈以及機(jī)外環(huán)境等并讀取相關(guān)數(shù)據(jù)，使用機(jī)械臂完成各種操作，也使用視覺系統(tǒng)對(duì)駕駛艙內(nèi)的按鈕開關(guān)進(jìn)行識(shí)別和定位，從而引導(dǎo)用于按鈕操作的機(jī)械臂完成按鈕操作［3］。因?yàn)椴捎梅乔秩胧降母难b，安裝飛機(jī)自動(dòng)駕駛機(jī)器人的改裝成本要顯著低于直接對(duì)現(xiàn)有飛機(jī)進(jìn)行改裝，同時(shí)也能快速地適應(yīng)不同的機(jī)型［2］。

1 按鈕操作機(jī)械臂與視覺系統(tǒng)分析

1.1 機(jī)械臂與視覺系統(tǒng)的關(guān)系

因?yàn)樵诰S護(hù)過程中將機(jī)械臂進(jìn)行拆卸、重新安裝會(huì)不可避免地出現(xiàn)安裝誤差，故飛機(jī)自動(dòng)駕駛機(jī)器人的按鈕操作機(jī)械臂需要使用具有立體視覺能力的視覺系統(tǒng)來引導(dǎo)。機(jī)械臂與視覺系統(tǒng)之間有眼在手上和眼在手外兩種安裝關(guān)系，其中眼在手上的方式為視覺系統(tǒng)安裝在機(jī)械臂的末端上，這種方式操作精度更高，但觀察范圍較小，且機(jī)械臂的運(yùn)動(dòng)容易使視覺系統(tǒng)拍攝到的畫面模糊；眼在手外的方式為視覺系統(tǒng)安裝在機(jī)械臂的旁邊，觀察范圍較廣，但是操作精度低于眼在手上方式，易受機(jī)械臂自身遮擋影響［4］。

考慮到按鈕操作機(jī)械臂需要精確地對(duì)目標(biāo)按鈕進(jìn)行操作，并且不能因?yàn)橛姓趽醵霈F(xiàn)對(duì)目標(biāo)按鈕識(shí)別失敗的情況，故采用了眼在手上的視覺方式。當(dāng)然，還需要通過手眼標(biāo)定才能獲得從攝像機(jī)坐標(biāo)系到機(jī)械臂末端坐標(biāo)系的轉(zhuǎn)換關(guān)系。

1.2 按鈕操作機(jī)械臂的工作流程

按鈕操作機(jī)械臂及安裝在其末端上的視覺系統(tǒng)工作流程如圖1所示。

圖1 按鈕操作機(jī)械臂及視覺系統(tǒng)工作流程

首先飛機(jī)自動(dòng)駕駛機(jī)器人做出按鈕決策后會(huì)控制機(jī)械臂使末端指向目標(biāo)按鈕的大致位置，位于末端上的視覺系統(tǒng)對(duì)目標(biāo)按鈕進(jìn)行識(shí)別，然后確定按鈕的精確空間位置和姿態(tài)，飛機(jī)自動(dòng)駕駛機(jī)器人再根據(jù)定位和姿態(tài)測(cè)量的結(jié)果規(guī)劃?rùn)C(jī)械臂的運(yùn)動(dòng)軌跡，最后控制機(jī)械臂完成按鈕操作。

1.3 立體視覺方式的選擇

常用的立體視覺方式有雙目視覺、ToF深度視覺和結(jié)構(gòu)光深度視覺，三種方式的特點(diǎn)如表1所示［5］。

表1 三種立體視覺方式的特點(diǎn)對(duì)比

通過對(duì)空客A320飛機(jī)的模擬機(jī)艙（所有面板均為1∶1還原）中各按鈕的尺寸測(cè)量可知，多數(shù)按鈕的邊長(zhǎng)或直徑都在8毫米以上，最小為6毫米，因此視覺系統(tǒng)的定位精度至少需要達(dá)到毫米級(jí)。雙目視覺系統(tǒng)的空間定位精度符合針對(duì)飛機(jī)駕駛艙按鈕開關(guān)進(jìn)行空間定位的精度需求，并且擁有較高的分辨率，硬件成本較低，所以適合作為按鈕操作機(jī)械臂的視覺系統(tǒng)。

2 按鈕識(shí)別的實(shí)現(xiàn)

2.1 硬件配置

由于安裝在飛機(jī)自動(dòng)駕駛機(jī)器人機(jī)械臂末端上的視覺系統(tǒng)需要在一定距離對(duì)目標(biāo)按鈕進(jìn)行識(shí)別與定位，因此該視覺系統(tǒng)需要有較高的分辨率，同時(shí)飛機(jī)自動(dòng)駕駛機(jī)器人還需要實(shí)時(shí)處理交互、多個(gè)機(jī)械臂的控制以及對(duì)飛機(jī)運(yùn)行參數(shù)的監(jiān)控等多項(xiàng)任務(wù)，這對(duì)飛機(jī)自動(dòng)駕駛機(jī)器人的計(jì)算機(jī)系統(tǒng)提出了比普通工業(yè)機(jī)器人更高的要求，需要配備多核CPU和GPU。因此采用了在同時(shí)配備多核CPU和GPU的PC機(jī)上完成實(shí)驗(yàn)，PC機(jī)的CPU型號(hào)為Intel i7-9750H，為六核CPU，主頻2.6 GHz；總內(nèi)存為32 GB；顯卡型號(hào)為Nvidia GTX1650，CUDA核心數(shù)為896，顯存為4GB，CUDA版本為V10.1。

選用了銳爾威視RER-1MP2CAM002-V70型雙目攝像機(jī)，單個(gè)攝像頭分辨率為1920×1080像素，視場(chǎng)角70°，幀率30 fps，信噪比39 dB，最低照度0.1 lux。

2.2 前置步驟

在對(duì)目標(biāo)按鈕進(jìn)行識(shí)別之前需要對(duì)攝像機(jī)進(jìn)行標(biāo)定、畸變校正與圖像預(yù)處理［6］。通過標(biāo)定可以獲得攝像頭的內(nèi)外參數(shù)和畸變矩陣，畸變校正的目的是根據(jù)畸變矩陣和攝像機(jī)內(nèi)參數(shù)校正攝像頭圖像的畸變，圖像預(yù)處理包括圖像增強(qiáng)和圖像平滑濾波，用來解決光照不足或光照過強(qiáng)導(dǎo)致的圖像退化問題，降低噪聲對(duì)圖像的干擾。其中標(biāo)定方法選用了張正友標(biāo)定法，圖像增強(qiáng)選用了γ變換，通過多次嘗試發(fā)現(xiàn)在實(shí)驗(yàn)過程中取γ=1.2時(shí)增強(qiáng)效果較好，圖像平滑濾波選用了既能有效濾除噪聲又能很好地保護(hù)圖像邊緣和細(xì)節(jié)部分的雙邊濾波算法。

2.3 使用SIFT算法識(shí)別按鈕的實(shí)現(xiàn)方法

尺度不變特征轉(zhuǎn)換（SIFT）算法由Lowe教授在1999年提出，2004年完善和總結(jié)［7］。SIFT算法是一種基于圖像特征點(diǎn)匹配的目標(biāo)識(shí)別算法，通過SIFT算法能夠提取出圖像的特征點(diǎn)以實(shí)現(xiàn)對(duì)圖像局部特征的檢測(cè)與描述，具有良好的魯棒性、尺度不變性、旋轉(zhuǎn)不變性，適合用來識(shí)別飛機(jī)駕駛艙按鈕這類形狀特征較為豐富而顏色特征不明顯的目標(biāo)。SIFT算法的實(shí)現(xiàn)流程如圖2所示。

圖2 SIFT算法流程圖

現(xiàn)使用SIFT算法對(duì)一張512×512像素的圖片進(jìn)行特征點(diǎn)提取，結(jié)果如圖3所示。

圖3 SIFT算法特征點(diǎn)提取結(jié)果圖

在圖3中使用SIFT算法一共提取了360個(gè)特征點(diǎn)，用時(shí)約34毫秒，這些特征點(diǎn)相對(duì)較為分散，很好地覆蓋了圖像中特征明顯的點(diǎn)，例如明顯的角點(diǎn)等，且小尺度的用于表示圖像細(xì)節(jié)特征的特征點(diǎn)較多。

只對(duì)待檢測(cè)圖像使用SIFT算法提取特征點(diǎn)并不能實(shí)現(xiàn)目標(biāo)識(shí)別，需要同時(shí)對(duì)當(dāng)前需要識(shí)別的目標(biāo)按鈕識(shí)別模板和待檢測(cè)圖像提取特征點(diǎn)，然后將兩者中特征描述相近的特征點(diǎn)匹配起來，具體實(shí)現(xiàn)方法是根據(jù)特征點(diǎn)的歐式距離進(jìn)行匹配［8］，然后使用隨機(jī)抽樣一致（RANSAC）算法通過多次迭代運(yùn)算找出明顯偏離正常匹配點(diǎn)對(duì)所構(gòu)成的單應(yīng)性矩陣模型的點(diǎn)對(duì)，并將誤匹配點(diǎn)對(duì)從已完成匹配的點(diǎn)對(duì)集合中刪除，剩下的匹配點(diǎn)對(duì)通?？梢哉J(rèn)為能夠?qū)⒛０鍒D像與待檢測(cè)圖像中相同的特征點(diǎn)關(guān)聯(lián)起來。特征點(diǎn)匹配的算法有快速最鄰近搜索包（FLANN）匹配與暴力（Brute Force）匹配等。通過Brute Force匹配可以得到最佳的匹配結(jié)果，但是需要消耗較長(zhǎng)的時(shí)間；FLANN匹配則相對(duì)較快，但是只能獲得一個(gè)相對(duì)良好的匹配結(jié)果，而不是最好的匹配結(jié)果［9］。對(duì)于飛機(jī)自動(dòng)駕駛機(jī)器人來講，實(shí)時(shí)性是一個(gè)非常重要的因素，因此本文中的視覺系統(tǒng)更適合采用FLANN匹配。經(jīng)過篩選后的特征點(diǎn)匹配對(duì)能夠反映從模板圖像到待檢測(cè)圖像目標(biāo)區(qū)域的映射關(guān)系，通過對(duì)至少3對(duì)特征點(diǎn)匹配對(duì)進(jìn)行相關(guān)運(yùn)算可以獲得從模板圖像到待檢測(cè)圖像目標(biāo)區(qū)域的透視變換矩陣，通過透視變換運(yùn)算可以獲得模板圖像的輪廓在待檢測(cè)圖像中的投影，如果特征點(diǎn)匹配良好則模板圖像輪廓的投影能夠準(zhǔn)確指出目標(biāo)區(qū)域的像素范圍。通常目標(biāo)按鈕所在圖像區(qū)域的像素范圍對(duì)于飛機(jī)自動(dòng)駕駛機(jī)器人來說并沒有意義，如果要將識(shí)別的結(jié)果用于后面的基于雙目視覺的定位和姿態(tài)測(cè)量環(huán)節(jié)，則需要在兩側(cè)待檢測(cè)圖像中確定目標(biāo)按鈕上某一特征點(diǎn)的像素坐標(biāo)，然后根據(jù)同一特征點(diǎn)在兩側(cè)圖像中像素坐標(biāo)的差異來實(shí)現(xiàn)針對(duì)該特征點(diǎn)的空間定位，通常使用按鈕中心點(diǎn)的空間坐標(biāo)表示目標(biāo)按鈕的空間位置；如果要將識(shí)別結(jié)果用于雙目視覺的定位和姿態(tài)測(cè)量環(huán)節(jié)，則需要根據(jù)目標(biāo)按鈕上至少三個(gè)不共線的特征點(diǎn)的像素空間坐標(biāo)來確定目標(biāo)按鈕所在平面的法向量。

假設(shè)有一對(duì)匹配良好的特征點(diǎn)，在模板圖像中的特征點(diǎn)的像素坐標(biāo)為（u0,v0），在待檢測(cè)圖像中的特征點(diǎn)的像素坐標(biāo)為（u1,v1），在待檢測(cè)圖像中的特征點(diǎn)的像素坐標(biāo)的齊次坐標(biāo)形式為（U,V,W），則透視變換公式可用式（1）表示。

其中參數(shù)a11、a12、a21、a22用來表示線性變換，參數(shù)a13、a23用來表示透視變換，參數(shù)a31、a32用來表示平移，a33的值通常取1。則待檢測(cè)圖像中特征點(diǎn)的像素坐標(biāo)可以表示為

為了方便比較，這里以按鈕中心點(diǎn)、四個(gè)角的頂點(diǎn)以及模板圖像的四個(gè)頂點(diǎn)為目標(biāo)點(diǎn)，將這九個(gè)特征點(diǎn)在模板圖像中的像素坐標(biāo)代入透視變換的公式進(jìn)行運(yùn)算，并通過在部分目標(biāo)點(diǎn)之間繪制連接線來表示模板圖像輪廓以及按鈕輪廓在待檢測(cè)圖像中的投影，得到結(jié)果如圖4所示。

圖4 模板圖像與按鈕輪廓投影結(jié)果圖

從圖4可以看出，在特征點(diǎn)匹配良好的情況下通過透視變換可以準(zhǔn)確地指出待檢測(cè)圖像中指定的特征點(diǎn)的像素位置。使用SIFT算法完成目標(biāo)識(shí)別的流程如圖5所示。

圖5 SIFT算法目標(biāo)識(shí)別流程圖

2.4 按鈕識(shí)別實(shí)驗(yàn)

以空客A320型飛機(jī)的按鈕為參考，使用一塊同時(shí)印有“EXT PWR”與“GND CTL”鍵的模擬面板作為按鈕識(shí)別的目標(biāo)，模擬面板的設(shè)計(jì)如圖6所示。以“EXT PWR”鍵（面板中的左側(cè)按鈕）為目標(biāo)，使用SIFT算法針對(duì)模擬面板的識(shí)別效果如圖7所示。

圖6 模擬面板設(shè)計(jì)圖

圖7 SIFT算法識(shí)別結(jié)果示意圖

可以看到盡管有少量誤匹配的特征點(diǎn)對(duì)，但是經(jīng)過RANSAC算法篩選、提純之后能夠準(zhǔn)確地識(shí)別出目標(biāo)按鈕。接下來模擬一些飛機(jī)自動(dòng)駕駛機(jī)器人可能會(huì)遇到的不良工作環(huán)境，例如目標(biāo)按鈕的文字部分存在一定的污損，以及環(huán)境光照不足或過度導(dǎo)致攝像機(jī)拍攝的圖像過暗或過亮等，以“GND CTL”鍵為識(shí)別目標(biāo)，并且目標(biāo)位于圖像的邊緣處，因?yàn)閿z像機(jī)拍攝角度不佳目標(biāo)按鈕還存在較為明顯的變形，該圖像進(jìn)行γ變換的γ取值為0.8，而非最適合實(shí)驗(yàn)場(chǎng)景的1.2，這也進(jìn)一步降低了圖像的對(duì)比度。文字部分存在部分污損時(shí)識(shí)別效果如圖8所示，過亮?xí)r識(shí)別效果如圖9所示，過暗時(shí)識(shí)別效果如圖10所示。這里通過對(duì)圖像文字部分進(jìn)行涂抹來模擬污損，過暗與過亮通過修改圖像亮度來模擬。

圖8 文字部分有污損時(shí)的識(shí)別結(jié)果示意圖

圖9 過亮?xí)r的識(shí)別結(jié)果示意圖

圖10 過暗時(shí)的識(shí)別結(jié)果示意圖

通過圖8、圖9、圖10展示的實(shí)驗(yàn)結(jié)果可以看出，在目標(biāo)按鈕存在文字部分的污損、攝像頭拍攝的圖像過亮與過暗等識(shí)別條件不理想的情況時(shí)使用SIFT算法均能準(zhǔn)確識(shí)別目標(biāo)按鈕，在過亮的環(huán)境條件下按鈕模板輪廓在待檢測(cè)圖像中的投影有輕微的變形，產(chǎn)生這一現(xiàn)象的主要原因是在該條件下圖像的對(duì)比度相比原圖有非常明顯的降低，圖像質(zhì)量退化嚴(yán)重，特征點(diǎn)匹配受到了較大的影響，但是根據(jù)按鈕及模板輪廓在待檢測(cè)圖像中的投影可看出，通過按鈕識(shí)別計(jì)算出的按鈕目標(biāo)點(diǎn)與待檢測(cè)圖像中對(duì)應(yīng)目標(biāo)點(diǎn)的實(shí)際位置偏差較小。

3 結(jié)語

針對(duì)飛機(jī)自動(dòng)駕駛機(jī)器人使用視覺系統(tǒng)對(duì)飛機(jī)駕駛艙的按鈕開關(guān)進(jìn)行識(shí)別、定位和姿態(tài)測(cè)量的應(yīng)用場(chǎng)景，本文主要研究了基于SIFT算法和透視變換算法的飛機(jī)駕駛艙按鈕開關(guān)識(shí)別方法，能夠準(zhǔn)確地識(shí)別出攝像機(jī)圖像中的目標(biāo)按鈕，并計(jì)算出按鈕特征點(diǎn)上的目標(biāo)點(diǎn)（中心點(diǎn)、四個(gè)頂角點(diǎn)）的像素坐標(biāo)，能夠適應(yīng)按鈕文字部分有污損、光照過亮或過暗等飛機(jī)駕駛艙內(nèi)可能出現(xiàn)的不良情況。由于SIFT算法具有計(jì)算復(fù)雜、實(shí)時(shí)性較差的缺點(diǎn)，直接使用GPU進(jìn)行加速雖然可以帶來明顯的加速效果，但是并不能充分利用GPU的硬件資源，因此還可以對(duì)SIFT算法進(jìn)行改進(jìn)，將部分串行計(jì)算的步驟改為并行計(jì)算，從而進(jìn)一步提升實(shí)時(shí)性。