曾 琛,王 玄

(1.中國民用航空飛行學(xué)院新津分院， 四川 新津 611431； 2.中國民用航空飛行學(xué)院空中交通管理學(xué)院， 四川 廣漢 618307)

1 引言

機場跑道上的異物碎片F(xiàn)OD對飛行安全構(gòu)成巨大威脅。在起飛和著陸等關(guān)鍵階段，這些異物可能會對飛機造成損壞，美國聯(lián)邦航空局發(fā)布了一份咨詢通告，提供有關(guān)FOD檢測設(shè)備的信息。FOD一直是影響起降階段飛行安全運行的一個重要因素。2000年7月25日，法國航空4590號班機一架協(xié)和式飛機在巴黎戴高樂機場起飛過程中，因為跑道上的長條型金屬條導(dǎo)致輪胎爆裂，輪胎的碎片并以高速射向機翼的油缸，造成的震蕩波導(dǎo)致油箱蓋受壓并打開，大量燃油泄漏；引發(fā)爆炸，造成空難。協(xié)和式飛機因跑道上的金屬部件發(fā)生事故后，F(xiàn)OD檢測已成為一個令人振奮的研究領(lǐng)域，并獲得了廣泛關(guān)注。采用高效的FOD檢測系統(tǒng)可以顯著提高現(xiàn)代空中交通終端區(qū)起降階段的安全性和便利性。然而，復(fù)雜的機場環(huán)境使得FOD的檢測成為一項具有挑戰(zhàn)性的任務(wù)。由于背景的變化和自動成像系統(tǒng)的影響，機場跑道上的FOD很難通過尺度不變特征變換(SIFT)、定向梯度直方圖(HOG)和局部二進制模式(LBP)等傳統(tǒng)特征來檢測和識別。

隨著微機電系統(tǒng)(MEMS)傳感器的發(fā)展，使用無人機作為跑道圖像采集平臺，利用基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的光學(xué)成像傳感器異物檢測算法可實現(xiàn)搜尋定位跑道上微小的外來異物。

深度學(xué)習(xí)是大數(shù)據(jù)領(lǐng)域發(fā)展迅速的技術(shù)之一，由于顯著提高了圖像分類的效果，卷積神經(jīng)網(wǎng)絡(luò)(CNN)被廣泛引入計算機視覺應(yīng)用領(lǐng)域，如圖像分類、人臉驗證、語義分割，對象檢測和圖像注釋等領(lǐng)域。此外，國內(nèi)外學(xué)者還提出了一些基于CNN的算法來解決道路交通外來物安全問題。基于ImageNet、Pascal VOC和COCO等各種公開可用的數(shù)據(jù)集已證明CNN算法在圖像檢測和識別方面的性能優(yōu)于傳統(tǒng)的特征方法。與人工設(shè)計的特征相比，基于CNN的特征對于FOD檢測具有更好的分辨率和魯棒性。實際上，F(xiàn)OD問題包括兩個任務(wù)：跑道上的物體分類和目標定位。針對這兩個任務(wù)，文中設(shè)計并介紹了一種新穎的兩階段框架。在第一階段，作為一種完全卷積網(wǎng)絡(luò)(FCN)的區(qū)域生成網(wǎng)絡(luò)(RPN)經(jīng)過端到端訓(xùn)練來檢測識別生成FOD的位置。在第二階段，應(yīng)用基于空間變換網(wǎng)絡(luò)(STN)的CNN分類器來獲得FOD尺度、旋轉(zhuǎn)和翹曲等參數(shù)。由于STN優(yōu)越的計算性能，無論圖像是否失真，都可以通過生成的特征正確識別FOD。

為了解決機場跑道FOD識別檢測問題，近年來國內(nèi)外學(xué)者提出了一些有效的算法。基于不同傳感器的算法，如主動掃描激光雷達系統(tǒng)、毫米波雷達系統(tǒng)和寬帶96GHz毫米波雷達系統(tǒng)，可以在不同的環(huán)境中取得良好的效果。但是這些方法對噪聲較小的FOD識別檢測是有效的，但對復(fù)雜背景和噪聲下的FOD識別效果則不好。實際上，基于CNN的圖像識別檢測技術(shù)已經(jīng)應(yīng)用的越來越廣泛。為了檢測機場跑道道面上的FOD，該研究設(shè)計了改進的RPN和基于STN的CNN分類器檢測識別系統(tǒng)。

該研究構(gòu)建一個基于無人機的一體化跑道異物目標檢測和定位系統(tǒng)，將跑道搜尋任務(wù)所需的圖像采集器集成到多旋翼無人機中，通過改進的RPN和基于STN的CNN分類器，無人機及圖像識別系統(tǒng)可以自主執(zhí)行圖像采集任務(wù)，圖像自動處理和FOD識別任務(wù)，F(xiàn)OD目標報告任務(wù)，以便及時清除跑道上的異物。

2 無人機信息采集系統(tǒng)

搜尋定位FOD任務(wù)流程如圖1所示，地面控制系統(tǒng)(GCS)要求開始執(zhí)行跑道異物搜尋任務(wù)后，地面控制系統(tǒng)將設(shè)計一條覆蓋搜索區(qū)域的飛行路徑，并將無人機送入空中執(zhí)行任務(wù)。在飛行過程中，機載圖像采集系統(tǒng)采集跑道道面圖像信息后，交由圖像識別處理系統(tǒng)，在識別跑道異物目標后向地勤報告相應(yīng)的GPS坐標。

多旋翼無人機在可靠性方面相對固定翼無人機表現(xiàn)最為出色，考慮機械的可靠性,多旋翼無人機沒有活動部件,它的可靠性基本上取決于無刷電機的可靠性,因此可靠性較高。而且多旋翼無人機能夠懸停,利于懸停采集圖像，相對固定翼更安全。因此選擇多旋翼無人飛行器作為整個系統(tǒng)圖像采集的基本平臺，如圖2所示。

圖1 搜尋異物任務(wù)流程框圖Fig.1 Flow chart of foreign object search task

圖2 無人機圖像采集的基本平臺示意圖Fig.2 Basic platform of UAV image acquisition

3 目標識別算法

跑道FOD識別檢測框架包含2個階段。首先，采用區(qū)域生成網(wǎng)絡(luò)(RPN)生成一組原始目標，作為FOD的候選目標，通過此過程來減少計算量和固定圖像大小。然后，引入空間變換網(wǎng)絡(luò)(STN)來調(diào)整區(qū)域中的候選目標，使其不受尺度、旋轉(zhuǎn)和扭曲的影響。最后，這些調(diào)整后的候選目標圖像被送入CNN分類器，以提取特征并識別FOD目標。

3.1 使用改進的RPN定位篩選FOD候選目標

通常，在圖像上應(yīng)用滑動窗口是一種廣泛使用的目標檢測方法。通過規(guī)定設(shè)計好的FOD特征，可以從采集到的背景圖像中識別出內(nèi)部有FOD目標特征的窗口。FOD目標識別檢測問題可以描述為滑動窗口中的分類問題。然而，滑動窗口識別FOD目標是一種效率極低的方法，需要耗費大量的計算時間和內(nèi)存。近年來基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)(R-CNN)方法常被用于圖像識別領(lǐng)域。一方面，因為區(qū)域生成算法將候選目標數(shù)量從數(shù)百萬減少到數(shù)百或數(shù)千個，區(qū)域生成算法比在整張圖像上使用滑動窗口方法效率高；另一方面，區(qū)域生成算法在查找圖像中所有目標時具有較高的召回率，可以顯著提高目標定位效率。區(qū)域生成算法基于區(qū)域生成網(wǎng)絡(luò)(RPN)，RPN將圖像文件作為輸入，處理后生成一系列具有相應(yīng)對象性特征分數(shù)的矩形候選目標對象，在卷積特征圖上滑動一個小網(wǎng)絡(luò)即可生成如圖3中的目標區(qū)域。在每個滑動窗口中，K參考區(qū)域具有不同的縱橫比來識別不同區(qū)域的FOD特征。

圖3 FOD識別檢測RPN框圖Fig.3 FOD identification and detection RPN framework

為了進一步減少FOD候選目標數(shù)量便于后期的分類，在RPN框架中設(shè)計并引入了新的目標篩選規(guī)則，以下提出了3種基于先驗知識的篩選規(guī)則：

1通過RPN生成的候選目標再通過高縱橫比進行過濾，高縱橫比表示為

(1)

和分別是圖像的寬度和高度，而是一個具有恒定值的閾值。

2包含F(xiàn)OD的目標區(qū)域應(yīng)在[,]范圍內(nèi)，該范圍表示為：

=×

≤≤

(2)

是區(qū)域生成的面積。

3由RPN生成的具有較高客觀分數(shù)的目標被挑選出來，表示為

>

(3)

是客觀判斷的恒定閾值。

以上3條篩選規(guī)則的閾值設(shè)置為：=15、=60、=100和=08。通過以上3條篩選規(guī)則，改進后的RPN區(qū)域目標生成數(shù)量可以大大減少約60%。通過篩選可以生成數(shù)量更少、更準確的FOD候選目標。另外，F(xiàn)OD分類的效率可以大大提高。

3.2 空間變換網(wǎng)絡(luò)(STN)

空間變換網(wǎng)絡(luò)是一種有效的CNN框架，用于對圖像進行縮放、旋轉(zhuǎn)和扭曲。輸入圖像(,)，通過STN的映射變換，可以調(diào)整為校正圖像′(,)。FOD分類器結(jié)構(gòu)如圖4所示，首先通過定位網(wǎng)絡(luò)回歸仿射矩陣，然后，使用預(yù)測的變換參數(shù)生成圖像采樣網(wǎng)格，采樣網(wǎng)格是輸入映射中的一組點，用于仿射變換。最后，利用特征映射和采樣網(wǎng)格作為采樣輸入。STN的網(wǎng)絡(luò)體系結(jié)構(gòu)如圖5所示。

圖4 FOD分類器結(jié)構(gòu)框圖Fig.4 FOD classifier framework

圖5 空間變換網(wǎng)絡(luò)體系結(jié)構(gòu)框圖Fig.5 Spatial transformation network architecture

定位網(wǎng)絡(luò)將寬度為、高度為和頻道的特征圖作為輸入。然后，可以通過=()生成變換參數(shù)。定位網(wǎng)絡(luò)的輸出是來自全連接層的六維向量。

(4)

在方程(4)中，表示圖像失真的仿射變換矩陣。

在采樣器模塊中，通過輸入圖像上的區(qū)域雙線性插值計算′中的像素。獲得所有像素值后，可生成校正圖像′，如下所示：

′=(,)

(5)

表示雙線性插值。

3.3 基于卷積神經(jīng)網(wǎng)絡(luò)的FOD分類

FOD分類結(jié)構(gòu)如圖6所示。每個提取的生成區(qū)域都會被識別為背景、石頭或螺絲等異物。該識別程序采用卷積神經(jīng)網(wǎng)絡(luò)(CNN)分類器算法。該網(wǎng)絡(luò)基于最著名的CNN算法之一的C型視覺幾何群(VGG)模型。VGG模型中有13個卷積層和3個完全連接層。FOD分類網(wǎng)絡(luò)根據(jù)Caffe工具箱中的ILSVRC2012數(shù)據(jù)集上預(yù)先訓(xùn)練的VGG模型進行微調(diào)。

圖6 FOD分類器結(jié)構(gòu)框圖Fig.6 FOD classifier architecture

VGG模型的最后一層是一個有1 000個輸出神經(jīng)元的完全連接層，為了使應(yīng)用程序與預(yù)先訓(xùn)練好的VGG模型相匹配，將VGG模型的前15層作為特征提取器，最后一層VGG模型用一個CNN分類器代替，用于預(yù)測背景、螺旋或石頭等候選矩形區(qū)域目標，因此，分類網(wǎng)絡(luò)的最后一層只需要3個輸出神經(jīng)元。

3.4 GPS變換定位目標

一旦將目標及其當前飛機位置報告給地面軍事系統(tǒng)，將使用內(nèi)部Matlab定位程序報告目標的GPS坐標。在本研究中，由于GPS模塊位于攝像頭上方，因此假設(shè)飛機的位置位于圖像的中心。

可以使用相機的視野(FOV)估計圖像的覆蓋范圍，圖像采集器位置與坐標變換過程如圖7所示。和方向上的距離使用式(6)進行估計。

(6)

圖7 圖像采集器位置與坐標變換過程示意圖Fig.7 Image collector position and coordinate transformation

視頻幀的分辨率設(shè)置為1 920×1 080像素。假設(shè)距離和像素之間的比例為線性關(guān)系，并在式(7)中表示為：

(7)

如圖8所示，假設(shè)目標位于照片中的(，)像素上，目標與圖片中心的偏移為

(8)

對于世界坐標到具有角的相機幀的變換，旋轉(zhuǎn)矩陣定義為

(9)

式中，為飛機的偏航角。因此，世界幀中的位置偏移可以用

(10)

因此，目標的GPS坐標可以使用

(11)

其中和分別表示一個經(jīng)度和一個緯度表示的距離。

4 FOD識別檢測定位實驗

本實驗通過無人機機載成像系統(tǒng)采集天津濱海國際機場(ZBTJ)16R/34L跑道的道面圖像，機場道面機載FOD檢測系統(tǒng)如圖8所示。該框架主要包括兩部分：機場跑道道面圖像采集部分和FOD識別檢測部分。

DGPS：差分GPS(DGPS)基站和移動站可以提供FOD圖像采集無人機和探測到的FOD的實時位置。

圖像采集攝像機：共有4臺GT2050C攝像機，分辨率為2 048×2 048，可同時掃描5 m寬。

FOD識別檢測系統(tǒng)：根據(jù)圖像識別檢測跑道道面上的FOD，并將信息傳送給FOD報警管理系統(tǒng)。

FOD報警管理系統(tǒng)：預(yù)測的FOD信息，包括圖像和DGPS中的FOD類別和準確位置，作為報警信息發(fā)送給地勤部門并保存在數(shù)據(jù)庫中。

圖8 機場跑道道面無人機FOD識別檢測系統(tǒng)框圖Fig.8 Framework of airport runway pavement UAV FOD identification and detection system

為了滿足25 fps的實時采樣頻率，圖像采集無人機的速度應(yīng)小于31.25 m/s，每幀的處理時間應(yīng)小于40 ms。使用GTX1080ti gpu，所提出的檢測算法可以達到26 fps的高精度，比原來更快的R-CNN算法速度快14 fps，比SSD算法速度慢31 fps。

4.1 數(shù)據(jù)集和訓(xùn)練

機場路面圖像數(shù)據(jù)集包含12 231張圖像，像素大小為2 048×2 048，由無人機圖像采樣系統(tǒng)采樣。在這些圖像中，包含有螺釘?shù)膱D像3 562張，包含石頭的圖像4 202張。一張圖像中異物碎片的數(shù)量從零到4個不等。在地面實況圖像數(shù)據(jù)集中，螺釘和石頭的邊界框形狀像素平均為80×80。RPN篩選出的目標區(qū)域下一步使用STN算法微調(diào)FOD檢測分類器?！?7的目標區(qū)域視為正陽性值，而≤03的目標區(qū)域視為正陰性值?！?.7的正陽性FOD采樣樣本和≤0.3的假陽性FOD采樣樣本如圖9所示。前100張目標區(qū)域圖像被選為訓(xùn)練樣本。在數(shù)據(jù)集中，陰性值樣本的數(shù)量遠大于陽性值樣本的數(shù)量。為了獲得合理數(shù)量的候選目標，每次訓(xùn)練使用16張目標區(qū)域為石子的圖像、16張目標區(qū)域為螺釘?shù)膱D像和32張正常無異物背景區(qū)域圖像。為了訓(xùn)練FOD檢測分類器，60%的圖像作為訓(xùn)練數(shù)據(jù)集，另外20%作為驗證數(shù)據(jù)集，其余20%用于測試數(shù)據(jù)集。訓(xùn)練迭代次數(shù)設(shè)置為50 000次。學(xué)習(xí)率最初設(shè)置為0.001，每10 000次迭代后衰減0.1。

圖9 IoU≥0.7的正陽性FOD采樣樣本(a)和 IoU≤0.3的假陽性FOD采樣樣本(b)圖像Fig.9 (a) Positive FOD samples with IoU≥0.7 (b) False positive FOD samples with IoU≤0.3

4.2 FOD檢測識別定位實驗

由于大多數(shù)目標檢測算法的序列結(jié)構(gòu)和定位效率顯著影響分類結(jié)果，尤其對于基于CNN的分類器，位置更準確的候選目標更容易被歸類為FOD目標或正常背景。實際上，改進的RPN是通過添加基于先驗知識的篩選特征規(guī)則獲得高質(zhì)量的FOD候選目標。為了評估生成區(qū)域的質(zhì)量，不同算法生成的候選矩形區(qū)域數(shù)量如圖10所示。圖10顯示了通過選擇性搜索算法提取的候選矩形區(qū)域、更快的R-CNN中原始RPN算法提取的候選矩形區(qū)域以及改進RPN算法提取的候選矩形區(qū)域。

圖10 不同算法生成的候選矩形區(qū)域數(shù)量示意圖Fig.10 Number of candidate rectangular regions generated by different algorithms

圖10中，圖(a)(d)為通過選擇性搜索算法的定位結(jié)果；圖(b)(e)為通過原始RPN算法的定位結(jié)果；圖(c)(f)為通過改進RPN算法的定位結(jié)果。

通過選擇性搜索和原始RPN生成的區(qū)域大小不同，并且包含數(shù)量更多的目標對象，這種不確定性會影響FOD檢測分類器的準確性和魯棒性，并產(chǎn)生更多的假陽性結(jié)果。改進后的RPN生成的目標區(qū)域較少，位置更準確。為了比較生成區(qū)域的質(zhì)量和數(shù)量，不同IoU級別的目標生成數(shù)量和召回率如表1所示。

表1 選擇性搜索和RPN的目標生成數(shù)量和召回率Table 1 Recall results of selective search and RPN

一般來說，RPN生成的候選目標區(qū)域數(shù)量少于選擇性搜索生成的候選目標區(qū)域數(shù)量，但召回率高出約10%。結(jié)果表明，RPN生成的目標區(qū)域質(zhì)量更高，更易于后續(xù)FOD分類器進行識別。

4.3 FOD識別分類實驗

STN算法用于學(xué)習(xí)和糾正圖像失真，如縮放、旋轉(zhuǎn)和扭曲等。實際上，使用STN的CNN分類器可以提高分類精度，尤其是在小數(shù)據(jù)集上。為了測量STN的分類效果，進行了4個對比實驗。這4個實驗分別是不帶微調(diào)的FOD識別檢測分類器、不帶微調(diào)的基于STN的FOD識別檢測分類器、帶微調(diào)的FOD識別檢測分類器和帶微調(diào)的基于STN的FOD識別檢測分類器。不同算法的分類結(jié)果如表2所示。

表2 不同算法的分類結(jié)果Table 2 Comparison of classification results of different algorithms

如表2所示，通過引入STN算法，F(xiàn)OD識別分類的召回率顯著提高。這是因為STN減少了采樣時圖像失真的影響，與ImageNet或Pascal VOC方法相比，由于數(shù)據(jù)集中的樣本數(shù)較少，無法用樣本完全表示各種圖像失真。通過對VGG模型的微調(diào)，基于STN的FOD分類器可以達到較高的分類精度。

4.4 與其他算法的比較

為了測試該方法的性能，該研究引入了其他3種目標識別檢測算法進行比較。這些算法分布是更快的R-CNN算法、單次激發(fā)多盒檢測器(SSD)算法和帶有FOD檢測器的選擇性搜索算法。更快的R-CNN算法是第三代基于區(qū)域生成網(wǎng)絡(luò)的CNN算法，其中提出了RPN算法來提高實時檢測性能。由于RPN通過卷積特征映射而不是原始圖像生成區(qū)域目標，在分類網(wǎng)絡(luò)共享特征下，RPN能夠以較少的運行時間獲得較高的召回率。由于RPN提出的區(qū)域目標對各種目標形狀具有良好的魯棒性，因此更快的R-CNN算法是最流行的目標識別檢測CNN算法之一。對于所有實驗，如果正確識別候選目標的值大于0.5如果“聯(lián)合交集”(IoU)與地面真值區(qū)域的重疊，這將被記錄為成功召回。所有錯誤檢測到的候選目標對象，包括錯誤排序的目標等都被視為假警報。具體而言，誤報率(FAR)和召回率(RR)分別定義為：

(12)

式(12)中：為真陽性樣本數(shù)；為真陰性樣本數(shù)；為假陽性樣本數(shù)；為假陰性樣本數(shù)。

4種算法的FOD檢測識別FOD目標的誤報率(FAR)如表3所示，而不同算法的螺釘和石頭的目標的召回率(RR)如表4所示。結(jié)果表明，該算法能夠以最少的誤報率和最高的召回率檢測識別FOD。無論FOD的形狀和大小如何，更快的R-CNN使用RPN作為候選檢測網(wǎng)絡(luò)，可以實現(xiàn)所有FOD類別的高召回率。

表3 FOD檢測識別FOD目標的誤報率(FAR)Table 3 False positive rate (far) of FOD detection and identification

表4 不同算法對螺釘和石子目標的召回率(RR)Table 4 Recall rate (RR) of different algorithms for screw and stone targets

由于改進了基于RPN和STN的高精度檢測分類器，該算法實現(xiàn)了較低的誤報率和較高的召回率。實際上，改進后的RPN有一些額外的篩選規(guī)則，可以避免更多FOD檢測識別時的假警報情況。基于STN的識別檢測分類器可以正確地將大多數(shù)區(qū)域正確識別為FOD目標。

為了比較4種算法的整體性能，根據(jù)不同的召回率分別計算不同算法的平均查全率(mMP)，結(jié)果如表5所示。該研究提出的算法實現(xiàn)了最高的mAP，這意味著該算法對FOD檢測具有更高的有效性和魯棒性。

表5 不同方法的平均查全率Table 5 Average accuracy of different methods

通過以上實驗表明，因為改進的RPN生成的候選區(qū)域比其他檢測算法具有更好的質(zhì)量和數(shù)量，在我們的數(shù)據(jù)集中，基于使用RPN的FOD檢測器優(yōu)于基于使用快速R-CNN、SSD和選擇性搜索的FOD檢測器?；赟TN的檢測識別分類器可以正確地將大部分生成的區(qū)域以較高的正確率識別為FOD類或背景類，并且不需考慮圖像失真問題。

5 結(jié)論

1) 多旋翼無人機平臺是一個配備攝像機的跑道道面圖像數(shù)據(jù)采集系統(tǒng)，可在一次飛行中實現(xiàn)道面圖像信息采集。

2) 提出了基于區(qū)域建議網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)以及空間變換網(wǎng)絡(luò)的跑道道面異物碎片檢測方法。

3) 為了提高區(qū)域建議網(wǎng)絡(luò)生成的異物碎片候選目標的質(zhì)量和數(shù)量，采用額外的區(qū)域生成篩選，此外，基于空間變換網(wǎng)絡(luò)的卷積神經(jīng)網(wǎng)絡(luò)分類器可以不受圖像中旋轉(zhuǎn)、扭曲等影響，該算法比目前流行的一些檢測算法，如R-卷積神經(jīng)網(wǎng)絡(luò)和單激發(fā)多盒檢測器算法具有更高的有效性和魯棒性。

4) 該系統(tǒng)可以降低異物碎片搜索定位和清除的時間和人力成本，提高效率，減少地勤工作量。該系統(tǒng)在機場跑道道面異物碎片檢測中取得了更好的效果。