劉暢 李嘉杰 眭海剛 雷俊鋒 葛亮

摘 要：研制高效魯棒的智能視覺定位方法是解決全球?qū)Ш叫l(wèi)星系統(tǒng)（GNSS）拒止條件下無人機導航定位的重要途徑之一。傳統(tǒng)視覺定位方法存在精度較差、容易丟失定位的問題。本文提出一種FLoFTR算法，通過對高精度影像匹配算法LoFTR進行改進優(yōu)化，在無人機計算平臺上實現(xiàn)實時高精度定位。FLoFTR采用知識蒸餾方法壓縮模型規(guī)模，提升推理效率，并通過改進特征提取模塊和應用基于余弦距離的特征匹配方法，進一步降低了匹配時間并維持相當?shù)钠ヅ湫阅?。在研制的軟硬一體的平臺上試驗表明，優(yōu)化后模型平均定位誤差損失維持在0.1m以內(nèi)，定位平均處理時間為47ms，定位速度提升超過7倍，可滿足無人機定位的精度和實時性要求。

關鍵詞：無人機； 視覺定位； 圖像匹配； LoFTR； 知識蒸餾

中圖分類號：TP391 文獻標識碼：A DOI：10.19452/j.issn1007-5453.2023.05.012

基金項目： 航空科學基金（2019460S5001）；廣西科技重大專項（AA22068072）

在現(xiàn)代戰(zhàn)爭中，無人機成為越來越重要的作戰(zhàn)裝備，無人機被大量應用于偵察、目標打擊等作戰(zhàn)任務，對戰(zhàn)場有著舉足輕重的作用。然而面對復雜的作戰(zhàn)環(huán)境，目前的無人機裝備仍存在性能弱、無法建設成熟的作戰(zhàn)體系的問題。特別是隨著電磁干擾技術的發(fā)展，無人機常用的全球?qū)Ш叫l(wèi)星系統(tǒng)（GNSS）極易受到干擾，對無人機應用于作戰(zhàn)環(huán)境存在非常不利的影響。

近年來，計算機視覺發(fā)展迅速，基于深度學習的圖像匹配技術通過在衛(wèi)星地圖上匹配無人機影像來實現(xiàn)無人機視覺地理定位[1-4]，并成為解決GNSS拒止環(huán)境下無人機定位問題的一種有效途徑。然而，無人機平臺算力和功耗有限，如何在有限的設備環(huán)境下保證視覺定位實時性并兼顧定位精度，是實現(xiàn)無人機實時視覺定位的重點。

影像匹配作為視覺地理定位的核心算法[5-6]，也是計算機視覺的重要研究方向。定向快速角點與抗旋轉(zhuǎn)描述（ORB）[7]、尺度不變特征變換（SIFT）[8]和加速穩(wěn)健特征（SURF）[9]等算法是具有代表性的傳統(tǒng)特征匹配方法，常被用于即時定位與地圖構(gòu)建（SLAM）、視覺里程計等無人機定位系統(tǒng)。然而，傳統(tǒng)特征匹配算法的效果并不穩(wěn)定，在無人機發(fā)生較大位姿變換或在紋理稀疏區(qū)域時，傳統(tǒng)匹配算法無法實現(xiàn)魯棒匹配效果，導致位姿估計有較大的誤差。因此，這類方法常被用于室內(nèi)小范圍的定位感知。對于室外測繪應用，傳統(tǒng)特征匹配方法雖然實時性較好，但無法保證定位的精度，魯棒性較差。

近年來，基于深度學習的匹配算法不斷涌現(xiàn)，相比傳統(tǒng)算法，深度學習方法大幅提升了匹配精度。D. Detoe等 [10-11]提出了結(jié)合注意力機制[12] 的特征點提取和匹配方法，將基于深度學習的特征匹配性能提升到了新高度。此外，還有Sun等[13]、Wang等[14]和Chen Honghai等[15]基于深度學習的影像匹配方法，分別從匹配精度、模型規(guī)模等方面出發(fā)，進一步提升了匹配算法的性能。然而，大多數(shù)模型的設計都是在不考慮設備限制的情況下追求精度提升的，無法在算力受限的無人機上得到有效應用，以至于深度學習匹配算法難以在無人機視覺定位應用中發(fā)揮其高魯棒性和高精度匹配優(yōu)勢。

尋求高精度和高實時性的圖像匹配算法對于實時性要求較高的應用場景具有重要意義[16]。針對圖像匹配算法魯棒性和實時性的“瓶頸”問題，本文基于無特征檢測的局部特征變換器匹配（LoFTR）算法，通過結(jié)合模型優(yōu)化算法，提出了一種在無人機平臺應用智能化視覺定位方法的解決方案。優(yōu)化后的模型在魯棒性和實時性方面有較好的均衡，能夠在研制的軟硬一體的嵌入式平臺上實現(xiàn)較高精度的實時視覺地理定位。

1 無人機視覺地理定位

無人機視覺地理定位方法有效利用了無人機視覺載荷和預先制備的高分辨衛(wèi)星底圖，通過將無人機影像和衛(wèi)星底圖影像進行匹配，實現(xiàn)無人機高精度、穩(wěn)定的定位。其基本框架如圖1所示。

無人機影像由云臺相機拍攝，并實時傳輸?shù)綑C載計算機進行數(shù)據(jù)處理。衛(wèi)星影像預先在地面制備，根據(jù)無人機的飛行高度、飛行區(qū)域和飛行環(huán)境在起飛前從數(shù)據(jù)庫中提取最合適的衛(wèi)星影像，并存儲在機載計算機中。首先，對衛(wèi)星影像進行分割，保證定位的精度和效率；其次，將無人機影像和切割的衛(wèi)星影像進行匹配，輸出匹配點；最后，估計單應矩陣，得到影像間坐標映射關系，將無人機影像投影到衛(wèi)星影像上，并通過衛(wèi)星影像上存儲的地理坐標實現(xiàn)無人機定位，輸出無人機的經(jīng)緯度。

2 LoFTR影像匹配算法模型

影像匹配算法是視覺地理定位方法的核心，其性能直接影響定位的精度和效率。LoFTR算法是近兩年具有代表性的影像匹配算法，具有魯棒性強、精度高的優(yōu)點。因此，以LoFTR作為視覺地理定位的核心算法能改善定位精度和魯棒性，使無人機能在GNSS拒止下保持正常飛行。

LoFTR算法的模型框架如圖2所示，模型有4個模塊，分別是特征提取模塊、Transformer編碼模塊、粗匹配模塊和精匹配模塊。將待匹配的影像對輸入模型，通過融合特征金字塔的殘差網(wǎng)絡（ResNet）[17]骨干網(wǎng)提取多尺度特征，然后利用Transformer模塊分別對不同尺度的特征進行自注意力和交叉注意力編碼，粗匹配模塊通過構(gòu)建代價矩陣和置信度矩陣輸出粗匹配點，精匹配模塊通過高分辨率特征微調(diào)粗匹配的結(jié)果，輸出亞像素級的匹配點，精匹配應用了坐標回歸 [18]。

3 模型優(yōu)化方法

由于多模型組合形成的龐大模型無法滿足有限的無人機計算和功耗資源，需要壓縮模型提高匹配效率。本文將從網(wǎng)絡規(guī)模壓縮和模型推理改進進行優(yōu)化，知識蒸餾實現(xiàn)對特征提取和Transformer模塊的網(wǎng)絡規(guī)模壓縮；余弦距離度量實現(xiàn)粗匹配推理提速。

3.1 知識蒸餾

Gou等[19]首次提出了知識蒸餾，通過教師網(wǎng)絡指導精簡學生網(wǎng)絡訓練，實現(xiàn)知識遷移，使學生網(wǎng)絡兼顧效率和性能。知識蒸餾的基本框架如圖3所示。

將知識蒸餾引入教師網(wǎng)絡，同時采用教師網(wǎng)絡輸出的軟標簽和數(shù)據(jù)集的硬標簽對學生模型進行訓練。在訓練過程中，負樣本也帶有大量信息，對模型收斂有促進作用。因此，采用軟標簽能夠通過增大信息量加速模型訓練，提高模型精度，實現(xiàn)教師模型知識遷移。硬標簽則保證模型精度，防止可能受到軟標簽的錯誤知識引導。知識蒸餾中的溫度T是用來控制對負樣本的關注程度，溫度較低時，對負標簽尤其是那些顯著低于平均值的負標簽的關注較少；而溫度較高時，負標簽相關的值會相對增大。但由于負標簽具有非常大的噪聲，并不可靠，因此溫度T是一個經(jīng)驗值[20]。目前，知識蒸餾算法對于分類模型具有較好的效果。

LoFTR模型的粗匹配模塊實際是通過分類每個像素點實現(xiàn)最相關匹配的。其原理如圖4所示。

將提取的特征圖展平為L×256，在Transformer編碼后輸入粗匹配模塊，L代表特征圖的像素個數(shù)。通過計算每兩個特征矢量間的點積相似度，輸出L×L的代價矩陣。然后利用歸化指數(shù)函數(shù)（SoftMax）分別處理代價矩陣的行和列，將輸出的兩個結(jié)果相乘得到置信度矩陣。顯然，該矩陣的元素表示每個像素點的匹配概率。LoFTR的粗匹配模塊實質(zhì)上是對每個像素點的分類，因此可以將置信度矩陣作為知識蒸餾的軟標簽指導學生模型訓練。輸出能實現(xiàn)粗匹配的輕量化模型。

3.2 學生模型設計

根據(jù)3.1節(jié)的描述，粗匹配實質(zhì)上是分類模型，可以采用知識蒸餾框架訓練學生模型的特征提取、Transformer和粗匹配模塊的相關網(wǎng)絡參數(shù)。

本文還對特征提取模塊進行改進，提升推理速度。特征金字塔在無人機影像匹配中的作用并不明顯，如果無人機的飛行高度變化顯著，特征金字塔無法解決過大尺度變化；LoFTR粗匹配直接采用ResNet提取的低分辨特征，并未融合高分辨率特征；LoFTR模型的精匹配模塊以粗匹配結(jié)果為基礎，即精匹配只提高粗匹配結(jié)果的精度。因此，特征金字塔大大降低了模型推理效率，本文在學生模型中直接采用兩個不同的1×1卷積層替代特征金字塔輸出多尺度特征，加速推理速度。

此外，本文改進LoFTR模型精匹配模塊以進一步提升推理速度。該模塊分為Transformer編碼和坐標回歸兩部分，Transformer編碼參數(shù)量較大，推理時間慢；坐標回歸基于特征圖，效率較高。但回歸會導致知識蒸餾無法訓練網(wǎng)絡參數(shù)，該模塊需要凍結(jié)參數(shù)二次訓練。本階段改進策略包括：（1）粗匹配模塊已經(jīng)利用Transformer建立了較精確的匹配關系，精匹配模塊采用未編碼特征圖直接回歸實現(xiàn)魯棒的坐標精細化。（2）精匹配階段的Transformer編碼只面向以匹配點為中心5×5的局部特征圖，注意力的作用并不顯著。在改進階段中舍棄了該編碼部分。

綜上，完整的學生模型框架如圖5所示。其需要兩次訓練。知識蒸餾訓練特征提取、Transformer編碼和粗匹配模塊的網(wǎng)絡參數(shù)。通過降低ResNet和Transformer網(wǎng)絡的通道數(shù)和層數(shù)等來提升推理效率。原模型和知識蒸餾的模型參數(shù)見表1。凍結(jié)訓練用于單獨訓練學生模型的精匹配模塊。

3.3 基于余弦相似度量的影像匹配

知識蒸餾只能提升模型中的卷積神經(jīng)網(wǎng)絡部分，對于特征間相似度計算、匹配點輸出等模塊并沒有顯著作用。實測表明，LoFTR模型中基于SoftMax的粗匹配方案計算較為延時。本文基于余弦距離改進了粗匹配方法，提升了匹配速度。

根據(jù)3.1節(jié)的描述，LoFTR模型的粗匹配模塊實際是為了計算得到特征間的相似性。在訓練過程中，由于梯度計算的要求，需要SoftMax輸出軟標簽。而在推理過程中，SoftMax函數(shù)不是必須的，只需計算特征相似度并輸出最大值即可實現(xiàn)影像匹配。由此，相似度計算由特征點積修改成特征余弦距離，代價矩陣直接輸出匹配，效率進一步提高。其原理如圖6所示。集合知識蒸餾，形成了FLoFTR模型。

3.4 訓練

綜合模型優(yōu)化，完整的訓練步驟分為兩步：首先，利用LoFTR預訓練模型指導訓練特征提取、Transformer和粗匹配模塊的網(wǎng)絡參數(shù)。其次，輸出模型后，凍結(jié)部分參數(shù)并單獨訓練精匹配模塊，輸出完整的輕量化匹配模型。

對于知識蒸餾訓練，根據(jù)3.1節(jié)的描述，訓練損失由蒸餾損失和目標損失兩部分組成，分別對應相對教師模型和真值的損失。蒸餾損失采用相對熵（KL散度）計算信息損失程度。蒸餾損失利用原模型的代價矩陣生成的概率分布矩陣指導學生模型訓練，計算方式如式（1）所示

對于精匹配模塊進行單獨訓練，僅需訓練ResNet模型中輸出高分辨率特征圖的1×1卷積層的參數(shù)，其他參數(shù)均凍結(jié)。本文同時訓練了基于余弦距離和LoFTR模型匹配方法的兩個模型，用于后續(xù)試驗對比。

4 對比試驗

4.1 數(shù)據(jù)準備和測試環(huán)境

試驗使用了4個不同的數(shù)據(jù)集，分別是用于訓練的MegaDepth[21]數(shù)據(jù)集、BlendedMVS[22]數(shù)據(jù)集，用于單應性對比試驗的HPatches[23]數(shù)據(jù)集和用于定位性能對比的武漢城郊自建數(shù)據(jù)集。

MegaDepth數(shù)據(jù)集和BlendedMVS數(shù)據(jù)集用于訓練模型，這兩個數(shù)據(jù)集都是常見的用于訓練影像匹配模型的數(shù)據(jù)集。根據(jù)本文3.1節(jié)，訓練分為兩步：首先，使用預訓練的LoFTR模型作為教師模型訓練出粗匹配的知識蒸餾模型。LoFTR預訓練模型在MegaDepth數(shù)據(jù)集上訓練得到，MegaDepth數(shù)據(jù)集包含了不同拍攝角度、尺度的匹配影像對，具有數(shù)據(jù)量大、影像差異明顯的特點，對訓練出魯棒性強、精度高的模型有明顯作用。知識蒸餾模型在BlendedMVS數(shù)據(jù)集上訓練，該數(shù)據(jù)集相比MegaDepth數(shù)據(jù)量較小，能有效緩解數(shù)據(jù)量大的訓練時長和硬件要求高的問題，同時增強模型泛化性。其次，得到粗匹配的知識蒸餾模型后，在MegaDepth數(shù)據(jù)集上訓練精匹配模塊。精匹配模塊對匹配精度有較大影響，因此采用與預訓練模型相同的MegaDepth數(shù)據(jù)集保持數(shù)據(jù)一致性。

HPatches數(shù)據(jù)集包含不同光照和不同角度的匹配影像，同時有對應的單應矩陣真值，用于評估模型估計的單應矩陣的精度。

武漢城郊自建數(shù)據(jù)集由大疆精靈4拍攝，相機型號為DJI FC6310R魚眼相機，傳感器尺寸為13.2mm×8.8mm，像幅尺寸為5472px×3648px，像元大小為2.41μm，相機焦距為8.8mm，采集過程為下視拍攝正射影像。魚眼鏡頭的焦距很短、視角很大，其拍攝的影像相較于平面底圖存在較大畸變，所以為了減小匹配定位難度和保證定位精度，根據(jù)相機參數(shù)對魚眼相機拍攝的影像做了畸變矯正。無人機平臺如圖7所示。

分別有200m、250m、300m拍攝高度的紋理豐富城區(qū)影像1500張，以及300m拍攝高度的紋理稀疏叢林影像260張。同時數(shù)據(jù)集包含了無人機拍攝時的GNSS數(shù)據(jù)，作為定位精度的客觀真值。衛(wèi)星影像從谷歌地球上截取，地面分辨率0.5m。

本文分別使用經(jīng)典傳統(tǒng)匹配方法（SIFT）、LoFTR、知識蒸餾后的LoFTR（KD）和FLoFTR4種方法進行對比試驗。所有對比試驗均在研制的軟硬一體的原型系統(tǒng)中進行。該系統(tǒng)以嵌入式開發(fā)板Jetson AGX Orin為主體，集成了控制算法、定位算法和衛(wèi)星影像數(shù)據(jù)等，形成軟硬一體的無人機視覺地理定位系統(tǒng)。

4.2 單應性對比

本文首先在HPatches上評估算法性能。HPatches數(shù)據(jù)集包含57個光照變化序列、59個視角變化序列，每一個序列包含6張匹配影像。對于每一個序列，取一幅圖像作為參考圖像，與其他5張圖像進行匹配，并估計單應矩陣。通過對比估計單應矩陣和數(shù)據(jù)集內(nèi)的真實單應矩陣判斷評估匹配算法的精度，并分析知識蒸餾模型的精度損失。單應矩陣的精度通過影像4個角點的精度評估，計算公式如（5）所示

試驗分別統(tǒng)計了誤差在3px以內(nèi)、3～5px和5px以上的單應矩陣數(shù)量占比，結(jié)果見表2。

從試驗結(jié)果可以發(fā)現(xiàn)，F(xiàn)LoFTR綜合精度較優(yōu)于傳統(tǒng)SIFT方法，但與原模型LoFTR比較有一定的精度下降，這是由于壓縮模型后造成的不可避免的精度損失。具體分析來看，誤差在三個像素以內(nèi)的單應矩陣，僅知識蒸餾后損失相對顯著，而FLoFTR模型則更好地保留了原模型精度，精度損失維持在15%以內(nèi)。精度在3～5px的單應矩陣數(shù)據(jù)占比增加較多。對于像素誤差超過5px，不論是知識蒸餾模型還是FLoFTR模型，數(shù)量占比增長控制在7%左右。因此，知識蒸餾保持了較好的整體精度。而定位采用地面分辨率為0.5m的衛(wèi)星影像，5px誤差在2.5m左右，足夠滿足無人機定位要求。

4.3 定位性能對比

本文在武漢郊區(qū)自建數(shù)據(jù)集上進行定位性能評估。無人機影像和衛(wèi)星影像匹配后，利用隨機抽樣一致（RANSAC）算法估計單應矩陣并通過其計算無人機影像中心在衛(wèi)星底圖上的投影坐標，然后根據(jù)衛(wèi)星地圖的地理坐標轉(zhuǎn)換得到無人機的經(jīng)緯度坐標。

本文設計了不同拍攝高度對比試驗，用來比較驗證本文算法在無人機不同飛行高度下的定位有效性，試驗數(shù)據(jù)分別為200m、250m和300m拍攝高度的城區(qū)影像。試驗結(jié)果如表3和圖8所示，圖中紅色直線代表真實軌跡，橙色代表SIFT算法預測軌跡，藍色代表LoFTR算法預測軌跡，紫色代表LoFTR算法知識蒸餾后預測軌跡，綠色代表FLoFTR算法預測軌跡。

從不同高度無人機定位試驗結(jié)果可以發(fā)現(xiàn)，SIFT算法定位失敗，這是由于SIFT算法無法有效匹配無人機與衛(wèi)星底圖這種異源且場景復雜的圖像。LoFTR算法在飛行高度300m定位成功，但在250m和200m定位失敗，這是因為LoFTR算法具有不抗尺度的局限性，從而對無人機飛行高度變化的定位適應性差。其他兩個模型在不同飛行高度均可整體定位，軌跡的完整度和連續(xù)性都比較理想，這是因為在知識蒸餾的過程中舍棄了Transformer編碼與回歸部分，是算法模型直接學習擬合了訓練數(shù)據(jù)中存在的多尺度特征，提高了算法對不同尺度圖像匹配的適應性。同時根據(jù)表3數(shù)據(jù)對比，F(xiàn)LoFTR算法綜合適應性和平均定位精度相較于其他算法最高，證明了知識蒸餾和余弦相似度量改進的有效性。但隨著無人機飛行高度的降低，定位算法的單應性假設也會逐漸失效，從而影響算法穩(wěn)定性，使部分定位區(qū)域誤差較大，飛行高度過低甚至會導致定位算法完全失效。

本文同時設計了紋理稀疏場景的試驗，試驗數(shù)據(jù)還包括300m高度拍攝的叢林區(qū)域影像，定位結(jié)果如圖9所示，客觀評估結(jié)果見表4。

從圖9和表4中可以發(fā)現(xiàn)，經(jīng)典傳統(tǒng)方法SIFT同樣無法實現(xiàn)無人機視覺定位，三個深度學習模型的定位差異較小，知識蒸餾后的模型保留了原模型的大部分精度，雖然受紋理影響，F(xiàn)LoFTR相比原模型最大定位誤差的精度損失接近1m，但平均定位誤差的精度損失維持在0.1m以內(nèi)，證明FLoFTR對于不同場景的無人機定位仍具有一定的魯棒性。

綜合多場景試驗可證明，經(jīng)過知識蒸餾壓縮改進后的模型相較于原模型的定位精度未出現(xiàn)顯著下降，且增強了算法對飛行高度的適應性，滿足無人機不低于200m飛行高度的自主定位的需求。

4.4 效率對比

優(yōu)化算法的核心目標是提供可應用在無人機平臺的高效視覺地理定位方法，因此對三個模型的運行效率進行了詳細測試。在Jetson AGX Orin嵌入式載板上推理時間（見表5），試驗結(jié)果多次測試并取平均值，由于SIFT算法無法實現(xiàn)定位，試驗未統(tǒng)計其計算耗時。

表5中數(shù)據(jù)表明，通過知識蒸餾壓縮模型，有效降低了特征提取和Transformer編碼模塊的推理時間，并進一步提升了精匹配的效率；通過余弦距離計算相似度，有效改善了SoftMax方法時間復雜度高的問題，降低了粗匹配推理耗時。需要注意的是， LoFTR和知識蒸餾模型粗匹配模塊的耗時理論上應該是一致的，此處存在細微差別是由測試存在波動和誤差引起的。優(yōu)化后模型FLoFTR的推理時間為47ms，相比原模型提升超過7倍，基本達到實時定位。

5 結(jié)論

為解決無人機在GNSS拒止和計算資源受限條件下的定位問題，本文基于知識蒸餾提出了面向無人機實時在線視覺地理定位的FLoFTR算法。在研制的軟硬一體機載嵌入式平臺上的對比試驗顯示，F(xiàn)LoFTR在定位精度與推理速度之間獲得了較好的均衡，滿足無人機應用需求。

FLoFTR為無人機提供了一種機載高精度和高效的視覺地理定位方法，但目前的研究測試環(huán)境比較理想，對于真實復雜環(huán)境中的場景、天氣、天候等變化，算法的魯棒性和精確性需要進一步提升，為復雜環(huán)境下的無人機定位提供堅實技術支撐。

參考文獻

[1]Gyagenda N， Hatilima J V， Roth H， et al. A review of GNSSindependent UAV navigation techniques[J]. Robotics and Autonomous Systems， 2022， 135： 104069.

[2]Couturier A， Akhloufi M A. A review on absolute visual localization for UAV[J]. Robotics and Autonomous Systems， 2021， 135： 103666.

[3]Sui H， Li J， Lei J， et al. A fast and robust heterologous image matching method for visual Geo-localization of low-altitude UAVs[J]. Remote Sensing， 2022， 14（22）： 5879.

[4]劉飛，單佳瑤，熊彬宇，等. 基于多傳感器融合的無人機可降落區(qū)域識別方法研究[J]. 航空科學技術，2022，33（4）：19-27. Liu Fei， Shan Jiayao， Xiong Binyu， et al. Research on the identification method of UAV landing area based on multisensor fusion[J]. Aeronautical Science & Technology， 2022， 33（4）：19-27. （in Chinese）

[5]Ma J， Jiang X， Fan A， et al. Image matching from handcrafted to deep features： A survey[J]. International Journal of Computer Vision， 2021， 129（1）： 23-79.

[6]羅世彬，劉海橋，胡茂青，等.無人飛行器異源圖像匹配輔助慣性導航定位技術綜述[J]. 國防科技大學學報，2020，42（6）： 1-10. Luo Shibin， Liu Haiqiao， Hu Maoqing， et al. Review of multimodal image matching assisted inertial navigation positioning technology for unmanned aerial vehicle[J]. Journal of National University of Defense Technology， 2020，42（6）：1-10. （in Chinese）

[7]Rublee E， Rabaud V， Konolige K， et al. ORB： An efficient alternative to SIFT or SURF[C]. International Conference on Computer Vision. IEEE， 2011： 2564-2571.

[8]Lowe D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision， 2004， 60（2）： 91-110.

[9]Bay H， Tuytelaars T， Van Gool L. Surf： speeded up robust features[C]. European Conference on Computer Vision. Springer，2006： 404-417.

[10]Detone D， Malisiewicz T， Rabinovich A. Superpoint： selfsupervised interest point detection and description[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops， 2018： 224-236.

[11]Sarlin P E， Detone D， Malisiewicz T， et al. Superglue： Learning feature matching with graph neural networks[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2020： 4938-4947.

[12]Vaswani A， Shazeer N， Parmar N， et al. Attention is all you need[J]. Advances in Neural Information Processing Systems， 2017，15： 30.

[13]Sun J， Shen Z， Wang Y， et al. LoFTR： Detector-free local feature matching with transformers[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2021： 8922-8931.

[14]Wang Q， Zhang J， Yang K， et al. MatchFormer： Interleaving attention in transformers for feature matching[C].Proceedings of the Asian Conference on Computer Vision， 2022： 2746-2762.

[15]Chen Honghai， Luo Zixin， Zhou Lei， et al. ASpanFormer： Detector-free image matching with adaptive span transformer[C].European Conference on Computer Vision. Springer， 2022： 20-36.

[16]趙曉冬，張洵穎，車軍，等. 精確制導武器末制導目標識別優(yōu)化算法研究[J]. 航空科學技術， 2022，33（1）：126-134. Zhao Xiaodong， Zhang Xunying， Che Jun， et al. Research on optimization algorithm of terminal guidance target recognition for precision-guided weapons[J]. Aeronautical Science & Technology， 2022， 33（1）：126-134. （in Chinese）

[17]He K， Zhang X， Ren S， et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2016： 770-778.

[18]Pereira T D， Tabris N， Matsliah A， et al. SLEAP： A deep learning system for multi-animal pose tracking[J]. Nature Methods， 2022， 19（4）： 486-495.

[19]Gou J， Yu B， Maybank S J， et al. Knowledge distillation： A survey[J]. International Journal of Computer Vision， 2021， 129： 1789-1819.

[20]Gao Y， Zhao L. Coarse TRVO： a robust visual odometry with detector-free local feature[J]. Journal of Advanced Computa‐tional Intelligence and Intelligent Informatics， 2022， 26（5）： 731-739.

[21]Li Z， Snavely N. Megadepth： learning single-view depth prediction from internet photos[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2018： 2041-2050.

[22]Yao Y， Luo Z， Li S， et al. Blendedmvs： A large-scale dataset for generalized multi-view stereo networks[C].Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2020： 1790-1799.

[23]Balntas V， Lenc K， Vedaldi A， et al. HPatches： A benchmark and evaluation of handcrafted and learned local descriptors[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2017： 5173-5182.

Real-time Geolocation on UAV Based on FLoFTR Algorithm

Liu Chang1， Li Jiajie1， Sui Haigang1， Lei Junfeng1， Ge Liang2

1. Wuhan University， Wuhan 430072， China

2. Tianjin Institute of Surveying and Mapping Co.， Ltd.， Tianjin 300381， China

Abstract： Developing an efficient and robust intelligent visual localization method is an effective means to solve the navigation and positioning of UAV under GNSS denial conditions. However， the accuracy of traditional visual localization method is poor， thus leading to lose location easily. By improving and optimizing the high-precision image matching algorithm LoFTR， this paper propose FLoFTR algorithm to achieve real-time localization on the UAV. FLoFTR uses knowledge distillation method to compress the model size and improve the inference efficiency. By improving the feature extraction module and applying the cosine distance， FLoFTR further reduces the matching time and maintains comparable matching performance. The experimental results show that the average localization error loss of the optimized model is less than 0.1m. And the average localization processing time is 47ms， which is increased by more than 7 times and can meet the precision and real-time requirements of UAV localization.

Key Words： UAV； visual localization； image matching； LoFTR； knowledge distillation