藺瑤， 曾晏林， 賀壹婷， 費加杰， 黎強(qiáng)， 楊毅

(云南農(nóng)業(yè)大學(xué) 大數(shù)據(jù)學(xué)院，云南 昆明 650201)

1 引言

隨著計算機(jī)視覺技術(shù)的不斷發(fā)展，圖像拼接技術(shù)的應(yīng)用范圍也越來越廣泛[1-4].基于特征點提取的圖像拼接是目前比較流行的拼接方法，并且在常用的特征點提取方法中，ORB算法是Rublee等[5]提出的一種二進(jìn)制特征提取算法，ORB相較于Harris、SIFT、SURF，它的計算速度快，計算量小，內(nèi)存消耗低.為此眾多相關(guān)學(xué)者紛紛開始對ORB算法展開研究.李小紅等[6]提出了采用ORB特征算子的特征點匹配算法，解決了運動中物體的目標(biāo)檢測的問題.曾海長等[7]將SURF算法中的海森檢測算子引入ORB算法中，將改進(jìn)的ORB算法應(yīng)用到圖像拼接中，解決了尺度和旋轉(zhuǎn)不變性問題.劉婷婷等[8]提出的ORB的改進(jìn)算法，計算速度提高了很多，減少了重影錯位現(xiàn)象.上述學(xué)者提出的改進(jìn)的ORB算法，雖然提高了算法的性能，但沒有解決ORB算法匹配精度低的問題，本文將四叉樹數(shù)據(jù)結(jié)構(gòu)引入ORB算法來均勻特征點，通過KNN算法對提取的特征點進(jìn)行粗略匹配，再根據(jù)RANSAC算法過濾掉錯誤匹配點，計算變換矩陣H.

2 算法原理及實現(xiàn)

ORB算法整合了FAST(Features from Accelerated Segment Test)[9]算法和BRIEF(Bianry Robust Independent Elementary Features)[10]算法，能有效地構(gòu)造圖像特征點的特征向量，并通過特征向量檢測圖像中的目標(biāo).本文在ORB算法的基礎(chǔ)上引入四叉樹結(jié)構(gòu)，新算法可以使特征點分布均勻，圖像更好地融合(記為QT-ORB算法)，引入四叉樹前后流程對比如圖1所示.

2.1 采用四叉樹結(jié)構(gòu)使ORB算法提取的特征點分布更均勻

首先將圖像分為N個等分的區(qū)域(N為初始圖像的寬高比的四舍五入值)，N=round(width/height).將每個區(qū)域劃分為4個相等的子區(qū)域.在子區(qū)域內(nèi)檢測特征點并計算特征點描述子.如果子區(qū)域的特征點數(shù)大于設(shè)定的閾值，繼續(xù)劃分，否則停止劃分.直到提取的特征點達(dá)到期望值，劃分結(jié)束，在子區(qū)域內(nèi)提取特征點.圖2是采用四叉樹結(jié)構(gòu)前后特征點的對比圖，可以清晰的看出用四叉樹結(jié)構(gòu)來進(jìn)行FAST特征點的提取，比原來的提取方式更均勻，將圖像進(jìn)行劃分，把特征點分配到子區(qū)域中，在進(jìn)行圖像匹配時，只需選出相應(yīng)子區(qū)域的特征點和描述子.

圖1 引入四叉樹前后的算法流程對比圖

圖2 采用四叉樹結(jié)構(gòu)特征點分布前后對比圖

2.2 RANSAC算法特征點匹配

通過四叉樹結(jié)構(gòu)提取特征點后，計算提取出的特征點的描述子和方向,根據(jù)特征值的漢明距離[11]進(jìn)行KNN粗匹配.再通過RANSAC算法篩除錯誤匹配.先隨機(jī)選取兩個點，計算模型方程，選擇滿足誤差閾值最多點的模型作為問題的解.選取n個質(zhì)量高的特征點對.然后從中隨機(jī)選出4對，計算出對應(yīng)矩陣的8個參數(shù).根據(jù)矩陣計算出其余特征點的誤差，然后根據(jù)誤差閾值判斷是內(nèi)點還是外點.如果多于設(shè)定的閾值點數(shù)量的內(nèi)點，就判定這個是最佳矩陣.如果沒有，重新隨機(jī)選擇1對進(jìn)行下一次迭代.如果已經(jīng)到了最大的迭代次數(shù)，就返回到內(nèi)點數(shù)最多的模型，得到最佳的單應(yīng)性變換矩陣.

單應(yīng)矩陣是兩幅圖像之間的轉(zhuǎn)換矩陣.RANSAC算法用于估計單應(yīng)矩陣，單應(yīng)矩陣有8個未知數(shù)，可以選取4對特征點來計算出矩陣.假設(shè)兩張圖像中對應(yīng)的一組匹配點P1(x,y)、P2(x′,y′)，它們之間的轉(zhuǎn)換關(guān)系H表示為：

(1)

2.3 圖像拼接算法流程

(1)首先導(dǎo)入圖像，將導(dǎo)入的圖像轉(zhuǎn)為灰度圖.

(2)根據(jù)圖像金字塔[12]計算特征點進(jìn)行非極大值抑制，根據(jù)最佳閾值提取特征點.

(3)用四叉樹結(jié)構(gòu)提取響應(yīng)值佳的FAST特征點.

(4)對提取的特征點進(jìn)行二進(jìn)制編碼，得到brief描述并計算方向.

(5)通過KNN實現(xiàn)特征點粗匹配，選出高質(zhì)量的特征點對.

(6)設(shè)置RANSAC算法[13]輸入數(shù)據(jù)的優(yōu)先級，選出精匹配點對并計算單應(yīng)性矩陣，進(jìn)行圖像融合.

3 QT-ORB算法在無人機(jī)病蟲害檢測中的應(yīng)用

實驗在Windows11操作系統(tǒng)下進(jìn)行，硬件配置為R7 5800H處理器，NVIDIA GTX3060 顯卡，開發(fā)軟件為PyCharm2021.實驗圖像數(shù)據(jù)來源于自組F250四旋翼無人機(jī)搭載IntelRealsense D435i相機(jī)拍攝所得的公開圖像數(shù)據(jù)集.圖3中(a)、(b)分別為無人機(jī)攝像頭采集到的玉米蟲害蝸牛和粘蟲的原始圖像.

圖3 無人機(jī)攝像頭采集到的原始數(shù)據(jù)

圖4 三種算法的特征點檢測

圖4顯示了ORB、SIFT和QT-ORB算法的特征點檢測的對比結(jié)果.從圖中可看出，ORB算法提取的特征點過度聚集.與SIFT算法提取的特征點相比，本文算法提取的特征點分布更為均勻.這表明QT-ORB減少了特征點的聚集，提高了特征點提取的均勻性，保證了后續(xù)圖像的無縫融合.

圖5 三種算法的尺度不變性實驗結(jié)果對比

圖5顯示了ORB算法、SIFT算法和QT-ORB尺度不變性實驗的對比結(jié)果.從圖中可看出，ORB算法存在錯誤匹配的現(xiàn)象.SIFT算法相對于ORB算法，效果較好，匹配的特征點對有部分重疊.QT-ORB匹配的特征點對不存在明顯的錯誤匹配現(xiàn)象，有良好的魯棒性，克服了ORB算法沒有尺度不變性的不足.

圖6 三種算法的匹配結(jié)果對比

圖7 圖像匹配結(jié)果

圖6顯示了三種不同算法的特征點匹配結(jié)果，可以看出ORB算法存在錯誤匹配的現(xiàn)象，SIFT算法匹配的特征點有重疊現(xiàn)象，QT-ORB匹配點大幅減少，降低了錯誤匹配率.如圖7所示，粗匹配后，仍然存在特征點錯誤匹配的現(xiàn)象，而QT-ORB設(shè)置RANSAC輸入數(shù)據(jù)的優(yōu)先級，可以很好地消除這一現(xiàn)象.

三種不同算法在數(shù)據(jù)集(a)、(b)上的特征提取時間、特征匹配時間、匹配精度如表1所示，QT-ORB在特征提取時間和特征匹配時間上都有所提升，相比ORB算法和SIFT算法，特征提取時間分別減少了28.64%、27.56%和45.91%、43.82%，特征點提取的速度明顯加快.通過過濾失配對，得到較少的有效匹配對，使QT-ORB特征匹配時間分別比ORB算法以及SIFT算法減少了15.68%、15.02%和32.93%、31.50%.QT-ORB算法最高匹配精度達(dá)到94.16%.綜上所述，本文算法提高了特征點分布的均勻性、特征點的匹配精度以及速度.

表1 三種不同算法的對比結(jié)果

圖8 QT-ORB算法的圖像拼接結(jié)果

QT-ORB算法的拼接效果如圖8所示，沒有明顯的拼接縫隙，圖像過渡自然，并且重影和錯位較少，拼接效果良好，因此將圖像拼接技術(shù)用于農(nóng)作物病蟲害的檢測是可行的.

4 結(jié)語

在ORB算法的基礎(chǔ)上采用四叉樹結(jié)構(gòu)實現(xiàn)特征點均勻分配.通過實驗將其與ORB算法和SIFT算法進(jìn)行對比分析可知，QT-ORB提取的特征點更具代表性，航拍圖像的拼接效果更佳.因此，QT-ORB算法能夠提高圖像拼接的效率與準(zhǔn)確性.

在農(nóng)作物的病蟲害檢測方面，利用無人機(jī)獲取農(nóng)田高清圖像[14]，并利用圖像拼接技術(shù)對獲取的圖像加以處理、分析，使農(nóng)民能在植株生長的不同階段了解到農(nóng)田的受害情況，具有一定的現(xiàn)實意義.