劉媛媛，何 銘，王躍勇，孫 宇，高雪冰

?農(nóng)業(yè)信息與電氣技術(shù)?

基于優(yōu)化SIFT算法的農(nóng)田航拍全景圖像快速拼接

劉媛媛1,3，何 銘1,3，王躍勇2,3※，孫 宇1,3，高雪冰1,3

（1. 吉林農(nóng)業(yè)大學(xué)信息技術(shù)學(xué)院，長(zhǎng)春 130118；2. 吉林農(nóng)業(yè)大學(xué)工程技術(shù)學(xué)院，長(zhǎng)春1 30118；3. 吉林農(nóng)業(yè)大學(xué)智慧農(nóng)業(yè)研究院，長(zhǎng)春 130118）

為了快速準(zhǔn)確獲取大面積農(nóng)田圖像信息，提高保護(hù)性耕作秸稈還田監(jiān)測(cè)效率和準(zhǔn)確性，該研究提出一種基于優(yōu)化SIFT（scale-invariant feature transform）算法的農(nóng)田航拍全景圖像快速拼接方法。首先對(duì)高分辨率圖像進(jìn)行降采樣處理，針對(duì)圖像的重疊區(qū)域進(jìn)行有效檢測(cè)；然后采用基于梯度歸一化的特征描述符對(duì)特征點(diǎn)進(jìn)行匹配，同時(shí)通過(guò)漸進(jìn)樣本一致算法去除誤匹配，精準(zhǔn)計(jì)算拼接轉(zhuǎn)換模型；最后采用基于最佳拼接線的多分辨率融合算法進(jìn)行圖像融合，得到全景拼接圖像。試驗(yàn)結(jié)果表明：該文方法在圖像配準(zhǔn)階段與傳統(tǒng)SIFT算法和SURF（speeded up robust feature）算法相比，特征點(diǎn)數(shù)量分別減少了97%和90%，運(yùn)行時(shí)間減少了94%和69%，平均匹配效率為65.17%，約為SIFT算法的4倍，SURF算法的9倍；與APAP（ss-projective-as-possible）、SPHP（shape-preserving half-projective）和AANAP（adaptive as-natural-as-possible）算法相比，該方法拼接圖像的信息熵、平均梯度和圖像對(duì)比度均有明顯提高。與傳統(tǒng)方法相比，該文分層拼接方法提高了全景拼接圖像的清晰度和融合效果，解決了傳統(tǒng)方法中出現(xiàn)的錯(cuò)位和重影問(wèn)題，其中全景圖像的信息熵、平均梯度小幅提高，對(duì)比度明顯提高，拼接時(shí)間大約縮短了90%以上。研究結(jié)果可為保護(hù)性耕作秸稈還田監(jiān)測(cè)提供科學(xué)參考。

無(wú)人機(jī)；圖像處理；全景拼接；SIFT算子；特征點(diǎn)匹配；圖像融合

0 引 言

秸稈覆蓋還田能夠杜絕秸稈焚燒產(chǎn)生的大氣污染，同時(shí)還能起到增肥增產(chǎn)作用，對(duì)農(nóng)業(yè)生產(chǎn)、生態(tài)環(huán)境有積極影響[1-3]。為了更好地實(shí)行秸稈還田補(bǔ)貼政策，準(zhǔn)確評(píng)估秸稈還田率極其重要。目前，國(guó)內(nèi)主要采用人工拉繩法來(lái)測(cè)量秸稈覆蓋率，效率低、精度差。因此，采用計(jì)算機(jī)視覺(jué)技術(shù)解決田間秸稈覆蓋率精準(zhǔn)檢測(cè)問(wèn)題十分重要[4-6]。近幾年，無(wú)人機(jī)航拍技術(shù)不斷發(fā)展與普及，其具有快速、靈活、操作方便、影像分辨率高等優(yōu)勢(shì)，得到廣泛應(yīng)用[7-8]。受到無(wú)人機(jī)飛行高度和相機(jī)成像視場(chǎng)的限制，無(wú)人機(jī)獲取的單幅圖像難以完全覆蓋目標(biāo)區(qū)域，為了滿足秸稈覆蓋率及地理信息檢測(cè)對(duì)大面積全景圖像的要求，需要利用圖像拼接技術(shù)，對(duì)無(wú)人機(jī)采集的序列圖像進(jìn)行全景拼接。圖像拼接技術(shù)最初由SUTHERLAND[9]提出。1975年KUGLIN等[10]提出通過(guò)傅里葉變換把原始圖像變換到頻域區(qū)，通過(guò)歸一化互動(dòng)功率譜計(jì)算相鄰圖像間的平行和旋轉(zhuǎn)量，最后得到拼接圖像。

圖像配準(zhǔn)是序列圖像拼接的關(guān)鍵。HARRIS等[11]提出了Harris特征點(diǎn)檢測(cè)器，對(duì)像素直接進(jìn)行處理，通過(guò)角點(diǎn)計(jì)算特征點(diǎn)，像素精度高，魯棒性好，但其不具有尺度不變性，對(duì)圖片的明暗程度比較敏感，在紋理角點(diǎn)豐富的場(chǎng)景下檢測(cè)效果較差。LOWE等[12]提出了尺度不變特征變換（scale-invariant feature transform, SIFT）算法，該算法匹配精度高，有良好的尺度不變性以及較強(qiáng)光照及視角變化的魯棒性，但特征點(diǎn)計(jì)算量大，特征描述子計(jì)算過(guò)程復(fù)雜度高，無(wú)法滿足圖像快速拼接要求。BAY[13]對(duì)SIFT算法的興趣點(diǎn)提取及其特征向量描述進(jìn)行改進(jìn)，提出了高魯棒性局部特征點(diǎn)檢測(cè)（speeded up robust feature，SURF）算法。與SIFT算法相比，SURF算法充分利用積分圖像，大大減少了計(jì)算復(fù)雜度和計(jì)算量，計(jì)算速度更快，但算法穩(wěn)定性差且對(duì)尺度和旋轉(zhuǎn)的變化容忍度低。MOREL等[14]提出了一種仿射尺度不變特征轉(zhuǎn)換（affine scale invariant feature transform，ASIFT）算法，該算法建立一種仿射模型對(duì)SIFT算法中仿射變換匹配計(jì)算進(jìn)行改進(jìn)。RUBLE等[15]提出了ORB（oriented FAST and rotated BRIE）算法，該算法在圖像匹配計(jì)算中速度更快。但也不具備尺度不變性，在很多應(yīng)用上都有著很大的不足。

國(guó)外關(guān)于圖像拼接的研究主要集中在拼接相鄰兩幅圖像[16]或同行多幅圖像生成全景圖像[17-18]的簡(jiǎn)單情況。目前，國(guó)內(nèi)研究人員對(duì)無(wú)人機(jī)航拍圖像拼接的研究也取得快速發(fā)展。賈銀江等[19]提出了一種基于圖像銳化的自適應(yīng)修改采樣步長(zhǎng)的非極小值抑制拼接算法。沈躍等[20]提出了基于Kinect彩色和深度雙信息特征源的圖像拼接方法，能夠有效克服光照、風(fēng)吹等環(huán)境因素的影響，避免了圖像缺失、亮暗差異、重影等拼接錯(cuò)誤。吳如夢(mèng)等[21]提出根據(jù)無(wú)人機(jī)航拍過(guò)程中自身的參數(shù)和攝像頭的參數(shù)信息，使用SURF算法對(duì)預(yù)處理后的圖像進(jìn)行特征檢測(cè)的方法。王紅君等[22]提出了基于改進(jìn)SPHP算法的無(wú)人機(jī)遙感圖像全景拼接方法。王艷等[23]通過(guò)改進(jìn)SIFT算法提出一種基于GA-SIFT算法的航拍圖像拼接方法。目前已有遙感圖像拼接軟件如Pix4、ENVI、Agisoft等對(duì)圖像具有較高要求，圖像重疊率必須為80%以上，在對(duì)大面積農(nóng)田圖像拼接時(shí)，所需圖像數(shù)據(jù)較多，耗時(shí)較大，無(wú)法滿足快速拼接要求。

針對(duì)上述問(wèn)題，本文結(jié)合航拍秸稈農(nóng)田圖像特點(diǎn)，對(duì)多幅高分辨率圖像拼接方法展開研究，提出了一種基于優(yōu)化SIFT算法的秸稈農(nóng)田全景圖像快速拼接方法，針對(duì)圖像重疊區(qū)域提取秸稈目標(biāo)特征點(diǎn)，并在特征匹配階段對(duì)匹配點(diǎn)進(jìn)行篩選，利用漸進(jìn)樣本一致（progressive sample consistency，PROSAC）算法去除誤匹配點(diǎn)，實(shí)現(xiàn)精準(zhǔn)匹配，最后采用基于最佳拼接線的多分辨率融合算法進(jìn)行圖像融合，得到高分辨率的農(nóng)田區(qū)域全景圖像。

1 航拍農(nóng)田圖像快速拼接算法

1.1 算法流程

為了準(zhǔn)確、快速地計(jì)算農(nóng)田秸稈還田率，通過(guò)無(wú)人機(jī)航拍采集低空高分辨率圖像，結(jié)合航拍秸稈農(nóng)田圖像特點(diǎn)提出了一種基于優(yōu)化SIFT算法的農(nóng)田航拍全景圖像快速拼接算法，為大面積秸稈還田率檢測(cè)及地理信息檢測(cè)提供大面積區(qū)域圖像信息是非常有價(jià)值的[24-26]。本算法流程如圖1所示。

圖1 航拍農(nóng)田圖像快速拼接算法

首先，通過(guò)對(duì)無(wú)人機(jī)獲取的低重疊率秸稈農(nóng)田序列圖像進(jìn)行濾波和增強(qiáng)處理；其次，運(yùn)用優(yōu)化SIFT算法檢測(cè)圖像重疊區(qū)域的特征點(diǎn)，獲取特征描述子MN-SIFT[27]；然后，根據(jù)尺度還原后的特征點(diǎn)描述子進(jìn)行特征點(diǎn)匹配，利用漸進(jìn)樣本一致算法對(duì)匹配結(jié)果優(yōu)化，剔除其中的誤匹配；最后，計(jì)算圖像投影轉(zhuǎn)換模型，采用基于最佳縫合線的多分辨率圖像融合算法進(jìn)行圖像融合，生成全景拼接圖像。

1.2 重疊區(qū)域檢測(cè)

無(wú)人機(jī)采集的相鄰圖像之間存在旁向重疊和航向重疊（本文均為20%），用于拼接的有效區(qū)域僅為重疊區(qū)域。傳統(tǒng)的SIFT和SURF算法為全局特征提取，即對(duì)圖像的全部區(qū)域進(jìn)行特征提取，會(huì)在重疊區(qū)域外檢測(cè)出大量無(wú)效特征點(diǎn)，增加了算法計(jì)算量，從而導(dǎo)致特征檢測(cè)效率低、耗時(shí)長(zhǎng)。因此，為提高檢測(cè)和匹配效率，實(shí)現(xiàn)快速拼接，在進(jìn)行特征點(diǎn)檢測(cè)前，需要判定相鄰圖像之間的重疊區(qū)域，確定特征檢測(cè)的有效區(qū)域。由于圖像采集過(guò)程中無(wú)人機(jī)按照設(shè)置航線飛行，如圖2所示，相鄰圖像之間相對(duì)位置，無(wú)較大偏轉(zhuǎn)，根據(jù)航線方向和重疊率，可計(jì)算出航向（軸）和旁向（軸）重疊區(qū)域在圖像中的坐標(biāo)。根據(jù)所求坐標(biāo)，僅對(duì)圖像重疊區(qū)域進(jìn)行特征檢測(cè)，圖3為相鄰航拍圖像重疊區(qū)域示意圖。

圖2 無(wú)人機(jī)圖像采集

圖3 相鄰航拍圖像重疊區(qū)域示意圖

1.3 特征點(diǎn)提取

本文根據(jù)不同視角和時(shí)間采集農(nóng)田航拍圖像，具有紋理、投影、光度和非線性強(qiáng)度變化，且圖像中秸稈特征相似，顏色接近，特征匹配難度較大。直接采用傳統(tǒng)SIFT算法檢測(cè)和匹配特征點(diǎn)，存在特征點(diǎn)冗余、耗時(shí)長(zhǎng)、配準(zhǔn)效率低等問(wèn)題。因此，本文對(duì)SIFT算法進(jìn)行改進(jìn)，只針對(duì)重疊區(qū)域（有效區(qū)域）進(jìn)行特征提取，去除了無(wú)效區(qū)域大約80%的特征點(diǎn)，在此基礎(chǔ)上對(duì)圖像進(jìn)行降采樣處理，以降低圖像的分辨率，減少SIFT特征檢測(cè)的計(jì)算量；針對(duì)秸稈圖像的紋理特征采用一種新的特征描述子，可以更好地匹配秸稈特征，提高配準(zhǔn)精度。具體步驟為：

1）圖像降采樣處理。根據(jù)降采樣系數(shù)，對(duì)輸入圖像中每行每列間隔點(diǎn)取樣。由于不同場(chǎng)景中的航拍圖像信息豐富度不同，降采樣系數(shù)的取值也不同。

2）尺度空間極值點(diǎn)檢測(cè)。搜索所有尺度的圖像位置，通過(guò)高斯微分函數(shù)識(shí)別潛在的尺度和旋轉(zhuǎn)不變的興趣點(diǎn)。二維圖像的尺度空間(,,)定義為尺度可變高斯函數(shù)(,,)與原圖像(,)的卷積，如式（1）～（2）。

式中，為橫縱坐標(biāo)，為尺度大小。

3）精確定位特征點(diǎn)。通過(guò)擬合三維二次函數(shù)獲得極值點(diǎn)，確定特征點(diǎn)的位置和尺度，同時(shí)過(guò)濾低對(duì)比度特征點(diǎn)和不穩(wěn)定的邊緣響應(yīng)點(diǎn)，以增強(qiáng)匹配穩(wěn)定性，提高抗噪聲能力。

式中min和max是圖像區(qū)域內(nèi)獲得的梯度幅值最小值和最大值，（,）表示像素位置。

以特征點(diǎn)為原點(diǎn)，構(gòu)建41×41（像素）的圖像區(qū)域(,)，并將其分成4×4個(gè)子區(qū)域，如圖4所示。

圖4 構(gòu)建圖像子區(qū)域

將該區(qū)域(,)與[?1,0,1]和[?1,0,1]T進(jìn)行卷積，分別獲得水平和垂直方向梯度F和F。由式（4）～（5）得到梯度幅值(,)和特征方向(,)。

通過(guò)取余運(yùn)算，將方向(,) 分為8個(gè)等級(jí)，(,)由式（7）計(jì)算，根據(jù)(,)計(jì)算特征直方圖h，如式（8）所示。

式中ì[0,7]，函數(shù)在除0以外的點(diǎn)都等于0。當(dāng)()=1時(shí)，為主方向，否則為其他方向：

最后，將每個(gè)子區(qū)域特征直方圖h串聯(lián)，形成一個(gè)不受尺度、旋轉(zhuǎn)和光照等影響的MN-SIFT特征描述子。

改進(jìn)算法去除了特征檢測(cè)中大量無(wú)效特征點(diǎn)，用少量精準(zhǔn)特征點(diǎn)實(shí)現(xiàn)高質(zhì)量配準(zhǔn)，解決傳統(tǒng)SIFT算法耗時(shí)長(zhǎng)、匹配效率低的問(wèn)題，并對(duì)秸稈農(nóng)田航拍圖像的旋轉(zhuǎn)變換、尺度縮放、亮度變化具有較好的魯棒性。

1.4 特征點(diǎn)匹配

在特征匹配前，根據(jù)降采樣系數(shù)對(duì)提取到的特征點(diǎn)坐標(biāo)和尺度進(jìn)行等比例還原，將檢測(cè)出的特征點(diǎn)還原到原始圖像中，保證后續(xù)高分辨率圖像拼接的精度，利用還原后的特征點(diǎn)描述子MN-SIFT對(duì)特征點(diǎn)對(duì)進(jìn)行相似度度量，生成匹配點(diǎn)對(duì)。特征點(diǎn)匹配的篩選標(biāo)準(zhǔn)為特征點(diǎn)間的歐氏幾何距離，見(jiàn)式（10），選取歐氏幾何距離最小的兩個(gè)特征點(diǎn)，計(jì)算最小兩個(gè)歐氏幾何距離的比值并與特定閾值進(jìn)行比較（式（11））。在兩向量夾角較小時(shí)，兩向量的歐氏距離可通過(guò)向量的點(diǎn)積運(yùn)算近似得出。

式中和分別代表參考圖像和目標(biāo)圖像中的特征點(diǎn)，D和D分別代表維特征描述子。

式中1和2分別是特征點(diǎn)最近鄰點(diǎn)和次近鄰點(diǎn)的歐氏距離。若比值小于特定閾值（通常為0.4～0.6之間），則認(rèn)可這一對(duì)匹配點(diǎn)，反之則剔除。

通過(guò)相似性度量可以實(shí)現(xiàn)圖像特征點(diǎn)的快速匹配，但不可避免會(huì)產(chǎn)生誤匹配，嚴(yán)重時(shí)會(huì)導(dǎo)致后續(xù)拼接圖像發(fā)生重影、錯(cuò)位等情況。為解決這一問(wèn)題，本文采用漸近樣本一致算法進(jìn)一步優(yōu)化匹配結(jié)果，篩選得到精準(zhǔn)的匹配特征點(diǎn)對(duì)。

1.5 基于最佳縫合線的多分辨率融合

航拍秸稈農(nóng)田圖像中信息多、細(xì)節(jié)復(fù)雜，本文將多分辨率融合算法與最佳縫合線法[28]相結(jié)合，提出基于最佳縫合線的多分辨率融合算法。

最佳縫合線法[28]通過(guò)能量函數(shù)（式（12））計(jì)算，融合顏色差異、梯度差異和紋理復(fù)雜性，在待融合圖像間的重疊區(qū)域搜索最佳縫合線，將重疊區(qū)域圖像劃分為過(guò)渡區(qū)域和縫合線區(qū)域，構(gòu)建掩膜圖像和模板圖像。

式中表示最終權(quán)重，E表示色差，E表示梯度差，E表示紋理差，表示懲罰。

利用金字塔變換對(duì)掩膜圖像和模板圖像進(jìn)行8層金字塔操作，通過(guò)高斯濾波器(,)對(duì)圖像卷積操作，然后經(jīng)過(guò)下采樣構(gòu)建高斯金字塔，將高斯金字塔的每一層圖像減去上一層經(jīng)過(guò)上采樣和高斯卷積之后的圖像，各層差值圖像組成拉普拉斯金字塔L，見(jiàn)式（13）～（15）。其中代表層數(shù)，和分別代表行和列數(shù)，為高斯金字塔最大層數(shù)，為拉普拉斯金字塔最大層數(shù)。

采用漸入漸出算法對(duì)掩膜圖像金字塔中相對(duì)應(yīng)的每層圖像分別進(jìn)行融合，將兩張融合圖像分別定義為1和2，融合后圖像為，如式（16）。其中1(,)、2(,)為權(quán)值函數(shù)，1(,)+2(,)=1，(,) 表示距邊界的距離最終構(gòu)建成新的拉普拉斯金字塔。

拉普拉斯金字塔逆變換可以將融合后的拉普拉斯金字塔逐層恢復(fù)成其對(duì)應(yīng)的高斯金字塔，然后使用插值法將其與模板圖像結(jié)合，得到融合圖像，如式（17）。

本文融合算法有效去除拼接拼接過(guò)程中出現(xiàn)的鬼影和虛影現(xiàn)象，能夠避免圖像信息丟失，保留圖像細(xì)節(jié)信息，實(shí)現(xiàn)圖像的高質(zhì)量拼接。

1.6 分層拼接策略

全景拼接中多圖拼接的核心是求拼接序列中所有圖像的投影模型，對(duì)其組合，但由于誤差累計(jì)，嚴(yán)重影響拼接效果。本文提出多幅圖像的分層拼接策略，降低多圖拼接累積誤差，提高全景圖像質(zhì)量。具體思路是：由于無(wú)人機(jī)航拍作業(yè)時(shí)同一路線的圖像之間的相對(duì)位置關(guān)系明確，偏轉(zhuǎn)角度較小，轉(zhuǎn)換模型累計(jì)誤差也較小，所以采用按航線進(jìn)行分層，其首要任務(wù)是拼接每一層圖像，然后將每一層的結(jié)果全景拼接，形成完整全景圖像。

2 圖像拼接試驗(yàn)結(jié)果與分析

2.1 圖像采集與試驗(yàn)設(shè)備

無(wú)人機(jī)遙感圖像數(shù)據(jù)來(lái)自3個(gè)不同的試驗(yàn)區(qū)，包括吉林省長(zhǎng)春市吉林農(nóng)業(yè)大學(xué)教學(xué)科研基地（125°37′57.38″E，44°16′33.64″N）；吉林省長(zhǎng)春市農(nóng)業(yè)機(jī)械研究院試驗(yàn)基地（43°52′6.83″E，125°30′19.67″N）；吉林省長(zhǎng)春市二道區(qū)三道鎮(zhèn)和平農(nóng)場(chǎng)（125°30′39.87″E，43°52′27.21″N）。采集時(shí)間為3月中下旬－4月上旬和10月中下旬－11月中下旬，晴天，采集時(shí)間集中在上午9：00－11：00和下午13：00－15：00。采集設(shè)備為大疆M200 V2無(wú)人機(jī)搭載X5S增穩(wěn)云臺(tái)。無(wú)人機(jī)飛行高度為120 m，圖像橫縱重疊率均為20%，圖像大小為5 280×2 970（像素），共200張。試驗(yàn)環(huán)境為Windows10操作系統(tǒng)，Intel(R) Core(TM) i5-7300 CPU 2.50 GHz，GTX 1050，內(nèi)存為8 GB。

2.2 降采樣系數(shù)選擇

為獲得較為理想的特征點(diǎn)數(shù)目和匹配率，需要不斷改進(jìn)降采樣系數(shù)值，經(jīng)過(guò)對(duì)多張不同地塊的單張秸稈圖像進(jìn)行試驗(yàn)，統(tǒng)計(jì)多次試驗(yàn)后圖像特征點(diǎn)檢測(cè)數(shù)量、匹配率（匹配點(diǎn)數(shù)量/特征點(diǎn)數(shù)量）和運(yùn)行時(shí)間的平均值，如表1所示。由表1可知，值越大，特征點(diǎn)數(shù)目越少，時(shí)間越短。當(dāng)值為3時(shí)，單幅圖像特征點(diǎn)匹配點(diǎn)數(shù)量適中，速度較快，且匹配率最高，滿足快速拼接要求，因此本文取= 3。

表1 特征匹配結(jié)果統(tǒng)計(jì)

2.3 特征點(diǎn)檢測(cè)與匹配

為驗(yàn)證本文方法的配準(zhǔn)效果，選取具有復(fù)雜背景和特征差異的航拍圖像，分別采用傳統(tǒng)SIFT、SURF和本文算法進(jìn)行特征點(diǎn)檢測(cè)與匹配，試驗(yàn)結(jié)果如圖5所示。統(tǒng)計(jì)3種算法的特征點(diǎn)數(shù)量、匹配點(diǎn)數(shù)量、匹配率（匹配點(diǎn)數(shù)量/特征點(diǎn)數(shù)量）和運(yùn)行時(shí)間，如表2所示。

由圖5可以看出，傳統(tǒng)SIFT算法檢測(cè)出了大量特征點(diǎn)，但大部為無(wú)效特征點(diǎn)（圖5a）。采用SURF算法的特征點(diǎn)數(shù)量較傳統(tǒng)SIFT算法減少，但也有大量無(wú)效特征點(diǎn)，且特征點(diǎn)分布不均勻（圖5b）。本文優(yōu)化算法的特征檢測(cè)結(jié)果與傳統(tǒng)SIFT算法，僅對(duì)重疊區(qū)域檢測(cè)，去除了大量無(wú)效特征點(diǎn)，大大提高了檢測(cè)和匹配效率（圖5c）。

圖5 特征檢測(cè)結(jié)果對(duì)比

表2 特征配準(zhǔn)結(jié)果

從表2的特征點(diǎn)數(shù)量和匹配率結(jié)果可知，本文算法檢測(cè)出的特征點(diǎn)數(shù)量相較于傳統(tǒng)SIFT和SURF算法分別減少了97%和90%，且匹配率（匹配點(diǎn)數(shù)量平均值/特征點(diǎn)數(shù)量平均值之比）為65.17%，遠(yuǎn)高于其他兩種算法。此外，本文算法大大降低了運(yùn)行時(shí)間，比傳統(tǒng)SIFT和SURF算法節(jié)約了94%和69%的時(shí)間，極大地提高了特征檢測(cè)與匹配的效率，單幅平均檢測(cè)時(shí)間約為3.72 s，達(dá)到快速檢測(cè)的目的。

2.4 圖像拼接

2.4.1 單幅圖像拼接

本文采集的秸稈農(nóng)田圖像背景比較復(fù)雜，除秸稈外還包含道路、房屋、車等。為驗(yàn)證本文快速拼接方法的有效性，將兩幅圖像的拼接結(jié)果與當(dāng)前優(yōu)秀的圖像拼接方法進(jìn)行了比較，包括APAP[16]，SPHP[17]，AANAP[18]算法。試驗(yàn)圖像尺寸為5280×2970（像素），圖像之間的重疊率為20%。

利用不同算法對(duì)3個(gè)地塊的圖像進(jìn)行拼接試驗(yàn)，拼接結(jié)果如圖6所示，圖中紅框標(biāo)注同一圖像位置的拼接細(xì)節(jié)?？梢钥闯?，本文算法實(shí)現(xiàn)了良好的融合效果和高質(zhì)量拼接。

圖6a和圖6b在拼接區(qū)域有明顯錯(cuò)拼，且出現(xiàn)模糊、錯(cuò)位現(xiàn)象，圖像質(zhì)量相對(duì)較低。圖6c在拼接區(qū)域雖然無(wú)明顯錯(cuò)拼和現(xiàn)象，但圖像細(xì)節(jié)模糊，有重影現(xiàn)象，圖像質(zhì)量一般。圖6d在拼接區(qū)域過(guò)渡自然、清晰，圖像質(zhì)量相對(duì)較高。

采用信息熵（I）[29]、平均梯度（C）[30]和圖像對(duì)比度（I）對(duì)拼接圖像質(zhì)量進(jìn)一步評(píng)估。

信息熵表示圖像所包含的平均信息量的多少，熵值越大則所含信息量越多，效果越好，計(jì)算式為

式中代表圖像，P表示在圖像中灰度值為的像素在圖像總像素?cái)?shù)量中所占的比例，是灰度等級(jí)，一般取256。

平均梯度也稱為清晰度，反映圖像中的微小細(xì)節(jié)反差與紋理變化特征，值越大越清晰，計(jì)算式為

式中()表示圖像對(duì)應(yīng)像素(,)的灰度值。

圖像對(duì)比度表示圖像黑與白的比值，表示從黑到白的漸變層次。比值越大，圖像色彩越豐富，圖像質(zhì)量越好，計(jì)算式為

式中d(i,j)=|i-j|，為相鄰像素間灰度差，Pd為相鄰像素間的灰度差d的像素分布概率。

圖6拼接圖像的評(píng)價(jià)指標(biāo)計(jì)算結(jié)果如表3所示。由表3可知，與其他方法相比本文方法拼接后的圖像的信息熵、平均梯度小幅提高，對(duì)比度明顯提高，圖像質(zhì)量更高，在多組試驗(yàn)中的表現(xiàn)都明顯優(yōu)于其他方法。此外，與其他方法相比，本文方法的拼接時(shí)間有較大改善，拼接效率明顯提高，滿足快速拼接的要求。

表3 拼接性能比較

2.4.2 多幅圖像拼接

為驗(yàn)證多幅高分辨率圖像分層拼接策略及本文方法的有效性，針對(duì)具有復(fù)雜背景的高分辨率秸稈農(nóng)田航拍圖像，分別采用傳統(tǒng)方法和本文方法進(jìn)行5組試驗(yàn)，并對(duì)全景拼接結(jié)果進(jìn)行比較和分析，部分結(jié)果示例如圖7所示。

由圖7可以看出，本文方法對(duì)背景復(fù)雜、特征差異大的3組隨機(jī)圖像都取得了很好的拼接效果。矩形框標(biāo)注圖像中的拼接細(xì)節(jié)，放大圖像細(xì)節(jié)可以看出，本文方法生成的圖像整體質(zhì)量較高，細(xì)節(jié)清晰，拼接效果自然，沒(méi)有出現(xiàn)錯(cuò)位和重影現(xiàn)象。而用傳統(tǒng)方法拼接后的圖像整體質(zhì)量較低，有明顯的重影、錯(cuò)位和模糊現(xiàn)象。2種方法的評(píng)價(jià)指標(biāo)結(jié)果見(jiàn)表4。

由表4可知，本文方法生成的全景圖像的信息熵、平均梯度提高約10%，對(duì)比度提高約20%，整體耗時(shí)降低90%以上。根據(jù)主觀和客觀指標(biāo)評(píng)價(jià)，可以看出，本文方法的拼接質(zhì)量較高，提高了拼接后圖像的清晰度和融合效果，也解決了傳統(tǒng)方法中出現(xiàn)的錯(cuò)位和重影問(wèn)題。

圖7 全景拼接對(duì)比圖

表4 多圖拼接性能比較

3 結(jié) 論

本文基于無(wú)人機(jī)采集的秸稈農(nóng)田航拍數(shù)據(jù)，提出了一種基于優(yōu)化SIFT算法的農(nóng)田航拍圖像快速拼接方法，通過(guò)特征點(diǎn)數(shù)量、運(yùn)行時(shí)間以及圖像質(zhì)量等指標(biāo)驗(yàn)證本方法的高效性，結(jié)果如下：

1）在特征檢測(cè)階段，本文算法只針對(duì)重疊區(qū)域（有效區(qū)域）進(jìn)行特征提取，去除了無(wú)效區(qū)域大約80%的特征點(diǎn)，在此基礎(chǔ)上對(duì)圖像進(jìn)行降采樣，降低圖像的分辨率，在保證拼接質(zhì)量的條件下進(jìn)一步減少了特征點(diǎn)的數(shù)量；與傳統(tǒng)SIFT算法和SURF算法相比，特征點(diǎn)數(shù)量減少了97%和90%；運(yùn)行時(shí)間減少了94%和69%，滿足快速拼接檢測(cè)的要求。

2）在特征匹配階段，本文算法對(duì)提取到的特征點(diǎn)坐標(biāo)和尺度進(jìn)行等比例還原，保證了圖像信息完整和拼接的精度；使用新的特征描述子進(jìn)行匹配，有效提高了特征點(diǎn)檢測(cè)精度，匹配率（匹配點(diǎn)數(shù)量/特征點(diǎn)數(shù)量）為65.17%；與傳統(tǒng)SIFT算法和SURF算法相比有較大提升；并且通過(guò)PROSAC算法進(jìn)一步去除誤匹配，提高了轉(zhuǎn)換模型的精度，拼接圖像的質(zhì)量。

3）通過(guò)基于最佳縫合線的多分辨率圖像融合算法有效去除鬼影、虛影，能夠避免圖像信息丟失，保存圖像細(xì)節(jié)信息完整。本文方法在單幅圖像的拼接中實(shí)現(xiàn)了良好的融合效果和高質(zhì)量的拼接，與其他拼接方法相比，該方法的性能優(yōu)于其他廣泛使用的優(yōu)秀方法。

4）針對(duì)高分辨率秸稈圖像的多圖拼接，提出了一種多幅高分率航拍圖像的分層拼接策略。與傳統(tǒng)方法相比，本文的快速拼接方法生成的全景圖像，其信息熵、平均梯度提高約10%，對(duì)比度提高約20%，圖像整體的拼接精度和質(zhì)量有明顯提高。最后將本文整體的航拍全景圖像的快速拼接方法與傳統(tǒng)方法相比，在提高拼接圖像質(zhì)量的同時(shí)，整體耗時(shí)降低90%以上，滿足快速拼接檢測(cè)的要求。

本文方法能夠在復(fù)雜背景條件下針對(duì)無(wú)人機(jī)航拍圖像中的重疊區(qū)域快速準(zhǔn)確地提取秸稈目標(biāo)特征點(diǎn)，能在特征匹配階段區(qū)分秸稈和雜波等其他干擾源，實(shí)現(xiàn)匹配點(diǎn)的精確匹配，最后采用基于最佳縫合線的多分辨率圖像融合算法進(jìn)行圖像融合，提高了圖像質(zhì)量，實(shí)現(xiàn)圖像的全景拼接，但在時(shí)間上仍有進(jìn)一步提高的空間。該方法也可以應(yīng)用于遙感和農(nóng)業(yè)監(jiān)測(cè)領(lǐng)域，生成用于作物評(píng)估和預(yù)測(cè)的實(shí)時(shí)全景圖像。

[1] 田慎重，張玉鳳，邊文范，等. 深松和秸稈還田對(duì)旋耕農(nóng)田土壤有機(jī)碳活性組分的影響[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(2)：185-192.

TIAN Senzhong, ZHANG Yufeng, BIAN Wenfan, et al. Effect of deep loosening and straw return on the organic carbon activity fraction of rototilled farmland soils[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(2): 185-192. (in Chinese with English abstract)

[2] 汪可欣，付強(qiáng)，張中昊，等. 秸稈覆蓋與表土耕作對(duì)東北黑土根區(qū)土壤環(huán)境的影響[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2016，47(3)：131-137.

WANG Kexin, FU Qiang, ZHANG Zhonghao, et al. Effects of straw mulching and topsoil tillage on soil environment in the root zone of northeastern black soil[J]. Transactions of the Chinese Society of Agricultural Machinery, 2016, 47(3): 131-137. (in Chinese with English abstract)

[3] 王忠江，王澤宇，司愛(ài)龍，等. 秸稈與沼肥同步翻埋還田對(duì)秸稈腐解特性的影響[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2017，48(6)：271-277.

WANG Zhongjiang, WANG Zeyu, SI Ailong, et al. Effect of simultaneous reburial of straw and methane fertilizer on the decomposition characteristics of straw[J]. Transactions of the Chinese Society of Agricultural Machinery, 2017, 48(6): 271-277. (in Chinese with English abstract)

[4] 劉媛媛，孫嘉慧，張書杰，等. 用多閾值多目標(biāo)無(wú)人機(jī)圖像分割優(yōu)化算法檢測(cè)秸稈覆蓋率[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(20)：134-143.

LIU Yuanyuan, SUN Jiahui, ZHANG Shujie, et al. Detection of straw cover with multi-threshold multi-objective UAV image segmentation optimization algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(20): 134-143. (in Chinese with English abstract)

[5] 劉媛媛，周小康，王躍勇，等. 改進(jìn)U-Net模型的保護(hù)性耕作田間秸稈覆蓋檢測(cè)[J]. 光學(xué)精密工程，2022，30(9)：1101-1112.

LIU Yuanyuan, ZHOU Xiaokang, WANG Yueyong, et al. Improved U-Net model for straw cover detection in conservation tillage fields[J]. Optics and Precision Engineering, 2022, 30(9): 1101-1112. (in Chinese with English abstract)

[6] 劉媛媛，張碩，于海業(yè)，等. 基于語(yǔ)義分割的復(fù)雜場(chǎng)景下的秸稈檢測(cè)[J]. 光學(xué)精密工程，2020，28(1)：200-211.

LIU Yuanyuan, ZHANG Shuo, YU Haiye, et al. Straw detection algorithm based on semantic segmentation in complex farm scenarios[J]. Optics and Precision Engineering, 2020, 28(1): 200-211. (in Chinese with English abstract)

[7] 李欣璐，凌燦權(quán). 無(wú)人機(jī)遙感技術(shù)在農(nóng)情監(jiān)測(cè)中的應(yīng)用[J].現(xiàn)代農(nóng)業(yè)裝備，2022，43(5)：45-51.

LI Xinlu, LING Canquan. Application of UAV remote sensing technology in agricultural situation monitoring[J]. Modern Agricultural Equipment, 2022, 43(5): 45-51. (in Chinese with English abstract)

[8] 劉忠，萬(wàn)煒，黃晉宇，等. 基于無(wú)人機(jī)遙感的農(nóng)作物長(zhǎng)勢(shì)關(guān)鍵參數(shù)反演研究進(jìn)展[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(24)：60-71.

LIU Zhong, WAN Wei, HUANG Jinyu, et al. Research progress on the inversion of key parameters of crop growth based on UAV remote sensing[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(24): 60-71. (in Chinese with English abstract)

[9] SUTHERLAND I E. Sketchpad a man-machine graphical communication system[J]. Simulation, 1964, 2(5): R-3-R-20.

[10] KUGLIN C. The phase correlation image alignment methed[J]. Proc. Int. Conference Cybernetics Society, 1975: 163-165.

[11] HARRIS C G, STEPHENS M. Harris C, Stephens M. A combined corner and edge detector[C]//Alvey Vision Conference. 1988.

[12] LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision. 2004, 60(2): 91-110.

[13] BAY H T. Surf: Speeded up robust features[J]. Computer Vision and Image Understanding, 2008, 110(3): 346-359.

[14] MOREL J M, Yu G. ASIFT: A new framework for fully affine invariant image comparison[J]. SIAM Journal on Imaging Sciences, 2009, 2(2): 438-469.

[15] RUBLEE E, KABAUI V, KONOLIGE K, et al. ORB: An efficient alternative to SIFT or SURF[C]//International Conference on Computer Vision. Barcelona: IEEE Pree, 2011: 2564-2571.

[16] ZARAGOZA J, CHIN T J, BROWN M S, et al. As-projective-as-possible image stitching with moving DLT[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 36(7): 2339-2346.

[17] CHANG C H, SATO Y, CHUANG Y Y. Shape-preserving half-projective warps for image stitching[C]//IEEE Conference on Computer Vision and Pattern Recognition, Columbus, OH, USA. 2014: 3254-3261.

[18] LIN C C, PANKANTI S U, RAMAMURTHY K N, et al. Adaptive as-natural-as-possible image stitching[C]//IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Boston, 2015: 1155-1163.

[19] 賈銀江，徐哲男，蘇中濱，等. 基于優(yōu)化SIFT算法的無(wú)人機(jī)遙感作物影像拼接[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2017，33(10)：123-129.

JIA Yinjiang, XU Zhe’nan, SU Zhongbin, et al. UAV remote sensing crop image stitching based on optimized SIFT algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(10): 123-129. (in Chinese with English abstract)

[20] 沈躍，朱嘉慧，劉慧，等. 基于深度和彩色雙信息特征源的Kinect植物圖像拼接[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(5)：176-182.

SHEN Yue, ZHU Jiahui, LIU Hui, et al. Kinect plant image stitching based on depth and color dual information feature sources[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(5): 176-182. (in Chinese with English abstract)

[21] 吳如夢(mèng)，方挺，李文欽. 基于SURF特征的無(wú)人機(jī)航拍圖像拼接方法[J]. 現(xiàn)代制造技術(shù)與裝備，2019(8)：34-36.

WU Rumeng, FANG Ting, LI Wenqin. SURF feature-based stitching method for UAV aerial images[J]. Modern Manufacturing Technology and Equipment, 2019(8): 34-36. (in Chinese with English abstract)

[22] 王紅君，劉一鳴，岳有軍，等. 基于改進(jìn)SPHP算法的無(wú)人機(jī)遙感圖像拼接技術(shù)[J]. 計(jì)算機(jī)工程與設(shè)計(jì)，2020，41(3)：783-788.

WANG Hongjun, LIU Yiming, YUE Youjun, et al. UAV remote sensing image stitching technique based on improved SPHP algorithm[J]. Computer Engineering and Design, 2020, 41(3): 783-788. (in Chinese with English abstract)

[23] 王艷，祁萌. 基于 GA-SIFT 算法的無(wú)人機(jī)航拍圖像實(shí)時(shí)拼接[J]. 測(cè)繪通報(bào)，2021(8)：28-32，47.

WANG Yan, QI Meng. Real-time stitching of UAV aerial images based on GA-SIFT algorithm[J]. Mapping Bulletin, 2021(8): 28-32, 47. (in Chinese with English abstract)

[24] 劉杰，游品鴻，占建斌，等. 改進(jìn)SIFT快速圖像拼接和重影優(yōu)化[J]. 光學(xué)精密工程，2020，28(9)：2076-2084.

LIU Jie, YOU Pinhong, ZHAN Jianbin, et al. Improved SIFT fast image stitching and ghosting optimization algorithm[J]. Optics and Precision Engineering, 2020, 28(9): 2076-2084. (in Chinese with English abstract)

[25] ZHANG W, WANG Y, LIU Y. Generating High-Quality Panorama by View Synthesis Based on Optical Flow Estimation[J]. Sensors, 2022, 22(2): 470.

[26] DENG L, YUAN X, DENG C, et al. Image stitching based on nonrigid warping for urban scene[J]. Sensors. 2020, 20(24): 7050.

[27] SALEEM S, BAIS A, SABLATNIG R. Towards feature points based image matching between satellite imagery and aerial photographs of agriculture land[J]. Computers and Electronics in Agriculture, 2016, 126: 12-20.

[28] LU J, XU Y, GAO Z. An improved method of an image mosaic of a tea garden and tea tree target extraction[J]. 2022, 4(1): 231-254.

[29] 王茜，寧紀(jì)鋒，曹宇翔，等. 基于SIFT算法的無(wú)人機(jī)遙感圖像拼接技術(shù)[J]. 吉林大學(xué)學(xué)報(bào)（信息科學(xué)版），2017，35(2)：188-197.

WANG XI, NING Jifeng, CAO Yuxiang, et al. UAV remote sensing image stitching technology based on SIFT algorithm[J]. Journal of Jilin University (Information Science Edition), 2017, 35(2): 188-197. (in Chinese with English abstract)

[30] 沈躍，朱嘉慧，劉慧，等. 基于彩色和深度信息結(jié)合K-means聚類算法快速拼接植株圖像[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(23)：134-141.

SHEN Yue, ZHU Jiahui, LIU Hui, et al. Fast stitching of plant images based on color and depth information combined with K-means clustering algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE). 2018, 34(23): 134-141. (in Chinese with English abstract)

Fast stitching for the farmland aerial panoramic images based on optimized SIFT algorithm

LIU Yuanyuan1,3,HE Ming1,3,WANG Yueyong2,3※,SUN Yu1,3,GAO Xuebing1,3

(1.,,130118,;2,,130118,;3.,,130118,)

Straw mulching has been a common measure for black land conservation in the northeastern plains of China. It is a great significance of an effective solution to reduce soil erosion for environmental protection and sustainable development in modern agriculture. However, it is difficult to calculate the coverage rate at one time, due to the wide area of crop cultivation. Therefore, it is a high demand for the rapid acquisition of image information on a large area of farmland, in order to improve the efficiency and accuracy of straw mulching. Fortunately, aerial drone images and videos can be widely used in various fields, such as agricultural monitoring, weather forecasting, and geographic mapping. Among them, the application of remote sensing technology focuses mainly on the crops and soil in agriculture. The spectral patterns of the ground can be utilized to monitor the crops and soil in the field. Specifically, the spectral characteristics of the ground are used to monitor the growth of crops, crop quality, crop pests, and diseases. The high-resolution images can be collected by unmanned aerial vehicle (UAV) aerial photography. The panoramic stitching can be selected for rapid and accurate access to the large-area farmland image information. Therefore, it is of great practical significance to agricultural intelligence, particularly for the high efficiency and accuracy of straw cover monitoring of conservation tillage. In this study, a fast-stitching method was proposed for the aerial panoramic images of the fields using the optimized scale-invariant feature transform (SIFT) algorithm. Firstly, the high-resolution image was down-sampled to effectively detect the overlapping regions of the image. The gradient normalization-based feature descriptors were then used to match the feature points. The false matches were removed by the progressive sample consistency algorithm, in order to accurately calculate the stitching conversion model. Finally, the multi-resolution fusion algorithm was used for the high-quality stitched imageusing the best stitching line. The experimental results show that the improved algorithm reduced the number of feature points by 97% and 90%, the running time by 94% and 69%, and the average matching efficiency by 65.17% in the image alignment stage, respectively, compared with the traditional SIFT and Speeded Up Robust Feature (SURF) algorithm, which was about 4 times that of SIFT algorithm, and 9 times that of SURF algorithm, respectively. Compared with the as-projective-as-possible (APAP), the shape-preserving half-projective (SPHP), and the adaptive as-natural-as-possible (AANAP) algorithms, the new algorithm significantly improved the information entropy, the average gradient, and image contrast of the stitched image. More importantly, the stitched image was of higher quality with more than a 90% reduction in the running time, particularly with better overall performance. The systematic evaluation demonstrated that the layered stitching method significantly improved the clarity and fusion effect of the panoramic stitched images, compared with the traditional. Moreover, there was no misalignment and ghosting that appeared in the traditional. Specifically, the information entropy and average gradient of the panoramic images were slightly improved to increase the contrast by about 20%, indicating a higher stitching efficiency than before. The overall stitching time was also shortened by about 90% or more. The research structure can also provide a scientific reference to monitor the conservation of tillage with straw returning.

UAV; image processing; panoramic stitching; SIFT operator; feature point matching; image fusion

10.11975/j.issn.1002-6819.202210135

TP751.1

A

1002-6819(2023)-01-0117-09

劉媛媛，何銘，王躍勇，等. 基于優(yōu)化SIFT算法的農(nóng)田航拍全景圖像快速拼接[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2023，39(1)：117-125.doi：10.11975/j.issn.1002-6819.202210135 http://www.tcsae.org

LIU Yuanyuan, HE Ming, WANG Yueyong, et al. Fast stitching for the farmland aerial panoramic images based on optimized SIFT algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2023, 39(1): 117-125. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.202210135 http://www.tcsae.org

2022-10-18

2022-12-12

國(guó)家自然科學(xué)基金資助項(xiàng)目（42001256）；吉林省科技廳技術(shù)創(chuàng)新引導(dǎo)項(xiàng)目（20220402023GH）；吉林省科技廳重點(diǎn)科技項(xiàng)目（20230202039NC，20220203004SF）；吉林省發(fā)展和改革委員會(huì)創(chuàng)新項(xiàng)目（2019C054）；吉林省教育廳科學(xué)技術(shù)研究項(xiàng)目（JJKH20220339KJ）

劉媛媛，博士，副教授，研究方向?yàn)檗r(nóng)業(yè)信息化圖像和視頻信號(hào)處理。Email：liuyuanyuan1980@126.com

王躍勇，博士，副教授，研究方向?yàn)樘镩g保護(hù)性耕作機(jī)械及智能系統(tǒng)。Email：yueyongw@.jlau.edu.cn