楊 祥，周 楠

(桂林理工大學 信息科學與工程學院，廣西 桂林 541006)

0 引 言

隨著科學技術(shù)的發(fā)展, 使用無人機構(gòu)建局部地區(qū)的遙感圖像已經(jīng)成為了一個較為熱門的研究課題[1-2]。無人機具有靈活、 便捷、 高速的特點, 在許多領(lǐng)域和場合中得到十分廣泛的應(yīng)用, 例如交通監(jiān)管、 資源探測、 森林防火、 氣象監(jiān)測等[2]。但也存在拍攝圖像尺寸較小、 單張圖片反映出來的信息受限等不足, 需要多次拍攝并將圖像進行拼接得到區(qū)域的遙感圖像。

圖像拼接通過配準、 變換和融合等方式把多張具有重疊部分的圖像經(jīng)過處理后成為一張廣角清晰的圖像[3]。圖像的拼接過程大致分為3個主要步驟: 圖像特征點的有效提取與匹配、 圖像的配準以及圖像的無縫融合[4]。圖像中的特征點通常是指在一幅圖像中具有代表性的部分, 然而由于這些特征點所包含的信息因素相對較少, 只能反映出其所處位置在圖像中的坐標信息, 因此, 如何在兩幅圖中找出相匹配的特征點無疑是其中的關(guān)鍵; 圖像的配準主要是采用了某種匹配的策略, 根據(jù)這種策略, 找出帶拼接圖像中所對應(yīng)的模板, 據(jù)此模版進行圖像配準; 圖像的無縫融合是根據(jù)匹配對, 對圖像具有重疊的部分進行融合拼接, 從而得到圖像的全景拼接圖像。

由于無人機易受天氣的影響、 飛行姿態(tài)不穩(wěn)定, 并且存在傾角大、 視差不連續(xù)和圖像間重疊度變化明顯等缺點, 在航拍過程中圖像容易發(fā)生畸變, 使陰影區(qū)域所影響的灰度產(chǎn)生局部的變化, 從而影響匹配的準確性, 因此需要一種具有高效魯棒性的圖像拼接算法。賈文超[5]采用ORB算法提取出特征點實現(xiàn)全景圖像的拼接; 宋偉等[6]提出了改進AKAZE-BRISK特征的影像拼接算法; 徐啟文等[7]提出具有動態(tài)閾值的SURF算法, 結(jié)合改進的漸進漸出圖像融合算法進行圖像拼接; 朱軍桃等[8]提出基于ORB算法和改進KNN-RANSAC算法進行無人機遙感影像拼接。

SIFT算法[9-11]因其魯棒性較強而被廣泛應(yīng)用于圖像拼接, 然而該算法提取的特征點數(shù)目大, 分布不均勻, 直接用該算法進行拼接會導(dǎo)致特征點匹配時間長、 匹配的錯誤率較高的問題?；诖? 本文提出一種基于分塊的SIFT特征點結(jié)合RANSAC的拼接技術(shù): 首先將原始圖像均勻分塊, 并對子塊中對比度較小的特征點進行過濾, 從而減少從圖像中提取到的特征點數(shù)量, 使特征點分布均勻; 然后利用RANSAC算法進一步剔除誤匹配點; 最后使用拉普拉斯金字塔進行圖像的融合。

1 基于SIFT的特征提取

1.1 SIFT算法介紹

SIFT算法是由Lowe D G于1999年提出的一種局部檢測特征的方法, 該算法具有較好的穩(wěn)定性和尺度不變性, 并于2004年得到進一步的改進和發(fā)展[12]。SIFT算法在圖像的拼接、 檢索以及目標識別中起著極為重要的作用, 具有良好的平移、 旋轉(zhuǎn)和縮放不變性[13]。SIFT算法的具體步驟為:

① 尺度空間極值檢測。尺度空間理論的目的是能夠?qū)D像中的數(shù)據(jù)進行多尺度空間特性的模擬。利用高斯核函數(shù)對輸入的原始圖像進行卷積運算, 以此建立一個可以輸出圖像的尺度空間。

(1)

L(x,y,σ)=G(x,y,σ)*I(x,y)。

(2)

其中:G(x,y,σ)為高斯核函數(shù); (x,y)指的是空間的坐標;L(x,y,σ)是圖像的尺度空間;I(x,y)為原始圖像;σ的大小反映了圖像的平滑程度; *為卷積運算符。

將原始的圖像采樣利用高斯濾波函數(shù)進行反復(fù)降階采樣, 可以直接獲取和輸出一系列尺寸大小不一致的梯形圖像, 即高斯金字塔。通過高斯金字塔每組內(nèi)的圖像相減, 可以得到高斯差分金字塔。

② 關(guān)鍵點定位。特征點是通過高斯差分金字塔的極值點所確定的。將待檢測的像素點與周圍所有像素點進行比較, 若此像素點比周圍26個像素點都小或者都大, 則認為該點為極值點。

通過將尺度空間內(nèi)的DoG函數(shù)進行曲線擬合, 可以計算出極值點的偏移量。通過圖1可以看出,上述方法所檢測到的極值點并不是真正的極值點, 兩者之間存在一個偏移量。將尺度空間DoG函數(shù)曲線擬合, 來獲得極值點的偏移量。DoG函數(shù)在尺度空間的泰勒展開式為

圖1 離散空間與連續(xù)空間極值點的差別Fig.1 Difference of extreme points between discrete space and continuous space

(3)

其中:X為極值點偏移量(Δx, Δy, Δσ)T;D(X)為X所對應(yīng)的DoG函數(shù)值。 對上式求導(dǎo)數(shù), 并令結(jié)果為零, 可以計算出極值點的偏移量, 即

(4)

在檢測到的所有特征點中, 首先要去除掉一些對比度較低的特征點及一些不穩(wěn)定的邊緣響應(yīng)點。

(5)

由于DoG算子對噪聲和邊緣響應(yīng)較為敏感, 因此只有將獲得的特征點進行進一步的剔除才能獲得真正的特征點。首先獲取該特征點的Hessian矩陣, 并且根據(jù)該矩陣計算出極值點的邊緣響應(yīng)值, 再去除邊緣響應(yīng)較大的點。

(6)

(7)

其中:H為Hessian矩陣, 其特征值α和β代表x和y方向的梯度; trH為矩陣H的跡; detH為矩陣H的行列式;γ為主曲率的閾值。

③ 關(guān)鍵點方向分配。對確定的特征點指定一個方向, 并且根據(jù)這個方向作進一步的計算。利用特征點鄰域像素的梯度方向分布特性為每個特征點指定一個方向參數(shù), 使其具有旋轉(zhuǎn)不變性

(8)

(9)

其中:m(x,y)為像素點的梯度幅值;θ(x,y)為像素點的方向。

④ 關(guān)鍵點特征描述。通過上述計算, 每個關(guān)鍵點都具備了3個固定的信息, 分別是位置、 尺度以及方向。使用一組向量對每個關(guān)鍵點進行描述, 建立描述符。將每個關(guān)鍵點周圍的區(qū)域分別規(guī)劃成16個子區(qū)域, 為每一個子區(qū)域分別進行設(shè)定, 并給出8個方向, 因此構(gòu)成一個128維向量, 將該向量視為SIFT描述子。

1.2 基于分塊的SIFT算法

將原始圖像進行分塊處理, 對每一個子塊采用SIFT算法提取出圖像的特征點, 保留每個區(qū)域中對比度高的特征點, 再對所有區(qū)域中經(jīng)過處理的特征點進行合并, 完成整個圖像的特征點提取, 如圖2所示。該方法僅保留每個子區(qū)域中對比度較高的特征點, 使得整個圖像的特征點數(shù)大大降低, 提高了圖像拼接的效率。

圖2 圖像分塊圖Fig.2 Image block diagram

2 特征點匹配

使用分塊SIFT算法完成特征點的提取后, 需要對獲取到的特征點進行特征匹配。該算法主要采用的是基于歐氏距離的最鄰近匹配算法

(10)

其中:Ri=(ri1,ri2, …,ri128)為匹配圖像中特征點的描述符;Si=(si1,si2, …,si128)為待匹配圖像中特征點的描述符。當最近距離與次近距離的比值小于事先所設(shè)置的閾值時, 認為該點為匹配點。

上述方法雖然能在一定程度上可以去除外點, 但是會存在一定的誤匹配點, 從而影響圖像的拼接質(zhì)量[14]。本文選擇了魯棒性較高的RANSAC算法用來對錯誤的匹配點進行進一步的剔除[15-16]。

RANSAC算法的具體步驟為: ① 從匹配的特征點中隨機抽取4個匹配點, 以此求解圖像的初始變換矩陣; ② 利用步驟①中得到的初始變換矩陣來測試其他匹配點, 當差值小于設(shè)定的閾值時, 記該點為內(nèi)點, 當差值大于設(shè)定的閾值時, 記該點為外點; ③ 重復(fù)步驟①和②, 選取內(nèi)點數(shù)目最多的對應(yīng)變換矩陣為圖像的最佳變換矩陣, 并對不滿足該矩陣的外點進行剔除; ④ 利用RANSAC算法進行多次迭代, 尋找圖像的最佳變換矩陣, 有效去除錯誤的匹配點對。

3 圖像拼接

3.1 單應(yīng)性矩陣計算

本文采用單應(yīng)性變換使得兩幅圖像基本對齊, 用投影矩陣H來表示兩幅圖像之間的對應(yīng)關(guān)系, 用RANSAC算法獲得的最佳變換矩陣作為投影矩陣H。設(shè)P1(x1,y1)和P2(x2,y2)分別為兩幅圖像中的匹配點, 則二者間的映射關(guān)系為

(11)

3.2 拉普拉斯金字塔融合

由于拍攝角度不同、 拍攝圖像的明暗差別、 特征點匹配精度低等問題, 會造成所拼接的圖像出現(xiàn)拼接痕跡。本文采用拉普拉斯金字塔算法來進行圖像的融合[17], 該算法的具體步驟如下: ① 搭建高斯金字塔; ② 用高斯金字塔內(nèi)相鄰一層的圖像數(shù)據(jù)相減, 得到拉普拉斯金字塔; ③ 將帶拼接圖像重疊區(qū)域的相同層的拉普拉斯金字塔相加, 再由最底層的融合圖像逐層向上疊加得到融合后的圖像。

4 結(jié)果分析

4.1 平臺與實驗數(shù)據(jù)

電腦配置為: 處理器2.3 GHz雙核IntelCore i5, 內(nèi)存8 GB, 以PyCharm為開發(fā)平臺, 通過Python語言實現(xiàn)圖像的拼接算法, 并通過配置OpenCV 4.5.1庫以提高圖像處理代碼的效率。

研究區(qū)域位于桂林理工大學雁山校區(qū), 圖像采集設(shè)備為大疆無人機MINI2專業(yè)相機, 圖像尺寸為2 560×1 280, 如圖3所示。

圖3 3組待拼接圖像Fig.3 Three sets of images to be spliced

4.2 特征點匹配實驗對比

分別對3組圖像進行了特征點的匹配, 首先將原始圖像均勻分塊, 分塊的數(shù)量與圖像的分辨率相關(guān), 如果分割的圖像塊太小則會導(dǎo)致提取到的特征點數(shù)目過少, 并且會使原始圖像的連續(xù)性遭到破壞。本文將每一張圖像劃分成5×5塊, 每個圖像塊的像素為512×256, 保留每個圖像塊中對比度較大的前25%的特征點, 再使用RANSAC算法剔除錯誤匹配點。3組圖像的匹配效果對比圖如圖4所示。表1為3組圖像分別使用原始SIFT算法和基于分塊的SIFT算法經(jīng)過RANSAC算法處理前后的匹配點個數(shù)統(tǒng)計結(jié)果。表2為3組圖像分別使用原始SIFT算法和本文算法的效率對比。

表2 3組圖像中本文算法與傳統(tǒng)SIFT算法效率對比Table 2 Comparison of efficiency between proposed algorithm and SIFT algorithm in three sets of images

圖4 3組圖像匹配效果對比Fig.4 Comparison of matching effect of three sets of images

可以看出, 本文算法與傳統(tǒng)算法相比特征點匹配對數(shù)平均降低了80.45%, 在特征點提取時間方面平均減少了70.83%, 特征點匹配時間減少了75.64%, 總拼接時間平均減少了71.37%。由此可見, 改進后的算法與傳統(tǒng)算法相比匹配效率明顯提高。對圖像進行分塊后, 通過對每個子塊的特征點進行過濾, 極大地減少了特征點的數(shù)量, 提高了圖像的拼接效率。

4.3 圖像拼接

通過所獲得的上述變換矩陣, 對待拼接圖像進行透視變換, 最終完成圖像的拼接。為了驗證本文所使用的拉普拉斯金字塔融合算法的有效性, 將直接拼接圖像(圖5a列)與經(jīng)過拉普拉斯金字塔融合算法拼接的圖像(圖5b列)進行對比。

圖5 3組圖像拼接結(jié)果對比Fig.5 Comparision of splicing results of three sets of images

在a列圖中有一條明顯的界限, 由于拍攝的角度以及圖像的亮度有所不同, 即便獲得的變換矩陣足夠精確, 也是會產(chǎn)生拼接的痕跡。通過拉普拉斯金字塔融合算法對圖像信息進行融合, 消除了圖像的拼接的痕跡, b列圖的拼接效果更加自然。

5 結(jié) 論

本文提出了一種結(jié)合分塊SIFT特征點提取和拉普拉斯金字塔融合的圖像拼接方法。首先改進了SIFT算法對特征點的提取, 先將原有的圖像均勻分塊, 對每一個子塊采用SIFT算法直接進行特征點的提取, 保留對比度較高的特征點, 該方法能夠更加準確地提取到特征點, 極大地減少了噪點; 再利用RANSAC算法去除錯誤的匹配點, 以防特征點過多造成匹配效率低; 最后采用拉普拉斯金字塔融合算法對處理后的圖像進行拼接, 這種算法可以很好地消除圖像拼接產(chǎn)生的接縫。實驗證明, 該方法可以極大地減少匹配點的數(shù)量, 提高匹配效率, 能夠獲得良好的拼接圖像。