夏磊 胡欣宇 岳亞偉 薛曉琴

摘 要：加速魯棒特征（SURF）算法因其配準(zhǔn)精度較高而被廣泛應(yīng)用，但該算法采用固定閾值、單向匹配規(guī)則進(jìn)行特征點(diǎn)匹配，無法滿足紅外圖像多變性的特點(diǎn)。因此，在SURF算法基礎(chǔ)上提出基于雙向匹配策略的自適應(yīng)閾值配準(zhǔn)算法，即參考圖像與待配準(zhǔn)圖像的特征點(diǎn)，分別通過相似性度量準(zhǔn)則找到其在對應(yīng)圖像上的匹配點(diǎn)，并將匹配過程中所求最近距離點(diǎn)與次近距離點(diǎn)的最小比值作為匹配閾值。實(shí)驗(yàn)采用兩幅及多幅圖像對改進(jìn)SURF算法的性能進(jìn)行驗(yàn)證。結(jié)果表明，改進(jìn)SURF算法在保持高實(shí)時性的基礎(chǔ)上，配準(zhǔn)精度較傳統(tǒng)SURF算法提升約10%。

關(guān)鍵詞：紅外圖像;SURF;雙向匹配;自適應(yīng)閾值;圖像拼接;特征點(diǎn)

中圖分類號：TP399文獻(xiàn)標(biāo)識碼：A文章編號：2095-1302（2020）06-00-04

0 引 言

紅外圖像是由成像設(shè)備捕捉目標(biāo)和背景向外輻射的能量差而形成的[1]。因其成像的特殊性，使其具有突出優(yōu)勢：可全天候采集;具有很強(qiáng)的穿透能力，可透過霧、霾及大氣而探測目標(biāo);每個像素點(diǎn)的灰度值基本保持穩(wěn)定[2]。

基于以上優(yōu)勢，紅外圖像被廣泛應(yīng)用于航天、航空、航海等軍事及民用醫(yī)療領(lǐng)域，如弱小紅外目標(biāo)跟蹤和識別探測、紅外預(yù)警、環(huán)視掃描與紅外線探傷等[3]。而在實(shí)際應(yīng)用中，紅外圖像存在視角窄、分辨率低等多種限制因素。為解決上述問題，獲得更寬視角的紅外圖像，需采用紅外圖像拼接

技術(shù)。

圖像拼接包含圖像配準(zhǔn)和圖像融合兩大關(guān)鍵技術(shù)[4]。其中，圖像配準(zhǔn)為圖像拼接技術(shù)的核心，對圖像拼接的成功率和運(yùn)行速度有直接影響[5]。基于SURF（Speed Up Robust Features）算法的較高配準(zhǔn)精度與高實(shí)時特性[6]，本文采用SURF算法進(jìn)行紅外圖像特征點(diǎn)提取。自SURF算法興起以來，大量學(xué)者對特征點(diǎn)檢測和特征點(diǎn)提純進(jìn)行了改進(jìn)[7-10]，而特征點(diǎn)粗匹配中的誤匹配情況未得到顯著改善。紅外圖像為灰度圖像，具有分辨率較低、噪聲較高的特點(diǎn)，導(dǎo)致特征點(diǎn)檢測時，可能出現(xiàn)較多偽特征點(diǎn)，從而增加誤匹配率。特征點(diǎn)誤匹配率的增加會影響特征點(diǎn)提純的時間，使圖像配準(zhǔn)的實(shí)時性降低。本文針對SURF特征點(diǎn)誤匹配率高的問題，提出基于雙向匹配策略的自適應(yīng)閾值配準(zhǔn)算法。

1 改進(jìn)SURF算法的紅外圖像配準(zhǔn)

基于SURF算法的紅外圖像配準(zhǔn)包含檢測圖像特征點(diǎn)、確定特征點(diǎn)主方向、生成特征點(diǎn)描述符及特征點(diǎn)匹配模塊。

1.1 檢測圖像特征點(diǎn)

SURF算法通過Hessian矩陣行列式的局部極大值來檢測圖像的特征點(diǎn)。在尺度因子σ（下文所見σ均為尺度因子）下，圖像中任意像素點(diǎn)X=（x， y）的Hessian矩陣可表示為：

式中，Lxx（X， σ）表示二階高斯偏導(dǎo)數(shù)與圖像的卷積結(jié)果，其他同理可求。

SURF算法使用方塊濾波器近似代替二階高斯濾波。設(shè)方塊濾波器在圖像中任意像素點(diǎn)X=（x， y）進(jìn)行濾波后的結(jié)果為Dxx，Dyy和Dxy，Hessian矩陣的行列式可表示為：

式中，w的值取決于σ，w的取值對實(shí)際檢測特征點(diǎn)的影響較小，一般取w=0.9。Hessian矩陣的行列式可表示為：

在求得圖像每個像素點(diǎn)的Hessian矩陣行列式后，設(shè)定閾值，篩選方塊濾波響應(yīng)。將篩選得到的點(diǎn)與同層8個鄰域像素點(diǎn)及上、下相鄰兩層對應(yīng)的18個像素點(diǎn)進(jìn)行比較，可得圖像特征點(diǎn)，如圖1所示。

1.2 確定特征點(diǎn)主方向

SURF算法特征點(diǎn)主方向是通過特征點(diǎn)鄰域像素點(diǎn)的Haar小波響應(yīng)確定的，具體步驟：計(jì)算以特征點(diǎn)為中心，以6σ為半徑的鄰域內(nèi)像素點(diǎn)的Haar小波響應(yīng);利用60°的窗口對該圓形鄰域遍歷，得到6個扇形區(qū)域，分別計(jì)算6個扇形區(qū)域內(nèi)像素點(diǎn)的Haar小波響應(yīng)累加值，得到6個方向矢量;6個方向矢量最大值的方向即為特征點(diǎn)的主方向。

1.3 生成特征點(diǎn)描述符

SURF特征點(diǎn)描述符同樣通過特征點(diǎn)鄰域內(nèi)像素點(diǎn)的Haar小波響應(yīng)求得，具體步驟如下：

（1）沿著每個特征點(diǎn)主方向分別構(gòu)造以特征點(diǎn)為中心，大小為20σ×20σ的正方形區(qū)域;

（2）將步驟（1）中構(gòu)造的正方形區(qū)域等分為16份，即得到16個子區(qū)域，然后在每個子區(qū)域中按照5×5的間隔進(jìn)行采樣，對每個采樣點(diǎn)分別計(jì)算相對特征點(diǎn)主方向的水平Haar小波響應(yīng)和垂直Haar小波響應(yīng)，并將其記為dx和dy;

（3）將步驟（2）求得的每個子區(qū)域采樣點(diǎn)的dx和dy進(jìn)行求和運(yùn)算，可以得到該子區(qū)域的Σdx，Σ|dx|，Σdy，Σ|dy|，每個子區(qū)域可得到一個4維向量，因此一個特征點(diǎn)將形成16×4=64維的特征向量。

1.4 特征點(diǎn)匹配

傳統(tǒng)的SURF算法進(jìn)行特征點(diǎn)匹配時采用距離準(zhǔn)則進(jìn)行相似性度量。設(shè)參考圖像任一特征點(diǎn)p的描述向量為D1，待配準(zhǔn)圖像任一特征點(diǎn)q的描述向量為D2。則這兩點(diǎn)之間的距離可采用式（4）所示的相似性度量公式進(jìn)行計(jì)算：

式中：dis表示采用歐氏距離所求的兩點(diǎn)間距離;n為特征點(diǎn)描述向量的維數(shù)。由式（4）可以得到待配準(zhǔn)圖像上每個特征點(diǎn)對應(yīng)于參考圖像上的最近距離點(diǎn)與次近距離點(diǎn)，并記錄最近距離值與次近距離值。之后由式（5）確定參考圖像上的最近距離點(diǎn)是否為待配準(zhǔn)圖像上的匹配點(diǎn)。

式中，T為比值閾值，通常取0.5～0.7，本文取T=0.6。

改進(jìn)SURF采用基于雙向匹配策略的自適應(yīng)閾值匹配算法，使其對多種應(yīng)用場景下的紅外圖像具有普適性。所謂雙向匹配策略，即將參考圖像與待配準(zhǔn)圖像的特征點(diǎn)分別通過相似性度量準(zhǔn)則找到其在對應(yīng)圖像中的匹配點(diǎn)，然后比較所求的兩個匹配點(diǎn)集，這兩個匹配點(diǎn)集中相同的部分即為匹配結(jié)果。自適應(yīng)閾值的計(jì)算步驟如下：

（1）求取待配準(zhǔn)圖像相對參考圖像的匹配點(diǎn)集，根據(jù)

式（4）和式（5），計(jì)算待配準(zhǔn)圖像中所有特征點(diǎn)對應(yīng)于參考圖像特征點(diǎn)的距離比，記錄比值屬于[0.5，0.7]區(qū)間的匹配點(diǎn)，得到集合Q，相對應(yīng)的比值集記為A;

（2）求取參考圖像相對待配準(zhǔn)圖像的匹配點(diǎn)集，根據(jù)

式（4）和式（5），計(jì)算參考圖像各特征點(diǎn)對應(yīng)于待配準(zhǔn)圖像特征點(diǎn)的距離比，記錄比值屬于[0.5，0.7]區(qū)間的匹配點(diǎn)，得到集合P，相對應(yīng)的比值集記為B;

（3）求以上2個匹配點(diǎn)集的公共子集，將集合P與集合Q的交集記為R，并選取A與B中對應(yīng)比值的最小值作為交集R中匹配點(diǎn)的比值集，記為V;

（4）求自適應(yīng)閾值，比值集V的最小值即為特征點(diǎn)匹配的自適應(yīng)閾值。

2 實(shí)驗(yàn)結(jié)果及分析

2.1 實(shí)驗(yàn)環(huán)境及總體流程

驗(yàn)證改進(jìn)SURF算法性能的實(shí)驗(yàn)環(huán)境為8G內(nèi)存的PC機(jī)、Windows 7操作系統(tǒng)、英特爾奔騰雙3.1 GHz的CPU與Matlab 2016b開發(fā)工具。在實(shí)驗(yàn)流程中，首先對待拼接的若干幅紅外圖像進(jìn)行預(yù)處理，然后提取紅外圖像的特征點(diǎn)，采用固定閾值單向匹配算法和自適應(yīng)閾值雙向匹配算法完成特征點(diǎn)的匹配，采用RANSAC算法求取兩幅紅外圖像的變換模型，最后采用加權(quán)平均法進(jìn)行圖像融合，即可完成兩幅圖像的拼接。實(shí)驗(yàn)整體流程如圖2所示。

2.2 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)采用配準(zhǔn)時間和均方根誤差（Root Mean Square Error，RMSE）作為衡量指標(biāo)[11]，對算法性能進(jìn)行定量分析。配準(zhǔn)時間由程序運(yùn)行時間獲取，均方根誤差的計(jì)算公式

如下：

式中：pi和q'i分別表示匹配點(diǎn)在變換前后的坐標(biāo);M為兩幅圖像之間的變換矩陣;f（q'i， M）表示q'i經(jīng)矩陣M變換后的實(shí)際坐標(biāo);k為最終匹配點(diǎn)的對數(shù)。

2.2.1 兩幅紅外圖像拼接

對不同視角和不同時相下采集的紅外圖像進(jìn)行拼接實(shí)驗(yàn)。

（1）分別采用固定閾值單向匹配算法和自適應(yīng)閾值雙向匹配算法對不同視角紅外圖像進(jìn)行拼接實(shí)驗(yàn)。圖3（a）、圖3（b）為不同視角拍攝的紅外圖像，圖3（c）為采用固定閾值單向匹配算法得到的配準(zhǔn)、拼接結(jié)果，圖3（d）為采用自適應(yīng)閾值雙向匹配算法得到的配準(zhǔn)、拼接結(jié)果。表1為兩種配準(zhǔn)算法的定量結(jié)果。

（2）分別采用固定閾值單向匹配算法和自適應(yīng)閾值雙向匹配算法對不同時相紅外圖像進(jìn)行拼接實(shí)驗(yàn)。圖4（a）、圖4（b）為不同時相拍攝的紅外圖像，圖4（c）為采用固定閾值單向匹配算法得到的配準(zhǔn)、拼接結(jié)果，圖4（d）為采用自適應(yīng)閾值雙向匹配算法得到的配準(zhǔn)、拼接結(jié)果。表2為兩種配準(zhǔn)算法的定量結(jié)果。

觀察圖3和圖4可以發(fā)現(xiàn)，不同視角和不同時相的兩幅紅外圖像分別采用固定閾值單向匹配和自適應(yīng)閾值雙向匹配算法的配準(zhǔn)結(jié)果相差甚微，拼接效果均達(dá)到了理想視覺效果。分析表1和表2可知，相對于固定閾值單向匹配算法，采用自適應(yīng)閾值雙向匹配可縮短配準(zhǔn)時間，同時降低RMSE。實(shí)驗(yàn)結(jié)果表明，改進(jìn)SURF算法可較大幅度降低特征點(diǎn)誤匹配率。由于改進(jìn)SURF算法具有誤匹配率低的特點(diǎn)，在采用RANSAC算法求取兩幅紅外圖像的變換模型時會有更多的正確匹配點(diǎn)對，從而減少迭代次數(shù)，縮短配準(zhǔn)時間。

2.2.2 多幅紅外圖像拼接

對5幅及6幅紅外圖像分別采用固定閾值單向匹配和自適應(yīng)閾值雙向匹配進(jìn)行圖像配準(zhǔn)。實(shí)驗(yàn)時，通過兩兩拼接得到最終的拼接結(jié)果。其中，圖5（a）為5幅待拼接圖像，

圖6（a）為6幅待拼接圖像。圖5（b）和圖6（b）分別為5幅、6幅紅外圖像采用2種配準(zhǔn)算法的拼接結(jié)果（由于2種配準(zhǔn)算法的拼接結(jié)果相差甚微，本文只展示1個拼接結(jié)果）。表3、表4分別為5幅、6幅紅外圖像配準(zhǔn)的定量對比結(jié)果。

觀察圖5（b）的拼接結(jié)果發(fā)現(xiàn)，拼接圖像中的建筑物、路燈、橋和樹渾然一體，達(dá)到無縫拼接的效果。由圖6（b）的拼接結(jié)果觀察得到，圖中拼接縫均可平滑過渡，得到一幅寬視角圖。但由于待拼接圖像存在大尺度縮放，使得拼接圖像出現(xiàn)模糊。由表3與表4可得，相對于固定閾值單向匹配算法，采用自適應(yīng)閾值雙向匹配的配準(zhǔn)時間縮短，且RMSE有一定程度的降低。因此，改進(jìn)SURF算法可有效提高紅外圖像配準(zhǔn)精度，并一定程度上降低紅外圖像配準(zhǔn)時間。

3 結(jié) 語

本文基于改進(jìn)SURF算法對紅外圖像進(jìn)行配準(zhǔn)，以達(dá)到紅外圖像拼接的目標(biāo)。針對傳統(tǒng)固定閾值匹配算法存在的特征點(diǎn)匹配率低的問題，提出了一種基于雙向匹配策略的自適應(yīng)閾值配準(zhǔn)算法，即參考圖像與待配準(zhǔn)圖像的特征點(diǎn)，分別通過相似性度量準(zhǔn)則找到其在對應(yīng)圖像上的匹配點(diǎn)，并將匹配過程中求得的最近距離點(diǎn)與次近距離點(diǎn)的最小比值作為匹配閾值。對兩幅及多幅紅外圖像進(jìn)行拼接實(shí)驗(yàn)，驗(yàn)證了所提算法的有效性。實(shí)驗(yàn)結(jié)果表明，所提出的自適應(yīng)閾值雙向匹配算法在保持高實(shí)時性的基礎(chǔ)上，具有較高的配準(zhǔn)精度。

參考文獻(xiàn)

[1]王菲.一種改進(jìn)的紅外圖像配準(zhǔn)拼接算法研究[D].蘭州：蘭州大學(xué)，2015.

[2]陸園，張明.基于SIFT算法的紅外圖像拼接方法改進(jìn)[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2015，24（8）：165-170.

[3]吳成東，張潤，劉寶德，等.基于無人機(jī)航拍圖像拼接算法的優(yōu)化[J].沈陽建筑大學(xué)學(xué)報（自然科學(xué)版），2015，31（1）：182-192.

[4]溫紅艷.遙感圖像拼接算法研究[D].武漢：華中科技大學(xué)，2009.

[5]王茜.無人機(jī)遙感農(nóng)田全景圖像拼接技術(shù)研究[D].楊凌：西北農(nóng)林科技大學(xué)，2017.

[6]胡同喜，牛雪峰，譚洋，等.基于SURF算法的無人機(jī)遙感影像拼接技術(shù)[J].測繪通報，2015（1）：55-58.

[7]曹芳，王小攀，朱永豐，等.基于CGXR特征和改進(jìn)融合策略的圖像拼接算法[J].測繪與空間地理信息，2016，39（5）：94-97.

[8]谷雨，周陽，任剛，等.結(jié)合最佳縫合線和多分辨率融合的圖像拼接[J].中國圖象圖形學(xué)報，2018，22（6）：842-851.

[9]朱慶輝，尚媛園，邵珠宏，等.局部特征及視覺一致性的柱面全景拼接算法[J].中國圖象圖形學(xué)報，2018，21（11）：1523-1529.

[10]樊佩琦，吳誠，楊瑞宇，等.一種基于BRISK改進(jìn)的SURF紅外圖像拼接方法[J].紅外技術(shù)，2018，40（1）：27-33.