章 盛,李培華,錢名思,劉玉莉

(1.中航華東光電有限公司,安徽 蕪湖 241002；2.安徽省現(xiàn)代顯示技術重點實驗室,安徽 蕪湖 241002；3.國家特種顯示工程技術研究中心,安徽 蕪湖 241002；4.特種顯示國家工程實驗室,安徽 蕪湖 241002)

1 引 言

圖像配準普遍應用在遙感圖像配準[1]、醫(yī)學圖像配準[2]和全景顯示[3]等領域,其中2006年Herbert Bay等人提出的加速穩(wěn)健特征(Speeded Up Robust Features,SURF)算法[4]是經(jīng)典的圖像配準算法,其以尺度不變特征變換(Scale Invariant Feature Transform,SIFT)算法[5-6]為基礎對圖像特征的提取和描述進行了優(yōu)化,結果是在保持了平移、旋轉與尺度等變化不變性的前提下提升了執(zhí)行效率。近年來,科研者根據(jù)SURF算法存在實時性問題,提出了將角點提取算法融入傳統(tǒng)SURF算法的想法,互取優(yōu)勢,例如葛盼盼等人于2014年提出的Harris-SURF算法[7],彭勃宇等人于2015年提出的SUSAN-SURF算法[8],張敬麗等人于2016年提出的MIC-SURF算法[9],產(chǎn)葉林等人于2019年提出的FAST-SURF算法[10],四種改進算法最終得到的結論是在圖像配準實時性方面得到了改善；同時由于SURF算法具備很好的穩(wěn)健性,許金鑫等人于2017年使用形態(tài)學邊緣檢測算法對待配準圖像進行預處理,然后利用SURF算法進行異源圖像的配準,并將優(yōu)化SURF算法應用于電氣設備圖像的配準,為異源圖像的配準提供了一種途徑[11]；2018年,王民等人利用壓縮感知原理[12]對SURF算法生成的描述子向量進行降維處理,提升了實時性并應用于手語關鍵幀的配準[13]。

針對實時性要求比較高的應用場景,傳統(tǒng)SURF算法表現(xiàn)出其在實時性方面的不足,本文首先針對圖像角點特征提取耗時長的問題,使用曲率尺度空間(Curvature Scale Space,CSS)算法[14]提取圖像角點特征,然后針對圖像角點特征匹配耗時長的問題,使用改進SURF描述子、改進相似性距離算法和隨機采樣一致性((Random Sample Consensus,RANSAC)[15]算法對圖像角點特征描述子的形成和匹配進行改進,最終得到CSS-SPP-SURF算法。

2 CSS-SPP-SURF算法

CSS-SPP-SURF算法按照實現(xiàn)流程分成三個步驟:①圖像角點特征的提?。虎趫D像角點特征描述子向量的生成和降維；③圖像角點特征的匹配。CSS-SPP-SURF算法的實現(xiàn)流程框圖如圖1所示。

2.1 圖像角點特征的提取

Mokhtarian和Suomela團隊于1998年提出的一種基于曲線曲率的圖像角點特征提取算法,即CSS算法,其是在Canny算法[16]的基礎上延伸的算法,該算法提取圖像角點特征分為三步:

圖1 CSS-SPP-SURF算法的實現(xiàn)流程框圖

①采用Canny算法生成邊緣輪廓圖像；②在尺度空間的低尺度上使用局部曲率極大值提取圖像角點特征,并向高尺度跟蹤定位這個圖像角點特征；③與T型角點特征作比較剔除相近的角點特征中一個。曲線的曲率κ的函數(shù)表達式的如式(1)所示:

κ(μ,σ)=

(1)

其中,κ(μ,σ)表示曲線的曲率；Xμ(μ,σ),Xμμ(μ,σ)分別表示X(μ,σ)的一階、二階導數(shù)；Yμ(μ,σ),Yμμ(μ,σ)分別表示Y(μ,σ)的一階、二階導數(shù)；μ表示弧長參數(shù)；σ表示尺度因子。

針對公式(1),X(μ,σ)和Y(μ,σ)的一階、二階導數(shù)的表達式分別如式(2)～(5)所示:

=x(μ)?gμ(μ,σ)

(2)

=x(μ)?gμμ(μ,σ)

(3)

=y(μ)?gμ(μ,σ)

(4)

=y(μ)?gμμ(μ,σ)

(5)

其中,Xμ(μ,σ),Xμμ(μ,σ)分別表示X(μ,σ)的一階、二階導數(shù)；Yμ(μ,σ),Yμμ(μ,σ)分別表示Y(μ,σ)的一階、二階導數(shù)；x(μ)和y(μ)分別表示曲線上點的橫坐標和縱坐標；g(μ,σ)表示以尺度因子σ為參數(shù)的高斯函數(shù);μ表示弧長參數(shù);σ表示尺度因子;?表示卷積運算;gu(μ,σ),guu(μ,σ)分別表示g(μ,σ)的一階、二階導數(shù)。

2.2 改進SURF描述子

CSS-SPP-SURF算法生成圖像角點特征描述子向量分為兩個階段,階段一是利用Haar小波生成64維圖像角點特征描述子向量,階段二是利用稀疏投影原理將64維圖像角點特征描述子向量降維到24維,仿真實驗中發(fā)現(xiàn)降維到12維,圖像角度特征的匹配速度有一定提升,但匹配效果不太理想,綜合考慮選擇降維到24維。

針對階段一得到64維圖像角點特征描述子向量,假定其為K,首先利用小波變換基矩陣Ψ將64維描述子向量轉換為64維稀疏矩陣Y,然后利用稀疏投影矩陣R∈R24×64將64維稀疏矩陣Y轉換為24維測量向量K′,最后將得到的24維測量向量K′作為圖像角點特征描述子向量,如式(6)所示:

K′=RY=RΨK

(6)

其中,K′表示24維測量向量;R表示24×64維的稀疏投影矩陣;Y表示64維的稀疏向量;Ψ表示64×64維的小波變換基矩陣;K表示64維的圖像角點特征描述子向量。

2.3 圖像角點特征的匹配

圖像角點特征的匹配分為兩個階段,階段一使用改進的相似性距離算法進行粗匹配；階段二使用RANSAC算法進行精匹配。

階段一假設對圖像L與圖像R的圖像角點特征進行粗匹配實驗,設定圖像L的圖像角點特征描述子向量為Ui(x1,x2,x3,…,x22,x23,x24),圖像R的圖像角點特征描述子向量為Vj(y1,y2,y3,…,y22,y23,y24),整個匹配實驗過程分為三個步驟:

步驟1:圖像L到圖像R采用曼哈頓距離進行相似性距離度量,曼哈頓距離定義式如式(7)所示,同時相似性距離的最小值和次最小值的比值滿足公式(8),遍歷圖像L的圖像角點特征集U,得到匹配圖像角點特征集A。

(7)

其中,d(Ui,Vj)表示圖像角點特征之間的相似性距離;xm表示圖像L中圖像角點特征描述子向量的元素;ym表示圖像R中圖像角點特征描述子向量的元素。

(8)

其中,d(Ui,V1j)、d(Ui,V2j)分別表示特征集U中的特征Ui與特征集V中的最近鄰特征V1j、次最近鄰特征V2j的相似性距離;Th1表示閾值,本文設定Th1的值為0.75。

步驟2:圖像R到圖像L采用歐式距離進行相似性距離度量,歐式距離定義式如式(9)所示,同時相似性距離的最小值和次最小值的比值滿足式(10)所示,遍歷圖像R的圖像角點特征集V,得到匹配圖像角點特征集B。

(9)

其中,d(Vj,Ui)表示圖像角點特征之間的相似性距離;ym表示圖像R中圖像角點特征描述子向量的元素;xm表示圖像L中圖像角點特征描述子向量的元素。

(10)

其中,d(Vj,U1i)、d(Vj,U2i)分別表示特征集V中的特征Vj與特征集U中的最近鄰特征U1i、次最近鄰特征U2i的相似性距離;Th2表示閾值,本文設定Th2的值為0.75。

步驟3:比較匹配圖像角點特征集A與B,選取完全相同的匹配圖像角點特征組成備用的匹配圖像角點特征集M。

階段二采用RANSAC算法對階段一得到的備用匹配圖像角點特征集M進行進一步提純,得到最終的匹配圖像角點特征集F。

3 仿真實驗

實驗仿真軟件為MATLAB R2014a,實驗仿真硬件為計算機,計算機的中央處理器配置是Intel Core i3-3240 CPU @ 3.40GHz (4 CPUs)、內(nèi)存配置是4096MB RAM、操作系統(tǒng)配置是Windows 7 旗艦版32位。

仿真實驗分為兩個階段,第一階段選用立體匹配庫中的Venus可見光圖像、異源融合庫中的Jeep_in_Smoke紅外圖像和Normal Medical Database庫中的手部CT醫(yī)學圖像作為仿真實驗一圖像,其中圖2(a) ～ (d)是立體匹配庫中的Venus源、右視、形變和旋轉圖像,像素大小為434×383；圖2 (a2) ～ (d2)是異源融合庫中Jeep_in_Smoke紅外源、右視、形變和旋轉圖像,像素大小為580×450；圖2 (a3) ～(d3)是Normal Medical Database庫中的手部CT醫(yī)學源、右視、形變和旋轉圖像,像素大小為240×256；以驗證CSS-SPP-SURF算法對不同源圖像的可行性。第二階段選用立體匹配庫中不同規(guī)模的圖像庫作為仿真實驗二圖像,立體匹配庫中每對待配準圖像僅有源、右視兩張圖像,以驗證CSS-SPP-SURF算法的普遍適應性。

圖2 實驗一的待配準圖像

仿真實驗一使用傳統(tǒng)SIFT算法、傳統(tǒng)SURF算法、Forstner-SURF算法、Harris-SURF算法、Trajkovic-SURF算法與CSS-SPP-SURF算法對實驗一圖像進行圖像配準實驗,實驗步驟分為三步:①圖2(a)分別與圖2(b)～(d)進行圖像配準實驗；②圖2(a2)分別圖2(b2)～(d2)進行圖像配準實驗；③圖2(a3)分別與圖2(b3)～(d3)進行圖像配準實驗,最終得到圖像角點特征的檢測結果圖如圖3(a)～(r4)所示,圖像角點特征的匹配結果圖如圖4(a)～(i6)所示。

仿真實驗一為了比較CSS-SPP-SURF算法與傳統(tǒng)SIFT算法、傳統(tǒng)SURF算法、Forstner-SURF算法、Harris-SURF算法、Trajkovic-SURF算法之間的效率,選取待配準圖像的角點特征數(shù)目、角點特征匹配數(shù)目、角點特征正確匹配數(shù)目、圖像配準準確率、圖像配準時間與圖像配準時間下降率共六個指標作為評價依據(jù),其中圖像配準準確率和圖像配準時間下降率的計算公式如式(11)、(12)所示,仿真實驗數(shù)據(jù)對比分析圖如圖5(a)～(f)所示,通過圖5(d)可知,CSS-SPP-SURF算法與傳統(tǒng)SIFT算法、傳統(tǒng)SURF算法、Forstner-SURF算法、Harris-SURF算法、Trajkovic-SURF算法相比,在圖像配準的準確率方面相當。通過圖5(f)可知,CSS-SPP-SURF算法與傳統(tǒng)SIFT算法、傳統(tǒng)SURF算法、Forstner-SURF算法、Harris-SURF算法、Trajkovic-SURF算法相比,在圖像配準的速度方面具有一定的優(yōu)勢。

(11)

(12)

圖3 圖像角點特征的提取結果圖

其中,圖3(a)～(r)、(a2)～(r2)、(a3)～(r3)、(a4)～(r4)表示使用傳統(tǒng)SIFT算法、傳統(tǒng)SURF算法、Forstern-SURF算法、Harris-SURF算法、Trajkovic-SURF算法與CSS-SPP-SURF算法分別對實驗一待配準圖像中源圖像、右視圖像、形變圖像、旋轉圖像的角點特征提取結果圖。

圖4 圖像角點特征的匹配結果圖

其中,圖4(a)～(i)、(a2)～(i2)、(a3)～(i3)、(a4)～(i4)、 (a5)～(i5)、(a6)～(i6)分別表示使用傳統(tǒng)SIFT算法、傳統(tǒng)SURF算法、Forstern-SURF算法、Harris-SURF算法、Trajkovic-SURF算法與CSS-SPP-SURF算法對實驗一待配準圖像的角點特征匹配結果圖。源-右視表示源圖像和右視圖像之間的配準、源-形變表示源圖像和形變圖像之間的配準和源-旋轉表示源圖像和旋轉圖像之間的配準。

圖5 圖像配準的對比分析圖

圖5中，V表示Venus可見光圖像；J表示Jeep_in_Smoke紅外圖像；H表示手部CT醫(yī)學圖像；SIFT表示傳統(tǒng)SIFT算法；SURF表示傳統(tǒng)SURF算法；F-SURF表示Forstern-SURF算法；H-SURF表示Harris-SURF算法；T-SURF表示Trajkovic-SURF算法；CSS-SPP-SURF表示CSS-SPP-SURF算法。其中，圖5(a)～(f)表示使用傳統(tǒng)SIFT算法、傳統(tǒng)SURF算法、Forstern-SURF算法、Harris-SURF算法、Trajkovic-SURF算法與CSS- SPP-SURF算法對實驗一圖像的特征提取數(shù)目、特征匹配數(shù)目、正確特征匹配數(shù)目、配準準確率、配準時間和配準時間下降率的對比分析圖。

仿真實驗二首先從立體匹配庫中分別選擇100、200、300、400對圖像作為四種不同規(guī)模待配準圖像庫,然后使用傳統(tǒng)SIFT算法、傳統(tǒng)SURF算法、Forstern-SURF算法、Harris-SURF算法、Trajkovic-SURF算法與CSS-SPP-SURF算法對四種不同規(guī)模待配準圖像庫進行配準,并對評價指標進行記錄并統(tǒng)計,統(tǒng)計結果如表1所示,最后對表1的仿真實驗數(shù)據(jù)進行分析得到兩點結論:①CSS-SPP-SURF算法與傳統(tǒng)SIFT算法、傳統(tǒng)SURF算法、Forstern-SURF算法、Harris-SURF算法、Trajkovic-SURF算法相比,圖像配準準確率相當；②圖像配準時間分別降低了73.61%、43.27%、44.54%、34.31%與8.05%。

表1 不同規(guī)模圖像集的圖像配準時間、準確率比較

表1中，SIFT代表傳統(tǒng)SIFT算法；SURF代表傳統(tǒng)SURF算法；F-SURF代表Forstner-SURF算法；H-SURF代表Harris-SURF算法；T-SURF代表Trajkovic-SURF算法；C-SURF代表CSS-SPP-SURF算法；時間指圖像配準時間,單位是秒,準確率指圖像配準準確率,單位是%。

4 結 論

本文提出了CSS-SPP-SURF算法,該算法使用CSS算法、改進SURF描述子、改進相似性距離算法和RANSAC算法對傳統(tǒng)SURF算法進行改進,解決了其圖像特征檢測和匹配耗時長的問題。通過仿真實驗發(fā)現(xiàn)兩點:①CSS-SPP-SURF算法對可見光、紅外與醫(yī)學圖像同樣有效；②通過對立體匹配庫實驗說明了該算法對于實時性要求比較高的應用場景具有普遍有效性。